イベントカメラ(Dynamic Vision Sensor, DVS)は、シーン全体を一定間隔で撮影する従来のフレームベースカメラとは根本的に異なる方式で光を捉えるセンサーで、各ピクセルが互いに独立して非同期に動作し、そのピクセルが見ている輝度が一定以上変化した瞬間だけをマイクロ秒オーダーの時間分解能で報告する。

原理: ピクセルごとに独立して「変化」だけを報告する

従来のCMOS/CCDイメージセンサーは、露光時間ごとに全ピクセルを一斉に読み出し、明るさの絶対値を格子状のフレームとして出力する。これに対しイベントカメラの各ピクセルは、前回そのピクセルが値を報告した時刻の対数輝度を基準として保持しており、現在の対数輝度がそこから一定の閾値 C 以上変化した瞬間に、その1ピクセルだけが単独で「イベント」を発行する。ピクセル (x, y) が時刻 t に発行するイベントは

\left| \ln I(x, y, t) - \ln I(x, y, t_{\text{last}}) \right| \geq C

という条件を満たした瞬間に生成され、出力は e_k = (x_k, y_k, t_k, p_k) という4項組(座標・タイムスタンプ・極性)の非同期な系列になる。この座標とタイムスタンプだけを都度出力する方式はAER(Address-Event Representation、アドレスイベント表現)と呼ばれ、明るくなる変化(ON)と暗くなる変化(OFF)を極性 p_k で区別する。フレームという概念そのものが存在しないため、シーンに動きがなければ何も出力されず、動きが速いほど、より多くのイベントがより短い間隔で発行される。

この方式が持つ2つの性質は、対数応答という回路設計に直接由来する。第一に時間分解能で、各ピクセルが独立に閾値判定を行うため、原理上はマイクロ秒オーダーで変化を検出でき、2008年発表の初期のDVSチップ(後述)ですら15マイクロ秒のレイテンシを達成している。フレームレートという概念に縛られないため、フレームベースカメラが避けられないモーションブラー(動きボケ)が原理的に発生しない。第二にダイナミックレンジで、各ピクセルが対数スケールで独立に閾値判定するため、井戸容量(フォトダイオードが蓄積できる電荷の上限)で頭打ちになる従来センサーの60〜70dB程度に対し、イベントセンサーは100dBを超え、製品によっては140dBに達する。同じシーンの中に直射日光の当たる路面と日陰のトンネル入口が同時に存在するような、明暗差の激しい場面でも白飛び・黒つぶれなしに変化を捉え続けられるのはこのためである。

なお実装には大きく2つの系統がある。DVS128やiniVation DVXplorer、Prophesee GenX320のように変化検出だけを行う「純粋なDVS」と、iniVation DAVIS346やATIS(後述)のように変化検出回路に加えて、変化が検出されたピクセルについてだけ実際の輝度値(グレースケール)も測定するハイブリッド方式がある。後者は非同期のイベント出力と、低フレームレートながら通常のグレースケール画像も同時に得られるため、既存の画像処理パイプラインとの互換性を保ちながらイベントの利点を活かせる一方、変化のないピクセルからは輝度値を取得できないという制約も引き継ぐ。

上段に通常のフレームベースカメラで撮影したチーターの走行映像、下段に同じシーンをイベントカメラで捉えたイベント点群を並べた比較画像フレームベースカメラ(上)とイベントカメラ(下)が同じシーンから出力するデータの違い

画像: Event camera comparison(TimoStoffregen, CC BY-SA 4.0)、Wikimedia Commons。

上の比較画像が示す通り、フレームベースカメラは一定間隔で「シーン全体の写真」を出力するのに対し、イベントカメラは動いている輪郭部分にのみ点在するスパースな(疎な)イベント群だけを出力する。動いていない背景は一切データを生まないため、シーンの冗長性を最初から取り除いた形でセンサーがデータを渡してくる、と言い換えることもできる。Propheseeは自社のイベントベース産業用ビジョンについて、飲料の紙パック生産ラインの外観検査やレーザー溶接ロボットの用途で、秒速10メートルを超える対象物を毎秒1,000個超のペースで計測しながら、従来のフレームベース手法に比べて処理すべきデータ量を100分の1程度まで減らせるとしており、これはセンサーがそもそも「変化していない画素」の分のデータを生成しないという原理の直接の帰結である。

主要製品のスペック比較

製品 解像度 ダイナミックレンジ レイテンシ/時間分解能 備考
iniVation DVXplorer 640×480(VGA) 最大110dB サブミリ秒レイテンシ、200µs時間分解能 最大1億6500万イベント/秒のスループット、6軸IMU内蔵(ジャイロ最大3.2kHz)、5Vで140mA未満
iniVation DAVIS346 346×260(イベント)、フレーム出力も同解像度 イベント出力120dB、フレーム出力55dB イベント1µs時間分解能・1ms未満のレイテンシ、フレーム40fps 変化検出+グレースケールフレームを同時出力するハイブリッド方式。最大1200万イベント/秒、18.5µm画素ピッチ
Sony IMX636(Prophesee Metavision) 1280×720(0.92メガピクセル) 5〜10万luxで86dB超、0.08〜10万luxの低照度カットオフで120dB超 高速・低遅延応答(数値は用途依存) Sonyとprophesee共同開発の積層型センサー、画素ピッチ4.86µm、16線パラレルのフルデジタル出力
Prophesee GenX320 320×320 140dB超 1000luxで150µs未満のピクセルレイテンシ 超低消費電力モードで36µWまで低減可能、画素6.3×6.3µm、3×4mmの超小型パッケージ、フリッカー抑制・イベントレート制御を内蔵
Samsung DVS-Gen4 1280×960 100dB 150µs 画素ピッチ4.95µm、画素内Cu-Cu接続とGIDL抑制回路により高解像度と低消費電力を両立
三脚に取り付けられたProphesee製イベントカメラの評価キット、レンズとマイクロSDカードスロットが見えるProphesee製イベントカメラの評価キット

画像: Prophesee Event Camera Evaluation Kit(Auledas, CC BY 4.0)、Wikimedia Commons。

iniVation DVXplorerは640×480というVGA相当の解像度と6軸IMUを内蔵し、ロボティクス研究向けに広く使われている純粋なDVSカメラである。DAVIS346は変化検出回路とグレースケールフレーム出力を1チップに同居させたハイブリッド設計で、イベント出力そのものは120dBのダイナミックレンジを持つ一方、同時に出せるフレームは55dB・40fpsに制限される――純粋なDVSの利点とフレームベース処理との互換性はトレードオフの関係にあることがこの製品にはっきり表れている。Sony IMX636はSonyの積層型センサー製造技術とProphesee(後述)のイベントセンシング技術を組み合わせた製品で、1280×720というイベントカメラとしては高解像度な部類に入り、産業用カメラメーカーIDS Imaging Development Systemsが2025年に発表した「uEye EVS」シリーズにも採用されている。GenX320は320×320とやや低解像度な一方、消費電力を36µWまで絞れる超低消費電力モードを持ち、常時稼働のウェアラブル機器やIoT向けのエッジセンシングを意識した設計になっている。Samsung DVS-Gen4は1280×960という最も高い画素数を持ち、画素内でのCu-Cu接続(銅同士を直接接合する積層技術)と、GIDL(Gate-Induced Drain Leakage、ゲート誘起ドレインリーク電流)を抑制する回路設計によって、高解像度化に伴うリーク電流の増加を抑えている。

電子の目はどこから来たのか: シリコン網膜からイベントカメラ産業へ

1988年、カリフォルニア工科大学のシリコン網膜 — イベントカメラの直接の源流は、集積回路の父の一人として知られるCarver Meadが、当時大学院生だったMisha Mahowaldと共同で1988年に発表した論文「A Silicon Model of Early Visual Processing」に遡る。二人はアナログCMOS回路で網膜の初期視覚処理を模倣する「シリコン網膜」を実際に作り、脳の情報処理をハードウェアで再現しようとする「神経形態工学(neuromorphic engineering)」という分野そのものを切り開いた。Meadはこの功績によって後にCaltechから神経形態工学における生涯功績賞を受けている。

2008年、ETHチューリッヒ/チューリッヒ大学発の完全な非同期DVS — Patrick Lichtsteiner・Christoph Posch・Tobi Delbrückの3人は、IEEE Journal of Solid-State Circuits誌に「A 128×128 120 dB 15 μs Latency Asynchronous Temporal Contrast Vision Sensor」を発表し、128×128ピクセル、120dBのダイナミックレンジ、15マイクロ秒のレイテンシを持つ、現在の「DVS」という言葉の原型となる完全非同期のセンサーを実証した。この論文は同誌における過去10年間の被引用数で4位に入るほど広く参照されており、以後のイベントカメラ研究のデファクトの出発点になっている。

2011年、変化検出と輝度計測を両立させたATIS — Christoph Posch はオーストリア工科大学(AIT)に移り、変化検出回路に加えて、変化が検出されたピクセルについてだけ実際の輝度(グレースケール値)も時間ベースで測定する回路を組み合わせたATIS(Asynchronous Time-based Image Sensor)を発表した。ATISは143dBを超えるダイナミックレンジを実現し、「変化だけでなく画像も欲しい」という現実の応用ニーズに応える設計として、後のDAVISやハイブリッド型製品の技術的な土台になった。

2014年のChronocam創業と、2つのETH/チューリッヒ大学発スピンオフ — Posch は2014年、パリのスタートアップスタジオiBionext内で、Ryad Benosman・Bernard Gilly・Luca Verreとともに Chronocam を創業し、AITで培ったATIS技術の商業化に乗り出した。Chronocamは2018年に19百万ドルのシリーズB資金調達とともにProphesee へと社名変更している。一方、DVS128を生んだチューリッヒ大学/ETHチューリッヒの神経情報学研究所(Institute of Neuroinformatics, INI)からは、2015年にTobi Delbrück・Rodney Douglas・Kynan Eng・Sven-Erik Jacobsenの4人が iniVation を、2017年には別のチームが SynSense をそれぞれスピンオフとして設立した。同じ研究所を源流に持つこの2社は、2024年にSynSenseがiniVationの全株式を取得するという形で再び一つになっている。中国では2017年、Chen Shoushunらによって上海拠点のCelePixelが設立され、2019年にはOmniVisionの親会社であるWill Semiconductorに買収された。そして2020年には、Sonyがイメージセンサーの積層製造技術を、Propheseeがイベントセンシングのノウハウを持ち寄る形で共同開発が始まり、前掲のIMX636として製品化されている。神経科学研究室発のニッチな技術が、10年余りでSonyのような大手イメージセンサーメーカーと組むところまで来たのが、このセンサーのここまでの歩みである。

実例: チューリッヒ市街を走ったステレオイベントカメラ・リグ「DSEC」

イベントカメラはまだ自動車メーカーの量産ラインに載るセンサーではないが、その手前の研究開発では複数台構成の実例がある。ETHチューリッヒ/チューリッヒ大学のロボティクス・知覚グループが2021年に公開したデータセットDSEC(A Stereo Event Camera Dataset for Driving Scenarios)は、Prophesee Gen3.1イベントカメラ(640×480)2台をベースライン60cmで左右に配置したステレオリグに、FLIR Blackfly S製のカラーフレームカメラ2台、LiDAR、RTK-GPSを同期させて搭載した車両で、チューリッヒ・トゥーン・インターラーケンといったスイス国内の複数都市を走行しながら1時間を超える走行データを収集したものである。トンネルの出入口や日没・日の出時の強い逆光など、標準的なカメラが露出制御の限界にぶつかりやすい高ダイナミックレンジのシーンを狙って収録されているのが特徴で、単眼の場合と同様にステレオでもベースラインを広く取ることで遠方までの視差精度を確保しつつ、フレームカメラでは白飛び・黒つぶれする場面でもイベントカメラ側では変化を捉え続けられるかを検証する目的で設計されている。Visual-SLAMのような自己位置推定アルゴリズムを、通常のカメラでは苦手な悪照明環境でどこまで頑健に動かせるかという研究の土台として、DSECは今も参照され続けている。

「ノイズにしか見えない」映像から顔を読み取る研究と、無人機の上で動くSLAM

カザフスタンから生まれた、イベントストリーム上の顔検出データセット — ナザルバエフ大学のISSAI(Institute of Smart Systems and Artificial Intelligence)は2024年、Bissarinova・Rakhimzhanova・Kenzhebalin・Varolの4人による論文「Faces in Event Streams (FES): An Annotated Face Dataset for Event Cameras」を学術誌Sensors(24巻5号、論文番号1409)に発表した。689分ぶんのイベントストリームに160万件の顔と5点の顔ランドマークをアノテーションした、この種のデータセットとしては初めての大規模なもので、付属する12個のモデルはmAP50で90%を超える精度で顔と顔のランドマークを検出できるという。下の画像はそのGitHubリポジトリのカバー画像で、点描のようなノイズにしか見えない映像の中から、複数人の顔と輪郭がイベントの集積として浮かび上がっている様子が分かる。動いていない部分は一切記録されないというイベントカメラの原理そのものが、写真的な質感を持たない「輪郭と動きだけの映像」を生み出しており、プライバシーへの配慮が必要な監視・見守り用途での応用可能性も指摘されている。

イベントカメラで撮影した4人の顔画像。点描状のノイズの中に顔の輪郭とバウンディングボックス、ランドマークが浮かび上がっているイベントストリーム中に浮かび上がる顔と検出枠(FESデータセットのカバー画像)

画像: Faces in Event Streams(Ulzhanbis, CC BY 4.0)、Wikimedia Commons。ISSAI(ナザルバエフ大学)によるFESデータセット論文(Bissarinova et al., Sensors 2024, 24(5):1409)のGitHubカバー画像。

無人機の上で動くステレオイベントSLAM、そして「投げつけられた物体」をよける実験 — イベントカメラのレイテンシの低さと高ダイナミックレンジが最も生きるのはロボティクスの現場で、2026年5月に公開されたばかりの論文「AERO-VIS: Asynchronous Event-based Real-time Onboard Visual-Inertial SLAM」(arXiv:2605.07885)は、ステレオのイベントカメラとIMUを組み合わせ、イベントストリームを非同期のまま処理する特徴点検出器を実装し、UAV(無人航空機)に実際に搭載してオンボードで動かすことで、従来のイベントベースSLAMでは達成できなかった精度を達成したと報告している。また、チューリッヒ大学のDavide Scaramuzza率いるロボティクス・知覚グループは、単眼のイベントカメラだけを頼りに障害物を避ける四輪飛行体の実験で、飛んでくる物体を3.5ミリ秒で81〜97%の確率で検知し、3メートル先から秒速10メートルで投げつけられた物体についても90%以上の確率で回避に成功したと報告している。同グループはイベントカメラの活用によってドローンの飛行速度を最大10倍まで引き上げられる可能性があるとも述べており、フレームベースのカメラでは原理的に間に合わない速度域の知覚を、イベントカメラがどこまで担えるかという研究が現在進行系で進んでいる。

性能を左右するパラメータ

  1. 解像度と帯域のトレードオフ: GenX320の320×320はエッジ・ウェアラブル向けの低消費電力を優先した設計であるのに対し、Samsung DVS-Gen4の1280×960やSony IMX636の1280×720は、より高精細な用途を意識した解像度である。ただしイベントカメラは動きが速いほど発生するイベント数も増えるため、解像度が上がるほど後段の処理系に要求される帯域も跳ね上がる点は従来のフレームレートの発想とは異なる
  2. ダイナミックレンジ: GenX320の140dB超、IMX636の120dB超(低照度カットオフ時)に対し、Samsung DVS-Gen4は100dBとやや控えめである。DSECのようにトンネルや逆光といった高ダイナミックレンジのシーンを主戦場にする用途では、この数値がそのまま実用可否を左右する
  3. レイテンシ・時間分解能: 2008年のDVS128が既に15マイクロ秒を達成していた一方、GenX320やSamsung DVS-Gen4のレイテンシは1000luxで150マイクロ秒前後とされ、単純な世代間の改善競争ではなく、照度条件や処理回路の設計方針(超低消費電力かどうか等)とのトレードオフで決まる数値であることに注意が要る
  4. コントラスト閾値: GenX320の公称閾値25%のように、輝度変化をイベントとして拾う閾値の設定はノイズと感度のトレードオフそのものである。閾値を下げれば微小な変化まで拾える代わりにノイズイベントが増え、上げればノイズは減るが速い変化の一部を取りこぼす
  5. 消費電力: DVXplorerが5Vで140mA未満(700mW程度)であるのに対し、GenX320の超低消費電力モードは36µWと、実に4桁近く異なるオーダーの製品が同じ「イベントカメラ」というカテゴリに共存している。常時稼働が前提のウェアラブル・IoT向けか、ロボットに載せて大量のイベントを高速処理する前提かで、選ぶべき製品はまったく違う
  6. 純粋なDVSかハイブリッドか: DAVIS346のようにグレースケールフレームも同時出力できるハイブリッド型は、既存の画像認識パイプラインをそのまま流用できる利便性がある一方、フレーム出力は55dB・40fpsとイベント出力本来の性能には及ばない。純粋なDVS(DVXplorer、GenX320など)は既存パイプラインとの互換性を犠牲にする代わりに、イベントの利点をフルに引き出せる

参考リンク

#イベントカメラ #DVS #Prophesee #iniVation #センサー #ロボティクス #神経形態工学