Funktionsweise von Eventkameras (DVS) und wichtige Produkte – Prophesee, iniVation

Die Ereigniskamera (Dynamic Vision Sensor, DVS) ist ein Sensor, der Licht grundlegend anders erfasst als herkömmliche, bildbasierte Kameras, die die gesamte Szene in festen Intervallen fotografieren: Jedes Pixel arbeitet unabhängig und asynchron zu den anderen und meldet nur den Moment, in dem sich seine Helligkeit um mehr als einen festgelegten Wert ändert – und zwar mit einer zeitlichen Auflösung im Mikrosekundenbereich.

Prinzip: Jedes Pixel meldet unabhängig nur die Änderung

Ein herkömmlicher CMOS/CCD-Bildsensor liest alle Pixel gleichzeitig in jedem Belichtungsintervall aus und gibt die absoluten Helligkeitswerte als rasterförmiges Bild aus. Die Pixel einer Ereigniskamera hingegen speichern jeweils den Logarithmus der Helligkeit vom letzten Zeitpunkt, an dem dieses Pixel einen Wert gemeldet hat, als Referenzwert. Sobald sich die aktuelle Helligkeit um mehr als einen Schwellenwert C von diesem Referenzwert ändert, löst dieses einzelne Pixel ein Ereignis aus. Das Ereignis, dass Pixel (x, y) zum Zeitpunkt t auslöst, wird generiert.

Sobald diese Bedingung erfüllt ist, wird eine asynchrone Sequenz von 4-Tupeln e_k = (x_k, y_k, t_k, p_k) (Koordinaten, Zeitstempel, Polarität) ausgegeben. Dieses Schema, bei dem jeweils nur Koordinaten und ein Zeitstempel ausgegeben werden, wird als AER (Address-Event Representation) bezeichnet. Es unterscheidet Helligkeitsänderungen (EIN) von Helligkeitsänderungen (AUS) durch die Polarität p_k. Da kein Frame-Konzept existiert, wird nichts ausgegeben, wenn keine Bewegung in der Szene vorhanden ist. Je schneller die Bewegung, desto mehr Ereignisse werden in kürzeren Abständen ausgelöst.

Die beiden definierenden Eigenschaften dieses Schemas ergeben sich direkt aus seinem logarithmischen Schaltungsdesign. Die erste Besonderheit ist die Zeitauflösung: Da jedes Pixel seine Schwellenwertentscheidung unabhängig trifft, können Änderungen prinzipiell im Mikrosekundenbereich erfasst werden – selbst der frühe DVS-Chip aus dem Jahr 2008 (siehe unten) erreichte eine Latenz von 15 Mikrosekunden. Da die Technologie nicht an das Konzept einer Bildrate gebunden ist, tritt die Bewegungsunschärfe, die bei bildbasierten Kameras unvermeidbar ist, prinzipiell nicht auf. Die zweite Besonderheit ist der Dynamikumfang: Da jedes Pixel seine Schwellenwertentscheidung unabhängig auf einer logarithmischen Skala trifft, erreichen herkömmliche Sensoren maximal 60–70 dB, begrenzt durch die Ladungsspeicherkapazität (die maximale Ladungsmenge, die eine Fotodiode speichern kann). Ereignissensoren hingegen überschreiten 100 dB und erreichen in manchen Produkten sogar 140 dB. Daher können selbst in Szenen mit extremen Hell-Dunkel-Kontrasten – beispielsweise einer sonnenbeschienenen Straße und einem schattigen Tunneleingang in derselben Szene – Änderungen kontinuierlich erfasst werden, ohne dass Lichter überbelichtet oder Schwarz abgeschnitten wird.

Es gibt im Wesentlichen zwei Implementierungsarten. Es gibt „reines DVS“, das ausschließlich Änderungserkennung durchführt, wie beispielsweise DVS128, iniVation DVXplorer und Prophesee GenX320. Demgegenüber steht der Hybridansatz, wie in iniVation DAVIS346 und ATIS (siehe unten). Dieser ergänzt die Änderungserkennungsschaltung um eine Schaltung, die den tatsächlichen Helligkeitswert (Graustufenwert) nur für die Pixel misst, bei denen eine Änderung festgestellt wurde. Letzteres liefert sowohl asynchrone Ereignisausgabe als auch – bei niedriger Bildrate – gleichzeitig ein herkömmliches Graustufenbild. Dadurch werden die Vorteile von Ereignissen genutzt, während die Kompatibilität mit bestehenden Bildverarbeitungspipelines erhalten bleibt. Allerdings ergibt sich dadurch auch die Einschränkung, dass für Pixel ohne Änderung kein Helligkeitswert ermittelt werden kann.

Der Unterschied zwischen den Daten, die von einer rahmenbasierten Kamera (oben) und einer Ereigniskamera (unten) derselben Szene ausgegeben werden.

Bild: Event Kameravergleich (TimoStoffregen, CC BY-SA 4.0), Wikimedia Commons.

Wie das obige Vergleichsbild zeigt, gibt eine rahmenbasierte Kamera in festen Intervallen ein „Foto der gesamten Szene“ aus, während eine Ereigniskamera lediglich eine vereinzelte Ansammlung von Ereignissen entlang der sich bewegenden Konturen erzeugt. Da ein statischer Hintergrund keinerlei Daten erzeugt, kann man dies auch so beschreiben, als würde der Sensor Daten liefern, deren Redundanz von vornherein entfernt wurde. Prophesee gibt für seine ereignisbasierte industrielle Bildverarbeitung an, dass sie in Anwendungen wie der visuellen Inspektion von Getränkekarton-Produktionslinien und Laserschweißrobotern Objekte, die sich schneller als 10 Meter pro Sekunde bewegen, mit einer Frequenz von über 1.000 pro Sekunde messen kann. Gleichzeitig wird das zu verarbeitende Datenvolumen im Vergleich zu herkömmlichen framebasierten Methoden auf etwa ein Hundertstel reduziert – eine direkte Folge der Tatsache, dass der Sensor von vornherein keine Daten für „unveränderte Pixel“ generiert.

Vergleich der Spezifikationen wichtiger Produkte

Ein Prophesee Event-Kamera-Evaluierungskit

Bild: Prophesee Event Camera Evaluation Kit (Auledas, CC BY 4.0), Wikimedia Commons.

Die iniVation DVXplorer bietet eine VGA-äquivalente Auflösung von 640 × 480 Pixeln und einen integrierten 6-Achsen-IMU. Sie ist eine reine DVS-Kamera, die in der Robotikforschung weit verbreitet ist. Der DAVIS346 ist ein Hybrid-Design, das sowohl eine Änderungsdetektionsschaltung als auch eine Graustufenbildausgabe auf einem einzigen Chip vereint: Die Ereignisausgabe selbst bietet einen Dynamikumfang von 120 dB, die gleichzeitig auszugebenden Bilder sind jedoch auf 55 dB und 40 fps begrenzt – dieses Produkt verdeutlicht, dass die Vorteile von reinem DVS und die Kompatibilität mit framebasierter Verarbeitung in einem Zielkonflikt stehen. Der Sony IMX636 kombiniert Sonys Technologie zur Herstellung gestapelter Sensoren mit dem (weiter unten beschriebenen) Know-how von Prophesee im Bereich der Ereigniserkennung und zählt mit 1280×720 Pixeln zur hochauflösenden Klasse der Ereigniskameras. Sie wurde auch in der „uEye EVS“-Serie eingesetzt, die der Industriekamerahersteller IDS Imaging Development Systems für 2025 angekündigt hat. Die GenX320 bietet mit 320 × 320 Pixeln eine etwas geringere Auflösung, verfügt aber über einen extrem stromsparenden Modus, der den Verbrauch auf 36 µW reduziert. Dadurch eignet sie sich ideal für Wearables mit Always-on-Betrieb und Edge-Sensing im IoT-Bereich. Die Samsung DVS-Gen4 bietet mit 1280 × 960 Pixeln die höchste Pixelanzahl. Ihre In-Pixel-Cu-Cu-Bonding-Technologie (eine Stapeltechnik, die Kupfer direkt mit Kupfer verbindet) und ein Schaltungsdesign zur Unterdrückung von GIDL (Gate-Induced Drain Leakage) begrenzen den mit der höheren Auflösung einhergehenden Anstieg des Leckstroms.

Woher kommt das elektronische Auge? Von der Silizium-Retina zur Ereigniskamera-Industrie

1988, die Silizium-Retina am Caltech – Die Entstehung der Ereigniskamera lässt sich direkt auf die 1988 veröffentlichte Arbeit „A Silicon Model of Early Visual Processing“ von Carver Mead, einem der Väter des integrierten Schaltkreises, und seinem damaligen Doktoranden Misha Mahowald zurückführen. Die beiden bauten eine „Silizium-Retina“, die die frühe visuelle Verarbeitung der Retina mithilfe analoger CMOS-Schaltungen nachbildete. Damit eröffneten sie das Feld des „neuromorphen Engineerings“ – den Versuch, die Informationsverarbeitung des Gehirns in Hardware zu reproduzieren. Mead erhielt später für diese Arbeit einen Preis für sein Lebenswerk im Bereich des neuromorphen Engineerings vom Caltech.

2008, ein vollständig asynchroner DVS der ETH Zürich / Universität Zürich – Patrick Lichtsteiner, Christoph Posch und Tobi Delbrück veröffentlichten im IEEE Journal of Solid-State Circuits den Artikel „A 128×128 120 dB 15 μs Latency Asynchronous Temporal Contrast Vision Sensor“. Darin demonstrierten sie einen vollständig asynchronen Sensor mit 128×128 Pixeln, 120 dB Dynamikumfang und 15 Mikrosekunden Latenz – den Prototyp dessen, was heute als „DVS“ (Digital Visual Sensor) bezeichnet wird. Die Arbeit wurde so häufig zitiert, dass sie in den letzten zehn Jahren in dieser Zeitschrift auf Platz 4 der meistzitierten Artikel rangierte und sich seither zum Standard für die Forschung im Bereich der Ereigniskameras entwickelt hat.

2011, ATIS kombiniert Änderungserkennung mit Helligkeitsmessung – Christoph Posch wechselte an das Austrian Institute of Technology (AIT) und präsentierte ATIS (Asynchronous Time-based Image Sensor). Dieser Sensor kombinierte eine Schaltung zur Änderungserkennung mit einer Schaltung, die zusätzlich die tatsächliche Helligkeit (Graustufenwert) zeitbasiert misst, jedoch nur für Pixel, bei denen eine Änderung festgestellt wurde. ATIS erreichte einen Dynamikbereich von über 143 dB und wurde als Design, das dem realen Anwendungsbedarf nach „nicht nur Änderungserkennung, sondern auch Bilderkennung“ gerecht wurde, zur technischen Grundlage für das spätere DAVIS und andere Hybridprodukte.

2014, Gründung von Chronocam und zwei Ausgründungen der ETH Zürich/Universität Zürich – 2014 gründete Posch zusammen mit Ryad Benosman, Bernard Gilly und Luca Verre im Pariser Startup-Studio iBionext Chronocam, um die am AIT entwickelte ATIS-Technologie zu kommerzialisieren. Chronocam benannte sich 2018 im Zuge einer Finanzierungsrunde der Serie B in Prophesee um und erhielt dafür 19 Millionen US-Dollar. Parallel dazu gründeten vier Mitarbeiter des Instituts für Neuroinformatik (INI) der Universität Zürich/ETH Zürich, das den DVS128 entwickelt hatte, 2015 das Unternehmen iniVation. Ein separates Team gründete 2017 SynSense. Diese beiden Unternehmen, die beide aus demselben Institut stammen, fusionierten 2024 wieder, als SynSense alle Anteile von iniVation übernahm. In China wurde 2017 das in Shanghai ansässige Unternehmen CelePixel von Chen Shoushun und anderen gegründet und 2019 von Will Semiconductor, dem Mutterkonzern von OmniVision, übernommen. 2020 brachten Sony seine Technologie zur Herstellung gestapelter Bildsensoren und Prophesee sein Know-how im Bereich der Ereigniserkennung in eine gemeinsame Entwicklungsinitiative ein, aus der der oben erwähnte IMX636 hervorging. Eine Nischentechnologie aus einem neurowissenschaftlichen Labor, die in gut einem Jahrzehnt den Status einer Partnerschaft mit einem führenden Bildsensorhersteller wie Sony erreicht hat – so lässt sich die bisherige Geschichte dieses Sensors beschreiben.

Ein konkretes Beispiel: das Stereo-Eventkamera-Rig „DSEC“, das durch Zürich fuhr

Eventkameras sind zwar noch keine Sensoren, die in der Massenproduktion von Automobilherstellern verbaut werden, aber es gibt bereits Beispiele mit mehreren Einheiten, die sich in der Forschung und Entwicklung befinden. Der Datensatz DSEC (A Stereo Event Camera Dataset for Driving Scenarios), der 2021 von der Robotik- und Wahrnehmungsgruppe der ETH Zürich/Universität Zürich veröffentlicht wurde, entstand mit einem Fahrzeug, das mit einem Stereo-Rig aus zwei Prophesee Gen3.1 Eventkameras (640×480) ausgestattet war. Diese waren links und rechts mit einem Abstand von 60 cm montiert und mit zwei FLIR Blackfly S Farbkameras, LiDAR und RTK-GPS synchronisiert. Das Fahrzeug fuhr durch mehrere Schweizer Städte, darunter Zürich, Thun und Interlaken, und sammelte über eine Stunde Fahrdaten. Es ist bemerkenswert, dass es speziell für Szenen mit hohem Dynamikumfang entwickelt wurde, in denen Standardkameras an die Grenzen der Belichtungssteuerung stoßen – Tunnelein- und -ausgänge, starkes Gegenlicht bei Sonnenaufgang und -untergang. Wie bei monokularen Systemen wird auch hier eine breite Basislinie im Stereobild verwendet, um die Genauigkeit der Disparitätsmessung bis in große Entfernungen zu gewährleisten und gleichzeitig zu überprüfen, ob die Ereigniskamera Veränderungen auch dann erfassen kann, wenn die Rahmenkamera Lichter überbelichtet oder Schwarzwerte absauft. DSEC dient bis heute als Grundlage für die Forschung zur robusten Anwendung von Selbstlokalisierungsalgorithmen wie Visual-SLAM in Umgebungen mit schlechten Lichtverhältnissen, mit denen herkömmliche Kameras Schwierigkeiten haben, und wird daher weiterhin als Referenz herangezogen.

Forschung zur Gesichtserkennung in scheinbar verrauschtem Videomaterial und SLAM an Bord einer Drohne

Ein Datensatz zur Gesichtserkennung in Ereignisströmen aus Kasachstan – Das ISSAI (Institut für Intelligente Systeme und Künstliche Intelligenz) der Nazarbayev-Universität veröffentlichte 2024 die Studie „Faces in Event Streams (FES): An Annotated Face Dataset for Event Cameras“ von Bissarinova, Rakhimzhanova, Kenzhebalin und Varol in der Fachzeitschrift Sensors (Band 24, Ausgabe 5, Artikelnummer 1409). Es handelt sich um den ersten umfangreichen Datensatz dieser Art mit 1,6 Millionen annotierten Gesichtern und 5-Punkt-Gesichtsmerkmalen in 689 Minuten Ereignisstrommaterial. Die 12 zugehörigen Modelle erkennen Gesichter und Gesichtsmerkmale mit einer Genauigkeit von über 90 % bei mAP50. Das untenstehende Bild ist das Titelbild des GitHub-Repositorys. Es zeigt mehrere Gesichter und Umrisse, die sich als Ansammlung von Ereignissen aus einem ansonsten nur verpixelten Filmmaterial herauskristallisieren. Das Prinzip der Ereigniskamera – dass nichts Stillstandhaftes aufgezeichnet wird – erzeugt Aufnahmen, die ausschließlich aus Umrissen und Bewegung bestehen und keine fotografische Textur aufweisen. Auch auf ihre potenziellen Anwendungen im Bereich datenschutzsensibler Überwachung und Kontrolle wurde hingewiesen.

Gesichter und Erkennungsrahmen in einem Ereignisstrom (Titelbild des FES-Datensatzes)

Bild: Faces in Event Streams (Ulzhanbis, CC BY 4.0), Wikimedia Commons. GitHub-Titelbild für die Veröffentlichung zum FES-Datensatz von ISSAI (Nazarbayev University) (Bissarinova et al., Sensors 2024, 24(5):1409).

**Stereo-Event-SLAM an Bord einer Drohne und ein Experiment zum Ausweichen von „geworfenen Objekten“** – In der Robotik zahlt sich die geringe Latenz und der hohe Dynamikumfang der Ereigniskamera am meisten aus. Die erst im Mai 2026 veröffentlichte Arbeit „AERO-VIS: Asynchronous Event-based Real-time Onboard Visual-Inertial SLAM“ (arXiv:2605.07885) kombiniert eine Stereo-Ereigniskamera mit einer IMU, implementiert einen Merkmalsdetektor, der den Ereignisstrom asynchron verarbeitet, und berichtet von einer Genauigkeit, die mit herkömmlichem ereignisbasiertem SLAM nicht erreicht werden konnte. Dies wurde durch die Montage auf einem UAV (unbemanntes Luftfahrzeug) und dessen Onboard-Betrieb erzielt. Unabhängig davon berichtet die Arbeitsgruppe für Robotik und Wahrnehmung der Universität Zürich unter der Leitung von Davide Scaramuzza, dass in einem Experiment mit einem Quadrocopter, der Hindernissen auswich und ausschließlich auf einer monokularen Ereigniskamera basierte, sich nähernde Objekte mit einer Wahrscheinlichkeit von 81–97 % innerhalb von 3,5 Millisekunden erkannt und aus 3 Metern Entfernung mit einer Geschwindigkeit von 10 Metern pro Sekunde geworfene Objekte mit einer Wahrscheinlichkeit von über 90 % erfolgreich abgewichen wurden. Dieselbe Gruppe gibt außerdem an, dass der Einsatz von Eventkameras die Fluggeschwindigkeit von Drohnen um bis zu das Zehnfache erhöhen könnte. Die Forschung darüber, wie weit Eventkameras die Wahrnehmung in Geschwindigkeitsbereichen übertragen können, mit denen framebasierte Kameras prinzipiell nicht mithalten können, ist im Gange.

Leistungsbestimmende Parameter

1. Der Kompromiss zwischen Auflösung und Bandbreite: Die 320×320 Pixel der GenX320 priorisieren einen geringen Stromverbrauch für den Einsatz am Edge und an Wearables. Die Auflösungen der Samsung DVS-Gen4 (1280×960 Pixel) und der Sony IMX636 (1280×720 Pixel) sind hingegen auf Anwendungen mit höherer Detailgenauigkeit ausgelegt. Da eine Ereigniskamera jedoch mit zunehmender Bewegungsgeschwindigkeit und höherer Auflösung mehr Ereignisse erzeugt, steigt auch der Bandbreitenbedarf der nachgelagerten Verarbeitung sprunghaft an – ein Aspekt, der von der herkömmlichen Betrachtungsweise der Bildrate abweicht.

2. Dynamikumfang: Im Vergleich zu den über 140 dB der GenX320 und den über 120 dB der IMX636 (mit Low-Light-Cutoff) liegt der Dynamikumfang der Samsung DVS-Gen4 mit 100 dB etwas niedriger. In Anwendungen wie DSEC, wo Szenen mit hohem Dynamikumfang wie Tunneln und Gegenlicht die Hauptrolle spielen, entscheidet dieser Wert direkt über die praktische Nutzbarkeit.

3. Latenz/Zeitauflösung: Während der DVS128 aus dem Jahr 2008 bereits 15 Mikrosekunden erreichte, liegt die Latenz des GenX320 und des Samsung DVS-Gen4 bei etwa 150 Mikrosekunden bei 1000 Lux. Hier ist Vorsicht geboten, da es sich nicht um einen einfachen Generationenvergleich handelt, sondern um einen Wert, der durch den Kompromiss zwischen Beleuchtungsbedingungen und der Auslegung der Verarbeitungsschaltung (z. B. ob extrem niedriger Stromverbrauch priorisiert wird) bestimmt wird.

4. Kontrastschwelle: Wie bei der Nennschwelle des GenX320 von 25 % ist die Einstellung der Schwelle, ab der eine Helligkeitsänderung als Ereignis erkannt wird, selbst ein Kompromiss zwischen Rauschen und Empfindlichkeit. Eine niedrigere Schwelle erfasst selbst kleinste Änderungen, führt aber zu mehr Rauschereignissen. Eine Erhöhung reduziert das Rauschen, lässt aber schnelle Änderungen unberücksichtigt.

5. Stromverbrauch: Im Vergleich zu den unter 140 mA bei 5 V (ca. 700 mW) des DVXplorer liegt der Verbrauch im Ultra-Low-Power-Modus des GenX320 bei 36 µW – Produkte mit fast vier Größenordnungen Unterschieden existieren innerhalb derselben Kategorie von Ereigniskameras. Ob die Kamera für den permanenten Einsatz am Körper/IoT oder zur Verarbeitung großer Ereignismengen in hoher Geschwindigkeit an einem Roboter montiert werden soll, beeinflusst die Wahl des Produkts maßgeblich.

6. Reine DVS oder Hybrid: Ein Hybridtyp wie der DAVIS346, der gleichzeitig auch Graustufenbilder ausgeben kann, bietet den Vorteil der direkten Wiederverwendung einer bestehenden Bilderkennungspipeline. Seine Bildausgabe mit 55 dB/40 fps bleibt jedoch hinter den Möglichkeiten der Ereignisausgabe zurück. Reines DVS (DVXplorer, GenX320 und andere) verzichtet auf Kompatibilität mit bestehenden Pipelines, um die Vorteile von Ereignissen voll auszuschöpfen.

Referenzen

• A 128×128 120 dB 15 µs Latenz Asynchronous Temporal Contrast Vision Sensor (IEEE JSSC, Lichtsteiner, Posch, Delbrück, 2008)
• Dynamic Vision Sensor Event Camera (University of Zurich Sensors Group)
• Kommentar zu A Silicon Model of Early Visual Processing (History of Information)
• Live-Demonstration: Asynchronous Time-based Image Sensor (ATIS) camera with full-custom AE processor (Posch et al.)
• Überblick über Prophesee (ehemals Chronocam) und die Geschichte seiner Gründung bei iBionext
• Geschichte des Spin-offs iniVation (Institut für Neuroinformatik, Universität Zürich)
• Übernahme von iniVation durch SynSense (Großraum Zürich)
• Übernahme des DVS-Unternehmens Celepixel durch Will Semiconductor (Image Sensors World)
• Datenblatt iniVation DVXplorer
• Datenblatt iniVation DAVIS346
• Produktinformationen zu Sony/Prophesee IMX636
• Ankündigung der IDS uEye EVS-Serie (Prophesee)
• Prophesee GenX320 Produktinformationen
• Technisches Material zu Samsung DVS-Gen4 (Samsung, CVPR2019 Workshop)
• DSEC: Ein Stereo-Event-Kamera-Datensatz für Fahrszenarien (arXiv:2103.06011)
• DSEC-Projektseite (Universität Zürich)
• Faces in Event Streams (FES): Ein annotierter Gesichtsdatensatz für Event-Kameras (ISSAI)
• Faces in Event Streams Paper (PMC)
• AERO-VIS: Asynchrone ereignisbasierte Echtzeit-Visualisierung Onboard Visual-Inertial SLAM (arXiv:2605.07885)
• Agiler Drohnenflug (Robotik- und Wahrnehmungsgruppe der Universität Zürich)
• Drohne erkennt und umgeht Hindernisse in Millisekunden dank Ereigniskameras (The Robot Report)
• Datei:Event camera comparison.jpg (Wikimedia Commons)
• Datei:Prophesee Event Camera Evaluation Kit.jpg (Wikimedia Commons)
• Datei:Faces in Event Streams.png (Wikimedia Commons)