Cómo funcionan las cámaras de eventos (DVS) y productos clave — Prophesee, iniVation

La cámara de eventos (Sensor de Visión Dinámica, DVS) es un sensor que captura la luz mediante un método fundamentalmente diferente al de las cámaras convencionales basadas en fotogramas, que fotografían toda la escena a intervalos fijos: cada píxel opera de forma independiente y asíncrona, informando únicamente del instante en que su propio brillo cambia en más de una cantidad determinada, con una resolución temporal del orden de los microsegundos.

Principio: cada píxel informa de forma independiente solo el "cambio"

Un sensor de imagen CMOS/CCD convencional lee todos los píxeles simultáneamente en cada intervalo de exposición y emite los valores de brillo absolutos como una cuadrícula. En cambio, los píxeles de una cámara de eventos almacenan como referencia el valor de brillo logarítmico de la última vez que ese píxel informó un valor, y en el instante en que el brillo logarítmico actual cambia con respecto a esa referencia en más de un umbral C, ese píxel en particular genera un "evento". El evento que indica que el píxel (x, y) se activa en el instante t se genera

en el momento en que se cumple esta condición, y la salida se convierte en una secuencia asíncrona de cuádruplas e_k = (x_k, y_k, t_k, p_k) (coordenadas, marca de tiempo, polaridad). Este esquema de salida, que solo proporciona coordenadas y una marca de tiempo en cada ocasión, se denomina AER (Representación de Evento-Dirección) y distingue los cambios de brillo (encendido) de los de brillo (apagado) mediante la polaridad p_k. Dado que el concepto de fotograma no existe, no se genera ninguna salida si no hay movimiento en la escena, y cuanto más rápido sea el movimiento, mayor será la cantidad de eventos que se activan a intervalos más cortos.

Las dos propiedades que definen este esquema provienen directamente de su diseño de circuito de respuesta logarítmica. La primera es la resolución temporal: dado que cada píxel determina su umbral de forma independiente, los cambios pueden detectarse, en principio, en el orden de los microsegundos; incluso el primer chip DVS anunciado en 2008 (que se analiza más adelante) alcanzó una latencia de 15 microsegundos. Al no estar ligado al concepto de velocidad de fotogramas, el desenfoque de movimiento que las cámaras basadas en fotogramas no pueden evitar no se produce, en principio. La segunda es el rango dinámico: dado que cada píxel determina su umbral de forma independiente en una escala logarítmica, mientras que los sensores convencionales alcanzan un máximo de entre 60 y 70 dB, limitado por la capacidad del pozo (el límite superior de la carga que puede acumular un fotodiodo), los sensores de eventos superan los 100 dB, y en algunos productos alcanzan los 140 dB. Por ello, incluso en escenas con diferencias extremas entre luz y oscuridad —por ejemplo, una carretera iluminada por el sol y la entrada de un túnel a la sombra coexistiendo en la misma escena— los cambios pueden capturarse continuamente sin sobreexposición ni pérdida de detalle en las zonas oscuras.

Existen, en general, dos familias de implementación. Existe el sistema "DVS puro", que solo realiza la detección de cambios, como en DVS128, iniVation DVXplorer y Prophesee GenX320, y el enfoque híbrido, como en iniVation DAVIS346 y ATIS (que se describen más adelante), que añade un circuito que también mide el valor de brillo real (escala de grises) solo para los píxeles donde se detectó un cambio, además del circuito de detección de cambios. Este último genera simultáneamente una salida de eventos asíncrona y, a una baja velocidad de fotogramas, una imagen convencional en escala de grises, lo que permite aprovechar las ventajas de los eventos y, al mismo tiempo, ser compatible con los flujos de procesamiento de imágenes existentes; sin embargo, también hereda la limitación de que no se puede obtener un valor de brillo de los píxeles que no han sufrido cambios.

Diferencia entre los datos generados por una cámara de fotogramas (arriba) y una cámara de eventos (abajo) de la misma escena

Imagen: Event camera comparison (TimoStoffregen, CC BY-SA 4.0), Wikimedia Commons.

Como muestra la imagen comparativa anterior, mientras que una cámara de fotogramas genera una "fotografía de toda la escena" a intervalos fijos, una cámara de eventos genera solo un grupo disperso de eventos a lo largo de los contornos en movimiento. Dado que un fondo estático no produce ningún dato, también se puede describir como si el sensor entregara los datos con la redundancia de la escena eliminada desde el principio. Para su visión industrial basada en eventos, Prophesee afirma que en aplicaciones como la inspección visual en líneas de producción de envases de bebidas y robots de soldadura láser, puede medir objetos que se mueven a más de 10 metros por segundo a una velocidad superior a 1000 por segundo, reduciendo el volumen de datos a procesar a aproximadamente una centésima parte en comparación con los métodos convencionales basados en fotogramas. Esto se debe directamente a que el sensor nunca genera datos para "píxeles que no han cambiado".

Comparación de las especificaciones de los productos clave

Kit de evaluación de la cámara de eventos Prophesee

Imagen: Prophesee Event Camera Evaluation Kit (Auledas, CC BY 4.0), Wikimedia Commons.

La iniVation DVXplorer tiene una resolución equivalente a VGA de 640 × 480 y una IMU de 6 ejes integrada. Es una cámara DVS pura ampliamente utilizada en la investigación robótica. El DAVIS346 es un diseño híbrido que alberga un circuito de detección de cambios y una salida de fotogramas en escala de grises en un solo chip: la salida de eventos en sí tiene un rango dinámico de 120 dB, pero los fotogramas que puede emitir simultáneamente están limitados a 55 dB y 40 fps; este producto deja claro que las ventajas de DVS puro y la compatibilidad con el procesamiento basado en fotogramas están en una relación de compromiso. El Sony IMX636 combina la tecnología de fabricación de sensores apilados de Sony con el conocimiento de detección de eventos de Prophesee (que se analiza más adelante) y, con 1280 × 720, se sitúa en la clase de alta resolución para una cámara de eventos; También se ha adoptado en la serie "uEye EVS" que el fabricante de cámaras industriales IDS Imaging Development Systems anunció en 2025. La GenX320 tiene una resolución ligeramente inferior, de 320 × 320, pero cuenta con un modo de ultrabajo consumo que reduce el consumo a 36 µW, lo que la convierte en una solución ideal para dispositivos portátiles siempre activos y detección perimetral para IoT. La Samsung DVS-Gen4 tiene la mayor resolución, de 1280 × 960, y su unión Cu-Cu dentro de los píxeles (una técnica de apilamiento que une directamente cobre con cobre), junto con un diseño de circuito que suprime la fuga de drenaje inducida por la puerta (GIDL), minimiza el aumento de la corriente de fuga que conlleva una mayor resolución.

¿De dónde surgió el ojo electrónico?: de la retina de silicio a la industria de las cámaras para eventos

1988, la retina de silicio en Caltech — El origen directo de la cámara para eventos se remonta al artículo de 1988 «Un modelo de silicio del procesamiento visual temprano», publicado por Carver Mead, conocido como uno de los padres del circuito integrado, junto con Misha Mahowald, entonces estudiante de posgrado. Ambos construyeron una «retina de silicio» que imitaba el procesamiento visual temprano de la retina mediante circuitos CMOS analógicos, abriendo así el campo de la «ingeniería neuromórfica»: el intento de reproducir el procesamiento de información del cerebro en hardware. Mead recibió posteriormente un premio a la trayectoria profesional en ingeniería neuromórfica del Caltech por este trabajo.

**En 2008, Patrick Lichtsteiner, Christoph Posch y Tobi Delbrück publicaron «Un sensor de visión de contraste temporal asíncrono de 128×128 píxeles, 120 dB y 15 μs de latencia» en la revista IEEE Journal of Solid-State Circuits, demostrando un sensor totalmente asíncrono con 128×128 píxeles, un rango dinámico de 120 dB y una latencia de 15 microsegundos: el prototipo de lo que hoy se conoce como «DVS». El artículo fue citado ampliamente, ocupando el cuarto lugar en citas durante la década anterior en dicha revista, y desde entonces se ha convertido en el punto de partida de facto para la investigación en cámaras de eventos.

2011, ATIS combina la detección de cambios con la medición de brillo — Christoph Posch se trasladó al Instituto Austriaco de Tecnología (AIT) y presentó ATIS (Sensor de Imagen Asíncrono Basado en el Tiempo), que combinaba un circuito de detección de cambios con otro que medía el brillo real (valor de escala de grises) en función del tiempo, pero solo para los píxeles donde se detectaba un cambio. ATIS alcanzó un rango dinámico superior a 143 dB y, como diseño que respondía a la necesidad práctica de "no solo detectar cambios, sino también imágenes", se convirtió en la base técnica para el posterior DAVIS y otros productos híbridos.

2014, se funda Chronocam y se crean dos empresas derivadas de la ETH/Universidad de Zúrich — En 2014, Posch fundó Chronocam junto con Ryad Benosman, Bernard Gilly y Luca Verre en el estudio de startups parisino iBionext, con el objetivo de comercializar la tecnología ATIS desarrollada en el AIT. Chronocam cambió su nombre a Prophesee en 2018, junto con una ronda de financiación Serie B de 19 millones de dólares. Mientras tanto, desde el Instituto de Neuroinformática (INI) de la Universidad de Zúrich/ETH Zúrich, que había producido DVS128, cuatro personas —Tobi Delbrück, Rodney Douglas, Kynan Eng y Sven-Erik Jacobsen— escindieron iniVation en 2015, y un equipo independiente escindió SynSense en 2017. Estas dos empresas, que compartían el mismo instituto como origen común, se reunieron de nuevo en 2024 cuando SynSense adquirió todas las acciones de iniVation. En China, CelePixel, con sede en Shanghái, fue fundada en 2017 por Chen Shoushun y otros, y fue adquirida en 2019 por Will Semiconductor, la empresa matriz de OmniVision. En 2020, Sony aportó su tecnología de fabricación de sensores de imagen apilados y Prophesee su experiencia en detección de eventos a un proyecto de desarrollo conjunto, que se materializó en el IMX636 mencionado anteriormente. Una tecnología especializada surgida de un laboratorio de neurociencia, que en poco más de una década logró asociarse con un importante fabricante de sensores de imagen como Sony: esa es la historia de este sensor hasta el momento.

Un ejemplo real: la cámara estereoscópica para eventos "DSEC" que recorrió Zúrich

Las cámaras para eventos aún no son un sensor que se utilice en las líneas de producción en masa de los fabricantes de automóviles, pero existen ejemplos de unidades múltiples en fase de investigación y desarrollo. El conjunto de datos DSEC (A Stereo Event Camera Dataset for Driving Scenarios), publicado en 2021 por el Grupo de Robótica y Percepción de la ETH Zurich/Universidad de Zúrich, se recopiló con un vehículo equipado con un sistema estéreo de dos cámaras de eventos Prophesee Gen3.1 (640×480) montadas a izquierda y derecha con una línea base de 60 cm, sincronizadas con dos cámaras de fotogramas a color FLIR Blackfly S, LiDAR y RTK-GPS, que recorrieron varias ciudades suizas, como Zúrich, Thun e Interlaken, para recopilar más de una hora de datos de conducción. Destaca por haber sido grabado específicamente para capturar escenas de alto rango dinámico donde las cámaras estándar tienden a alcanzar los límites del control de exposición (entradas y salidas de túneles, fuerte contraluz al atardecer y al amanecer). Al igual que con las configuraciones monoculares, está diseñado para utilizar una línea base amplia también en estéreo, para garantizar la precisión de la disparidad a distancias considerables y, al mismo tiempo, verificar si la cámara de eventos puede seguir capturando cambios incluso en escenas donde la cámara de fotogramas sobreexpone las luces altas o comprime las sombras. DSEC sigue siendo una referencia vigente hoy en día, ya que sienta las bases para la investigación sobre la robustez con la que pueden funcionar algoritmos de autolocalización como Visual-SLAM en entornos con poca luz, donde las cámaras convencionales tienen dificultades.

Investigación sobre la lectura de rostros en grabaciones aparentemente ruidosas y el uso de SLAM a bordo de un UAV

Un conjunto de datos de detección de rostros en flujos de eventos, procedente de Kazajistán — El ISSAI (Instituto de Sistemas Inteligentes e Inteligencia Artificial) de la Universidad Nazarbayev publicó el artículo «Rostros en flujos de eventos (FES): Un conjunto de datos de rostros anotados para cámaras de eventos», de Bissarinova, Rakhimzhanova, Kenzhebalin y Varol, en la revista Sensors (Volumen 24, Número 5, artículo 1409) en 2024. Se trata del primer conjunto de datos a gran escala de este tipo, que anota 1,6 millones de rostros y puntos de referencia faciales de 5 puntos en 689 minutos de flujos de eventos. Se informa que los 12 modelos que lo acompañan detectan rostros y puntos de referencia faciales con una precisión superior al 90 % en mAP50. La imagen que aparece a continuación es la imagen de portada de su repositorio de GitHub, donde se aprecian los rostros y contornos de varias personas que emergen como acumulaciones de eventos a partir de un metraje que, de otro modo, parecería simple ruido punteado. El principio fundamental de la cámara de eventos —que nada que no esté en movimiento se graba— produce un metraje de "solo contornos y movimiento" sin textura fotográfica, y también se han señalado sus posibles aplicaciones en casos de uso de vigilancia y monitoreo sensibles a la privacidad.

Rostros y recuadros de detección que emergen en un flujo de eventos (imagen de portada del conjunto de datos FES)

Imagen: Faces en Event Streams (Ulzhanbis, CC BY 4.0), Wikimedia Commons. Imagen de portada de GitHub para el artículo del conjunto de datos FES de ISSAI (Universidad Nazarbayev) (Bissarinova et al., Sensors 2024, 24(5):1409).

SLAM de eventos estéreo funcionando a bordo de un UAV y un experimento esquivando "objetos lanzados" — La robótica es donde la baja latencia y el alto rango dinámico de la cámara de eventos resultan más ventajosos. El artículo "AERO-VIS: Asynchronous Event-based Real-time Onboard Visual-Inertial SLAM" (arXiv:2605.07885), publicado en mayo de 2026, combina una cámara de eventos estéreo con una IMU, implementa un detector de características que procesa el flujo de eventos de forma asíncrona y reporta una precisión que el SLAM convencional basado en eventos no podía alcanzar, al montarlo en un UAV (vehículo aéreo no tripulado) y ejecutarlo a bordo. Por separado, el Grupo de Robótica y Percepción de la Universidad de Zúrich, dirigido por Davide Scaramuzza, informa que en un experimento con un cuadricóptero que evitaba obstáculos basándose únicamente en una cámara de eventos monocular, detectó objetos entrantes con una probabilidad del 81-97% en 3,5 milisegundos y logró esquivar objetos lanzados desde 3 metros de distancia a 10 metros por segundo con una probabilidad superior al 90%. El mismo grupo afirma que el uso de cámaras de eventos podría aumentar la velocidad de vuelo de los drones hasta diez veces, y se está investigando hasta qué punto las cámaras de eventos pueden transmitir información en regímenes de velocidad que las cámaras basadas en fotogramas no pueden igualar.

Parámetros que determinan el rendimiento

1. Relación resolución/ancho de banda: La resolución de 320×320 de la GenX320 prioriza el bajo consumo de energía para su uso en dispositivos periféricos y portátiles, mientras que las resoluciones de 1280×960 de la Samsung DVS-Gen4 y 1280×720 de la Sony IMX636 están orientadas a aplicaciones de mayor fidelidad. Sin embargo, dado que una cámara de eventos genera más eventos a medida que aumenta la velocidad del movimiento y la resolución, el ancho de banda requerido para el procesamiento posterior también aumenta bruscamente, un aspecto que difiere de la forma convencional de pensar sobre la velocidad de fotogramas.
2. Rango dinámico: En comparación con los más de 140 dB de la GenX320 y los más de 120 dB de la IMX636 (con corte por baja luminosidad), la Samsung DVS-Gen4 es algo más modesta, con 100 dB. En aplicaciones como DSEC, donde las escenas de alto rango dinámico, como túneles y contraluz, son el principal campo de batalla, esta cifra determina directamente su viabilidad práctica.
3. Latencia / resolución temporal: Si bien el DVS128 de 2008 ya alcanzaba los 15 microsegundos, se dice que la latencia del GenX320 y del Samsung DVS-Gen4 ronda los 150 microsegundos a 1000 lux. Es importante tener precaución, ya que no se trata de una simple mejora generacional, sino de una cifra determinada por un equilibrio entre las condiciones de iluminación y la política de diseño del circuito de procesamiento (como la prioridad que se le da al consumo ultrabajo).
4. Umbral de contraste: Al igual que con el umbral nominal del 25 % del GenX320, la configuración del umbral que detecta un cambio de brillo como un evento implica un equilibrio entre ruido y sensibilidad. Reducir el umbral permite detectar incluso cambios mínimos a costa de generar más eventos de ruido. Aumentarlo reduce el ruido, pero se pierden algunos cambios rápidos.
5. Consumo de energía: Frente a los menos de 140 mA a 5 V (aproximadamente 700 mW) de DVXplorer, el modo de ultrabajo consumo de GenX320 es de 36 µW; coexisten productos con diferencias de casi cuatro órdenes de magnitud dentro de la misma categoría de "cámara de eventos". El uso continuo en dispositivos portátiles/IoT o su montaje en un robot para procesar grandes volúmenes de eventos a alta velocidad cambia por completo la elección del producto.
6. DVS puro o híbrido: Un tipo híbrido como DAVIS346, que también puede generar fotogramas en escala de grises simultáneamente, tiene la ventaja de reutilizar directamente una canalización de reconocimiento de imágenes existente, pero su salida de fotogramas a 55 dB/40 fps no alcanza el nivel de la propia salida de eventos. El DVS puro (DVXplorer, GenX320 y otros) sacrifica la compatibilidad con los flujos de trabajo existentes a cambio de aprovechar al máximo los eventos.