Contents — find the section you need

A câmera de eventos (Dynamic Vision Sensor, DVS) é um sensor que captura luz por um método fundamentalmente diferente das câmeras convencionais baseadas em quadros, que fotografam toda a cena em intervalos fixos: cada pixel opera de forma independente e assíncrona em relação aos demais, registrando apenas o instante em que seu próprio brilho muda em mais do que um valor predefinido, com resolução temporal da ordem de microssegundos.

Princípio: cada pixel registra independentemente apenas a "mudança"

Um sensor de imagem CMOS/CCD convencional lê todos os pixels simultaneamente a cada intervalo de exposição e emite os valores absolutos de brilho como um quadro em formato de grade. Os pixels de uma câmera de eventos, por outro lado, armazenam o valor de log-brilho da última vez em que o pixel registrou um valor como referência, e no instante em que o log-brilho atual muda em relação a essa referência em mais do que um limite C, esse pixel individual dispara um "evento". O evento de disparo do pixel (x, y) no instante t é gerado

\left| \ln I(x, y, t) - \ln I(x, y, t_{\text{last}}) \right| \geq C

no instante em que essa condição é satisfeita, e a saída se torna uma sequência assíncrona de 4 tuplas e_k = (x_k, y_k, t_k, p_k) (coordenadas, carimbo de data/hora, polaridade). Esse esquema de saída, que gera apenas coordenadas e um carimbo de data/hora a cada vez, é chamado de AER (Representação de Endereço-Evento) e distingue mudanças de aumento de brilho (ON) de mudanças de diminuição de brilho (OFF) pela polaridade p_k. Como o conceito de quadro não existe, nada é gerado se não houver movimento na cena, e quanto mais rápido o movimento, mais eventos são disparados em intervalos menores.

As duas propriedades que definem esse esquema provêm diretamente do seu projeto de circuito de resposta logarítmica. A primeira vantagem é a resolução temporal: como cada pixel define seu limiar de forma independente, as mudanças podem, em princípio, ser detectadas na ordem de microssegundos — mesmo o primeiro chip DVS anunciado em 2008 (discutido abaixo) atingiu uma latência de 15 microssegundos. Como não está atrelado ao conceito de taxa de quadros, o desfoque de movimento, inevitável em câmeras baseadas em quadros, não ocorre, em princípio. A segunda vantagem é a faixa dinâmica: como cada pixel define seu limiar de forma independente em uma escala logarítmica, enquanto os sensores convencionais atingem um limite máximo de cerca de 60-70 dB, limitado pela capacidade do poço (o limite superior da carga que um fotodiodo pode acumular), os sensores de eventos ultrapassam 100 dB e, em alguns produtos, chegam a 140 dB. É por isso que, mesmo em cenas com diferenças extremas entre luz e sombra — uma estrada ensolarada e a entrada sombreada de um túnel coexistindo na mesma cena, por exemplo — as mudanças ainda podem ser capturadas continuamente, sem altas luzes estouradas ou pretos saturados.

Existem, basicamente, duas famílias de implementação. Existe o "DVS puro", que realiza apenas a detecção de mudanças, como no DVS128, iniVation DVXplorer e Prophesee GenX320, e existe a abordagem híbrida, como no iniVation DAVIS346 e ATIS (discutido abaixo), que adiciona um circuito que também mede o valor real de brilho (escala de cinza) apenas para os pixels onde uma mudança foi detectada, além do circuito de detecção de mudanças. Este último gera simultaneamente uma saída de eventos assíncrona e, em uma baixa taxa de quadros, uma imagem convencional em escala de cinza, o que permite explorar as vantagens dos eventos, mantendo a compatibilidade com os fluxos de processamento de imagem existentes — mas também herda a limitação de que um valor de brilho não pode ser obtido de pixels sem mudanças.

Uma imagem comparativa com a filmagem de uma chita correndo, capturada por uma câmera convencional baseada em quadros (acima), e a nuvem de pontos de eventos capturada por uma câmera de eventos da mesma cena (abaixo)A diferença entre os dados gerados por uma câmera baseada em quadros (acima) e uma câmera de eventos (abaixo) da mesma cena

Imagem: Event camera comparison (TimoStoffregen, CC BY-SA 4.0), Wikimedia Commons.

Como mostra a imagem comparativa acima, enquanto uma câmera baseada em quadros gera uma "fotografia da cena inteira" em intervalos fixos, uma câmera de eventos gera apenas um conjunto esparso de eventos dispersos ao longo dos contornos em movimento. Como um fundo estático não gera dados, também pode ser descrito como o sensor entregando dados com a redundância da cena já eliminada desde o início. Para sua própria visão industrial baseada em eventos, a Prophesee afirma que, em aplicações como inspeção visual em linhas de produção de embalagens de bebidas e robôs de soldagem a laser, ela pode medir objetos que se movem a mais de 10 metros por segundo a uma taxa superior a 1.000 por segundo, reduzindo o volume de dados a serem processados para aproximadamente um centésimo em comparação com os métodos convencionais baseados em quadros — uma consequência direta do fato de que o sensor nunca gera dados para "pixels que não mudaram".

Comparando as especificações dos principais produtos

Produto Resolução Faixa Dinâmica Latência / Resolução Temporal Observações
iniVation DVXplorer 640×480 (VGA) Até 110dB Latência inferior a um milissegundo, resolução temporal de 200 µs Taxa de transferência de até 165 milhões de eventos/seg, IMU de 6 eixos integrada (giroscópio de até 3,2 kHz), consumo inferior a 140 mA a 5 V
iniVation DAVIS346 346×260 (eventos), saída de quadros na mesma resolução 120 dB para saída de eventos, 55 dB para saída de quadros Resolução temporal de 1 µs e latência inferior a 1 ms para eventos, 40 fps para quadros Design híbrido que gera simultaneamente detecção de mudanças e quadros em tons de cinza. Até 12 milhões de eventos/seg, espaçamento entre pixels de 18,5 µm
Sony IMX636 (Prophesee Metavision) 1280×720 (0,92 megapixels) Mais de 86 dB de 5 a 100.000 lux, mais de 120 dB com corte de baixa luminosidade de 0,08 a 100.000 lux Resposta de alta velocidade e baixa latência (os valores dependem da aplicação) Sensor empilhado desenvolvido em conjunto pela Sony e Prophesee, espaçamento de pixel de 4,86 µm, saída paralela totalmente digital de 16 linhas
Prophesee GenX320 320×320 Mais de 140 dB Latência de pixel inferior a 150 µs a 1000 lux Pode ser reduzido para 36 µW no modo de ultrabaixo consumo, pixel de 6,3×6,3 µm, pacote ultracompacto de 3×4 mm, supressão de cintilação integrada e controle de taxa de eventos
Samsung DVS-Gen4 1280×960 100 dB 150 µs Passo de pixel de 4,95 µm, alcança alta resolução e baixo consumo de energia por meio de ligação Cu-Cu no pixel e um circuito de supressão de GIDL
Um kit de avaliação da câmera de eventos Prophesee montado em um tripé, com a lente e o slot para cartão microSD visíveisUm kit de avaliação da câmera de eventos Prophesee

Imagem: Prophesee Kit de Avaliação da Câmera de Eventos (Auledas, CC BY 4.0), Wikimedia Commons.

A iniVation DVXplorer possui resolução equivalente a VGA de 640×480 e uma IMU de 6 eixos integrada, sendo uma câmera DVS pura amplamente utilizada em pesquisas de robótica. O DAVIS346 é um projeto híbrido que abriga um circuito de detecção de mudanças e uma saída de quadros em tons de cinza em um único chip: a saída de eventos em si possui uma faixa dinâmica de 120dB, mas os quadros que ela pode emitir simultaneamente são limitados a 55dB e 40fps — este produto deixa claro que as vantagens do DVS puro e a compatibilidade com o processamento baseado em quadros estão em uma relação de compensação. O Sony IMX636 combina a tecnologia de fabricação de sensores empilhados da Sony com o conhecimento em detecção de eventos da Prophesee (discutido abaixo) e, com 1280×720, se enquadra na classe de alta resolução para uma câmera de eventos; Também foi adotada na série "uEye EVS" que a fabricante de câmeras industriais IDS Imaging Development Systems anunciou em 2025. A GenX320 tem uma resolução um pouco menor, de 320×320, mas possui um modo de ultrabaixo consumo que pode reduzir o consumo para 36µW, tornando-a ideal para dispositivos vestíveis sempre ativos e sensores de borda para IoT. A Samsung DVS-Gen4 tem a maior contagem de pixels, com 1280×960, e sua ligação Cu-Cu no pixel (uma técnica de empilhamento que une cobre diretamente ao cobre), juntamente com um projeto de circuito que suprime o GIDL (Gate-Induced Drain Leakage - Vazamento de Dreno Induzido pela Porta), reduzem o aumento da corrente de fuga que acompanha a maior resolução.

De onde surgiu o olho eletrônico: da retina de silício à indústria de câmeras de eventos

1988, a retina de silício no Caltech — A origem direta da câmera de eventos remonta ao artigo de 1988 "Um Modelo de Silício do Processamento Visual Inicial", publicado por Carver Mead, conhecido como um dos pais do circuito integrado, juntamente com Misha Mahowald, então estudante de pós-graduação. Os dois construíram uma "retina de silício" que imitava o processamento visual inicial da retina usando circuitos CMOS analógicos e, ao fazer isso, abriram o campo da "engenharia neuromórfica" — a tentativa de reproduzir o processamento de informações do cérebro em hardware. Mead recebeu posteriormente um prêmio de reconhecimento pela sua trajetória em engenharia neuromórfica do Caltech por este trabalho.

**Em 2008, Patrick Lichtsteiner, Christoph Posch e Tobi Delbrück, da ETH Zurich / Universidade de Zurique, publicaram o artigo "A 128×128 120 dB 15 μs Latency Asynchronous Temporal Contrast Vision Sensor" no IEEE Journal of Solid-State Circuits, demonstrando um sensor totalmente assíncrono com 128×128 pixels, 120 dB de alcance dinâmico e latência de 15 microssegundos — o protótipo do que hoje é conhecido como "DVS". O artigo é amplamente citado, ocupando o 4º lugar em número de citações na década anterior naquela revista, e desde então tornou-se o ponto de partida de facto para a pesquisa em câmeras de eventos.

2011, ATIS combina detecção de mudanças com medição de brilho — Christoph Posch mudou-se para o Instituto Austríaco de Tecnologia (AIT) e apresentou o ATIS (Sensor de Imagem Assíncrono Baseado em Tempo), que combinava um circuito de detecção de mudanças com um circuito que também media o brilho real (valor de escala de cinza) ao longo do tempo, mas apenas para pixels onde uma mudança era detectada. O ATIS alcançou uma faixa dinâmica superior a 143 dB e, como um projeto que atendia à necessidade de aplicações práticas que exigiam "não apenas mudanças, mas também imagens", tornou-se a base técnica para o posterior DAVIS e outros produtos híbridos.

2014, Chronocam é fundada, juntamente com duas spin-offs da ETH/Universidade de Zurique — Em 2014, Posch fundou a Chronocam com Ryad Benosman, Bernard Gilly e Luca Verre no estúdio de startups iBionext, em Paris, com o objetivo de comercializar a tecnologia ATIS desenvolvida no AIT. Em 2018, a Chronocam mudou seu nome para Prophesee, juntamente com uma rodada de financiamento Série B de US$ 19 milhões. Enquanto isso, do Instituto de Neuroinformática (INI) da Universidade de Zurique/ETH Zurich, que havia produzido o DVS128, quatro pessoas — Tobi Delbrück, Rodney Douglas, Kynan Eng e Sven-Erik Jacobsen — criaram a iniVation em 2015, e uma equipe separada criou a SynSense em 2017. Essas duas empresas, que compartilham o mesmo instituto como fonte comum, se reuniram em 2024, quando a SynSense adquiriu todas as ações da iniVation. Na China, a CelePixel, com sede em Xangai, foi fundada em 2017 por Chen Shoushun e outros, e foi adquirida em 2019 pela Will Semiconductor, empresa controladora da OmniVision. Em 2020, a Sony uniu sua tecnologia de fabricação de sensores de imagem empilhados e a Prophesee seu conhecimento em detecção de eventos em um esforço conjunto de desenvolvimento, que resultou no produto IMX636 mencionado anteriormente. Uma tecnologia de nicho originada em um laboratório de neurociência, que em pouco mais de uma década chegou ao ponto de firmar parceria com uma grande fabricante de sensores de imagem como a Sony — essa é a história desse sensor até o momento.

Um exemplo real: o equipamento de câmera de eventos estéreo "DSEC" que circulou por Zurique

As câmeras de eventos ainda não são sensores produzidos em massa por montadoras, mas existem exemplos com múltiplas unidades em um estágio anterior a isso, em pesquisa e desenvolvimento. O conjunto de dados DSEC (A Stereo Event Camera Dataset for Driving Scenarios), lançado em 2021 pelo Grupo de Robótica e Percepção da ETH Zurich/Universidade de Zurique, foi coletado com um veículo equipado com um sistema estéreo composto por duas câmeras de eventos Prophesee Gen3.1 (640×480) montadas à esquerda e à direita com uma linha de base de 60 cm, sincronizadas com duas câmeras FLIR Blackfly S coloridas, LiDAR e RTK-GPS, percorrendo diversas cidades suíças, incluindo Zurique, Thun e Interlaken, para coletar mais de uma hora de dados de direção. É notável por ter sido gravado especificamente para capturar cenas de alto alcance dinâmico, onde câmeras padrão tendem a atingir os limites do controle de exposição — entradas e saídas de túneis, forte contraluz ao pôr do sol e ao nascer do sol — e, assim como em configurações monoculares, foi projetado com uma ampla linha de base em estéreo, para garantir a precisão da disparidade em longas distâncias, além de verificar se a câmera de eventos consegue continuar capturando mudanças mesmo em cenas onde a câmera principal estoura as altas luzes ou satura os pretos. Como base para pesquisas sobre a robustez de algoritmos de autolocalização como o Visual-SLAM em ambientes com pouca luz, nos quais câmeras comuns têm dificuldades, o DSEC continua sendo uma referência até hoje.

Pesquisa sobre leitura de rostos em filmagens que parecem apenas ruído e SLAM executado a bordo de um UAV

Um conjunto de dados para detecção de rostos em fluxos de eventos, do Cazaquistão — O ISSAI (Instituto de Sistemas Inteligentes e Inteligência Artificial) da Universidade Nazarbayev publicou o artigo "Faces in Event Streams (FES): An Annotated Face Dataset for Event Cameras" (Rostos em Fluxos de Eventos (FES): Um Conjunto de Dados de Rostos Anotados para Câmeras de Eventos), de autoria de Bissarinova, Rakhimzhanova, Kenzhebalin e Varol, na revista Sensors (Volume 24, Edição 5, artigo número 1409) em 2024. Trata-se do primeiro conjunto de dados em larga escala desse tipo, anotando 1,6 milhão de rostos e pontos de referência faciais de 5 pontos em 689 minutos de fluxos de eventos, e os 12 modelos que o acompanham detectam rostos e pontos de referência faciais com mais de 90% de precisão no mAP50. A imagem abaixo é a capa do repositório do GitHub, mostrando vários rostos e contornos de pessoas emergindo como acúmulos de eventos a partir de uma filmagem que, de outra forma, pareceria apenas ruído pontilhado. O próprio princípio da câmera de eventos — de que nada que não esteja em movimento é gravado — produz imagens de "apenas contornos e movimento", sem textura fotográfica, e suas potenciais aplicações em casos de uso de vigilância e monitoramento que respeitam a privacidade também foram apontadas.

Quatro rostos capturados por uma câmera de eventos. Contornos faciais, caixas delimitadoras e pontos de referência emergem do ruído pontilhadoRostos e caixas de detecção emergindo em um fluxo de eventos (imagem de capa do conjunto de dados FES)

Imagem: Faces in Event Streams (Ulzhanbis, CC BY 4.0), Wikimedia Commons. Imagem de capa do GitHub para o artigo do conjunto de dados FES da ISSAI (Universidade Nazarbayev) (Bissarinova et al., Sensors 2024, 24(5):1409).

SLAM de eventos estéreo executado a bordo de um UAV e um experimento desviando de "objetos arremessados" — A robótica é onde a baixa latência e a alta faixa dinâmica da câmera de eventos mais se mostram vantajosas. O artigo "AERO-VIS: SLAM Visual-Inercial Assíncrono em Tempo Real Baseado em Eventos" (arXiv:2605.07885), publicado em maio de 2026, combina uma câmera estéreo de eventos com uma IMU, implementa um detector de características que processa o fluxo de eventos de forma assíncrona e relata ter alcançado uma precisão que o SLAM convencional baseado em eventos não conseguia, ao montá-lo em um UAV (veículo aéreo não tripulado) e executá-lo a bordo. Em outro estudo, o Grupo de Robótica e Percepção da Universidade de Zurique, liderado por Davide Scaramuzza, relata que, em um experimento com um quadricóptero evitando obstáculos usando apenas uma câmera monocular de eventos, ele detectou objetos se aproximando com probabilidade de 81-97% em 3,5 milissegundos e conseguiu desviar de objetos lançados a 3 metros de distância a 10 metros por segundo com mais de 90% de probabilidade. O mesmo grupo também afirma que o uso de câmeras de eventos poderia aumentar a velocidade de voo de drones em até 10 vezes, e pesquisas sobre o alcance da percepção proporcionada por câmeras de eventos em regimes de velocidade que câmeras baseadas em quadros não conseguem, em princípio, acompanhar, estão em andamento.

Parâmetros que determinam o desempenho

  1. A relação entre resolução e largura de banda: A resolução de 320×320 do GenX320 prioriza o baixo consumo de energia para uso em dispositivos de borda e vestíveis, enquanto as resoluções de 1280×960 do Samsung DVS-Gen4 e 1280×720 do Sony IMX636 são voltadas para aplicações de alta fidelidade. No entanto, como uma câmera de eventos gera mais eventos, quanto mais rápido o movimento, maior a resolução e mais acentuadamente a largura de banda exigida pelo processamento subsequente aumenta — um ponto que difere da maneira convencional de pensar sobre a taxa de quadros.
  2. Faixa dinâmica: Em comparação com os mais de 140dB do GenX320 e os mais de 120dB do IMX636 (com corte em baixa luminosidade), o Samsung DVS-Gen4 é um pouco mais modesto, com 100dB. Em aplicações como DSEC, onde cenas de alta faixa dinâmica, como túneis e contraluz, são o principal campo de batalha, esse valor determina diretamente se é praticamente utilizável.
  3. Latência/resolução temporal: Embora o DVS128 de 2008 já tivesse atingido 15 microssegundos, a latência do GenX320 e do Samsung DVS-Gen4 é estimada em cerca de 150 microssegundos a 1000 lux — é preciso cautela aqui, pois não se trata de uma simples corrida de melhoria geração após geração, mas de um valor determinado por um equilíbrio entre as condições de iluminação e a política de projeto do circuito de processamento (como, por exemplo, se a ultrabaixa potência é priorizada).
  4. Limiar de contraste: Assim como o limiar nominal de 25% do GenX320, a configuração do limiar que detecta uma mudança de brilho como um evento é, em si, um equilíbrio entre ruído e sensibilidade. Diminuir o limiar detecta até mesmo mudanças mínimas, ao custo de mais eventos de ruído; Aumentar o nível de sinal reduz o ruído, mas perde algumas mudanças rápidas.
  5. Consumo de energia: Em comparação com o consumo de menos de 140 mA a 5 V (aproximadamente 700 mW) do DVXplorer, o modo de ultrabaixo consumo do GenX320 consome 36 µW — produtos com diferenças de quase quatro ordens de magnitude coexistem na mesma categoria de "câmera de eventos". A escolha do produto ideal depende da premissa: uso contínuo em dispositivos vestíveis/IoT ou montagem em um robô para processar grandes volumes de eventos em alta velocidade.
  6. DVS puro ou híbrido: Um modelo híbrido como o DAVIS346, que também pode gerar quadros em tons de cinza simultaneamente, oferece a conveniência de reutilizar diretamente um pipeline de reconhecimento de imagem existente, mas sua saída de quadros a 55 dB/40 fps fica aquém da capacidade da própria saída de eventos. O DVS puro (DVXplorer, GenX320 e outros) sacrifica a compatibilidade com pipelines existentes em troca de aproveitar ao máximo as vantagens dos eventos.
Verifique seu entendimento
Como um objeto estacionário aparece para uma câmera de eventos?

Os eventos respondem a mudanças de brilho. Sem alterações, a aparência estática não é atualizada continuamente como em quadros convencionais.

Referências

What to read next

Review the backgroundComo funcionam os sensores ultrassônicos e principais produtos — Bosch, Murata, Toyota ICSContinue the seriesComo funcionam os sensores de temperatura e os produtos que definem a categoria — Termopares, PT100, DS18B20Explore another aspect of this fieldLeia o registro de uma IMU estacionária: viés, dispersão e desvio de Allan.
#Event Camera #DVS #Prophesee #iniVation #Sensor #Robotics #Neuromorphic Engineering