Contents — find the section you need

Olay kamerası (Dinamik Görüş Sensörü, DVS), tüm sahneyi sabit aralıklarla fotoğraflayan geleneksel çerçeve tabanlı kameralardan temel olarak farklı bir yöntemle ışığı yakalayan bir sensördür: her piksel, diğerlerinden bağımsız ve eşzamansız olarak çalışır ve yalnızca kendi parlaklığının belirli bir miktardan fazla değiştiği anı, mikrosaniye mertebesinde zaman çözünürlüğüyle bildirir.

Prensip: her piksel bağımsız olarak yalnızca "değişimi" bildirir

Geleneksel bir CMOS/CCD görüntü sensörü, her pozlama aralığında tüm pikselleri eş zamanlı olarak okur ve mutlak parlaklık değerlerini ızgara şeklinde bir çerçeve olarak verir. Buna karşılık, bir olay kamerasının pikselleri, o pikselin bir değer bildirdiği son andaki log-parlaklık değerini referans olarak tutar ve mevcut log-parlaklık bu referanstan bir eşik değerinden fazla değiştiği anda, o tek piksel tek başına bir "olay" tetikler. Piksel (x, y)'in t zamanında tetiklenmesi olayı oluşturulur.

\left| \ln I(x, y, t) - \ln I(x, y, t_{\text{last}}) \right| \geq C

Bu koşul sağlandığı anda, çıktı 4 elemanlı bir dizi e_k = (x_k, y_k, t_k, p_k) (koordinatlar, zaman damgası, polarite) haline gelir. Her seferinde yalnızca koordinatları ve zaman damgasını çıktı olarak veren bu şemaya AER (Adres-Olay Gösterimi) denir ve parlaklık artırıcı değişiklikleri (AÇIK) parlaklık azaltıcı değişikliklerden (KAPALI) polarite p_k ile ayırır. Çerçeve kavramı hiç mevcut olmadığı için, sahnede hareket yoksa hiçbir şey çıktı olarak verilmez ve hareket ne kadar hızlıysa, daha kısa aralıklarla o kadar çok olay tetiklenir.

Bu şemanın iki belirleyici özelliği de doğrudan log-yanıt devresi tasarımından gelir. Birincisi zaman çözünürlüğü: Her piksel eşik kararını bağımsız olarak verdiği için, prensipte mikrosaniye mertebesinde değişiklikler tespit edilebilir - hatta 2008'de duyurulan (aşağıda tartışılan) ilk DVS çipi bile 15 mikrosaniyelik bir gecikmeye ulaşmıştır. Kare hızı kavramına bağlı olmadığı için, kare tabanlı kameraların kaçınamadığı hareket bulanıklığı prensipte oluşmaz. İkincisi dinamik aralık: Her piksel eşik kararını logaritmik bir ölçekte bağımsız olarak verdiği için, geleneksel sensörler kuyu kapasitesi (bir fotodiyotun biriktirebileceği yükün üst sınırı) ile sınırlı olarak 60-70 dB civarında zirve yaparken, olay sensörleri 100 dB'yi aşar ve bazı ürünlerde 140 dB'ye ulaşır. Bu nedenle, ışık ve karanlık arasında aşırı farklılıklar olan sahnelerde bile - örneğin aynı sahnede aynı anda bulunan güneşli bir yol yüzeyi ve gölgeli bir tünel girişi - değişiklikler, aşırı parlak alanlar veya ezilmiş siyahlar olmadan sürekli olarak yakalanabilir.

Genel olarak iki uygulama ailesi vardır. Sadece değişiklik tespiti yapan "saf DVS" (DVS) vardır; DVS128, iniVation DVXplorer ve Prophesee GenX320'de olduğu gibi. Bir de hibrit yaklaşım vardır; iniVation DAVIS346 ve ATIS'te (aşağıda tartışılmıştır) olduğu gibi, değişiklik tespit devresinin üzerine, yalnızca değişiklik tespit edilen piksellerin gerçek parlaklık değerini (gri tonlama) ölçen bir devre daha eklenir. İkincisi, hem eşzamansız olay çıktısı hem de düşük kare hızında geleneksel bir gri tonlamalı görüntü üretir; bu da mevcut görüntü işleme işlem hatlarıyla uyumlu kalırken olayların avantajlarından yararlanmasını sağlar. Ancak, değişiklik olmayan piksellerden parlaklık değeri elde edilememesi kısıtlamasını da beraberinde getirir.

Üstte geleneksel çerçeve tabanlı bir kamera tarafından çekilen koşan bir çitanın görüntüleri ve altta aynı sahnenin olay kamerası tarafından yakalanan olay nokta bulutu ile karşılaştırma görüntüsüAynı sahneden çerçeve tabanlı bir kamera (üstte) ve olay kamerası (altta) tarafından üretilen veriler arasındaki fark

Görüntü: Event kamera karşılaştırması (TimoStoffregen, CC BY-SA 4.0), Wikimedia Commons.

Yukarıdaki karşılaştırma görüntüsünün gösterdiği gibi, çerçeve tabanlı bir kamera sabit aralıklarla "tüm sahnenin fotoğrafını" üretirken, olay kamerası yalnızca hareketli konturlar boyunca dağılmış seyrek bir olay kümesi üretir. Sabit bir arka plan hiçbir veri üretmediği için, sensörün verileri sahnenin gereksiz unsurları baştan itibaren çıkarılmış olarak ilettiği şeklinde de tanımlanabilir. Prophesee, kendi olay tabanlı endüstriyel görüşü için, içecek karton üretim hatlarında ve lazer kaynak robotlarında görsel inceleme gibi uygulamalarda, saniyede 10 metreden daha hızlı hareket eden nesneleri saniyede 1000'den fazla sayıda ölçebildiğini ve işlenecek veri hacmini geleneksel kare tabanlı yöntemlere kıyasla yaklaşık yüzde bir oranında azalttığını belirtiyor; bu, sensörün "değişmemiş pikseller" için asla veri üretmemesinin doğrudan bir sonucudur.

Temel ürünlerin özelliklerinin karşılaştırılması

Ürün Çözünürlük Dinamik Aralık Gecikme / Zaman Çözünürlüğü Notlar
iniVation DVXplorer 640×480 (VGA) 110dB'ye kadar Milisaniyenin altında gecikme, 200 µs zaman çözünürlüğü Saniyede 165 milyon olaya kadar işlem kapasitesi, dahili 6 eksenli IMU (3,2 kHz'e kadar jiroskop), 5V'de 140 mA'nın altında
iniVation DAVIS346 346×260 (olaylar), aynı çözünürlükte kare çıkışı Olay çıkışı için 120 dB, kare çıkışı için 55 dB Olaylar için 1 µs zaman çözünürlüğü ve 1 ms'nin altında gecikme, kareler için 40 fps Değişiklik algılama + gri tonlamalı kareleri eş zamanlı olarak çıkaran hibrit tasarım. Saniyede 12 milyon olaya kadar, 18,5 µm piksel aralığı
Sony IMX636 (Prophesee Metavision) 1280×720 (0,92 megapiksel) 5-100.000 lüks aralığında 86 dB'nin üzerinde, 0,08-100.000 lüks aralığında düşük ışık kesimiyle 120 dB'nin üzerinde Yüksek hızlı, düşük gecikmeli yanıt (rakamlar uygulamaya bağlıdır) Sony ve Prophesee tarafından ortaklaşa geliştirilen yığılmış sensör, 4,86 µm piksel aralığı, tam dijital 16 hatlı paralel çıkış
Prophesee GenX320 320×320 140 dB'nin üzerinde 1000 lüks'te 150 µs'nin altında piksel gecikmesi Ultra düşük güç modunda 36 µW'a kadar düşürülebilir, 6,3×6,3 µm piksel, ultra kompakt 3×4 mm paket, dahili titreşim önleme ve olay hızı kontrolü
Samsung DVS-Gen4 1280×960 100 dB 150 µs 4,95 µm piksel aralığı, piksel içi Cu-Cu bağlama ve GIDL bastırma devresi sayesinde hem yüksek çözünürlük hem de düşük güç tüketimi sağlar
Bir tripoda monte edilmiş, lensi ve microSD kart yuvası görünen bir Prophesee olay kamerası değerlendirme kitiBir Prophesee olay kamerası değerlendirme kiti

Resim: Prophesee Olay Kamerası Değerlendirme Kiti (Auledas, CC BY 4.0), Wikimedia Commons.

iniVation DVXplorer, 640×480 VGA eşdeğeri çözünürlüğe ve dahili 6 eksenli IMU'ya sahip olup, robotik araştırmalarında yaygın olarak kullanılan saf bir DVS kameradır. DAVIS346, hem değişim algılama devresini hem de gri tonlamalı kare çıkışını tek bir çipte barındıran hibrit bir tasarımdır: olay çıkışının kendisi 120 dB dinamik aralığa sahiptir, ancak aynı anda çıkış verebileceği kareler 55 dB ve 40 fps ile sınırlıdır — bu ürün, saf DVS'nin avantajları ile kare tabanlı işlemeyle uyumluluğun bir denge ilişkisi içinde olduğunu açıkça ortaya koymaktadır. Sony IMX636, Sony'nin yığılmış sensör üretim teknolojisini Prophesee'nin (aşağıda tartışılan) olay algılama uzmanlığıyla birleştirir ve 1280×720 çözünürlüğüyle olay kameraları için yüksek çözünürlük sınıfına girer; Bu teknoloji, endüstriyel kamera üreticisi IDS Imaging Development Systems'ın 2025 yılında duyurduğu "uEye EVS" serisinde de benimsenmiştir. GenX320, 320×320 çözünürlüğüyle biraz daha düşük çözünürlüğe sahip olsa da, tüketimi 36µW'a kadar düşürebilen ultra düşük güç moduna sahiptir; bu da onu sürekli açık giyilebilir cihazlar ve IoT için uç algılama amacıyla tasarlanmış bir model haline getirir. Samsung DVS-Gen4, 1280×960 ile en yüksek piksel sayısına sahiptir ve piksel içi Cu-Cu bağlama (bakırı doğrudan bakıra bağlayan bir istifleme tekniği) ve GIDL'yi (Kapı Kaynaklı Drenaj Kaçağı) bastıran devre tasarımı, daha yüksek çözünürlükle gelen kaçak akım artışını kontrol altında tutar.

Elektronik Göz Nereden Geldi: Silikon Retinadan Olay Kamerası Endüstrisine

1988, Caltech'te Silikon Retina — Olay kamerasının doğrudan kökeni, entegre devrelerin babalarından biri olarak bilinen Carver Mead'in, o zamanlar yüksek lisans öğrencisi olan Misha Mahowald ile birlikte yayınladığı 1988 tarihli "Erken Görsel İşlemenin Silikon Modeli" makalesine dayanmaktadır. İkili, analog CMOS devreleri kullanarak retinanın erken görsel işlemesini taklit eden bir "silikon retina" inşa etti ve böylece "nöromorfik mühendislik" alanının -beynin bilgi işlemesini donanımda yeniden üretme girişiminin- önünü açtı. Mead, bu çalışması nedeniyle Caltech'ten nöromorfik mühendislik alanında ömür boyu başarı ödülü aldı.

2008, ETH Zürih / Zürih Üniversitesi'nden tamamen asenkron bir DVS — Patrick Lichtsteiner, Christoph Posch ve Tobi Delbrück, IEEE Katı Hal Devreleri Dergisi'nde "128×128 120 dB 15 μs Gecikmeli Asenkron Zamansal Kontrastlı Görüntüleme Sensörü" başlıklı makaleyi yayınlayarak, 128×128 piksel, 120 dB dinamik aralık ve 15 mikrosaniye gecikme süresine sahip tamamen asenkron bir sensörün prototipini gösterdiler; bu, günümüzde "DVS" olarak adlandırılan şeyin prototipidir. Makale, söz konusu dergide önceki on yılda atıflar açısından 4. sırada yer alacak kadar geniş çapta referans gösterilmiştir ve o zamandan beri olay kamerası araştırmaları için fiili başlangıç noktası haline gelmiştir.

2011, ATIS, değişim algılamayı parlaklık ölçümüyle birleştiriyor — Christoph Posch, Avusturya Teknoloji Enstitüsü'ne (AIT) geçti ve ATIS'i (Asenkron Zaman Tabanlı Görüntü Sensörü) tanıttı. Bu sensör, değişim algılama devresini, yalnızca değişimin algılandığı pikseller için gerçek parlaklığı (gri tonlama değeri) zaman bazında ölçen bir devreyle birleştiriyordu. ATIS, 143 dB'yi aşan bir dinamik aralığa ulaştı ve "sadece değişim değil, görüntüler de" ihtiyacına cevap veren bir tasarım olarak, daha sonraki DAVIS ve diğer hibrit tip ürünler için teknik temel oluşturdu.

2014, Chronocam kuruldu ve ETH/Zürih Üniversitesi'nden iki yan kuruluş ortaya çıktı — 2014 yılında Posch, Ryad Benosman, Bernard Gilly ve Luca Verre ile birlikte Paris'teki iBionext girişim stüdyosunda Chronocam'ı kurarak, AIT'de geliştirilen ATIS teknolojisini ticarileştirmeyi hedefledi. Chronocam, 2018 yılında 19 milyon dolarlık B Serisi yatırım turuyla birlikte adını Prophesee olarak değiştirdi. Bu arada, DVS128'i üreten Zürih Üniversitesi/ETH Zürih Nöroinformatik Enstitüsü'nden (INI) dört kişi - Tobi Delbrück, Rodney Douglas, Kynan Eng ve Sven-Erik Jacobsen - 2015 yılında iniVation şirketini kurdu ve ayrı bir ekip de 2017 yılında SynSense şirketini kurdu. Ortak kaynakları aynı enstitü olan bu iki şirket, SynSense'in iniVation'ın tüm hisselerini satın almasıyla 2024 yılında tekrar bir araya geldi. Çin'de ise Şangay merkezli CelePixel, 2017 yılında Chen Shoushun ve diğerleri tarafından kuruldu ve 2019 yılında OmniVision'ın ana şirketi Will Semiconductor tarafından satın alındı. Ardından 2020'de Sony, katmanlı görüntü sensörü üretim teknolojisini ve Prophesee de olay algılama bilgi birikimini ortak bir geliştirme çabasına dönüştürdü ve bu da yukarıda bahsedilen IMX636 olarak ürünleştirildi. Bir sinirbilim laboratuvarından çıkan niş bir teknoloji, on yıldan biraz fazla bir sürede Sony gibi büyük bir görüntü sensörü üreticisiyle ortaklık kurma noktasına geldi - bu sensörün bugüne kadarki hikayesi budur.

Gerçek bir örnek: Zürih'ten geçen stereo olay kamerası düzeneği "DSEC"

Olay kameraları henüz otomobil üreticilerinin seri üretim hatlarında yer alan bir sensör değil, ancak araştırma ve geliştirme aşamasında, bundan bir adım önce, çoklu ünite örnekleri mevcut. ETH Zürih/Zürih Üniversitesi Robotik ve Algılama Grubu tarafından 2021 yılında yayınlanan DSEC (Sürüş Senaryoları için Stereo Olay Kamerası Veri Seti) veri seti, iki adet Prophesee Gen3.1 olay kamerasının (640×480) 60 cm taban çizgisiyle sol ve sağa monte edildiği, iki adet FLIR Blackfly S renkli çerçeve kamerası, LiDAR ve RTK-GPS ile senkronize edilmiş bir stereo düzeneğe sahip bir araçla, Zürih, Thun ve Interlaken dahil olmak üzere birçok İsviçre şehrinde bir saatten fazla sürüş verisi toplanarak oluşturulmuştur. Özellikle standart kameraların pozlama kontrolünün sınırlarına ulaştığı yüksek dinamik aralıklı sahneleri hedeflemek için kaydedilmesiyle dikkat çekiyor — tünel giriş ve çıkışları, gün batımı ve gün doğumu sırasında güçlü arka ışık — ve tıpkı monoküler kurulumlarda olduğu gibi, uzak mesafelere kadar eşitsizlik doğruluğunu sağlamak ve aynı zamanda çerçeve kamerasının parlak alanları patlattığı veya siyahları ezdiği sahnelerde bile olay kamerasının değişimi yakalamaya devam edip edemeyeceğini doğrulamak için stereo olarak geniş bir taban çizgisi alınarak tasarlanmıştır. Visual-SLAM gibi kendi kendini konumlandırma algoritmalarının, sıradan kameraların zorlandığı düşük ışıklı ortamlarda ne kadar sağlam bir şekilde çalıştırılabileceğine dair araştırmalar için bir temel olarak DSEC, bugün hala referans olarak kullanılmaktadır.

Sadece gürültü gibi görünen görüntülerden yüzleri okuma araştırması ve İHA'da çalışan SLAM

Kazakistan'dan olay akışlarında yüz algılama veri seti — Nazarbayev Üniversitesi'nin ISSAI (Akıllı Sistemler ve Yapay Zeka Enstitüsü), Bissarinova, Rakhimzhanova, Kenzhebalin ve Varol tarafından yazılan "Olay Akışlarında Yüzler (FES): Olay Kameraları için Etiketlenmiş Yüz Veri Seti" başlıklı makaleyi 2024 yılında Sensors dergisinde (Cilt 24, Sayı 5, makale numarası 1409) yayınladı. Bu, 689 dakikalık olay akışlarında 1,6 milyon yüzü ve 5 noktalı yüz işaretlerini etiketleyen türünün ilk büyük ölçekli veri setidir ve eşlik eden 12 modelin, mAP50'de %90'ın üzerinde doğrulukla yüzleri ve yüz işaretlerini algıladığı bildirilmektedir. Aşağıdaki görsel, GitHub deposunun kapak görselidir ve birden fazla insanın yüzünün ve silüetlerinin, aksi takdirde sadece noktalı gürültü gibi görünen görüntülerden olayların birikimi olarak ortaya çıktığını göstermektedir. Olay kamerasının temel prensibi - hareket halinde olmayan hiçbir şeyin kaydedilmemesi - fotoğrafik doku içermeyen "sadece silüetler ve hareket" görüntüleri üretir ve gizlilik hassasiyeti gerektiren gözetim ve izleme kullanım durumlarındaki potansiyel uygulamalarına da dikkat çekilmiştir.

Bir olay kamerası tarafından yakalanan dört yüz. Yüz hatları, sınırlayıcı kutular ve işaret noktaları noktalı gürültüden ortaya çıkıyorOlay akışında ortaya çıkan yüzler ve algılama kutuları (FES veri setinin kapak resmi)

Resim: Faces in Event Streams (Ulzhanbis, CC BY 4.0), Wikimedia Commons. ISSAI (Nazarbayev Üniversitesi) tarafından hazırlanan FES veri seti makalesinin GitHub kapak resmi (Bissarinova vd., Sensors 2024, 24(5):1409).

İHA üzerinde çalışan stereo olay SLAM ve "fırlatılan nesnelerden" kaçınma deneyi — Robotik, olay kamerasının düşük gecikme süresi ve yüksek dinamik aralığının en çok işe yaradığı yerdir. Mayıs 2026'da yayınlanan "AERO-VIS: Asenkron Olay Tabanlı Gerçek Zamanlı Yerleşik Görsel-Ataletsel SLAM" (arXiv:2605.07885) adlı makale, stereo olay kamerasını bir IMU ile birleştiriyor, olay akışını asenkron olarak işleyen bir özellik dedektörü uyguluyor ve geleneksel olay tabanlı SLAM'in ulaşamadığı bir doğruluğa ulaştığını bildiriyor; bunu da insansız hava aracına (İHA) monte ederek ve üzerinde çalıştırarak başarıyor. Ayrı olarak, Zürih Üniversitesi'ndeki Davide Scaramuzza liderliğindeki Robotik ve Algılama Grubu, yalnızca monoküler bir olay kamerasına dayanan bir quadrotor ile yapılan bir deneyde, gelen nesneleri 3,5 milisaniye içinde %81-97 olasılıkla tespit ettiğini ve 3 metre uzaktan saniyede 10 metre hızla atılan nesnelerden %90'ın üzerinde olasılıkla kaçmayı başardığını bildiriyor. Aynı grup ayrıca, olay kameralarının kullanımının drone uçuş hızlarını 10 kata kadar artırabileceğini belirtiyor ve olay kameralarının, kare tabanlı kameraların prensipte yetişemediği hız rejimlerinde algılamayı ne kadar ileriye taşıyabileceğine dair araştırmalar devam ediyor.

Performansı belirleyen parametreler

  1. Çözünürlük/bant genişliği dengesi: GenX320'nin 320×320 çözünürlüğü, uç ve giyilebilir kullanım için düşük güç tüketimini önceliklendiren bir tasarımdır; oysa Samsung DVS-Gen4'ün 1280×960 ve Sony IMX636'nın 1280×720 çözünürlükleri daha yüksek doğruluk gerektiren uygulamaları hedeflemektedir. Ancak, bir olay kamerası hareket hızı arttıkça daha fazla olay ürettiğinden, çözünürlük arttıkça, aşağı akış işlemeden talep edilen bant genişliği de o kadar keskin bir şekilde artar; bu da kare hızı hakkındaki geleneksel düşünme biçiminden farklıdır.
  2. Dinamik aralık: GenX320'nin 140 dB'nin üzerinde ve IMX636'nın 120 dB'nin üzerinde (düşük ışık kesimiyle) değerlerine karşılık, Samsung DVS-Gen4 100 dB ile biraz daha mütevazıdır. Tüneller ve arka ışık gibi yüksek dinamik aralıklı sahnelerin ana mücadele alanı olduğu DSEC gibi uygulamalarda, bu rakam pratik olarak kullanılabilir olup olmadığını doğrudan belirler.
  3. Gecikme / zaman çözünürlüğü: 2008'deki DVS128 zaten 15 mikrosaniyeye ulaşmışken, GenX320 ve Samsung DVS-Gen4'ün gecikmesinin 1000 lüks'te yaklaşık 150 mikrosaniye olduğu söyleniyor - burada dikkatli olmak gerekiyor, çünkü bu basit bir nesilden nesile iyileştirme yarışı değil, aydınlatma koşulları ve işlem devresi tasarım politikası (ultra düşük gücün önceliklendirilip önceliklendirilmediği gibi) ile bir dengeye bağlı olarak belirlenen bir rakamdır.
  4. Kontrast eşiği: GenX320'nin %25'lik nominal eşiğinde olduğu gibi, parlaklık değişimini bir olay olarak algılayan eşiğin ayarlanması da gürültü ve hassasiyet arasında bir denge meselesidir. Eşiği düşürmek, daha fazla gürültü olayı pahasına en küçük değişiklikleri bile algılar; Yükseltmek gürültüyü azaltır ancak bazı hızlı değişiklikleri kaçırır.
  5. Güç tüketimi: DVXplorer'ın 5V'de 140mA'nın altında (yaklaşık 700mW) tüketimine karşılık, GenX320'nin ultra düşük güç modu 36µW'dir; neredeyse dört kat daha fazla güç tüketen ürünler aynı "olay kamerası" kategorisinde yer almaktadır. İster sürekli açık giyilebilir/IoT kullanımı, ister yüksek hızda büyük hacimli olayları işlemek için bir robota monte edilme olsun, hangi ürünü seçmeniz gerektiği tamamen değişir.
  6. Saf DVS veya hibrit: Aynı anda gri tonlamalı kareler de üretebilen DAVIS346 gibi hibrit bir tip, mevcut bir görüntü tanıma hattını doğrudan yeniden kullanma kolaylığına sahiptir, ancak 55dB/40fps'deki kare çıkışı, olay çıkışının kendisinin yapabileceğinin gerisinde kalır. Saf DVS (DVXplorer, GenX320 ve diğerleri), olayların tüm avantajlarından yararlanmak karşılığında mevcut işlem hatlarıyla uyumluluğu feda eder.
Anlayışınızı kontrol edin
Sabit bir nesne olay kamerasına nasıl görünür?

Olaylar parlaklık değişikliklerine tepki verir.

Değişiklik yapılmadığı takdirde, statik görünüm geleneksel çerçevelerde olduğu gibi sürekli olarak yenilenmez.

Referanslar

What to read next

Review the backgroundUltrasonik Sensörler Nasıl Çalışır ve Başlıca Ürünleri — Bosch, Murata, Toyota ICSContinue the seriesSıcaklık Sensörleri Nasıl Çalışır ve Bu Kategoriyi Tanımlayan Ürünler — Termokupllar, PT100, DS18B20Explore another aspect of this fieldSabit bir IMU logunu okuyun: sapma, dağılım ve Allan sapması
#Event Camera #DVS #Prophesee #iniVation #Sensor #Robotics #Neuromorphic Engineering