Contents — find the section you need
इवेंट कैमरा (डायनेमिक विज़न सेंसर, डीवीएस) एक ऐसा सेंसर है जो पारंपरिक फ्रेम-आधारित कैमरों से बिल्कुल अलग तरीके से प्रकाश को कैप्चर करता है। पारंपरिक कैमरे पूरे दृश्य को निश्चित अंतरालों पर कैप्चर करते हैं: प्रत्येक पिक्सेल स्वतंत्र रूप से और एक दूसरे से अतुल्यकालिक रूप से कार्य करता है, और केवल उसी क्षण की रिपोर्ट करता है जब उसकी अपनी चमक एक निर्धारित मात्रा से अधिक बदलती है, वह भी माइक्रोसेकंड-क्रम के समय रिज़ॉल्यूशन पर।
सिद्धांत: प्रत्येक पिक्सेल स्वतंत्र रूप से केवल "परिवर्तन" की रिपोर्ट करता है
एक पारंपरिक CMOS/CCD इमेज सेंसर प्रत्येक एक्सपोज़र अंतराल पर सभी पिक्सेल को एक साथ पढ़ता है और ग्रिड-आकार के फ्रेम के रूप में निरपेक्ष चमक मान आउटपुट करता है। इसके विपरीत, एक इवेंट कैमरे के पिक्सेल, संदर्भ के रूप में उस पिक्सेल द्वारा रिपोर्ट किए गए अंतिम समय के लॉग-चमक मान को रखते हैं, और जिस क्षण वर्तमान लॉग-चमक उस संदर्भ से एक सीमा C से अधिक बदल जाती है, वह अकेला पिक्सेल एक "इवेंट" ट्रिगर करता है। पिक्सेल (x, y) के समय t पर सक्रिय होने की घटना उत्पन्न होती है।
जैसे ही यह स्थिति संतुष्ट होती है, आउटपुट 4-टुपल्स e_k = (x_k, y_k, t_k, p_k) (निर्देशांक, टाइमस्टैम्प, ध्रुवीयता) का एक अतुल्यकालिक अनुक्रम बन जाता है। प्रत्येक बार केवल निर्देशांक और टाइमस्टैम्प आउटपुट करने की इस प्रणाली को एईआर (एड्रेस-इवेंट रिप्रेजेंटेशन) कहा जाता है, और यह ध्रुवीयता p_k द्वारा चमक बढ़ाने वाले परिवर्तनों (चालू) और चमक घटाने वाले परिवर्तनों (बंद) में अंतर करती है। चूंकि फ्रेम की अवधारणा बिल्कुल भी मौजूद नहीं है, इसलिए दृश्य में कोई गति न होने पर कुछ भी आउटपुट नहीं होता है, और गति जितनी तेज़ होती है, उतने ही कम अंतराल पर अधिक घटनाएं सक्रिय होती हैं।
इस प्रणाली के दो मुख्य गुण सीधे इसके लॉग-रिस्पॉन्स सर्किट डिज़ाइन से प्राप्त होते हैं। पहला है समय रिज़ॉल्यूशन: क्योंकि प्रत्येक पिक्सेल स्वतंत्र रूप से अपनी थ्रेशोल्ड का निर्णय लेता है, इसलिए सिद्धांत रूप में माइक्रोसेकंड के क्रम में परिवर्तनों का पता लगाया जा सकता है — यहां तक कि 2008 में घोषित प्रारंभिक DVS चिप (जिस पर नीचे चर्चा की गई है) ने भी 15 माइक्रोसेकंड की लेटेंसी हासिल की थी। चूंकि यह फ्रेम दर की अवधारणा से जुड़ा नहीं है, इसलिए मोशन ब्लर, जिसे फ्रेम-आधारित कैमरे नहीं रोक सकते, सिद्धांत रूप में नहीं होता है। दूसरा है डायनेमिक रेंज: क्योंकि प्रत्येक पिक्सेल लॉगरिदमिक पैमाने पर स्वतंत्र रूप से अपनी थ्रेशोल्ड का निर्णय लेता है, जबकि पारंपरिक सेंसर 60-70dB के आसपास अधिकतम सीमा तक पहुंचते हैं, जो वेल कैपेसिटी (फोटोडायोड द्वारा संचित चार्ज की ऊपरी सीमा) द्वारा सीमित होती है, इवेंट सेंसर 100dB से अधिक होते हैं, और कुछ उत्पादों में 140dB तक पहुंच जाते हैं। यही कारण है कि, प्रकाश और अंधेरे के बीच अत्यधिक अंतर वाले दृश्यों में भी — उदाहरण के लिए, एक ही दृश्य में एक साथ धूप से जगमगाती सड़क की सतह और छायादार सुरंग का प्रवेश द्वार मौजूद होने पर — हाइलाइट्स के ओवरएक्सपोज़ होने या ब्लैक के क्रश होने के बिना परिवर्तनों को लगातार कैप्चर किया जा सकता है।
कार्यान्वयन के मुख्य रूप से दो प्रकार हैं। एक तो "शुद्ध डीवीएस" है, जो केवल परिवर्तन का पता लगाता है, जैसे कि डीवीएस128, इनिवेशन डीवीएक्सप्लोरर और प्रोफेसी जेनएक्स320। दूसरा हाइब्रिड दृष्टिकोण है, जैसे कि इनिवेशन डेविस346 और एटीआईएस (जिस पर नीचे चर्चा की गई है), जो परिवर्तन का पता लगाने वाले सर्किट के ऊपर एक ऐसा सर्किट जोड़ता है जो केवल उन पिक्सेल के लिए वास्तविक चमक मान (ग्रेस्केल) को भी मापता है जहां परिवर्तन का पता चला है। बाद वाला सर्किट अतुल्यकालिक इवेंट आउटपुट और कम फ्रेम दर पर एक पारंपरिक ग्रेस्केल छवि दोनों एक साथ प्रदान करता है, जिससे यह मौजूदा इमेज प्रोसेसिंग पाइपलाइनों के साथ संगत रहते हुए इवेंट के लाभों का उपयोग कर पाता है - लेकिन इसमें यह सीमा भी है कि जिन पिक्सेल में कोई परिवर्तन नहीं हुआ है, उनसे चमक मान प्राप्त नहीं किया जा सकता है।
एक ही दृश्य से फ्रेम-आधारित कैमरे (ऊपर) और इवेंट कैमरे (नीचे) द्वारा आउटपुट किए गए डेटा के बीच का अंतरछवि: Event कैमरा तुलना (TimoStoffregen, CC BY-SA 4.0), विकिमीडिया कॉमन्स।
जैसा कि ऊपर दी गई तुलनात्मक छवि में दिखाया गया है, जहां एक फ्रेम-आधारित कैमरा निश्चित अंतराल पर "पूरे दृश्य की तस्वीर" आउटपुट करता है, वहीं एक इवेंट कैमरा केवल बिखरे हुए इवेंट्स के एक विरल समूह को आउटपुट करता है। गतिशील आकृतियाँ। चूंकि स्थिर पृष्ठभूमि से कोई डेटा प्राप्त नहीं होता, इसलिए इसे इस प्रकार भी वर्णित किया जा सकता है कि सेंसर दृश्य की अनावश्यकता को पहले ही हटाकर डेटा प्रदान करता है। अपने स्वयं के इवेंट-आधारित औद्योगिक विज़न के लिए, प्रोफेसी का कहना है कि पेय पदार्थ के कार्टन उत्पादन लाइनों और लेजर-वेल्डिंग रोबोटों पर दृश्य निरीक्षण जैसे अनुप्रयोगों में, यह 10 मीटर प्रति सेकंड से अधिक गति से चलने वाली वस्तुओं को 1,000 प्रति सेकंड से अधिक की गति से माप सकता है, जबकि पारंपरिक फ्रेम-आधारित विधियों की तुलना में संसाधित किए जाने वाले डेटा की मात्रा को लगभग एक सौवें हिस्से तक कम कर देता है - यह इस तथ्य का प्रत्यक्ष परिणाम है कि सेंसर कभी भी "उन पिक्सेल के लिए डेटा उत्पन्न नहीं करता है जो बदले नहीं हैं"।
प्रमुख उत्पादों की विशिष्टताओं की तुलना
| उत्पाद | रिज़ॉल्यूशन | डायनामिक रेंज | विलंबता / समय रिज़ॉल्यूशन | नोट्स |
|---|---|---|---|---|
| इनिवेशन डीवीएक्सप्लोरर | 640×480 (वीजीए) | 110dB तक | सब-मिलीसेकंड लेटेंसी, 200µs टाइम रेज़ोल्यूशन | 165 मिलियन इवेंट/सेकंड तक थ्रूपुट, बिल्ट-इन 6-एक्सिस IMU (3.2kHz तक जाइरो), 5V पर 140mA से कम |
इनीवेशन DAVIS346 | 346×260 (इवेंट), फ्रेम आउटपुट भी इसी रेज़ोल्यूशन पर | इवेंट आउटपुट के लिए 120dB, फ्रेम आउटपुट के लिए 55dB | इवेंट के लिए 1µs टाइम रेज़ोल्यूशन और 1ms से कम लेटेंसी, फ्रेम के लिए 40fps | हाइब्रिड डिज़ाइन जो एक साथ चेंज डिटेक्शन और ग्रेस्केल फ्रेम आउटपुट करता है। 12 मिलियन इवेंट/सेकंड तक, 18.5µm पिक्सेल पिच |
सोनी IMX636 (प्रोफेसी मेटाविज़न) | 1280×720 (0.92 मेगापिक्सेल) | 5-100,000 लक्स पर 86dB से अधिक, 0.08-100,000 लक्स पर लो-लाइट कटऑफ के साथ 120dB से अधिक | हाई-स्पीड, लो-लेटेंसी रिस्पॉन्स (आंकड़े एप्लिकेशन पर निर्भर हैं) | सोनी और प्रोफेसी द्वारा संयुक्त रूप से विकसित स्टैक्ड सेंसर, 4.86µm पिक्सेल पिच, फुल-डिजिटल 16-लाइन पैरेलल आउटपुट | | प्रोफेसी GenX320 | 320×320 | 140dB से अधिक | 1000 लक्स पर 150µs से कम पिक्सेल लेटेंसी | अल्ट्रा-लो-पावर मोड में 36µW तक कम किया जा सकता है, 6.3×6.3µm पिक्सेल, अल्ट्रा-कॉम्पैक्ट 3×4mm पैकेज, बिल्ट-इन फ्लिकर सप्रेशन और इवेंट-रेट कंट्रोल | | सैमसंग DVS-Gen4 | 1280×960 | 100dB | 150µs | 4.95µm पिक्सेल पिच, इन-पिक्सेल Cu-Cu बॉन्डिंग और GIDL-दमन सर्किट के माध्यम से उच्च रिज़ॉल्यूशन और कम बिजली खपत दोनों को प्राप्त करता है |
एक प्रोफेसी इवेंट कैमरा मूल्यांकन किटछवि: Prophesee इवेंट कैमरा मूल्यांकन किट (औलेदास, CC BY 4.0), विकिमीडिया कॉमन्स।
इनीवेशन डीवीएक्सप्लोरर में 640×480 का वीजीए-समकक्ष रिज़ॉल्यूशन और एक अंतर्निर्मित 6-अक्ष आईएमयू है, और यह एक शुद्ध डीवीएस कैमरा है जिसका व्यापक रूप से रोबोटिक्स अनुसंधान में उपयोग किया जाता है। DAVIS346 एक हाइब्रिड डिज़ाइन है जिसमें एक ही चिप पर परिवर्तन-पहचान सर्किट और ग्रेस्केल फ्रेम आउटपुट दोनों मौजूद हैं: इवेंट आउटपुट में 120dB की डायनेमिक रेंज होती है, लेकिन यह एक साथ जितने फ्रेम आउटपुट कर सकता है, वे 55dB और 40fps तक सीमित हैं - यह उत्पाद स्पष्ट करता है कि शुद्ध DVS के लाभ और फ्रेम-आधारित प्रोसेसिंग के साथ संगतता एक समझौता संबंध में हैं। Sony IMX636, Sony की स्टैक्ड-सेंसर निर्माण तकनीक को Prophesee (जिस पर नीचे चर्चा की गई है) की इवेंट-सेंसिंग विशेषज्ञता के साथ जोड़ता है, और 1280×720 के साथ एक इवेंट कैमरे के लिए उच्च-रिज़ॉल्यूशन श्रेणी में आता है; इसे औद्योगिक कैमरा निर्माता आईडीएस इमेजिंग डेवलपमेंट सिस्टम्स द्वारा 2025 में घोषित "uEye EVS" श्रृंखला में भी अपनाया गया है। GenX320 का रिज़ॉल्यूशन 320×320 है, जो कुछ हद तक कम है, लेकिन इसमें एक अल्ट्रा-लो-पावर मोड है जो बिजली की खपत को 36µW तक कम कर सकता है, जिससे यह हमेशा चालू रहने वाले पहनने योग्य उपकरणों और IoT के लिए एज सेंसिंग के लिए उपयुक्त डिज़ाइन बन जाता है। सैमसंग DVS-Gen4 में 1280×960 का उच्चतम पिक्सेल काउंट है, और इसकी इन-पिक्सेल Cu-Cu बॉन्डिंग (एक स्टैकिंग तकनीक जो तांबे को सीधे तांबे से जोड़ती है) और GIDL (गेट-इंड्यूस्ड ड्रेन लीकेज) को दबाने वाला सर्किट डिज़ाइन उच्च रिज़ॉल्यूशन के साथ आने वाले लीकेज करंट में वृद्धि को नियंत्रित करता है।
इलेक्ट्रॉनिक आंख का जन्म कहां से हुआ: सिलिकॉन रेटिना से इवेंट-कैमरा उद्योग तक
1988, कैलटेक में सिलिकॉन रेटिना — इवेंट कैमरे की उत्पत्ति 1988 में प्रकाशित शोधपत्र "प्रारंभिक दृश्य प्रसंस्करण का सिलिकॉन मॉडल" से हुई, जिसे एकीकृत परिपथ के जनक माने जाने वाले कार्वर मीड और तत्कालीन स्नातक छात्र मिशा महोवाल्ड ने मिलकर लिखा था। दोनों ने एनालॉग CMOS परिपथों का उपयोग करके रेटिना के प्रारंभिक दृश्य प्रसंस्करण की नकल करते हुए एक "सिलिकॉन रेटिना" का निर्माण किया और ऐसा करके उन्होंने "न्यूरोमॉर्फिक इंजीनियरिंग" के क्षेत्र का द्वार खोल दिया — मस्तिष्क की सूचना प्रसंस्करण प्रक्रिया को हार्डवेयर में पुन: उत्पन्न करने का प्रयास। इस कार्य के लिए मीड को बाद में कैलटेक द्वारा न्यूरोमॉर्फिक इंजीनियरिंग में आजीवन उपलब्धि पुरस्कार से सम्मानित किया गया।
2008, ETH ज़्यूरिख़ / ज़्यूरिख़ विश्वविद्यालय से पूर्णतः अतुल्यकालिक डीवीएस — पैट्रिक लिचस्टाइनर, क्रिस्टोफ़ पोश और टोबी डेलब्रुक ने IEEE जर्नल ऑफ़ सॉलिड-स्टेट सर्किट्स में "A 128×128 120 dB 15 μs Latency Asynchronous Temporal Contrast Vision Sensor" नामक शोधपत्र प्रकाशित किया, जिसमें 128×128 पिक्सेल, 120dB की डायनामिक रेंज और 15 माइक्रोसेकंड की विलंबता वाले पूर्णतः अतुल्यकालिक सेंसर का प्रदर्शन किया गया — जो अब "डीवीएस" कहलाने वाले उपकरण का प्रोटोटाइप है। इस शोधपत्र का व्यापक रूप से संदर्भ दिया गया है और पिछले दशक में इस जर्नल में इसके उद्धरणों की संख्या चौथे स्थान पर है, और तब से यह इवेंट-कैमरा अनुसंधान का वास्तविक आरंभिक बिंदु बन गया है।
2011, ATIS ने परिवर्तन पहचान और चमक मापन को संयोजित किया — क्रिस्टोफ़ पोश ऑस्ट्रियन इंस्टीट्यूट ऑफ टेक्नोलॉजी (AIT) में चले गए और ATIS (अतुल्यकालिक समय-आधारित छवि सेंसर) प्रस्तुत किया, जिसमें परिवर्तन पहचान सर्किट को एक ऐसे सर्किट के साथ संयोजित किया गया था जो समय के आधार पर वास्तविक चमक (ग्रेस्केल मान) को भी मापता था, लेकिन केवल उन पिक्सेल के लिए जहां परिवर्तन का पता चला था। ATIS ने 143dB से अधिक की गतिशील रेंज प्राप्त की, और "न केवल परिवर्तन, बल्कि छवियों" की वास्तविक दुनिया की अनुप्रयोग आवश्यकता को पूरा करने वाले एक डिज़ाइन के रूप में, यह बाद में DAVIS और अन्य हाइब्रिड-प्रकार के उत्पादों के लिए तकनीकी आधार बन गया।
2014, Chronocam की स्थापना, और दो ETH/ज़्यूरिख़ विश्वविद्यालय की स्पिनऑफ़ कंपनियाँ — 2014 में, पोश ने रियाद बेनोसमैन, बर्नार्ड गिली और लुका वेरे के साथ पेरिस स्टार्टअप स्टूडियो iBionext में Chronocam की स्थापना की, जिसका उद्देश्य AIT में विकसित ATIS तकनीक का व्यावसायीकरण करना था। 2018 में, क्रोनोकैम ने अपना नाम बदलकर प्रोफेसी कर लिया, साथ ही 19 मिलियन डॉलर की सीरीज बी फंडिंग भी हासिल की। इसी बीच, ज्यूरिख विश्वविद्यालय/ईटीएच ज्यूरिख के न्यूरोइन्फॉर्मेटिक्स संस्थान (आईएनआई), जिसने डीवीएस128 का निर्माण किया था, से चार लोगों - टोबी डेलब्रुक, रॉडनी डगलस, काइनन एंग और स्वेन-एरिक जैकबसेन - ने 2015 में इनिवेशन की स्थापना की, और एक अलग टीम ने 2017 में सिनसेंस की स्थापना की। ये दोनों कंपनियां, जिनका साझा स्रोत एक ही संस्थान था, 2024 में फिर से एक साथ आईं जब सिनसेंस ने इनिवेशन के सभी शेयर हासिल कर लिए। चीन में, शंघाई स्थित सेलेपिक्सल की स्थापना 2017 में चेन शौशुन और अन्य लोगों द्वारा की गई थी, और 2019 में इसे विल सेमीकंडक्टर ने अधिग्रहित कर लिया, जो ओमनीविजन की मूल कंपनी है। फिर 2020 में, सोनी ने अपनी स्टैक्ड इमेज-सेंसर निर्माण तकनीक और प्रोफेसी ने अपनी इवेंट-सेंसिंग विशेषज्ञता को संयुक्त विकास प्रयास में शामिल किया, जिसे ऊपर उल्लिखित IMX636 के रूप में उत्पाद रूप दिया गया। एक न्यूरोसाइंस प्रयोगशाला से निकली एक विशिष्ट तकनीक, जो एक दशक से कुछ अधिक समय में सोनी जैसी एक प्रमुख इमेज-सेंसर निर्माता कंपनी के साथ साझेदारी करने के मुकाम तक पहुंची - यही इस सेंसर की अब तक की कहानी है।
एक वास्तविक उदाहरण: ज्यूरिख में प्रदर्शित स्टीरियो इवेंट कैमरा रिग "DSEC"
इवेंट कैमरे अभी तक ऑटोमोबाइल निर्माताओं की बड़े पैमाने पर उत्पादन लाइनों पर मौजूद सेंसर नहीं हैं, लेकिन अनुसंधान और विकास के चरण में इससे एक कदम आगे के कई यूनिट वाले उदाहरण मौजूद हैं। ईटीएच ज्यूरिख/यूनिवर्सिटी ऑफ ज्यूरिख के रोबोटिक्स एंड परसेप्शन ग्रुप द्वारा 2021 में जारी किया गया डेटासेट डीएसईसी (ए स्टीरियो इवेंट कैमरा डेटासेट फॉर ड्राइविंग सिनेरियो), एक वाहन द्वारा एकत्र किया गया था जिसमें दो प्रोफेसी जेन3.1 इवेंट कैमरों (640×480) का एक स्टीरियो रिग लगा हुआ था, जो 60 सेमी बेसलाइन के साथ बाएं और दाएं ओर लगे हुए थे, और दो एफएलआईआर ब्लैकफ्लाई एस कलर फ्रेम कैमरों, लिडार और आरटीके-जीपीएस के साथ सिंक्रनाइज़ थे। इस वाहन ने ज्यूरिख, थुन और इंटरलेकन सहित कई स्विस शहरों से गुजरते हुए एक घंटे से अधिक का ड्राइविंग डेटा एकत्र किया। यह तकनीक विशेष रूप से उच्च-गतिशील रेंज वाले दृश्यों को लक्षित करने के लिए रिकॉर्ड की गई है, जहाँ मानक कैमरे एक्सपोज़र नियंत्रण की सीमाओं तक पहुँच जाते हैं — जैसे सुरंगों के प्रवेश और निकास द्वार, सूर्यास्त और सूर्योदय के समय तेज़ बैकलाइट — और मोनोक्युलर सेटअप की तरह ही, इसे स्टीरियो में एक विस्तृत बेसलाइन लेकर डिज़ाइन किया गया है, ताकि दूर की रेंज तक असमानता सटीकता सुनिश्चित की जा सके और यह भी सत्यापित किया जा सके कि इवेंट-कैमरा पक्ष उन दृश्यों में भी परिवर्तन को कैप्चर कर सकता है जहाँ फ्रेम कैमरा हाइलाइट्स को ओवरएक्सपोज़ कर देता है या ब्लैक्स को क्रश कर देता है। DSEC को आज भी उन शोधों के आधार के रूप में संदर्भित किया जाता है कि कैसे विज़ुअल-SLAM जैसे स्व-स्थानीकरण एल्गोरिदम को कम रोशनी वाले वातावरण में मज़बूती से चलाया जा सकता है, जहाँ सामान्य कैमरों को कठिनाई होती है।
शोर से भरे फुटेज से चेहरों को पहचानने पर शोध, और एक यूएवी पर चल रही एसएलएएम तकनीक
कजाकिस्तान से प्राप्त इवेंट स्ट्रीम पर आधारित चेहरा-पहचान डेटासेट — नज़रबायेव विश्वविद्यालय के ISSAI (स्मार्ट सिस्टम और आर्टिफिशियल इंटेलिजेंस संस्थान) ने 2024 में जर्नल सेंसर्स (वॉल्यूम 24, अंक 5, लेख संख्या 1409) में बिस्सारिनोवा, रखिमझानोवा, केंझेबालिन और वरोल द्वारा लिखित शोध पत्र "फेसेस इन इवेंट स्ट्रीम्स (FES): एन एनोटेटेड फेस डेटासेट फॉर इवेंट कैमराज़" प्रकाशित किया। यह अपनी तरह का पहला बड़े पैमाने का डेटासेट है, जिसमें 689 मिनट की इवेंट स्ट्रीम में 1.6 मिलियन चेहरों और 5-पॉइंट फेशियल लैंडमार्क को एनोटेट किया गया है, और इसके साथ उपयोग किए गए 12 मॉडल mAP50 पर 90% से अधिक सटीकता के साथ चेहरों और फेशियल लैंडमार्क का पता लगाने में सक्षम हैं। नीचे दी गई छवि इसके GitHub रिपॉजिटरी की कवर छवि है, जिसमें कई लोगों के चेहरे और रूपरेखाएं उभरती हुई दिखाई दे रही हैं। ये रूपरेखाएं फुटेज से घटनाओं के संचय के रूप में उभर रही हैं, जो अन्यथा केवल बिंदीदार शोर की तरह दिखती है। इवेंट कैमरे का मूल सिद्धांत - कि गतिहीन कोई भी चीज़ रिकॉर्ड नहीं होती - केवल "रूपरेखाओं और गति" का फुटेज तैयार करता है, जिसमें कोई फोटोग्राफिक बनावट नहीं होती है, और गोपनीयता-संवेदनशील निगरानी और मॉनिटरिंग के उपयोग में इसके संभावित अनुप्रयोगों पर भी प्रकाश डाला गया है।
एक इवेंट स्ट्रीम में उभरते चेहरे और डिटेक्शन बॉक्स (FES डेटासेट की कवर छवि)छवि: Faces in Event Streams (Ulzhanbis, CC BY 4.0), विकिमीडिया कॉमन्स। ISSAI (नज़रबायेव विश्वविद्यालय) द्वारा FES डेटासेट पेपर के लिए GitHub कवर छवि (बिस्सारिनोवा एट अल., सेंसर्स 2024, 24(5):1409)।
एक UAV पर चल रहा स्टीरियो इवेंट SLAM, और "फेंकी गई वस्तुओं" से बचने का एक प्रयोग — रोबोटिक्स वह क्षेत्र है जहाँ इवेंट कैमरे की कम विलंबता और उच्च गतिशील रेंज सबसे अधिक लाभ देती है। मई 2026 में प्रकाशित शोध पत्र "AERO-VIS: Asynchronous Event-based Real-time Onboard Visual-Inertial SLAM" (arXiv:2605.07885) में एक स्टीरियो इवेंट कैमरा को IMU के साथ एकीकृत किया गया है, एक फीचर डिटेक्टर को लागू किया गया है जो इवेंट स्ट्रीम को अतुल्यकालिक रखते हुए संसाधित करता है, और एक मानवरहित हवाई वाहन (UAV) पर इसे स्थापित करके और इसे ऑनबोर्ड संचालित करके ऐसी सटीकता प्राप्त करने की रिपोर्ट दी गई है जो पारंपरिक इवेंट-आधारित SLAM नहीं कर सकता था। अलग से, डेविड स्कारामुज़ा के नेतृत्व में ज्यूरिख विश्वविद्यालय के रोबोटिक्स और परसेप्शन समूह ने एक प्रयोग में बताया है कि एक मोनोक्युलर इवेंट कैमरा पर निर्भर बाधाओं से बचने वाले क्वाडरोटर के साथ प्रयोग में, इसने 3.5 मिलीसेकंड के भीतर 81-97% संभावना के साथ आने वाली वस्तुओं का पता लगाया, और 3 मीटर दूर से 10 मीटर प्रति सेकंड की गति से फेंकी गई वस्तुओं को 90% से अधिक संभावना के साथ चकमा देने में सफल रहा। इसी समूह का यह भी कहना है कि इवेंट कैमरों के इस्तेमाल से ड्रोन की उड़ान गति 10 गुना तक बढ़ सकती है, और इस बात पर शोध जारी है कि फ्रेम-आधारित कैमरों की तुलना में इवेंट कैमरे कितनी दूर तक गति को नियंत्रित कर सकते हैं।
प्रदर्शन निर्धारित करने वाले पैरामीटर
- रिज़ॉल्यूशन/बैंडविड्थ का संतुलन: GenX320 का 320×320 रिज़ॉल्यूशन एज और वियरेबल डिवाइसों के लिए कम बिजली खपत को प्राथमिकता देता है, जबकि Samsung DVS-Gen4 का 1280×960 और Sony IMX636 का 1280×720 रिज़ॉल्यूशन उच्च-गुणवत्ता वाले अनुप्रयोगों के लिए उपयुक्त हैं। हालाँकि, इवेंट कैमरा जितनी तेज़ गति से अधिक इवेंट उत्पन्न करता है, रिज़ॉल्यूशन जितना अधिक होता है, डाउनस्ट्रीम प्रोसेसिंग के लिए आवश्यक बैंडविड्थ में उतनी ही तेज़ी से वृद्धि होती है - यह बिंदु फ्रेम दर के बारे में सोचने के पारंपरिक तरीके से भिन्न है।
- डायनामिक रेंज: GenX320 की 140dB से अधिक और IMX636 की 120dB से अधिक (कम रोशनी में कटऑफ के साथ) की तुलना में, Samsung DVS-Gen4 100dB पर कुछ हद तक कम है। डीएसईसी जैसे अनुप्रयोगों में, जहाँ सुरंगों और बैकलाइट जैसे उच्च-गतिशील-श्रेणी वाले दृश्य मुख्य चुनौती होते हैं, यह आंकड़ा सीधे तौर पर निर्धारित करता है कि यह व्यावहारिक रूप से प्रयोग करने योग्य है या नहीं।
- विलंबता / समय संकल्प: जबकि 2008 के डीवीएस128 ने पहले ही 15 माइक्रोसेकंड का विलंब हासिल कर लिया था, जेनएक्स320 और सैमसंग डीवीएस-जेन4 की विलंबता 1000 लक्स पर लगभग 150 माइक्रोसेकंड बताई जाती है - यहाँ सावधानी बरतने की आवश्यकता है, क्योंकि यह पीढ़ी-दर-पीढ़ी सुधार की एक साधारण दौड़ नहीं है, बल्कि प्रकाश की स्थिति और प्रोसेसिंग-सर्किट डिज़ाइन नीति (जैसे कि क्या अल्ट्रा-लो पावर को प्राथमिकता दी जाती है) के बीच एक समझौता है।
- कंट्रास्ट थ्रेशोल्ड: जेनएक्स320 के 25% के रेटेड थ्रेशोल्ड की तरह, चमक परिवर्तन को एक घटना के रूप में लेने वाले थ्रेशोल्ड की सेटिंग स्वयं शोर और संवेदनशीलता के बीच एक समझौता है। थ्रेशोल्ड को कम करने से अधिक शोर घटनाओं की कीमत पर छोटे-छोटे बदलावों को भी पकड़ा जा सकता है; इसे बढ़ाने से शोर कम हो जाता है, लेकिन कुछ तीव्र परिवर्तनों को नज़रअंदाज़ कर देता है।
- बिजली की खपत: DVXplorer की 5V पर 140mA (लगभग 700mW) से कम बिजली की खपत की तुलना में, GenX320 का अल्ट्रा-लो-पावर मोड 36µW है - लगभग चार गुना अंतर वाले उत्पाद एक ही "इवेंट कैमरा" श्रेणी में मौजूद हैं। चाहे इसका उद्देश्य हमेशा चालू रहने वाले पहनने योग्य/IoT उपकरण का उपयोग करना हो या उच्च गति पर बड़ी मात्रा में घटनाओं को संसाधित करने के लिए रोबोट पर लगाया जाना हो, यह पूरी तरह से इस बात पर निर्भर करता है कि आपको कौन सा उत्पाद चुनना चाहिए।
- शुद्ध DVS या हाइब्रिड: DAVIS346 जैसा हाइब्रिड प्रकार, जो एक साथ ग्रेस्केल फ्रेम भी आउटपुट कर सकता है, मौजूदा छवि-पहचान पाइपलाइन का सीधे पुन: उपयोग करने की सुविधा प्रदान करता है, लेकिन 55dB/40fps पर इसका फ्रेम आउटपुट इवेंट आउटपुट की क्षमता से कम है। प्योर डीवीएस (डीवीएक्सप्लोरर, जेनएक्स320 और अन्य) इवेंट्स का पूरा लाभ उठाने के लिए मौजूदा पाइपलाइनों के साथ संगतता का त्याग करता है।
एक स्थिर वस्तु इवेंट कैमरे को कैसी दिखाई देती है?
इवेंट्स चमक में बदलाव पर प्रतिक्रिया करते हैं।
बिना बदलाव के, स्थिर स्वरूप पारंपरिक फ़्रेमों की तरह लगातार ताज़ा नहीं होता है। ## संदर्भ - [एक 128×128 120 dB 15 µs विलंबता अतुल्यकालिक अस्थायी कंट्रास्ट दृष्टि संवेदक (IEEE JSSC, लिचस्टाइनर, पोश, डेलब्रुक, 2008)](https://www.researchgate.net/publication/2983746_A_128_128_120_dB_15_ms_Latency_Asynchronous_Temporal_Contrast_Vision_Sensor) - [गतिशील दृष्टि संवेदक इवेंट कैमरा (ज़्यूरिख़ विश्वविद्यालय संवेदक समूह)](http://sensors.ini.uzh.ch/sensors-21.html) - [प्रारंभिक दृश्य प्रसंस्करण के सिलिकॉन मॉडल पर टिप्पणी (सूचना का इतिहास)](https://historyofinformation.com/detail.php?id=3871) - [लाइव प्रदर्शन: पूर्ण-अनुकूलित AE प्रोसेसर के साथ अतुल्यकालिक समय-आधारित छवि संवेदक (ATIS) कैमरा (पोश एट अल.)](https://ieeexplore.ieee.org/document/5537265/) - [प्रोफेसी का अवलोकन] (पूर्व में क्रोनोकैम) और iBionext में इसकी स्थापना का इतिहास](https://www.prophesee.ai/2018/02/21/prophesee-19-million-funding-round/) - [इनीवेशन स्पिनऑफ का इतिहास (न्यूरोइन्फॉर्मेटिक्स संस्थान, यूजेडएच)](https://www.ini.uzh.ch/en/institute/spin-offs.html) - [सिनसेंस द्वारा इनीवेशन का अधिग्रहण (ग्रेटर ज्यूरिख क्षेत्र)](https://www.greaterzuricharea.com/en/news/synsense-acquires-inivation) - [डीवीएस कंपनी सेलेपिक्सेल का विल सेमीकंडक्टर द्वारा अधिग्रहण (इमेज सेंसर्स वर्ल्ड)](http://image-sensors-world.blogspot.com/2020/09/dvs-company-celepixel-acquired-by-will.html) - [इनीवेशन डीवीएक्सप्लोरर डेटाशीट](https://docs.inivation.com/_static/hardware_guides/dvxplorer.pdf) - [इनीवेशन डेविस346 डेटाशीट](https://docs.inivation.com/_static/hardware_guides/davis346.pdf) - [सोनी/प्रोफेसी IMX636 उत्पाद जानकारी](https://www.prophesee.ai/event-based-sensor-imx636-sony-prophesee/) - [आईडीएस यूआई] ईवीएस श्रृंखला की घोषणा (प्रोफेसी)](https://www.prophesee.ai/2025/03/05/ids-launches-new-industrial-camera-series-featuring-prophesee-event-based-metavision-sensing-and-processing-technologies/) - [प्रोफेसी GenX320 उत्पाद जानकारी](https://www.prophesee.ai/event-based-sensor-genx320/) - [सैमसंग DVS-Gen4 पर तकनीकी सामग्री (सैमसंग, CVPR2019 कार्यशाला)](https://rpg.ifi.uzh.ch/docs/CVPR19workshop/CVPRW19_Eric_Ryu_Samsung.pdf) - [DSEC: ड्राइविंग परिदृश्यों के लिए एक स्टीरियो इवेंट कैमरा डेटासेट (arXiv:2103.06011)](https://arxiv.org/abs/2103.06011) - [DSEC परियोजना पृष्ठ (ज़्यूरिख विश्वविद्यालय)](https://dsec.ifi.uzh.ch/) - [इवेंट स्ट्रीम में चेहरे (FES): इवेंट कैमरों के लिए एक एनोटेटेड चेहरा डेटासेट (ISSAI)](https://issai.nu.edu.kz/fes/) - [इवेंट स्ट्रीम में चेहरे पर शोध पत्र (PMC)](https://pmc.ncbi.nlm.nih.gov/articles/PMC10935361/) ) - [एयरो-विज़: अतुल्यकालिक इवेंट-आधारित रीयल-टाइम ऑनबोर्ड विज़ुअल-इनर्टियल एसएलएएम (arXiv:2605.07885)](https://arxiv.org/abs/2605.07885) - [फुर्तीली ड्रोन उड़ान (ज़्यूरिख़ विश्वविद्यालय रोबोटिक्स और परसेप्शन समूह)](https://rpg.ifi.uzh.ch/aggressive_flight.html) - [इवेंट कैमरों की बदौलत ड्रोन मिलीसेकंड में बाधाओं का पता लगाता है और उनसे बचता है (द रोबोट रिपोर्ट)](https://www.therobotreport.com/drone-detects-and-avoids-obstacles-in-just-milliseconds-event-cameras/) - [फ़ाइल: इवेंट कैमरा तुलना.jpg (विकिमीडिया कॉमन्स)](https://commons.wikimedia.org/wiki/File:Event_camera_comparison.jpg) - [फ़ाइल: प्रोफेसी इवेंट कैमरा मूल्यांकन किट.jpg (विकिमीडिया कॉमन्स)](https://commons.wikimedia.org/wiki/File:Prophesee_Event_Camera_Evaluation_Kit.jpg) - [फ़ाइल: इवेंट स्ट्रीम में चेहरे.png (विकिमीडिया कॉमन्स)](https://commons.wikimedia.org/wiki/File:Faces_in_Event_Streams.png)
टिप्पणियाँ
पहले लॉग इन करें।
अभी कोई डेटा नहीं है।