Contents — find the section you need

स्टीरियो कैमरा एक ही दृश्य को दो लेंसों से खींचता है जो एक निश्चित दूरी (बेसलाइन) पर स्थित होते हैं, और फिर परिणामी बाएँ और दाएँ छवियों के बीच अंतर (असमानता) से त्रिभुज विधि द्वारा दूरी की गणना करता है। जहाँ एक मोनोक्युलर कैमरा केवल एक छवि से पूर्ण दूरी निर्धारित नहीं कर सकता, वहीं स्टीरियो कैमरा अपने दो दृष्टिकोणों के बीच ज्यामितीय संबंध से सीधे दूरी की गणना कर सकता है, जिससे अतिरिक्त मान्यताओं (जैसे समतल सड़क सतह) पर निर्भर किए बिना दूरी की सटीकता सुनिश्चित करना आसान हो जाता है। इसका उपयोग स्वायत्त वाहनों में आगे की निगरानी, रोबोट नेविगेशन और औद्योगिक 3डी माप में व्यापक रूप से किया जाता है।

स्टीरियो-कैमरा आधारित ड्राइवर सहायता प्रणाली EyeSight से लैस एक Subaru WRX S4EyeSight से लैस वाहन (Subaru WRX S4)
बाएं और दाएं इन्फ्रारेड इमेजर के साथ Intel RealSense D435 स्टीरियो डेप्थ कैमरास्टीरियो-कैमरा यूनिट: Intel RealSense D435

चित्र: Subaru WRX S4 2.0GT-S EyeSight (DBA-VAG) फ्रंट (Tokumeigakarinoaoshima, CC BY-SA 4.0) / Intel Realsense डेप्थ कैमरा D435 (Marc Auledas, CC BY-SA 4.0), विकिमीडिया कॉमन्स। D435 EyeSight का घटक नहीं है; यह दो दृष्टिकोणों वाली कैमरा इकाई का एक भौतिक उदाहरण है।

सिद्धांत: बेसलाइन लंबाई एक समझौता बनाती है

विसंगति d (बाएँ और दाएँ छवियों के बीच एक ही बिंदु का पिक्सेल विस्थापन), फोकल लंबाई f और बेसलाइन (दो लेंसों के बीच की दूरी) B के बीच संबंध इस प्रकार है:

Z = \frac{f \cdot B}{d}

यहाँ Z वस्तु की दूरी है। जैसा कि यह समीकरण दर्शाता है, दूरी Z असमानता d के व्युत्क्रमानुपाती है — निकटवर्ती वस्तुओं में असमानता अधिक होती है, और दूर की वस्तुओं में असमानता शून्य की ओर घटती जाती है। एक लंबी बेसलाइन B संवेदनशीलता (दूरी में दिए गए परिवर्तन के लिए असमानता में परिवर्तन की मात्रा) को बढ़ाती है, जिससे लंबी दूरी की माप सटीकता बढ़ जाती है। इसके विपरीत, एक लंबी बेसलाइन का अर्थ है कि जब कोई वस्तु बहुत निकट आ जाती है तो दोनों लेंसों के दृश्य क्षेत्र ओवरलैप होना बंद कर देते हैं, जिससे न्यूनतम मापने योग्य दूरी (निकट-सीमा) बढ़ जाती है। इसका अर्थ है कि स्टीरियो कैमरा डिज़ाइन में बेसलाइन की लंबाई पर केंद्रित एक अंतर्निहित समझौता होता है, जो "लंबी दूरी को प्राथमिकता" और "छोटी दूरी को प्राथमिकता" के बीच होता है। क्योंकि यह एक निष्क्रिय, दृश्य-प्रकाश-आधारित दृष्टिकोण है, जो एक सक्रिय डेप्थ कैमरे से अलग है (इसमें कोई इन्फ्रारेड प्रोजेक्टर शामिल नहीं है), यह तेज धूप में बाहर LiDAR या सक्रिय डेप्थ कैमरे की तुलना में अधिक स्थिर रूप से काम करता है।

छवि: Epipolar ज्यामिति (आर्ने नॉर्डमैन, CC BY-SA 3.0 / GFDL), विकिमीडिया कॉमन्स।

बाएं/दाएं छवियों (स्टीरियो मिलान) से असमानता की गणना के लिए कई एल्गोरिदम मौजूद हैं, लेकिन एक क्लासिक विधि जो व्यापक रूप से उपयोग में बनी हुई है, वह है सेमी-ग्लोबल मैचिंग (SGM), जिसे 2005 में जर्मन एयरोस्पेस सेंटर (DLR) में हेइको हिर्शमुलर द्वारा प्रकाशित किया गया था। यह मूल रूप से एक 2D अनुकूलन समस्या को लगभग आठ दिशाओं वाले 1D के साथ अनुमानित करता है। स्कैनलाइन ऑप्टिमाइज़ेशन, जो स्थानीय विधि के लगभग बराबर कम्प्यूटेशनल लागत पर वैश्विक विधि के लगभग बराबर सटीकता प्राप्त करता है। इसे OpenCV सहित कई कंप्यूटर-विज़न लाइब्रेरी में लागू किया गया है, और FPGA और GPU पर हार्डवेयर कार्यान्वयन व्यापक रूप से प्रचलित हैं। डीप-लर्निंग-आधारित स्टीरियो मैचिंग (उदाहरण के लिए, लागत एकत्रीकरण के लिए CNN का उपयोग करने वाली विधियाँ) सटीकता के मामले में SGM को तेजी से मात दे रही हैं, लेकिन SGM-परिवार के एल्गोरिदम सीमित कंप्यूटिंग क्षमता वाले एम्बेडेड अनुप्रयोगों में अभी भी सक्रिय रूप से उपयोग में हैं।

मुख्य उत्पाद विनिर्देश तुलना

उत्पाद बेसलाइन गहराई सीमा रिज़ॉल्यूशन / फ्रेम दर नोट्स
स्टीरियोलैब्स ZED 2i (2.1 मिमी फोकल लंबाई मॉडल) 12 सेमी 0.3–20 मीटर HD720 पर 60fps, 2K (2208x1242) तक 3 मीटर के भीतर 1% से कम त्रुटि, 15 मीटर के भीतर 5% से कम त्रुटि
स्टीरियोलैब्स ZED 2i (4 मिमी फोकल लेंथ मॉडल) 12 सेमी 1.5–35 मीटर HD720 पर 60fps, 2K (2208x1242) तक 3 मीटर के भीतर 1% से कम त्रुटि, 15 मीटर के भीतर 5% से कम त्रुटि
लक्सोनिस OAK-D 7.5 सेमी (मध्यम रेंज के लिए) — ऑनबोर्ड मायरीड X VPU AI इन्फरेंस और स्टीरियो डेप्थ को एक साथ संभालता है। जुलाई 2020 के किकस्टार्टर अभियान से लगभग 1.3 मिलियन डॉलर जुटाए गए, जिसमें 650 से अधिक समर्थकों ने योगदान दिया, जिससे इसका बड़े पैमाने पर उत्पादन शुरू हुआ।
लक्सोनिस OAK-D LR (लॉन्ग रेंज) 15 सेमी लगभग 30 मीटर तक — मानक OAK-D की तुलना में दोगुनी क्षमता वाला एक वेरिएंट, जो लंबी दूरी की सटीकता को प्राथमिकता देता है।
इंटेल रियलसेंस D435/D435i लगभग 50 मिमी लगभग 0.3–10 मीटर (स्थिति पर निर्भर) 1280x720 रेज़ोल्यूशन @ 90fps तक (गहराई) सहायक के रूप में सक्रिय इन्फ्रारेड पैटर्न प्रोजेक्टर का उपयोग कर सकता है, लेकिन केवल पैसिव स्टीरियो के साथ भी काम करता है। D435i 6-एक्सिस IMU वाला वेरिएंट है
ई-कॉन सिस्टम्स ताराएक्सएल 60 मिमी लगभग 0.5–3 मीटर WVGA (752x480), 60fps तक NVIDIA जेटसन प्लेटफॉर्म के लिए अनुकूलित, बिल्ट-इन 6-एक्सिस IMU के साथ। बाएं और दाएं दोनों तरफ ON सेमीकंडक्टर MT9V024 सेंसर का उपयोग करता है

ZED 2i (2023 में जारी) एक स्टीरियो कैमरा है जिसे आउटडोर रोबोटिक्स के लिए डिज़ाइन किया गया है, जो अलग-अलग फोकल लेंथ वाले दो लेंस मॉडल में उपलब्ध है ताकि यह नज़दीकी रेंज (2.1 मिमी मॉडल, न्यूनतम 0.3 मीटर) और दूर की रेंज (4 मिमी मॉडल, 35 मीटर तक) दोनों के लिए उपयुक्त हो। दोनों ही मामलों में, दोनों में 12 सेमी का बेसलाइन है, जो ZED 2i की रेंजिंग विशेषताओं का आधार बनता है। लक्सोनिस का OAK-D एक एम्बेडेड डिवाइस है जो एक स्टीरियो डेप्थ कैमरा को AI इन्फरेंस चिप (एक इंटेल मोविडियस मायरीड X VPU) के साथ एक ही यूनिट में एकीकृत करता है, और इसकी खासियत यह है कि 2020 के बेहद सफल किकस्टार्टर अभियान के बाद इसका बड़े पैमाने पर उत्पादन शुरू हो गया। इसका लॉन्ग-रेंज वेरिएंट, OAK-D LR, बेसलाइन को 15 सेमी तक बढ़ाता है - यह ऊपर वर्णित "लंबा बेसलाइन लंबी दूरी की सटीकता में सुधार करता है" सिद्धांत का सीधा उत्पाद-डिजाइन अनुप्रयोग है। इंटेल का RealSense D435/D435i और ई-कॉन सिस्टम्स का TaraXL हाइब्रिड डिजाइन हैं जो पैसिव स्टीरियो पर आधारित हैं लेकिन इनमें इन्फ्रारेड प्रोजेक्शन या IMU जोड़ा जा सकता है, जो क्लोज-रेंज रोबोटिक्स और ड्रोन अनुप्रयोगों के लिए उपयुक्त हैं।

केस स्टडी: सुबारू के EyeSight का विकास - दो आंखों से तीन आंखों तक

स्टीरियो कैमरे का सबसे लंबे समय तक चलने वाला वास्तविक दुनिया का उदाहरण है सुबारू की "आईसाइट"। 2008 में लॉन्च हुई पहली पीढ़ी की आईसाइट में एक ऐसी प्रणाली अपनाई गई थी जिसमें दो स्टीरियो कैमरे आगे की सड़क को 3डी में कैप्चर करते थे और बाधाओं की सटीक दूरी मापते थे - जो कि एक मोनोक्युलर कैमरे के लिए मुश्किल था - और इसी प्रणाली को प्री-कोलिजन ब्रेकिंग जैसी सुरक्षा सुविधाओं का आधार बनाया गया था। बार-बार सुधार के बाद, अगस्त 2022 तक दुनिया भर में आईसाइट की कुल स्थापना 50 लाख यूनिट्स को पार कर गई।

आईसाइट की नवीनतम पीढ़ी "तीन आंखों" वाले कॉन्फ़िगरेशन में विकसित हुई है, जिसमें पारंपरिक स्टीरियो कैमरों की जोड़ी के साथ एक वाइड-एंगल मोनोक्युलर कैमरा जोड़ा गया है। चूंकि अकेले स्टीरियो कैमरों की जोड़ी का दृश्य क्षेत्र सीमित होता है, इसलिए जोड़ा गया वाइड-एंगल मोनोक्युलर कैमरा परिधीय जागरूकता को बढ़ाता है - उदाहरण के लिए, चौराहों पर क्रॉस-ट्रैफ़िक। "आईसाइट एक्स" इससे भी आगे बढ़कर स्टीरियो कैमरों की आसपास के वातावरण की धारणा को जीपीएस और उच्च-सटीकता वाले 3डी मानचित्र डेटा के साथ जोड़ता है ताकि राजमार्गों पर सशर्त हैंड्स-ऑफ ड्राइविंग (लेवल 2) को सक्षम बनाया जा सके। यह स्टीरियो कैमरे की अपनी रेंजिंग क्षमता को एकीकृत करने का एक वास्तविक उदाहरण है। बाहरी जानकारी — GNSS और मानचित्र डेटा — का उपयोग करके उन्नत ड्राइवर सहायता प्रदान करना, जो केवल एक कैमरा प्रदान नहीं कर सकता था।

EyeSight के निर्माता ने अपनी खुद की स्टीरियो-विज़न कंपनी की स्थापना की

पहली पीढ़ी के EyeSight ("स्टीरियो रेंज इमेजर") के विकास का नेतृत्व करने वाले इंजीनियर सुबारू के प्रमुख इंजीनियर केइजी सनेयोशी थे। उनकी टीम दुनिया की पहली टीम थी जिसने केवल स्टीरियो कैमरों का उपयोग करके वाहनों, पैदल यात्रियों, साइकिल चालकों और मोटरसाइकिल चालकों का पता लगाने वाली ड्राइवर-सहायता प्रणाली को बाजार में उतारा। 1998 में सुबारू छोड़ने के बाद, सनेयोशी ने 2017 की शुरुआत तक टोक्यो इंस्टीट्यूट ऑफ टेक्नोलॉजी में प्रोफेसर के रूप में अपना शोध जारी रखा, और मई 2016 में उन्होंने स्टीरियो-विज़न तकनीक को आगे बढ़ाने के लिए अपनी खुद की कंपनी, ITD लैब की स्थापना की। यह उद्योग के लिए एक असामान्य करियर पथ है: एक ऑटोमोबाइल निर्माता के भीतर जन्मी तकनीक को, इसके आविष्कारक द्वारा ही, अपनी एक स्वतंत्र विशेषज्ञ कंपनी में आगे बढ़ाया गया।

इंटेल रियलसेंस का भी अपना एक नाटकीय मोड़ था: 2021 में, कई उत्पाद श्रृंखलाओं (L515, T26x श्रृंखला और F45x श्रृंखला) के उत्पादन बंद होने की घोषणा ने उद्योग को हिलाकर रख दिया, लेकिन D400 श्रृंखला के स्टीरियो डेप्थ कैमरे उत्पादन में बने रहे, और 2025 में रियलसेंस व्यवसाय को इंटेल से पूरी तरह अलग कर दिया गया, और एक स्वतंत्र कंपनी के रूप में पुनः लॉन्च किया गया जिसे एक सेमीकंडक्टर-केंद्रित निजी इक्विटी फर्म से $50 मिलियन के सीरीज ए फंडिंग राउंड का समर्थन प्राप्त था। यह एक स्टीरियो डेप्थ कैमरा श्रृंखला का उदाहरण है जो एक प्रमुख सेमीकंडक्टर कंपनी के एक विभाग के रूप में शुरू हुई थी, लेकिन बाजार की मांग के जवाब में, एक स्वतंत्र व्यवसाय के रूप में जीवित रहने का विकल्प चुना।

प्रदर्शन निर्धारित करने वाले पैरामीटर

  • बेसलाइन लंबाई: यह सबसे महत्वपूर्ण पैरामीटर है, जो लंबी दूरी की सटीकता और निकट दूरी के मापन तल (डेड ज़ोन) के बीच संतुलन निर्धारित करता है। जैसा कि संबंध Z = fB/d दर्शाता है, एक लंबी बेसलाइन B असमानता में दिए गए परिवर्तन के लिए दूरी संवेदनशीलता को बढ़ाती है। OAK-D LR, मानक OAK-D की आधार सीमा (15 सेमी तक) को दोगुना करके 30 मीटर की रेंज तक पहुँचता है, और यही सिद्धांत उत्पाद डिज़ाइन में प्रत्यक्ष रूप से लागू किया गया है।
  • गहराई रेंज: ZED 2i के दो फोकल-लेंथ मॉडल की तरह, इष्टतम रेंज उपयोग के मामले (इनडोर रोबोट बनाम आउटडोर वाहन) के अनुसार काफी भिन्न होती है।
  • गहराई सटीकता: जैसा कि ZED 2i के विनिर्देशों से पता चलता है, त्रुटि दर दूरी के साथ बढ़ती है (3 मीटर के भीतर 1% से कम, 15 मीटर के भीतर 5% से कम)। टक्कर से बचाव जैसे उच्च-सटीकता वाले निकट-श्रेणी माप की आवश्यकता वाले अनुप्रयोगों के लिए उन अनुप्रयोगों की तुलना में अलग सटीकता की आवश्यकता होती है जहाँ दूर के परिवेश का मोटा-मोटा अनुमान पर्याप्त होता है।
  • दृश्य क्षेत्र की सीमाएँ: एक स्टीरियो कैमरा केवल वहीं गहराई माप सकता है जहाँ दोनों लेंसों के दृश्य क्षेत्र ओवरलैप होते हैं, इसलिए इसका दृश्य क्षेत्र सीमित होता है। नवीनतम EyeSight में एक वाइड-एंगल मोनोक्युलर कैमरा जोड़ा गया है, जो ठीक इसी कमी को दूर करने के लिए बनाया गया है, और कई सेंसरों को संयोजित करना लगभग एक बेहतर विकल्प है। व्यावहारिक आवश्यकता
  • दृश्य प्रकाश आधारित प्रणाली की अंतर्निहित कमियाँ: पैसिव स्टीरियो, पर्याप्त बनावट (पैटर्न) के बिना वस्तुओं पर असमानता का पता नहीं लगा सकता और रेंजिंग सटीकता खो देता है। एक सादी दीवार या ठोस रंग के फर्श पर, इन्फ्रारेड पैटर्न प्रोजेक्शन का उपयोग करने वाला एक्टिव डेप्थ कैमरा बेहतर हो सकता है।
  • स्टीरियो मिलान की गणना लागत: बाएँ और दाएँ चित्रों के बीच संगत बिंदुओं की खोज करना गणनात्मक रूप से महंगा है, और एम्बेडेड उपकरणों के लिए, हार्डवेयर त्वरण अनिवार्य है। यही कारण है कि OAK-D में एक समर्पित VPU और RealSense D400 श्रृंखला में एक समर्पित ASIC (विज़न प्रोसेसर D4) है - केवल CPU पर रीयल-टाइम प्रोसेसिंग करना मुश्किल है।
  • क्या IMU एकीकृत है: e-con Systems TaraXL और Intel RealSense D435i जैसे अंतर्निर्मित 6-अक्ष IMU वाले उत्पाद, डेप्थ प्रोसेसिंग के दौरान कैमरे की गति की भरपाई कर सकते हैं। मोबाइल रोबोट और ड्रोन पर उपयोग के लिए, यह एकीकरण अक्सर व्यावहारिक निर्णायक कारक होता है।

कैसे एक-पिक्सेल त्रुटि रेंज त्रुटि में परिवर्धित हो जाती है

स्टीरियो डेप्थ Z=fB/d का अनुसरण करती है। असमानता अनिश्चितता \sigma_d को रेंज अनिश्चितता में परिवर्तित करने पर प्राप्त होता है:

\sigma_Z\simeq\frac{fB}{d^2}\sigma_d=\frac{Z^2}{fB}\sigma_d

f=700\,\mathrm{px}, B=0.12\,\mathrm{m} और Z=2\,\mathrm{m} के लिए असमानता d=42\,\mathrm{px} है। 0.5\,\mathrm{px} की असमानता त्रुटि लगभग 2.4\,\mathrm{cm} रेंज त्रुटि बन जाती है। यही 0.5\,\mathrm{px} त्रुटि Z=10\,\mathrm{m} पर लगभग 0.60\,\mathrm{m} तक बढ़ जाती है, यही कारण है कि लंबी दूरी पर सब-पिक्सेल अनुमान और एक लंबी बेसलाइन महत्वपूर्ण हैं।

इसका मतलब यह नहीं है कि एक लंबी बेसलाइन हमेशा समाधान होती है। निकट दूरी पर दो छवि क्षेत्र ओवरलैप करना बंद कर सकते हैं। कंपन या तापमान पर निर्भर बाह्य परिवर्तन भी मायने रख सकते हैं। व्यवहार में, प्रत्येक दूरी बैंड के लिए पुनर्प्रक्षेपण त्रुटि, असमानता विश्वास और अवरुद्ध क्षेत्रों को अलग-अलग रिपोर्ट करें।

Diagram 1 · Use the button to switch views
रेंज-त्रुटि वक्र दर्शाता है कि 0.5 पिक्सेल असमानता त्रुटि 2 मीटर पर लगभग 2.4 सेमी त्रुटि देती है, लेकिन 10 मीटर पर लगभग 0.60 मीटर त्रुटि देती है
Diagram 2 · Use the button to switch views
\sigma_Z\propto Z^2: error grows at rangetarget range Zrange error \sigma_Znearfar
आरेख: डस्ककॉइल। यह मापन के बजाय अवधारणात्मक है; यह दूरी के साथ असमानता त्रुटि के द्विघात प्रवर्धन को दर्शाता है।
अपनी समझ की जाँच करें
क्या लंबी दूरी पर असमानता त्रुटि का एक पिक्सेल कम मायने रखता है?

दूरी के साथ असमानता कम होती जाती है, इसलिए समान असमानता त्रुटि अधिक दूरी त्रुटि उत्पन्न करती है। बेसलाइन, फोकल लंबाई और ऑपरेटिंग रेंज पर एक साथ विचार करें।

संदर्भ

What to read next

Review the backgroundमोनोक्युलर कैमरे कैसे काम करते हैं और प्रमुख उत्पाद — मोबिलाइ, टेस्ला, कॉन्टिनेंटलContinue the seriesडेप्थ कैमरे कैसे काम करते हैं और प्रमुख उत्पाद — रियलसेंस, किनेक्ट, ऑर्बेकExplore another aspect of this fieldस्थिर IMU लॉग पढ़ें: पूर्वाग्रह, बिखराव और एलन विचलन
#Camera #Stereo Camera #Subaru #EyeSight #Sensor #Autonomous Driving