डेप्थ कैमरे कैसे काम करते हैं और प्रमुख उत्पाद — रियलसेंस, किनेक्ट, ऑर्बेक

डेप्थ कैमरा किसी वस्तु की दूरी (गहराई) को प्रति पिक्सेल के आधार पर मापता है। जहां स्टीरियो कैमरा एक निष्क्रिय डिज़ाइन है जो केवल दृश्य प्रकाश का उपयोग करके असमानता का पता लगाता है, वहीं अधिकांश डेप्थ कैमरे वस्तु पर सक्रिय रूप से किसी प्रकार का प्रकाश डालते हैं और वापस आने वाले प्रकाश से गहराई का अनुमान लगाते हैं। इनके उपयोग को मोटे तौर पर तीन श्रेणियों में बांटा जा सकता है: "सक्रिय स्टीरियो", जो एक इन्फ्रारेड उत्सर्जक के साथ एक यादृच्छिक बिंदु पैटर्न प्रोजेक्ट करता है और उस पर स्टीरियो मिलान करता है; "संरचित प्रकाश", जो ज्ञात पैटर्न के विरूपण से ज्यामितीय रूप से गहराई की गणना करता है; और "टाइम ऑफ फ्लाइट" (ToF), जो प्रकाश के राउंड-ट्रिप समय (या चरण परिवर्तन) से सीधे दूरी की गणना करता है। इन तीनों में एक ही अंतर्निहित विशेषता है - कृत्रिम संकेत का उपयोग करने के कारण, ये एक सादी सफेद दीवार या ठोस रंग के फर्श जैसी वस्तुओं पर भी गहराई का पता लगा सकते हैं, जहां निष्क्रिय स्टीरियो असमानता का पता लगाने में संघर्ष करता है। इनका उपयोग इनडोर रोबोट SLAM, VR/AR हैंड ट्रैकिंग, स्मार्टफोन फेशियल ऑथेंटिकेशन और औद्योगिक 3D माप में किया जाता है।

Kinect (2010, E3 में प्रदर्शित)

Intel RealSense D435

चित्र: Kinect और Xbox 360 E3 2010 में (जेम्स फाफ, CC BY 2.0) / Intel RealSense डेप्थ कैमरा D435 (मार्क औलेदास, CC BY-SA 4.0), दोनों विकिमीडिया कॉमन्स। RealSense की तस्वीर में बेस D435 दिखाया गया है, न कि IMU से लैस D435i, जिसके बारे में लेख में चर्चा की गई है।

सिद्धांत: तीन सक्रिय दृष्टिकोण

सक्रिय स्टीरियो में एक इन्फ्रारेड प्रोजेक्टर किसी वस्तु पर एक यादृच्छिक डॉट पैटर्न डालता है, फिर गहराई की गणना करने के लिए उस पैटर्न में बदलाव के आधार पर दो इन्फ्रारेड कैमरों के बीच स्टीरियो मिलान करता है। इसका मूल सिद्धांत निष्क्रिय स्टीरियो (Z = fB/d, स्टीरियो कैमरा लेख देखें) के समान ट्रायंगुलेशन है, सिवाय इसके कि बनावट कृत्रिम रूप से जोड़ी जाती है। इंटेल की RealSense D400 श्रृंखला इसी दृष्टिकोण का उपयोग करती है।

संरचित प्रकाश दो कैमरों के बजाय "एक ज्ञात पैटर्न उत्सर्जित करने वाले प्रोजेक्टर" और "एकल कैमरे" की एक जोड़ी का उपयोग करके ट्रायंगुलेशन करता है। प्रोजेक्टर और कैमरे के बीच एक आधार रेखा भी होती है, और प्रक्षेपित पैटर्न (बिंदु, धारियाँ, आदि) वस्तु की सतहों पर किस प्रकार विकृत होता है, इसकी तुलना ज्ञात संदर्भ पैटर्न से करके गहराई की गणना की जाती है। मूल किनेक्ट (2010) और एप्पल का ट्रूडेप्थ (आईफोन फेस आईडी) दोनों इसी पद्धति का उपयोग करते हैं - ट्रूडेप्थ किसी चेहरे की 3डी आकृति को पढ़ने के लिए उस पर 30,000 से अधिक अवरक्त बिंदु प्रक्षेपित करता है।

टाइम ऑफ फ्लाइट (टीओएफ) उसी राउंड-ट्रिप-टाइम-ऑफ-लाइट सिद्धांत को लागू करता है जिसका उपयोग लिडार द्वारा किया जाता है, समानांतर रूप से, प्रति पिक्सेल। पल्स के राउंड-ट्रिप टाइम (डीटीओएफ) को सीधे मापने के अलावा, उपभोक्ता और औद्योगिक डेप्थ कैमरों में प्रचलित पद्धति आईटीओएफ है: यह मॉड्यूलेटेड निरंतर प्रकाश प्रक्षेपित करता है और उत्सर्जित और परावर्तित सिग्नल के बीच चरण अंतर से दूरी प्राप्त करता है। मॉड्यूलेशन आवृत्ति f_{mod} और प्रकाश की गति c के साथ, दूरी Z निम्न प्रकार से दी जाती है:

चूंकि इसमें ट्रायंगुलेशन की आवश्यकता नहीं होती है, इसलिए प्रोजेक्टर और कैमरे के बीच बेसलाइन की आवश्यकता नहीं होती है, जिससे इसे छोटा करना आसान हो जाता है और गतिशील पुर्जे समाप्त हो जाते हैं। Microsoft के Kinect v2 से आगे के उत्पाद और Orbbec का Femto Bolt इसी दृष्टिकोण का उपयोग करते हैं। ये तीनों दृष्टिकोण अवरक्त प्रकाश पर निर्भर करते हैं, इसलिए इनमें एक सामान्य कमी है: तेज धूप में, जो अवरक्त से भरपूर होती है, बाहर सटीकता कम हो जाती है।

Diagram 1 · Use the button to switch views

आरेख: डस्ककॉइल। नीली रेखाएँ प्रक्षेपित प्रकाश दर्शाती हैं; नारंगी रंग की बिंदीदार रेखाएँ लक्ष्य से लौटती हुई रोशनी को दर्शाती हैं। एक्टिव स्टीरियो और स्ट्रक्चर्ड लाइट एक बेसलाइन पर ट्रायंगुलेट करते हैं, जबकि ToF समय या चरण शिफ्ट का उपयोग करता है।

प्रमुख उत्पाद विशिष्टताओं की तुलना

माइक्रोसॉफ्ट किनेक्ट v2 / एज़्योर किनेक्ट | ट्रू डेप्थ ऑफ़ फेस (ToF) | (आधिकारिक विनिर्देश एप्लिकेशन के अनुसार भिन्न हो सकते हैं) | एज़्योर किनेक्ट में अंतर्निर्मित आईएमयू है | एज़्योर किनेक्ट को 2020 में मिक्स्ड रियलिटी, रोबोटिक्स और औद्योगिक उपयोग के लिए लॉन्च किया गया था; 2023 में बंद कर दिया गया |

ऑर्बेक फेम्टो बोल्ट | ट्रू डेप्थ ऑफ़ फेस (माइक्रोसॉफ्ट से लाइसेंस प्राप्त तकनीक का उपयोग करता है) | 1024x1024 तक गहराई रिज़ॉल्यूशन, 120° क्षैतिज FOV | 6-अक्ष आईएमयू | 2023 में एज़्योर किनेक्ट के उत्तराधिकारी के रूप में घोषित किया गया। 1024x1024 पर 15fps गहराई / 640x576 पर 30fps, एकीकृत 4K RGB कैमरे के साथ |

एप्पल आईफोन ट्रू डेप्थ | संरचित प्रकाश (30,000+ IR डॉट्स प्रोजेक्ट करता है) | बहुत कम दूरी, चेहरे की पहचान के लिए अनुकूलित | (iPhone के अपने IMU के साथ मिलकर काम करता है) | फेस आईडी, एनिमोजी, पोर्ट्रेट मोड में सब्जेक्ट सेपरेशन |

D435i, D435 का मूल संस्करण है जिसमें 6-एक्सिस IMU (Bosch BMI055) जोड़ा गया है। इसका IMU डेटा डेप्थ डेटा के साथ समय-सिंक्रनाइज़्ड (टाइमस्टैम्प-अलाइन्ड) आउटपुट होता है, जिससे यह डेप्थ और पॉइंट क्लाउड को प्रोसेस करते समय कैमरे की गति को ठीक कर पाता है। मूल Kinect, इज़राइली स्टार्टअप PrimeSense द्वारा विकसित स्ट्रक्चर्ड-लाइट तकनीक पर आधारित था; इसके उत्तराधिकारी, Kinect v2 ने ToF तकनीक का उपयोग करना शुरू कर दिया। Azure Kinect का उत्पादन 2023 में बंद हो गया, लेकिन Microsoft ने अपनी टाइम-ऑफ-फ्लाइट तकनीक का लाइसेंस Orbbec को दे दिया, और उत्तराधिकारी Femto Bolt, Azure Kinect के समान डेप्थ कैमरा मॉड्यूल का उपयोग करता है, जिससे मौजूदा एप्लिकेशन के लिए माइग्रेशन आसान हो जाता है। iPhone का TrueDepth उसी PrimeSense संरचित प्रकाश तकनीक का एक अलग व्यावसायिक हिस्सा है — एक ही तकनीकी मूल के दो बिल्कुल अलग अनुप्रयोगों में विभाजित होने का एक वास्तविक उदाहरण: "गेम कंसोल मोशन सेंसिंग" और "स्मार्टफोन फेशियल ऑथेंटिकेशन"।

कैसे एक तकनीक, PrimeSense, Xbox, iPhone और औद्योगिक रोबोटों में विकसित हुई

Kinect बनाने वाली इज़राइली कंपनी PrimeSense — मूल Kinect (2010 में जारी) की मूल तकनीक Microsoft में विकसित नहीं की गई थी — यह इज़राइली स्टार्टअप PrimeSense द्वारा विकसित संरचित प्रकाश गहराई-संवेदन तकनीक थी। Kinect ने गेमिंग कंसोल से अपने शुरुआती उपयोग को जल्दी ही पीछे छोड़ दिया और अकादमिक और व्यावसायिक रोबोटिक्स में इसका व्यापक उपयोग होने लगा: महंगे LiDAR की तुलना में बहुत कम लागत पर, एक साथ गहराई और RGB कैप्चर के साथ सब-720p रिज़ॉल्यूशन का संयोजन, उस समय रोबोटिक्स अनुसंधान के लिए एक उल्लेखनीय उपलब्धि थी। माइक्रोसॉफ्ट रिसर्च के रिचर्ड न्यूकोम्ब, शाहराम इज़ादी और उनके सहयोगियों द्वारा 2011 में प्रकाशित शोध पत्र "काइनेक्टफ्यूजन: रियल-टाइम डेंस सरफेस मैपिंग एंड ट्रैकिंग" (IEEE ISMAR 2011) में एक कम लागत वाले डेप्थ कैमरे और एक सामान्य GPU का उपयोग करके रियल-टाइम डेंस 3D सरफेस मैपिंग का प्रदर्शन किया गया, जो RGB-D SLAM अनुसंधान के मूलभूत कार्यों में से एक बन गया।

Apple द्वारा PrimeSense का अधिग्रहण और Face ID के रूप में इसका पुनर्जन्म — नवंबर 2013 में, Apple ने PrimeSense को 360 मिलियन डॉलर में अधिग्रहित किया। इससे मूल किनेक्ट की संरचित प्रकाश तकनीक बाज़ार से गायब नहीं हुई — इसकी तकनीकी विरासत आगे चलकर फेस आईडी का आधार बनी, और 2017 में घोषित आईफोन एक्स के "ट्रूडेप्थ" कैमरा सिस्टम (एक इन्फ्रारेड फ्लड इल्यूमिनेटर, एक डॉट प्रोजेक्टर और एक इन्फ्रारेड कैमरा) में साकार हुई। यह तकनीक के पुन: उपयोग का एक असाधारण रूप से व्यापक उदाहरण है: गेम कंसोल मोशन सेंसिंग के लिए विकसित तकनीक, सात साल बाद, एक अरब यूनिट के पैमाने पर स्मार्टफोन में बिकने वाली मुख्य बायोमेट्रिक प्रमाणीकरण तकनीक बन गई।

माइक्रोसॉफ्ट ने किनेक्ट को "फिर से" बंद किया — एक दशक से अधिक समय में, माइक्रोसॉफ्ट ने किनेक्ट परिवार के उत्पादों की कई पीढ़ियों को बार-बार लॉन्च किया और फिर बंद कर दिया: Xbox 360 के लिए किनेक्ट, Xbox One के लिए किनेक्ट, विंडोज v2 के लिए किनेक्ट, और औद्योगिक/अनुसंधान-उन्मुख Azure Kinect DK। अगस्त 2023 में Azure Kinect DK के बंद होने की घोषणा, इस श्रृंखला में Kinect के अंत की नवीनतम (और अब तक की अंतिम) घटना थी। लेकिन इस बार यह पूरी तरह से बंद नहीं हुआ — Microsoft ने अपनी ToF तकनीक का लाइसेंस Orbbec को देने का विकल्प चुना, और Orbbec के "Femto Bolt" ने Azure Kinect के समान डेप्थ कैमरा मॉड्यूल को आगे बढ़ाया। यह एक दशक पहले PrimeSense के अधिग्रहण की याद दिलाता है: एक तकनीक कंपनी के हस्तांतरण के बाद भी बनी रहती है।

प्रदर्शन निर्धारित करने वाले पैरामीटर

• गहराई सीमा: D435i की लगभग 0.3–3 मीटर की सीमा (कुछ परिस्थितियों में लगभग 10 मीटर के बराबर तक) एक निकट-से-मध्यम श्रेणी का डिज़ाइन है, जो इनडोर रोबोट के लिए टेबलटॉप या शेल्फ के आसपास बाधाओं का पता लगाने या हाथ ट्रैकिंग जैसे निकट-श्रेणी के उपयोग के लिए उपयुक्त है। बाहरी लंबी दूरी की निगरानी के लिए स्टीरियो कैमरा या LiDAR बेहतर विकल्प हैं।
• विधि का चुनाव (सक्रिय स्टीरियो / संरचित प्रकाश / ToF): सक्रिय स्टीरियो में स्टीरियो मिलान की गणनात्मक लागत आती है, लेकिन इसे अपेक्षाकृत सस्ते घटकों से बनाया जा सकता है। संरचित प्रकाश निकट दूरी पर उच्च सटीकता प्रदान करता है, जो फेस आईडी जैसे बहुत निकट, उच्च परिशुद्धता वाले अनुप्रयोगों के लिए उपयुक्त है, लेकिन प्रोजेक्टर और कैमरे के बीच एक आधार रेखा की आवश्यकता के कारण लघुकरण संबंधी बाधाओं का सामना करना पड़ता है। ToF को किसी गतिशील भाग या आधार रेखा की आवश्यकता नहीं होती है, जिससे इसे लघु बनाना आसान हो जाता है, हालांकि यह संरचित प्रकाश की निकट-सीमा सटीकता से मेल नहीं खाता है। Femto Bolt, जो एक कॉम्पैक्ट बॉडी में 1024x1024 गहराई रिज़ॉल्यूशन प्रदान करता है, ToF के इसी लघुकरण लाभ का लाभ उठाता है।
• अंतर्निहित IMU और समय तुल्यकालन: उन अनुप्रयोगों के लिए जहां कैमरा स्वयं चलता है (हैंडहेल्ड, ड्रोन-माउंटेड, मोबाइल रोबोट), गहराई डेटा और IMU डेटा का समय-तुल्यकालन कितनी सटीकता से होता है, यह गति-धुंधलापन सुधार की सटीकता निर्धारित करता है। D435i, Azure Kinect और Femto Bolt में अंतर्निहित IMU को विशेष रूप से इसी उपयोग को ध्यान में रखकर डिज़ाइन किया गया है।
• आसपास के प्रकाश के प्रति सहनशीलता: तीनों इन्फ्रारेड-आधारित तरीके घर के अंदर स्थिर रहते हैं, लेकिन तेज धूप में बाहर इनकी सटीकता कम हो जाती है, क्योंकि धूप में प्रक्षेपित पैटर्न या परावर्तित सिग्नल धुंधला हो जाता है। बाहर चलने वाले अनुप्रयोगों को आमतौर पर पैसिव स्टीरियो (ZED, आदि) या कई तरीकों के मिश्रण का उपयोग करना पड़ता है।
• वस्तु की बनावट: घर के अंदर रोबोटिक्स और VR/AR में, जहां कम बनावट वाले लक्ष्य होते हैं - जैसे सफेद दीवार, ठोस रंग का फर्श - वहां इन्फ्रारेड पैटर्न को कृत्रिम रूप से प्रक्षेपित करने वाली सक्रिय विधि का लाभ मिलता है। बनावट से भरपूर बाहरी वातावरण में यह लाभ कम हो जाता है।
• न्यूनतम रेंजिंग दूरी: बहुत कम दूरी पर गहराई की आवश्यकता वाले अनुप्रयोगों के लिए - जैसे हैंड ट्रैकिंग, चेहरे की पहचान - गहराई सीमा की निचली सीमा सीधे उपयोगिता निर्धारित करती है। ट्रूडेप्थ को कुछ सेंटीमीटर की दूरी पर स्थित लक्ष्य (चेहरा) के लिए विशेष रूप से बनाया गया है, जो इसका सर्वोत्कृष्ट उदाहरण है।

विधि द्वारा रेंज त्रुटि का अनुमान लगाना

सक्रिय स्टीरियो के लिए, मूल संबंध Z=fB/d है, इसलिए असमानता अनिश्चितता \sigma_d इस प्रकार प्रवर्धित होती है:

f=600\,\mathrm{px}, B=0.05\,\mathrm{m}, Z=3\,\mathrm{m} और \sigma_d=0.25\,\mathrm{px} के साथ, रेंज त्रुटि लगभग 7.5\,\mathrm{cm} है। एक प्रक्षेपित पैटर्न कम बनावट वाली दीवार पर मिलान में मदद करता है, लेकिन बिंदु तेज धूप में या अवरक्त अवशोषित करने वाली सामग्री पर गायब हो सकते हैं।

ToF के लिए, चरण या समय रीडआउट, परावर्तनशीलता, मल्टीपाथ और एकीकरण समय प्रमुख कारक हैं। इसलिए, 1024×1024 पिक्सल का डेप्थ रिज़ॉल्यूशन, रेंज मानक विचलन के समान विनिर्देश नहीं है। डिवाइस का चयन करते समय, लक्ष्य दूरी और सामग्री को स्थिर रखें और मिसिंग-रिटर्न दर, आउटलायर दर, फ्रेम लेटेंसी और डेप्थ, RGB और IMU के बीच टाइमस्टैम्प ऑफ़सेट को मापें।

Diagram 2 · Use the button to switch views

चित्र 2 — बाईं ओर के मान लेख के f,B,\sigma_d से परिकलित किए गए हैं। दाईं ओर यह बताया गया है कि ToF यादृच्छिक त्रुटि, पूर्वाग्रह और अमान्य रिटर्न के लिए अलग-अलग माप की आवश्यकता क्यों होती है। यह डिवाइस परफॉर्मेंस कर्व नहीं है।

अपनी समझ की जाँच करें क्या डेप्थ मिसिंग का मतलब शून्य मीटर है? इसका मतलब है कि रेंज प्राप्त नहीं हुई। अमान्य मानों को संभालने के लिए परिभाषित करें, न कि अनुपलब्ध डेटा को निकटवर्ती ऑब्जेक्ट या खाली स्थान के रूप में मानें।

संदर्भ

• इंटेल रियलसेंस डी435आई उत्पाद पृष्ठ
• किनेक्ट (विकिपीडिया)
• एज़्योर किनेक्ट (विकिपीडिया)
• माइक्रोसॉफ्ट ने एज़्योर किनेक्ट डीके के उत्पादन बंद होने की घोषणा की (माइक्रोसॉफ्ट टेक कम्युनिटी)
• ऑर्बबेक फेम्टो बोल्ट उत्पाद पृष्ठ
• ऑर्बबेक x माइक्रोसॉफ्ट सहयोग का अवलोकन
• माइक्रोसॉफ्ट किनेक्ट को बंद करने से नहीं रोक पा रहा है (टेकक्रंच)
• Apple के PrimeSense अधिग्रहण का कवरेज
• iPhone TrueDepth/Face ID कैसे काम करता है (संरचना)
• KinectFusion पेपर (IEEE ISMAR 2011)
• Kinect रेंज सेंसिंग: स्ट्रक्चर्ड-लाइट बनाम टाइम-ऑफ-फ्लाइट Kinect (arXiv:1505.05459)