स्ट्रक्चर फ्रॉम मोशन प्राइमर — अव्यवस्थित तस्वीरों के सेट से 3D और कैमरा पोजीशन को एक साथ पुनर्प्राप्त करना

किसी पर्यटन स्थल पर एक ही इमारत की सैकड़ों अजनबियों द्वारा ली गई तस्वीरों को इकट्ठा करें और प्रत्येक शूटिंग पोजीशन सहित उस इमारत का 3D मॉडल प्राप्त करें - यही स्ट्रक्चर फ्रॉम मोशन (SfM) है। छवियों के एक सेट से, जिनका शूटिंग क्रम, कैमरों की सापेक्ष स्थिति और यहां तक कि उपयोग किया गया लेंस भी पहले से अज्ञात है, यह संयुक्त रूप से एक ज्यामितीय रूप से सुसंगत 3D पॉइंट क्लाउड और कैमरा पोज को पुनर्प्राप्त करता है। जहां विजुअल-SLAM और VO/VIO किसी रोबोट या कैमरे की "वर्तमान" स्थिति को वास्तविक समय में ट्रैक करते हैं, वहीं SfM ज्यादातर ऑफ़लाइन चलता है, और एक संपूर्ण दृश्य बनाने के लिए सटीकता को प्राथमिकता देता है। यह लेख इसी अंतर पर केंद्रित होकर SfM की आंतरिक संरचना का शुरू से अंत तक विश्लेषण करता है।

0.30-सेकंड का सारांश

• एसएफएम (SfM) एक ऐसी प्रक्रिया है जिसके द्वारा फीचर-पॉइंट मैचिंग और ज्यामितीय सत्यापन के माध्यम से कई छवियों से एक साथ दृश्य के विरल 3डी पॉइंट क्लाउड और प्रत्येक कैमरे के आंतरिक और बाह्य मापदंडों को पुनर्प्राप्त किया जाता है।

• पुनर्निर्माण की मुख्य रूप से दो रणनीतियाँ हैं: इंक्रीमेंटल एसएफएम, जिसमें कैमरों को एक-एक करके क्रम से जोड़ा जाता है, और ग्लोबल एसएफएम, जिसमें पहले प्रत्येक जोड़ी की सापेक्ष स्थिति का पता लगाया जाता है और फिर एक साथ वैश्विक स्थितियों को हल किया जाता है।

• इंक्रीमेंटल एसएफएम मजबूत है, लेकिन अनुक्रमिक होने के कारण इसमें विचलन (संचित त्रुटि) की संभावना होती है। ग्लोबल एसएफएम सब कुछ एक साथ हल करता है और इसलिए विचलन का प्रतिरोध करता है, लेकिन कई आउटलायर्स वाली सापेक्ष स्थितियों के विरुद्ध कमजोर है।

• ट्रायंगुलेशन से प्राप्त 3डी बिंदु और कैमरा स्थितियाँ, अपने आप में, छवि शोर से प्रभावित केवल मोटे अनुमान हैं। बंडल एडजस्टमेंट द्वारा रीप्रोजेक्शन त्रुटि का एक साथ न्यूनतमकरण ही अंततः SfM की सटीकता निर्धारित करता है।

• SfM और Visual-SLAM की मूल ज्यामिति समान है, लेकिन उनकी डिज़ाइन फिलॉसफी भिन्न है: SfM एक ऑफ़लाइन बैच प्रोसेसिंग है जो सटीकता और पूर्णता को प्राथमिकता देती है, जबकि SLAM एक ऑनलाइन, रीयल-टाइम प्रोसेसिंग है जो तात्कालिकता और निरंतरता को प्राथमिकता देती है।

1. SfM इनपुट के रूप में क्या लेता है और आउटपुट के रूप में क्या देता है?

इनपुट छवियों का एक सेट \{I_1,\dots,I_N\} है, जिनका शूटिंग क्रम और सापेक्ष स्थिति अज्ञात है। प्रत्येक छवि को अलग-अलग कैमरे, अलग-अलग लेंस और अलग-अलग समय पर लिया जा सकता है। आउटपुट में तीन चीज़ें शामिल हैं:

• प्रत्येक छवि i का कैमरा पोज़ P_i=K_i[R_i\mid\mathbf{t}_i] (आंतरिक और बाह्य पैरामीटर)
• दृश्य में 3D बिंदुओं का एक समूह \{\mathbf{X}_j\} (मुख्यतः फीचर बिंदुओं के अनुरूप एक विरल बिंदु क्लाउड)
• यह पत्राचार (ट्रैक) कि किन छवियों ने किन 3D बिंदुओं का अवलोकन किया

जहां कैमरा कैलिब्रेशन प्राइमर एक निश्चित कैलिब्रेशन पैटर्न से एक कैमरे के आंतरिक पैरामीटर पुनर्प्राप्त करता है, वहीं SfM एक बड़ी व्युत्क्रम समस्या है: यह कई अप्रतिबिम्बित या आंशिक रूप से प्रतिबिम्बित कैमरों के आंतरिक और बाह्य पैरामीटरों को, दृश्य संरचना के साथ, केवल संगत बिंदुओं के बीच ज्यामितीय बाधाओं से एक साथ पुनर्प्राप्त करता है। यदि EXIF मेटाडेटा में फोकल लंबाई शामिल है, तो इसे प्रारंभिक मान के रूप में उपयोग किया जाता है, लेकिन अंतिम सटीकता स्वयं छवियों से ज्यामितीय बाधाओं पर निर्भर करती है।

Diagram 1 · Use the button to switch views

परिणाम व्यूअर में, सबसे पहले यह जांचें कि क्या कैमरे एक अवास्तविक रूप से छोटे क्षेत्र में सिमट जाते हैं, क्या पॉइंट क्लाउड विभाजित या दोगुना हो जाता है, और क्या कोई इमेज रजिस्टर नहीं हो पाई है। केवल बिल्डिंग जैसी उपस्थिति सटीकता को नहीं दर्शाती है। रीप्रोजेक्शन त्रुटि, ट्रैक की लंबाई और रजिस्टर्ड इमेज की संख्या का मूल्यांकन करें; जब सर्वेक्षण की गई लंबाई या GNSS उपलब्ध होने पर, बाहरी पैमाने से तुलना भी करें। मोनोक्युलर SfM का वैश्विक पैमाना मनमाना होता है, इसलिए पॉइंट-क्लाउड व्यूअर द्वारा दिखाई गई दूरी स्वचालित रूप से मीटर में दूरी नहीं होती है।

2. मूल पाइपलाइन

छवि सेट

फीचर एक्सट्रैक्शनव्यापक/निकटवर्ती मिलान ज्यामितीय सत्यापनF/E/H + RANSAC

इंक्रीमेंटल SfMप्रारंभिक युग्म → PnP के माध्यम से जोड़ें→ त्रिभुजाकार करें

ग्लोबल SfMरोटेशन औसत → ट्रांसलेशन औसत→ सभी बिंदुओं का त्रिभुजीकरण

बंडलसमायोजन

उपर-विस्तार, मिलान और ज्यामितीय सत्यापन - ये सभी मूलभूत तकनीकें हैं जिनका वर्णन [फीचर डिटेक्शन] में किया गया है। प्राइमर](/hi/blog/posts/cv-feature-detection.html) और एपिपोलर ज्योमेट्री प्राइमर। प्रत्येक छवि-जोड़ी संबंध का पता चलने के बाद, SfM-विशिष्ट डिज़ाइन निर्णय महत्वपूर्ण हो जाते हैं: प्रत्येक छवि और प्रत्येक बिंदु को बिना किसी विरोधाभास के एक सुसंगत समन्वय फ्रेम में कैसे संयोजित किया जाए — यहीं पर इंक्रीमेंटल SfM और ग्लोबल SfM की दो रणनीतियाँ भिन्न होती हैं।

3. इंक्रीमेंटल SfM: एक-एक करके कैमरे जोड़ना

इंक्रीमेंटल SfM की शुरुआत पर्याप्त लंबन और पर्याप्त पत्राचार वाली प्रारंभिक छवि जोड़ी का चयन करके और एपिपोलर ज्योमेट्री से एसेंशियल/फंडामेंटल मैट्रिक्स का अनुमान लगाकर पहले दो-दृश्य पुनर्निर्माण का निर्माण करके होती है। वहां से, यह निम्नलिखित चरणों को दोहराता है:

1. एक नई छवि चुनें जिसमें पहले से ही पंजीकृत 3D बिंदुओं के साथ 2D पत्राचार हो, और PnP के माध्यम से उस छवि की स्थिति ज्ञात करें।

2. नई छवि और मौजूदा छवियों के बीच पत्राचार से उन बिंदुओं को त्रिभुजित करें जिनका अभी तक 3D में पुनर्निर्माण नहीं हुआ है।

3. प्रत्येक निश्चित संख्या में छवियों के बाद स्थानीय या वैश्विक बंडल समायोजन के साथ स्थिति और संरचना को परिष्कृत करें।

4. चरण 1 पर तब तक लौटें जब तक कि सभी छवियों को संसाधित न कर लिया जाए, या और छवियां जोड़ी न जा सकें।

यह दृष्टिकोण, जो स्नैवेली एट अल की फोटो टूरिज्म (2006) के बाद से व्यापक रूप से उपयोग किया जाता है, COLMAP के मानक पाइपलाइन द्वारा भी वृद्धिशील SfM के रूप में अपनाया गया है। चूंकि यह एक समय में केवल कुछ अज्ञातों को क्रमिक रूप से बढ़ाता है, इसलिए यह एक मजबूत कार्यान्वयन है, और खराब छवि युग्म का पता लगाना और उसे हटाना आसान है। दूसरी ओर, क्योंकि पोज़ एक-एक करके इमेज के रूप में स्टैक किए जाते हैं, इसलिए शुरुआत में होने वाली छोटी-छोटी त्रुटियाँ बाद की इमेजों में भी फैल जाती हैं, और बड़े लूप (एक ही स्थान पर बार-बार आने वाली इमेजों का समूह) वाले डेटासेट में विचलन जमा होने की प्रवृत्ति होती है। आवधिक बंडल समायोजन, लूप क्लोज़र के समतुल्य पुनरावलोकन पहचान के साथ मिलकर, इस संचित त्रुटि को नियंत्रण में रखने की कुंजी है।

4. ग्लोबल SfM: सभी युग्म संबंधों को एक साथ हल करना

ग्लोबल SfM इमेजों को क्रमिक रूप से पंजीकृत नहीं करता है — यह पहले प्रत्येक (या चयनित उपसमूह) इमेज युग्म के लिए सापेक्ष पोज़ (R_{ij},\mathbf{t}_{ij}/\|\mathbf{t}_{ij}\|) ज्ञात करता है। फिर यह दो चरणों में पूरे ग्राफ़ का संयुक्त रूप से अनुमान लगाता है।

रोटेशन औसत युग्म सापेक्ष रोटेशन R_{ij} के सेट से कैमरा रोटेशन \{R_i\} का एक वैश्विक रूप से न्यूनतम असंगत सेट ज्ञात करता है। एक सामान्य रूप से उपयोग किया जाने वाला त्रुटि मीट्रिक, लाइ समूह SO(3) पर लघुगणक मानचित्र का उपयोग करता है:

\rho एक मजबूत हानि है, जो आउटलायर के रूप में कार्य करने वाले गलत सापेक्षिक स्थितियों के प्रभाव को दबा देती है।

अनुवाद औसत, एक बार घूर्णन स्थिर हो जाने पर, सापेक्षिक अनुवाद दिशाओं के समूह \mathbf{t}_{ij} से कैमरा स्थिति \{\mathbf{t}_i\} ज्ञात करता है। चूंकि एकक्युलर सापेक्षिक अनुवाद केवल एक दिशा देता है (देखें एपिपोलर ज्यामिति प्राइमर में चर्चा की गई स्केल अस्पष्टता), आपको कई युग्म-वार दिशात्मक बाधाओं से एक सुसंगत विन्यास के लिए हल करने की आवश्यकता है - इसके लिए 1DSfM जैसे दृष्टिकोण प्रस्तावित किए गए हैं, जिनमें आउटलायर को हटाना शामिल है।

क्योंकि ग्लोबल SfM एक साथ सभी छवियों से जानकारी का उपयोग करता है, इसलिए सिद्धांत रूप में, यह इंक्रीमेंटल SfM में देखे जाने वाले अनुक्रमिक विचलन से कम प्रभावित होता है, और इसकी गणना को समानांतर करना भी आसान है। लेकिन यदि व्यक्तिगत सापेक्ष स्थितियों में आउटलायर्स मिल जाते हैं, तो पूरा वैश्विक समाधान विकृत हो जाता है जब तक कि उन्हें औसत निकालने के चरण में पहचान कर अलग न कर दिया जाए। मौलोन एट अल. का कार्य (ICCV 2013) एक प्रतिनिधि उदाहरण है जिसने ट्राइफोकल टेंसर का उपयोग करके अनुवाद-दिशा अनुमान के साथ मजबूत रोटेशन औसत को मिलाकर ग्लोबल SfM की व्यावहारिकता में काफी सुधार किया है।

व्यवहार में, दोनों को एक सख्त विकल्प के रूप में मानने के बजाय, हाइब्रिड डिज़ाइन पर भी शोध किया जा रहा है - ग्लोबल एसएफएम के साथ एक मोटा-मोटा ग्लोबल पोज़ बनाना और फिर उसे धीरे-धीरे परिष्कृत करना, या केवल उच्च-विश्वसनीयता वाले युग्मों का वैश्विक तरीके से उपयोग करना और शेष को धीरे-धीरे जोड़ना।

5. त्रिभुजीकरण और ट्रैक प्रबंधन

एक बार छवियों के समूह के लिए पोज़ मिल जाने पर, संगत बिंदुओं का त्रिभुजीकरण करके 3D बिंदु प्राप्त करना, मूल दो-दृश्य ज्यामिति संक्रिया का ही विस्तार है। SfM की विशेषता यह है कि जब एक ही भौतिक बिंदु तीन या अधिक छवियों में देखा जाता है, तो उस पत्राचार, जिसे "ट्रैक" कहा जाता है, का प्रबंधन कैसे किया जाए।

• क्योंकि फ़ीचर मिलान युग्मों में किया जाता है, इसलिए आदर्श रूप से छवियों A–B और B–C के बीच मिलान से A–C के बीच भी मिलान होना चाहिए, लेकिन व्यवहार में, वास्तविक विवरण दूरी को देखते हुए यह हमेशा सत्य नहीं होता। एक त्रिफोकल संगति जाँच ट्रैक की गुणवत्ता सुनिश्चित करती है।

• ट्रैक में जितने अधिक अवलोकन होते हैं, त्रिभुजीकरण उतना ही स्थिर होता है, लेकिन केवल उन छवियों से बना ट्रैक जिनके बीच कम लंबन होता है, उसकी गहराई अस्थिर हो जाती है।

• ट्रैक में एक भी गलत मिलान होने से न केवल उस बिंदु की 3D स्थिति विकृत होती है, बल्कि यह समग्र रूप से डाउनस्ट्रीम बंडल समायोजन के अवशेषों को भी प्रभावित करता है। प्रत्येक ट्रैक के लिए RANSAC-शैली का सत्यापन और बड़े रीप्रोजेक्शन त्रुटि वाले ट्रैक को अस्वीकार करना, दोनों ही आवश्यक हैं।

6. बंडल समायोजन की ओर अग्रसर

रैखिक त्रिभुजीकरण या अनुक्रमिक PnP से प्राप्त पोज़ और संरचना, सर्वोत्तम स्थिति में, प्रारंभिक मान होते हैं। सभी छवियों पर रीप्रोजेक्शन त्रुटि को एक साथ न्यूनतम करना —

— बंडल समायोजन है, और यही अंततः SfM की अंतिम सटीकता निर्धारित करता है। इस अनुकूलन की विरल संरचना क्यों है, और शूर पूरक इसे बड़े पैमाने पर भी हल करने योग्य क्यों बनाता है, ये ऐसे कम्प्यूटेशनल प्रश्न हैं जिनका गहन विश्लेषण बंडल समायोजन प्राइमर में किया गया है। यहां ध्यान देने योग्य बात यह है कि इनके उपयोग का तरीका अलग है: इंक्रीमेंटल SfM कुछ इमेज जोड़ने के बाद लोकल बंडल एडजस्टमेंट को इंटरलीव करता है, जबकि ग्लोबल SfM सभी ग्लोबल पोज़ सेट हो जाने पर एक बार में पूरा बंडल एडजस्टमेंट करता है।

7. विजुअल-SLAM के साथ अंतर और समानताएं

SfM और विजुअल-SLAM में समान गणितीय उपकरण - फीचर मैचिंग, एपिपोलर ज्योमेट्री, PnP और बंडल एडजस्टमेंट - का उपयोग होता है। अंतर इनके लक्ष्यों और सीमाओं में निहित है।

ऑप्टिमाइज़ेशन की गुंजाइश | सभी छवियों पर वैश्विक बंडल समायोजन संभव | स्थानीय/वैश्विक ऑप्टिमाइज़ेशन केवल कीफ़्रेम तक सीमित, कंप्यूटिंग बजट की कड़ी सीमाओं के अधीन |

पुनः विज़िट को संभालना | प्रत्येक जोड़ी को ऑफ़लाइन सत्यापित किया जा सकता है | लूप क्लोज़र का ऑनलाइन पता लगाना और उसे ठीक करना आवश्यक |

प्रतिनिधि कार्यान्वयन | COLMAP, openMVG, Bundler | ORB-SLAM परिवार, VINS परिवार |

व्यवहार में, SfM द्वारा निर्मित उच्च परिशुद्धता वाले 3D मानचित्र को SLAM के प्रारंभिक मानचित्र या स्केल संदर्भ के रूप में उपयोग करना, या सटीकता बढ़ाने के लिए SfM के साथ SLAM के कीफ़्रेम प्रक्षेपवक्र को ऑफ़लाइन पोस्ट-प्रोसेस करना जैसे संयोजन भी आम हैं। ये दोनों प्रतिस्पर्धी प्रौद्योगिकियाँ नहीं हैं - वे ऑफ़लाइन/ऑनलाइन समय अक्ष पर एक-दूसरे की पूरक हैं।

8. प्रतिनिधि कार्यान्वयन

• COLMAP: इंक्रीमेंटल SfM पर केंद्रित, यह वर्तमान में सबसे व्यापक रूप से संदर्भित अनुसंधान और उत्पादन कार्यान्वयन है, जो फीचर एक्सट्रैक्शन, मैचिंग, ज्योमेट्रिक सत्यापन और पुनर्निर्माण से लेकर बंडल एडजस्टमेंट और मल्टी-व्यू स्टीरियो तक एक सुसंगत पाइपलाइन प्रदान करता है।

• openMVG (ओपन मल्टीपल व्यू ज्योमेट्री): एक लाइब्रेरी जो इंक्रीमेंटल और ग्लोबल SfM पाइपलाइन दोनों को कार्यान्वित करती है। सघन पुनर्निर्माण के लिए अक्सर openMVS के साथ इसका उपयोग किया जाता है।

• Bundler: अग्रणी इंक्रीमेंटल SfM कार्यान्वयन जिसने फोटो टूरिज्म के परिणामों को सार्वजनिक किया, और कई बाद के कार्यों के लिए एक तुलनात्मक आधार बना।

• मेशरूम (एलिसविज़न): एक ओपन-सोर्स फोटोग्रामेट्री टूल जिसमें ग्राफिकल यूजर इंटरफेस (GUI) है, जो SfM से लेकर MVS और टेक्सचरिंग तक सब कुछ एक ही पास में संभाल लेता है।

लाइब्रेरी चुनते समय, "नया मतलब अधिक सटीक" सही मापदंड नहीं है - बल्कि आप जिन छवियों को संभाल रहे हैं उनकी संख्या, GPU/CPU संसाधन, EXIF फोकल लेंथ की विश्वसनीयता, मिलान रणनीति (व्यापक/अनुक्रमिक/शब्दावली ट्री), और क्या आप MVS और टेक्सचर जनरेशन तक एक ही सुसंगत पाइपलाइन चाहते हैं, इन सब बातों के आधार पर निर्णय लें।

9. कठिन परिस्थितियाँ और सामान्य विफलता के मामले

• टेक्सचर की कमी वाले या अत्यधिक दोहराव वाले दृश्य: एक समान दीवारें, टाइल वाली सतहें और खेत में फसलों की पंक्तियाँ या तो बिल्कुल मेल नहीं खातीं, या बार-बार बेमेल परिणाम देती हैं।

• अत्यंत कम पैरेलेक्स वाली छवियों के सेट: टेलीफोटो लेंस से ली गई दूर के दृश्य की तस्वीरें ट्रायंगुलेशन को अस्थिर कर देती हैं, जिससे गहराई में बड़ी त्रुटियाँ होती हैं।

• गतिशील वस्तुएं और प्रकाश में परिवर्तन: पर्यटक स्थलों की तस्वीरों में लोग, वाहन और मौसम या दिन के समय में अंतर दिखाई देते हैं, जिससे स्थिर दृश्य की धारणा का उल्लंघन करने वाली समानताएं उत्पन्न होती हैं।

• पृथक छवि समूह: यदि शॉट्स दो समूहों में विभाजित हो जाते हैं और दृश्य क्षेत्र ओवरलैप नहीं होता है, तो SfM उन्हें एक सुसंगत समन्वय फ्रेम में एकीकृत नहीं कर सकता है, और पुनर्निर्माण कई असंबद्ध टुकड़ों में टूट जाता है।

• सममित दृश्य: उदाहरण के लिए, सममित भवन के अग्रभाग ज्यामितीय रूप से सुसंगत लेकिन भौतिक रूप से गलत दर्पण समाधान में परिवर्तित हो सकते हैं।

10. व्यावहारिक विकल्प

• यदि शूटिंग पूरी तरह से क्रमबद्ध है (वीडियो, या रोबोट के निरंतर फ्रेम), तो इंक्रीमेंटल SfM का प्रारंभिक-जोड़ी चयन आसान हो जाता है, और COLMAP की डिफ़ॉल्ट पाइपलाइन अक्सर पर्याप्त होती है।

• इंटरनेट पर्यटक तस्वीरों जैसे बड़े पैमाने पर छवि संग्रहों के लिए, जहां शूटिंग क्रम और ओवरलैप दोनों अज्ञात हैं, ग्लोबल SfM की स्केलेबिलिटी का लाभ मिलता है।

• रीयल-टाइम प्रदर्शन की आवश्यकता वाले अनुप्रयोगों (रोबोट, एआर, ऑटोमोटिव) के लिए, एसएफएम के बजाय विजुअल-एसएलएएम या वीआईओ पर विचार करें। एसएफएम का मुख्य क्षेत्र ऑफ़लाइन, उच्च-परिशुद्धता पुनर्निर्माण है।

• यदि आपको सघन 3डी आकार (एक मेश या टेक्सचर्ड मॉडल) की आवश्यकता है, तो एसएफएम के विरल बिंदु क्लाउड और पोज़ से शुरुआत करें, फिर मल्टी-व्यू स्टीरियो पर आगे बढ़ें।

11. सारांश

स्ट्रक्चर फ्रॉम मोशन एक ऐसी तकनीक है जो फीचर मैचिंग और ज्यामितीय सत्यापन के माध्यम से, छवियों के एक अव्यवस्थित सेट से कैमरा पोज़ और 3डी संरचना को संयुक्त रूप से पुनर्प्राप्त करती है, जिसमें या तो इंक्रीमेंटल एसएफएम या ग्लोबल एसएफएम रणनीति का उपयोग किया जाता है। इंक्रीमेंटल मजबूत है लेकिन विचलन के प्रति संवेदनशील है, जबकि ग्लोबल विचलन का प्रतिरोध करता है लेकिन आउटलायर्स के प्रति संवेदनशील है - एक सममित समझौता। दोनों ही रणनीतियों के तहत, अंतिम सटीकता बंडल समायोजन द्वारा सुनिश्चित की जाती है, जो सीधे विजुअल-एसएलएएम से जुड़ती है, जो एक अलग समय अक्ष पर काम करने वाली इसकी सहोदर तकनीक है, और मल्टी-व्यू स्टीरियो से भी जुड़ती है, जो एक सघन पुनर्निर्माण तकनीक है।