Çoklu Görünümlü Stereo Temel Bilgiler — Seyrek Nokta Bulutunu Yoğun 3B Şekle Dönüştürme

Contents — find the section you need

Hareketten Yapı Oluşturma yöntemiyle elde edilen şey, yalnızca özellik noktalarını birbirine bağlayan seyrek bir 3B nokta bulutudur. Bir binanın dış hatlarını veya dokusunun köşelerini ayırt edebilirsiniz, ancak duvarlar ve kavisli yüzeyler neredeyse hiç nokta içermez ve sonuç olduğu gibi "şekil" olarak kullanılamaz. Çoklu Görünüm Stereo (MVS), SfM veya kamera kalibrasyonu yönteminden bilinen kamera pozlarını alır ve görüntüdeki neredeyse her piksel için derinliği tahmin ederek, yoğun bir nokta bulutu veya ağ oluşturur. İş bölümü — poz tahmini SfM'nin işi, yoğun şekil oluşturma MVS'nin işi — bu iki teknolojinin nasıl ilişkili olduğunu anlamanın başlangıç noktasıdır.

0. 30 Saniyelik Özet

MVS, bilinen pozisyonlara sahip birçok görüntüden piksel başına yoğun derinlik tahmin eden ve bunu bir nokta bulutuna veya ağa entegre eden bir teknolojidir. SfM'nin seyrek nokta bulutunu yoğun bir şekle dönüştüren sonraki işlemdir.
Temel prensibi fotoğraf tutarlılığıdır: 3 boyutlu bir nokta için doğru derinliği varsayarsanız, onu gören birden fazla görüntüdeki karşılık gelen piksellerin benzer renk ve parlaklığa sahip olması gerekir.
İki temsili klasik yaklaşım vardır: Derinlik adaylarını düzlemler olarak tararken tutarlılığı değerlendiren Düzlem Tarama ve küçük yamaları yinelemeli olarak genişleten ve filtreleyen Yama Tabanlı (PMVS).
Son yıllarda, maliyet hacmini evrişim yoluyla işleyen derin öğrenme tabanlı yöntemler (MVSNet gibi), doğruluk ve sağlamlık açısından klasik yöntemleri giderek geride bırakmaktadır.
Elde edilen çoklu görünüm derinlik haritaları ya doğrudan nokta bulutu olarak kullanılır ya da TSDF füzyonu veya Poisson Yüzey Yeniden Yapılandırması yoluyla bir ağa dönüştürülür. Stereo veya derinlik kameralarıyla gerçek zamanlı derinlik tahmini, fotoğraf tutarlılığı prensibini paylaşır, ancak bakış noktası sayısı, çevrimdışı olma özelliği ve hesaplama bütçesi bakımından farklılık gösterir.

1. Giriş Olarak Ne Alır ve Ne Çözer?

MVS'nin girdisi, SfM veya kamera kalibrasyonu yoluyla zaten bulunan şu bilgilerdir:

Her bir görüntünün $i$ kamera pozisyonu ve içsel parametreleri $P_i = K_i[R_i\mid\mathbf{t}_i]$ (bilinen olarak kabul edilir)
Hedef sahneyi fotoğraflayan bir dizi görüntü $\{I_1,\dots,I_N\}$

Çıktı, her görüntü (veya seçilen bir referans görüntü kümesi) için yoğun bir derinlik haritası $\{D_i\}$ veya bunların entegrasyonuyla elde edilen nokta bulutu/ağdır. SfM'nin çıktısı - seyrek nokta bulutu ve kamera pozisyonları - "iskelet" ise, MVS ona "et" ekleyen işlemdir. Bilinmeyen pozisyonlarla yoğun bir şekil elde edemezsiniz - MVS her zaman SfM veya kalibrasyonun ardından gelir ve bu sıralamayı baştan itibaren akılda tutmakta fayda vardır.

2. Seyrek Bir Nokta Bulutu Neden Yeterli Değil?

SfM'nin doğrudan yoğun bir nokta bulutu üretmemesinin nedeni, girdisinin özellik noktası eşleştirmesine bağlı olmasıdır. Özellik Algılama Temelleri bölümünde gördüğümüz gibi, yalnızca "ayırt edici" pikseller - köşeler, kenarlar - istikrarlı bir şekilde algılanabilir ve eşleştirilebilir. Düz bir duvar gibi tekdüze dokulu bir bölgenin hiç özellik noktası yoktur ve bu da SfM'nin 3B nokta bulutunda büyük bir boşluk bırakır.

Öte yandan, MVS, pozların zaten bilindiği güçlü kısıtlamadan yararlanabilir, bu nedenle hiç özellik noktasına ihtiyaç duymaz. Herhangi bir piksel için, "bu derinlik adayı diğer görüntülerde tutarlı kalıyor mu?" sorusunu doğrudan değerlendirebilir. Bu, en azından üzerinde çalışılacak bir desen veya gölgelendirme olduğu sürece, dokusu zayıf bir duvar için bile derinliği tahmin etme olasılığını açar (tamamen özelliksiz bir yüzey, aşağıda tartışıldığı gibi zayıf bir nokta olmaya devam eder).

3. Temel Prensip: Fotoğraf Tutarlılığı

Hemen hemen her MVS yöntemi, fotoğraf tutarlılığı varsayımına dayanır. Bir referans görüntüdeki $\mathbf{u}$ pikseline karşılık gelen 3 boyutlu noktanın derinliğinin $d$ olduğunu varsayalım; bu 3 boyutlu nokta şu şekilde geri kazanılabilir:

\mathbf{X}(\mathbf{u}, d) = \pi_{\text{ref}}^{-1}(\mathbf{u}, d)

ve fotoğraf tutarlılığı varsayımı, bu noktayı başka bir görüntü olan $k$ 'ye, $\mathbf{u}' = \pi_k(\mathbf{X}(\mathbf{u},d))$ pikseline yeniden yansıtmanın, $I_{\text{ref}}(\mathbf{u})$ 'a yakın bir renk ve parlaklık vermesi gerektiğidir. Bu, stereo kamera eşitsizlik aramasının 2 bakış açısından $N$ bakış açısına genelleştirilmesi olarak anlaşılması en kolay olanıdır; bu işlem, Derinlik Kameraları Nasıl Çalışır ve Stereo Kameralar Nasıl Çalışır'de ele alınan, sol ve sağ görüntüler arasındaki karşılık gelen pikselleri parlaklık eşleştirerek bulma işlemidir. Aslında, iki gözlü bir stereo kamera için derinlik, basit bir formülle bulunur:

Z = \frac{fB}{d_{\text{disp}}}

odak uzaklığı $f$ , taban çizgisi uzunluğu $B$ ve eşitsizlik $d_{\text{disp}}$ kullanılarak — ve MVS, tam olarak bu "eşitsizlik arama ve derinliğe dönüştürme" işlemidir, herhangi bir düzenlemedeki herhangi bir sayıda kameraya genişletilmiştir.

Tipik bir uygulama, pikselin etrafında küçük bir pencere $W$ kullanır ve bu uyumu normalize edilmiş çapraz korelasyon (NCC) ile ölçer.

\mathrm{NCC}(\mathbf{u}, d) = \frac{\sum_{\mathbf{x}\in W}\left(I_{\text{ref}}(\mathbf{x})-\bar I_{\text{ref}}\right)\left(I_k(\mathbf{x}')-\bar I_k\right)} {\sqrt{\sum_{\mathbf{x}\in W}\left(I_{\text{ref}}(\mathbf{x})-\bar I_{\text{ref}}\right)^2}\sqrt{\sum_{\mathbf{x}\in W}\left(I_k(\mathbf{x}')-\bar I_k\right)^2}}

$\mathbf{x}'$ , $\mathbf{x}$ 'i $k$ görüntüsüne eşleyerek elde edilen karşılık gelen noktadır; bu, derinlik adayı $d$ 'de yerel bir düzlem varsayılarak yapılır. $\mathrm{NCC}$ , parlaklık ölçeği ve ofset değişikliklerine karşı dayanıklıdır, bu nedenle görüntüler arasında bazı pozlama veya aydınlatma farklılıkları olsa bile çalışır. Her görüntü çifti ve her derinlik adayı için bu uyum puanını hesaplamak ve en iyi puana sahip derinliği seçmek, MVS'nin hesaplama iskeletini oluşturur.

4. Temel İşlem Hattı

Klasik MVS temel formu iki aşamalı bir yapıdır: önce her görüntünün yoğun derinlik haritasını bulmak için Düzlem Tarama veya Yama tabanlı yöntemlerden birini seçin, ardından ikinci aşamada bunları tutarlı bir 3B şekle birleştirin. Modern derin öğrenme tabanlı yöntemler büyük ölçüde bu aynı iki aşamalı yapıyı izlerken, derinlik tahmininin iç işleyişini bir sinir ağıyla değiştirir.

5. Düzlem Tarama Yöntemi

The Düzlem Tarama yöntemi, Collins'in CVPR 1996'da önerdiği uzay taramalı çoklu görüntü eşleştirme yaklaşımına dayanmaktadır. Referans kameranın optik eksenine dik (veya sahneye göre yönlendirilmiş) düzenli aralıklarla yerleştirilmiş sanal düzlemleri, referans kameranın görüş konisi içinde sıralar ve sığdan derine doğru derinliği tararken değerlendirme yapar.

Belirli bir derinlikte bir düzlem varsayarsak, bu düzlem üzerindeki noktalar, homografi dönüşümü yoluyla referans görüntüden başka bir görüntüye eşlenebilir. Homografi Temelleri'de ele alınan $H = K_k(R+\mathbf{t}\mathbf{n}^\mathsf{T}/d)K_{\text{ref}}^{-1}$ biçimindeki bir dönüşüm kullanılarak, diğer görüntü $I_k$ referans bakış açısına dönüştürülür. Foto-tutarlılık (önceki bölümdeki NCC gibi), dönüştürülmüş görüntü ile referans görüntü arasındaki her pikselde hesaplanır ve her derinlik için maliyet biriktirilir. aday.

d^*(\mathbf{u}) = \arg\min_{d\in\mathcal{D}} \sum_{k} \rho\left(1-\mathrm{NCC}_k(\mathbf{u},d)\right)

Her derinlik adayı için maliyet hesaplandıktan sonra, piksel başına minimum maliyetli derinlik seçilir. Bu, GPU paralelleştirmesiyle iyi eşleşen, birçok derinlik hipotezini aynı anda değerlendiren ayrık bir derinlik arama yöntemidir. Birçok uygulama bunu yarı yerel maliyet toplama (Yarı Küresel Eşleştirmeye benzer düzenleme) ile birleştirerek, doku bakımından fakir bölgelerde bile komşu bilgilerden derinliği sorunsuz bir şekilde enterpolasyon eder. COLMAP'ın yoğun yeniden yapılandırma modülü de, piksel başına görünüm seçimini optimize eden (Piksel Bazlı Görünüm Seçimi) Düzlem Tarama'ya yakın bir yaklaşım benimser - Schönberger ve diğerlerinin ECCV 2016 makalesi temsili bir örnektir.

6. Yama Tabanlı Yöntem (PMVS)

Derinliği piksel piksel taramak yerine, Yama tabanlı yöntem doğrudan sahne yüzeyini kaplayan bir dizi küçük dikdörtgen yama oluşturur ve genişletir. Temsili bir örnek PMVS'dir (Yama tabanlı). Çoklu Görünümlü Stereo (Multi-View Stereo), Furukawa ve Ponce tarafından 2010 yılında IEEE TPAMI'de yayınlanmıştır.

İşlem üç aşamada tekrarlanır: "eşleştirme, genişletme, filtreleme."

Eşleştirme: İlk olarak, SIFT veya Harris köşeleri gibi özellik noktaları olarak kolayca tespit edilebilen karşılık gelen noktalardan az sayıda başlangıç yaması oluşturulur. Her yama bir merkez pozisyonu, bir normal yön ve o noktayı gören görüntü kümesini (görünürlük) taşır.
Genişletme: Yeni yamalar, başlangıç yamalarının komşuluğuna yayılır ve kapsanan alanı çevreleyen piksellere genişletir. Her yayılan yamanın konumu ve normali, çevreleyen görüntülerle fotoğraf tutarlılığını en üst düzeye çıkarmak için yerel olarak optimize edilir.
Filtreleme: Görünürlük çelişkileri olan (örneğin, bir yamanın başka bir yamanın arkasında olmasına rağmen görünür olduğu bir durum gibi) veya düşük fotoğraf tutarlılığına sahip yamalar kaldırılır.

Derinliği piksel başına bağımsız olarak belirleyen Düzlem Tarama'nın aksine, PMVS bir yama normalinin ek bilgisini taşır, bu nedenle Eğik yüzeyler için daha yüksek yeniden yapılandırma doğruluğuna sahip olma eğilimindedir. Öte yandan, yinelemeli olarak genişletme ve filtreleme üzerine kurulu olduğu için, genişletme az sayıda başlangıç yaması veya zayıf dokuya sahip bölgelerde iyi ilerlemez ve yeniden yapılandırmada delikler kalma eğilimindedir.

7. Derin Öğrenme Tabanlı Yöntemler: Maliyet-Hacim Fikri

Son yıllarda, her derinlik adayı için uyumu elle tasarlanmış bir metrikle (NCC gibi) değil, evrişimsel sinir ağı tarafından öğrenilen özellikler ve bir maliyet hacmiyle temsil eden yöntemler yaygın hale geldi. Temsili bir örnek, Yao ve diğerleri tarafından ECCV 2018'de yayınlanan MVSNet'tir.

MVSNet, eğitilmiş bir özellik çıkarıcı aracılığıyla her görüntüden bir özellik haritası elde eder, referans kameranın görüş konisi içindeki ayrık derinlik düzlemlerini varsayar ve her görüntünün özellik haritasını türevlenebilir bir homografi çarpıtması yoluyla referans bakış açısına hizalar. Birden fazla görüntünün özellik haritalarındaki varyansı birleştirir. Tek bir maliyet hacmini 3B evrişimle düzenler ve ardından derinlik yönünde softmax ile derinliği geriye doğru hesaplar. Temel iskeleti, "derinlik adaylarını tarayın ve değerlendirin" şeklindeki Düzlem Tarama fikrini takip eder, ancak klasik yöntemlerden farkı, fotoğraf tutarlılığının hesaplanmasının kendisinin öğrenilebilir hale gelmesidir.

Öğrenmeye dayalı yöntemler, eğitim verileri benzer durumları içerdiği sürece, elle oluşturulmuş fotoğraf tutarlılığı ölçütlerinin zorlandığı koşullar altında (tekrarlayan desenler, zayıf doku) daha sağlam davranma eğilimindedir. Öte yandan, performans, eğitim veri setinin dağılımının çok dışında kalan sahnelerde (tanıdık olmayan malzemeler, aşırı aydınlatma) düşebilir.

8. Derinlik Haritası Birleştirme ve Ağ Oluşturma

Çoklu görünüm derinlik haritalarının her biri bağımsız olarak tahmin edildiğinden, bunları 3B noktalar olarak olduğu gibi üst üste bindirmek, gürültü ve tıkanmadan kaynaklanan çelişkilere yol açar (aynı konumda hafifçe kaydırılmış noktaların birkaç katmanda birikmesi veya bakış açıları arasında derinliğin uyuşmaması). Birleştirme, bu çelişkileri ortadan kaldıran süreçtir. Bu derinlik haritalarını tek ve tutarlı bir gösterime dönüştürün.

Nokta bulutu olarak birleştirme: Sadece derinliğin farklı bakış açılarında tutarlı olduğu pikselleri alın, düşük güvenilirlikteki derinlikleri atın ve entegre edin. COLMAP ve diğerleri bu şekilde yoğun bir nokta bulutu üretir.
TSDF (Kesilmiş İşaretli Mesafe Fonksiyonu) birleştirme: Curless ve Levoy tarafından SIGGRAPH 1996'da önerilen, uzayı voksellere bölen ve her voksilde işaretli bir mesafe biriktiren hacimsel bir yöntemdir. Gerçek zamanlı derinlik kamerası birleştirmesinde (KinectFusion gibi) yaygın olarak kullanılır ve MVS derinlik haritalarının birleştirilmesinde de uygulanabilir.
Ağ oluşturma: Bir nokta bulutundan veya işaretli mesafe alanından, Kazhdan ve diğerleri tarafından geliştirilen Poisson Yüzey Yeniden Yapılandırması (2006) gibi yöntemler, pürüzsüz bir çokgen ağ oluşturur. Doku eşlemesi eklemek, görsel olarak da kullanılabilen bir 3B modeli tamamlar.

9. Temsili Karşılaştırma Algoritmalar

Yön	Düzlem Tarama	Yama Tabanlı (PMVS)	Öğrenme Tabanlı (MVSNet ailesi)
Prensip	Derinlik düzlemlerini tarar, piksel başına fotoğraf tutarlılığını değerlendirir	Küçük yamaları yinelemeli olarak genişletir ve filtreler	Bir maliyet hacmini bir CNN ile düzenler ve derinliği geriye doğru hesaplar
Doğruluk	Derinlik çözünürlüğüne ve maliyet toplama tasarımına bağlıdır; orta ila yüksek	Eğik veya karmaşık yerel şekiller için doğru olma eğilimindedir	Eğitim verilerine yakın koşullar altında yüksek doğruluk
Hesaplama Maliyeti	Kolayca GPU paralelleştirilebilir, hızlı	Yinelemeli işlem nedeniyle Düzlem Tarama'dan daha yavaş olma eğilimindedir	Eğitimden sonra hızlı çıkarım; eğitim maliyeti ayrıdır
Sağlamlık	Doku bakımından fakir bölgelerde zayıf	Az sayıda başlangıç yaması olan bölgelerde boşluk bırakma eğilimindedir	Zayıf dokuya karşı nispeten sağlamdır veya Tekrarlayan desenler
Uygulama zorluğu	Orta (homografi çarpıtması ve maliyet toplama)	Yüksek (görünürlük yönetimi ve yinelemeli genişleme tasarımı)	Yüksek (eğitim verisi ve ağ tasarımı gerektirir)
Temsili uygulamalar	COLMAP yoğun, birçok ticari fotogrametri aracı	PMVS/CMVS	MVSNet, sonraki öğrenme tabanlı yöntemler

10. Stereo ve Derinlik Kameralarıyla İlişkisi

MVS, temel prensibini — "birden fazla bakış açısı arasında yazışmadan derinlik bulma" — stereo kameralar ve derinlik kameraları ile paylaşır, ancak farklı pozisyonlarda yer alırlar.

Stereo kameralar, eşitsizlik aramasını epipolar çizgi boyunca tek bir boyuta sınırlayan sabit iki gözlü bir düzenleme kullanır ve gerçek zamanlı işlemeye dayalı olarak tasarlanmıştır. MVS'nin Düzlem Tarama yöntemi, bu eşitsizlik aramasını herhangi bir düzenlemedeki herhangi bir sayıda kameraya genelleştirme olarak anlaşılabilir.
Derinlik kameraları (yapılandırılmış ışık, ToF, aktif stereo) aktif olarak ışık yansıtır ve bu sayede dokusu zayıf yüzeylerde bile mesafeyi istikrarlı bir şekilde elde edebilirler. MVS yalnızca pasif foto-tutarlılığa dayandığı için, düşük desenli yüzeylerde doğal olarak dezavantajlıdır - bu, aktif derinlik kameralarından açık bir ayrımdır.
MVS temelde çevrimdışı çalışır ve birçok görüntüden (onlarca ila yüzlerce) yüksek hassasiyetli, yüksek yoğunluklu şekil oluştururken, stereo ve derinlik kameraları gerçek zamanlı olarak, her seferinde bir kare derinlik çıktısı vermeye optimize edilmiştir.

Uygulamaya bağlı olarak, gerçek zamanlı performansa ihtiyaç duyan robotlar veya AR, stereo/derinlik kameralarına uygundur; çevrimdışı, yüksek hassasiyetli 3B modeller ise kültürel miras dokümantasyonu, mimari ölçüm veya fotogrametri için MVS'ye uygundur.

11. Zorlu Koşullar ve Yaygın Başarısızlık Durumları

Doku bakımından fakir veya düzgün yüzeyler: beyaz duvarlar, düz zeminler ve gökyüzü, fotoğraf tutarlılığı için çok az ipucu verir ve derinliği ya belirsiz bırakır ya da çevredeki gürültü nedeniyle yanlış bir değere sürükler.
Yansıtıcı, şeffaf veya yarı saydam nesneler: cam, su yüzeyleri ve metalik parlaklıklar, bakış açısına bağlı olarak görünüm değiştirir ve fotoğraf tutarlılığı varsayımını bozar.
Tekrarlayan desenler: bir tarladaki fayanslar, tuğlalar ve ekin sıraları, yanlış bir derinliğin hala yüksek yerel fotoğraf tutarlılığı gösterdiği "hayalet çözümler" üretebilir.
Örtüşme: yalnızca bazı bakış açılarından görülebilen bölgeler, görünürlük yanlış tahmin edilirse, fotoğraf tutarlılığını yanlış görüntü kullanarak değerlendirebilir ve derinlik tahminini bozabilir.
Yetersiz bakış açıları veya paralaks: kapsayan bakış açılarının sayısı azsa veya paralaks çok küçükse, derinlik yönünde başlangıçta hiçbir çözünürlük mevcut değildir.

12. Pratik Seçenekler

Eğer pozlar SfM veya kalibrasyondan zaten biliniyorsa ve amaç doğruluk öncelikli çevrimdışı 3B rekonstrüksiyon ise (kültürel miras dokümantasyonu, mimari ölçüm, video prodüksiyonu için fotogrametri), COLMAP'ın yoğun işlem hattı gibi bir Düzlem Tarama ailesi uygulaması erişilebilir bir başlangıç noktasıdır.
Eğer eğik yüzeyler veya karmaşık yerel şekiller için doğruluk özellikle öncelikliyse, PMVS ailesindeki Yama tabanlı bir yaklaşımı veya fikirlerini içeren hibrit bir uygulamayı düşünün.
Eğer sahnenin doku bakımından fakir olduğunu veya birçok tekrarlayan desene sahip olduğunu önceden biliyorsanız, öğrenme tabanlı yöntemler (MVSNet ailesi) daha sağlam olma eğilimindedir. Performans, eğitim verisi dağılımının dışındaki sahnelerde düşebileceğinden, birini benimsemeden önce hedef alanınıza yakın veriler üzerinde değerlendirin.
Gerçek zamanlı performans gerektiren uygulamalar için — robotlar, AR/VR, otonom sürüşte engel tespiti — stereo kameraları veya [derinlik sensörlerini] düşünün. MVS yerine kameralar kullanın. MVS'nin ana alanı çevrimdışı, yüksek yoğunluklu, yüksek hassasiyetli yeniden yapılandırmadır.
Son çıktının bir ağ veya dokulu 3B model olması gerekiyorsa, derinlik haritası birleştirme aşamasında TSDF birleştirme veya Poisson Yüzey Yeniden Yapılandırmayı seçin; yalnızca bir nokta bulutu yeterliyse, orada durabilirsiniz.

13. Özet

Çoklu Görünüm Stereo, SfM veya kalibrasyondan zaten bilinen kamera pozisyonlarını veri olarak alır ve ipucu olarak fotoğraf tutarlılığını kullanarak yoğun derinliği geri kazanır. İki klasik yaklaşım olan Düzlem Tarama ve Yama tabanlı yaklaşımların farklı ödünleşmeleri vardır ve son yıllarda, maliyet hacmini öğrenen MVSNet ailesi yöntemleri, doğruluğu ve sağlamlığı daha da ileriye taşımaktadır. Tüm akış, ortaya çıkan derinlik haritalarının birleştirilmesine ve ağ oluşturulmasına ve ayrımın anlaşılmasına kadar uzanır - MVS, doğruluk için gerçek zamanlı performanstan ödün verirken, Gerçek zamanlı performansa öncelik veren stereo/derinlik kameraları, doğru pratik seçimi yapmanın temelidir.

Anlayışınızı kontrol edin

Daha yoğun bir nokta bulutu daha doğru geometriyi garanti eder mi?

Daha fazla yanlış derinlik, doğruluğu artırmaz. Çoklu görünüm tutarlılığını, örtüşmeyi, yansımayı ve dokuyu yoğunluktan ayrı olarak kontrol edin.

Referanslar

What to read next

Review the backgroundPaket Ayarlaması Temel Bilgileri — Kamera Pozlarını ve 3B Noktaları Birlikte İyileştiren Doğrusal Olmayan En Küçük Kareler Yöntemi Continue the seriesVO/VIO Temel Bilgileri — Kamera ve IMU'dan Hareket Tahmini İçin Pratik Bir Temel Explore another aspect of this fieldGörüntü parlaklığı ve luminans Lab — pozlama, gama ve kırpma

#Multi-View Stereo #MVS #3D Reconstruction #Plane Sweep #PMVS #MVSNet #Computer Vision