Tek Gözle Derinlik Tahmini — Göreceli Sıralamadan Metrik Mesafeye

Tek gözlü derinlik tahmini, tek bir RGB görüntüsünden piksel başına mesafeyi tahmin eder. Tek bir görüntü, aynı görünür boyuttaki küçük yakındaki bir nesneyi büyük uzaktaki bir nesneden benzersiz bir şekilde ayırt edemez. Bu nedenle ilk soru, bir modelin göreceli derinliği (önden arkaya sıralama) mi yoksa metre gibi fiziksel bir birimle metrik derinliği mi tahmin ettiğidir.

Özetle

• Tek gözlü bir görüntü genellikle mutlak ölçeği belirlemez. Göreceli derinlik sıralamayı ve şekli tanımlar; metrik derinlik ise birim taşıyan mesafeyi hedefler.

• Metrik derinlik çıktısı veren bir model bile, kamera, sahne ve öğrendiği eğitim dağılımının dışında ölçek kayması veya yerel hatalar gösterebilir.

• Gerçek değeri olmayan bir görüntü, derinlik doğruluğunu belirleyemez. Derinlik hatasını, göreceli sıralamayı, örtüşme sınırlarını ve ölçek hizalamasının kullanılıp kullanılmadığını ayırın.

Görüntü neden ölçeği sabitlemiyor?

Bir iğne deliği kamerası için, 3 boyutlu bir nokta (X,Y,Z) yaklaşık olarak u=fX/Z, v=fY/Z olarak yansıtılır. Tüm koordinatları ve derinliği aynı faktörle ölçeklendirmek, görüntü konumunu değiştirmez. Bu, monoküler ölçek belirsizliğidir. Bir derinlik modeli, nesne boyutu, perspektif, gölgelendirme, doku ve öğrenilmiş sahne ön bilgilerini kullanarak bunu istatistiksel olarak çözer.

Diagram 1 · Use the button to switch views

Bir model çıktısı \hat D yalnızca göreceli ise, değerlendirme onu a\hat D+b ile hizalayabilir. Düşük bir hizalama sonrası hata, modelin doğrudan metreleri kurtarabileceğini kanıtlamaz. Hizalanmamış metrik değerlendirmeyi, hizalanmış göreceli değerlendirmeyle asla karıştırmayın.

Çıktı türlerini ayırın

Metrik derinlik bir engel mesafesini veya boyutunu belirliyorsa, etki alanı gerçek değerini, sensör senkronizasyonunu, kamera içsel parametrelerini, geçerli aralığı ve geçersiz değer politikasını sabitleyin. Bir model adı veya makul görünen bir görüntü, gerçek dünya doğruluğunu kanıtlamaz.

Minimum değerlendirme protokolü

Aynı geçerli piksel kümesi üzerinde gerçek derinlik D ve tahmin \hat D'i karşılaştırın. Yaygın ölçümler arasında mutlak bağıl hata \mathrm{AbsRel}=\mathrm{mean}(|\hat D-D|/D), RMSE ve eşik doğruluğu \delta bulunur. Geçersiz pikselleri, tıkanma yönetimini, hariç tutulan uzak aralıkları ve geçerli piksel sayısını kaydedin.

Göreli bir model için, ölçek hizalamasının her test görüntüsü için ayrı ayrı tahmin edilip edilmediğini veya eğitim verilerinden sabitlenip sabitlenmediğini belirtin. Görüntü başına hizalama, göreceli şekli karşılaştırmak için yararlıdır, ancak modelin kararlı bir fiziksel ölçeği kurtarma yeteneğinin eksikliğini gizleyebilir.

Yaygın Hata Koşulları

• Aynalar, şeffaf nesneler, gökyüzü ve dokusuz duvarlar az sayıda güvenilir görsel ipucu sağlar.

• Alışılmadık aydınlatma, kameralar, bölgeler, nesneler veya görüş alanları ölçek ve sınırları bozabilir.

• İnce yapılar ve örtüşme sınırları, düşük ortalama ölçüme rağmen güvenlik açısından kritik yerel hatalar içerebilir.

• Video tahminleri kareler arasında titreyebilir. Tek görüntü ölçümleri zamansal kararlılığı garanti etmez.

Özet

Monoküler derinlik, görüntü kanıtlarını görsel ön bilgilerle birleştiren bir çıkarım problemidir; yazılımda basit bir mesafe sensörü değildir. Göreceli derinliği, metrik derinliği ve ölçek hizalamasını ayırın ve sonuçları karşılaştırmadan önce gerçek değerleri ve geçerli piksel koşullarını kaydedin. Modele özgü bir Laboratuvar, lisanslı girdiler, sabit sürümler, referans derinlik ve donanım koşulları mevcut olana kadar beklemelidir.

Referanslar

• Eigen vd., Çok Ölçekli Derin Ağ Kullanarak Tek Bir Görüntüden Derinlik Haritası Tahmini
• Ranftl vd., Yoğun Tahmin için Görsel Dönüştürücüler