Estimasi Kedalaman Monokular — Dari Urutan Relatif ke Jarak Metrik

Estimasi kedalaman monokular memprediksi jarak per piksel dari satu gambar RGB. Satu gambar saja tidak secara unik membedakan objek kecil yang dekat dari objek besar yang jauh dengan ukuran tampak yang sama. Oleh karena itu, pertanyaan pertama adalah apakah model memprediksi kedalaman relatif—urutan depan-belakang—atau kedalaman metrik dengan satuan fisik seperti meter.

Secara singkat

• Gambar monokular umumnya tidak menentukan skala absolut. Kedalaman relatif menggambarkan urutan dan bentuk; kedalaman metrik bertujuan pada jarak satuan bantalan.

• Bahkan model yang menghasilkan kedalaman metrik dapat menunjukkan pergeseran skala atau kegagalan lokal di luar kamera, adegan, dan distribusi pelatihan yang dipelajarinya.

• Gambar tanpa kebenaran dasar tidak dapat menetapkan akurasi kedalaman. Pisahkan kesalahan kedalaman, urutan relatif, batas oklusi, dan apakah penyelarasan skala digunakan.

Mengapa gambar tidak memperbaiki skala

Untuk kamera lubang jarum, titik 3D (X,Y,Z) diproyeksikan kira-kira sebagai u=fX/Z, v=fY/Z. Penskalaan semua koordinat dan kedalaman dengan faktor yang sama membuat posisi gambar tidak berubah. Ini adalah ambiguitas skala monokular. Model kedalaman menyelesaikannya secara statistik menggunakan ukuran objek, perspektif, bayangan, tekstur, dan prioritas adegan yang dipelajari.

Diagram 1 · Use the button to switch views

Jika output model \hat D hanya relatif, evaluasi dapat menyelaraskannya dengan a\hat D+b . Kesalahan pasca-penyelarasan yang rendah tidak membuktikan bahwa model dapat langsung memulihkan meter. Jangan pernah mencampur evaluasi metrik yang tidak diselaraskan dengan evaluasi relatif yang diselaraskan.

Pisahkan jenis output

Ketika kedalaman metrik menentukan jarak atau dimensi penghalang, tetapkan kebenaran dasar domain, sinkronisasi sensor, intrinsik kamera, rentang valid, dan kebijakan nilai tidak valid. Nama model atau gambar yang tampak masuk akal tidak menentukan akurasi dunia nyata.

Protokol evaluasi minimal

Bandingkan kedalaman kebenaran dasar D dan prediksi \hat D pada set piksel valid yang sama. Ukuran umum meliputi kesalahan relatif absolut \mathrm{AbsRel}=\mathrm{mean}(|\hat D-D|/D), RMSE, dan akurasi ambang batas \delta. Catat piksel tidak valid, penanganan oklusi, rentang jauh yang dikecualikan, dan jumlah piksel valid.

Untuk model relatif, nyatakan apakah penyelarasan skala diperkirakan secara terpisah untuk setiap gambar uji atau ditetapkan dari data pelatihan. Penyelarasan per-gambar berguna untuk membandingkan bentuk relatif, tetapi dapat menyembunyikan ketidakmampuan model untuk memulihkan skala fisik yang stabil.

Kondisi kegagalan umum

• Cermin, objek transparan, langit, dan dinding tanpa tekstur memberikan sedikit petunjuk visual yang dapat diandalkan.

• Pencahayaan, kamera, wilayah, objek, atau bidang pandang yang tidak familiar dapat merusak skala dan batas.

• Struktur tipis dan batas oklusi dapat mengandung kesalahan lokal yang kritis terhadap keselamatan meskipun metrik rata-rata rendah.

• Prediksi video dapat berkedip dari bingkai ke bingkai. Metrik gambar tunggal tidak menjamin stabilitas temporal.

Ringkasan

Kedalaman monokular adalah masalah inferensi yang menggabungkan bukti gambar dengan prioritas visual; ini bukan sekadar sensor jarak dalam perangkat lunak. Pisahkan kedalaman relatif, kedalaman metrik, dan penyelarasan skala, dan catat kondisi kebenaran dasar dan piksel valid sebelum membandingkan hasilnya. Laboratorium khusus model harus menunggu hingga input berlisensi, versi tetap, kedalaman referensi, dan kondisi perangkat keras tersedia.

Referensi

• Eigen et al., Prediksi Peta Kedalaman dari Satu Gambar menggunakan Jaringan Dalam Multi-Skala
• Ranftl et al., Vision Transformers untuk Prediksi Padat