Contents — find the section you need

Kamera stereo memotret pemandangan yang sama dengan dua lensa yang dipisahkan pada jarak tetap (garis dasar), kemudian menghitung jarak melalui triangulasi dari pergeseran (disparitas) antara gambar kiri dan kanan yang dihasilkan. Jika kamera monokuler tidak pernah dapat menentukan jarak absolut hanya dari satu gambar, kamera stereo dapat menghitung jarak langsung dari hubungan geometris antara dua sudut pandangnya, yang membuatnya lebih mudah untuk mendapatkan akurasi jarak tanpa bergantung pada asumsi tambahan (misalnya, permukaan jalan yang planar). Kamera stereo banyak digunakan untuk pemantauan ke depan pada kendaraan otonom, navigasi robot, dan pengukuran 3D industri.

Subaru WRX S4 yang dilengkapi dengan sistem bantuan pengemudi berbasis kamera stereo EyeSightKendaraan yang dilengkapi EyeSight (Subaru WRX S4)
Kamera kedalaman stereo Intel RealSense D435 dengan pencitra inframerah kiri dan kanannya terlihatUnit kamera stereo: Intel RealSense D435

Gambar: Subaru WRX S4 2.0GT-S EyeSight (DBA-VAG) depan (Tokumeigakarinoaoshima, CC BY-SA 4.0) / Intel Kamera kedalaman Realsense D435 (Marc Auledas, CC BY-SA 4.0), Wikimedia Commons. D435 bukanlah komponen EyeSight; ini adalah contoh fisik unit kamera dengan dua sudut pandang.

Prinsip: panjang garis dasar menciptakan pertukaran

Hubungan antara disparitas d (pergeseran piksel titik yang sama antara gambar kiri dan kanan), panjang fokus f, dan garis dasar (jarak antara kedua lensa) B adalah:

Z = \frac{f \cdot B}{d}

Di sini Z adalah jarak ke objek. Seperti yang ditunjukkan persamaan ini, jarak Z berbanding terbalik dengan disparitas d — objek yang dekat memiliki disparitas besar, dan objek yang jauh memiliki Disparitas yang menyusut mendekati nol. Garis dasar yang lebih panjang B meningkatkan sensitivitas (jumlah perubahan disparitas untuk perubahan jarak tertentu), yang mendorong akurasi pengukuran jarak jauh ke atas. Sebaliknya, garis dasar yang lebih panjang berarti bidang pandang kedua lensa berhenti tumpang tindih begitu suatu objek terlalu dekat, yang mendorong jarak minimum yang dapat diukur (batas jarak dekat). Ini berarti desain kamera stereo membawa pertukaran yang melekat, yang berpusat pada panjang garis dasar, antara "memprioritaskan jarak jauh" dan "memprioritaskan jarak dekat." Karena ini adalah pendekatan pasif berbasis cahaya tampak tidak seperti kamera kedalaman aktif (tidak ada proyektor inframerah yang terlibat), ia cenderung bekerja lebih stabil daripada LiDAR atau kamera kedalaman aktif di luar ruangan di bawah sinar matahari yang kuat.

Gambar: Epipolar geometri (Arne Nordmann, CC BY-SA 3.0 / GFDL), Wikimedia Commons.

Banyak algoritma yang ada untuk menghitung disparitas dari gambar kiri/kanan (pencocokan stereo), tetapi metode klasik yang tetap banyak digunakan adalah Pencocokan Semi-Global (SGM), yang diterbitkan pada tahun 2005 oleh Heiko Hirschmüller di Pusat Kedirgantaraan Jerman (DLR). Ini mendekati apa yang pada dasarnya merupakan masalah optimasi 2D dengan sekitar delapan arah optimasi garis pemindaian 1D, mencapai akurasi yang mendekati metode global dengan biaya komputasi yang mendekati metode lokal. Ini diimplementasikan dalam banyak pustaka visi komputer termasuk OpenCV, dan implementasi perangkat keras pada FPGA dan GPU tersebar luas. Stereo berbasis pembelajaran mendalam Pencocokan (metode yang menggunakan CNN untuk agregasi biaya, misalnya) semakin mengungguli SGM dalam hal akurasi, tetapi algoritma keluarga SGM tetap aktif digunakan untuk aplikasi tertanam di mana komputasi terbatas.

Perbandingan spesifikasi produk utama

Produk Dasar Rentang kedalaman Resolusi / kecepatan bingkai Catatan
Stereolabs ZED 2i (model panjang fokus 2,1 mm) 12 cm 0,3–20 m 60 fps pada HD720, hingga 2K (2208x1242) Kesalahan di bawah 1% dalam jarak 3 m, di bawah 5% dalam jarak 15 m
Stereolabs ZED 2i (model panjang fokus 4 mm) 12 cm 1,5–35 m 60 fps pada HD720, hingga 2K (2208x1242) Kesalahan di bawah 1% dalam jarak 3m, di bawah 5% dalam jarak 15m
Luxonis OAK-D 7,5cm (berorientasi jarak menengah) — VPU Myriad X terintegrasi menangani inferensi AI dan kedalaman stereo secara bersamaan. Didanai oleh Kickstarter Juli 2020 yang mengumpulkan sekitar $1,3 juta dari lebih dari 650 pendukung, mendorongnya ke produksi massal
Luxonis OAK-D LR (Jarak Jauh) 15cm Hingga sekitar 30m — Varian dengan dua kali lipat baseline dari OAK-D standar, memprioritaskan akurasi jarak jauh
Intel RealSense D435/D435i Sekitar 50mm Sekitar 0,3–10m (tergantung kondisi) Hingga 1280x720 @ 90fps (kedalaman) Dapat digunakan Proyektor pola inframerah aktif sebagai bantuan, tetapi juga berfungsi dengan stereo pasif saja. D435i adalah varian IMU 6-sumbu
e-con Systems TaraXL 60mm Kira-kira 0,5–3m WVGA (752x480), hingga 60fps Dioptimalkan untuk platform NVIDIA Jetson, dengan IMU 6-sumbu bawaan. Menggunakan sensor ON Semiconductor MT9V024 di sisi kiri dan kanan

ZED 2i (dirilis 2023) adalah kamera stereo yang dirancang untuk robotika luar ruangan, ditawarkan dalam dua model lensa dengan panjang fokus berbeda sehingga dapat mencakup prioritas jarak dekat (model 2,1mm, minimum 0,3m) dan prioritas jarak jauh (model 4mm, hingga 35m). Keduanya memiliki jarak dasar 12cm, yang menjadi dasar karakteristik pengukuran jarak ZED 2i. OAK-D dari Luxonis adalah sistem tertanam. Perangkat ini mengintegrasikan kamera kedalaman stereo dengan chip inferensi AI (Intel Movidius Myriad X VPU) dalam satu unit, dan memiliki keistimewaan karena meledak menjadi produksi massal berkat kampanye Kickstarter 2020 yang sangat sukses. Varian jarak jauhnya, OAK-D LR, memperpanjang garis dasar hingga 15 cm — aplikasi desain produk langsung dari prinsip "garis dasar yang lebih panjang meningkatkan akurasi jarak jauh" yang dijelaskan di atas. Intel RealSense D435/D435i dan e-con Systems TaraXL adalah desain hibrida yang dibangun di sekitar stereo pasif tetapi mampu menambahkan proyeksi inframerah atau IMU, yang cocok untuk aplikasi robotika dan drone jarak dekat.

Studi Kasus: Evolusi EyeSight Subaru — dari dua mata menjadi tiga

Contoh nyata kamera stereo yang paling lama beroperasi adalah "EyeSight" Subaru. EyeSight generasi pertama, yang diluncurkan pada tahun 2008, mengadopsi skema di mana dua kamera stereo menangkap jalan di depan dalam 3D, menggunakan pengukuran jarak yang akurat ke rintangan. — sesuatu yang sulit dilakukan oleh kamera monokuler — sebagai dasar fitur keselamatan seperti pengereman pra-tabrakan. Setelah penyempurnaan berulang, instalasi EyeSight kumulatif di seluruh dunia telah melampaui 5 juta unit pada Agustus 2022.

Generasi terbaru EyeSight telah berevolusi menjadi konfigurasi "tiga mata", menambahkan kamera monokuler sudut lebar ke sepasang kamera stereo tradisional. Karena sepasang kamera stereo saja memiliki bidang pandang yang terbatas, kamera monokuler sudut lebar tambahan memperkuat kesadaran periferal — misalnya, lalu lintas silang di persimpangan. "EyeSight X" melangkah lebih jauh, menggabungkan persepsi lingkungan sekitar kamera stereo dengan GPS dan data peta 3D presisi tinggi untuk memungkinkan pengemudian tanpa kendali (Level 2) di jalan raya. Ini adalah contoh nyata penggabungan kemampuan jangkauan kamera stereo dengan informasi eksternal — GNSS dan data peta — untuk memberikan bantuan pengemudi tingkat lanjut yang tidak dapat diberikan oleh kamera saja.

Pencipta EyeSight Kemudian Mendirikan Perusahaan Penglihatan Stereonya Sendiri

Insinyur yang Keiji Saneyoshi, seorang insinyur utama di Subaru, memimpin pengembangan EyeSight generasi pertama ("Stereo Range Imager"). Timnya adalah yang pertama di dunia yang memasarkan sistem bantuan pengemudi yang hanya menggunakan kamera stereo untuk mendeteksi kendaraan, pejalan kaki, pesepeda, dan pengendara sepeda motor. Setelah meninggalkan Subaru pada tahun 1998, Saneyoshi melanjutkan penelitiannya sebagai profesor di Institut Teknologi Tokyo hingga awal tahun 2017, dan pada Mei 2016 ia mendirikan perusahaannya sendiri, ITD Lab, untuk terus memajukan teknologi penglihatan stereo. Ini adalah perjalanan karier yang tidak biasa di industri ini: sebuah teknologi yang lahir di dalam sebuah perusahaan otomotif, kemudian dikembangkan oleh orang yang menciptakannya, menjadi perusahaan spesialis independen miliknya sendiri.

Intel RealSense mengalami perubahan dramatisnya sendiri: pada tahun 2021, pengumuman penghentian produksi beberapa lini produk (L515, seri T26x, dan seri F45x) mengguncang industri, tetapi kamera kedalaman stereo seri D400 sendiri tetap bertahan. produksi, dan pada tahun 2025 bisnis RealSense sendiri dipisahkan sepenuhnya dari Intel, diluncurkan kembali sebagai perusahaan independen yang didukung oleh pendanaan Seri A sebesar $50 juta dari perusahaan ekuitas swasta yang berfokus pada semikonduktor. Ini adalah kasus lini kamera kedalaman stereo yang dimulai sebagai salah satu divisi dari perusahaan semikonduktor besar yang memilih, sebagai respons terhadap permintaan pasar, untuk bertahan sebagai bisnis independen.

Parameter yang Menentukan Kinerja

  • Panjang garis dasar: Parameter terpenting, yang menentukan keseimbangan antara akurasi jarak jauh dan batas pengukuran jarak dekat (zona mati). Seperti yang ditunjukkan oleh hubungan Z = fB/d, garis dasar yang lebih panjang B meningkatkan sensitivitas jarak untuk perubahan disparitas tertentu. OAK-D LR yang menggandakan garis dasar OAK-D standar (menjadi 15cm) untuk mencapai jangkauan 30m adalah prinsip yang tepat yang diterapkan langsung pada desain produk.
  • Jangkauan kedalaman: Seperti halnya ZED 2i Dengan dua model panjang fokus, rentang optimal sangat bervariasi tergantung pada kasus penggunaan (robot dalam ruangan vs. kendaraan luar ruangan)
  • Akurasi kedalaman: Seperti yang ditunjukkan spesifikasi ZED 2i, tingkat kesalahan meningkat seiring jarak (di bawah 1% dalam jarak 3m, meningkat menjadi di bawah 5% dalam jarak 15m). Aplikasi yang membutuhkan pengukuran jarak dekat dengan presisi tinggi, seperti penghindaran tabrakan, membutuhkan akurasi yang berbeda dari aplikasi di mana perkiraan kasar lingkungan sekitar yang jauh sudah cukup
  • Batasan bidang pandang: Kamera stereo hanya dapat mengukur kedalaman di mana bidang pandang kedua lensa tumpang tindih, sehingga bidang pandangnya sendiri cenderung terbatas. EyeSight terbaru yang menambahkan kamera monokuler sudut lebar ada justru untuk mengkompensasi hal ini, dan menggabungkan beberapa sensor hampir merupakan kebutuhan praktis
  • Kelemahan yang melekat pada basis cahaya tampak: Stereo pasif tidak dapat mendeteksi disparitas, dan kehilangan akurasi pengukuran jarak, pada objek tanpa tekstur (pola) yang cukup. Pada dinding polos atau lantai berwarna solid, kamera kedalaman aktif yang menggunakan proyeksi pola inframerah dapat memiliki Keuntungan
  • Biaya komputasi pencocokan stereo: Mencari titik yang sesuai antara gambar kiri dan kanan membutuhkan biaya komputasi yang tinggi, dan untuk perangkat tertanam, akselerasi perangkat keras pada dasarnya wajib. Inilah sebabnya mengapa OAK-D memiliki VPU khusus dan seri RealSense D400 memiliki ASIC khusus (Vision Processor D4) — pemrosesan waktu nyata hanya pada CPU saja sulit dilakukan.
  • Apakah IMU terintegrasi: Produk dengan IMU 6-sumbu bawaan, seperti e-con Systems TaraXL dan Intel RealSense D435i, dapat mengkompensasi gerakan kamera sendiri saat memproses kedalaman. Untuk robot seluler dan penggunaan yang dipasang pada drone, integrasi ini seringkali menjadi faktor penentu praktis.

Bagaimana Kesalahan Satu Piksel Diperbesar Menjadi Kesalahan Jarak

Kedalaman stereo mengikuti Z=fB/d. Mengonversi ketidakpastian disparitas \sigma_d menjadi ketidakpastian jarak menghasilkan

\sigma_Z\simeq\frac{fB}{d^2}\sigma_d=\frac{Z^2}{fB}\sigma_d

Untuk Pada f=700\,\mathrm{px}, B=0.12\,\mathrm{m}, dan Z=2\,\mathrm{m}, disparitasnya adalah d=42\,\mathrm{px}. Kesalahan disparitas 0.5\,\mathrm{px} kemudian menjadi sekitar 2.4\,\mathrm{cm} dari kesalahan jarak. Kesalahan 0.5\,\mathrm{px} yang sama meningkat menjadi sekitar 0.60\,\mathrm{m} pada Z=10\,\mathrm{m}, itulah sebabnya estimasi sub-piksel dan baseline yang lebih panjang penting pada jarak jauh.

Ini tidak berarti bahwa baseline yang lebih panjang selalu menjadi jawabannya. Pada jarak dekat, kedua bidang gambar mungkin berhenti tumpang tindih, dan perubahan ekstrinsik yang bergantung pada getaran atau suhu mungkin penting. Dalam praktiknya, laporkan kesalahan reproyeksi, kepercayaan disparitas, dan wilayah yang terhalang secara terpisah untuk setiap pita jarak.

Diagram 1 · Use the button to switch views
Kurva kesalahan rentang menunjukkan bahwa kesalahan disparitas 0,5 piksel memberikan kesalahan sekitar 2,4 cm pada 2 m tetapi sekitar 0,60 m pada 10 m
Diagram 2 · Use the button to switch views
\sigma_Z\propto Z^2: error grows at rangetarget range Zrange error \sigma_Znearfar
Diagram: Duskcoil. Konseptual daripada terukur; ini menunjukkan amplifikasi kuadratik kesalahan disparitas dengan jarak.
Periksa pemahaman Anda
Apakah satu piksel kesalahan disparitas kurang berpengaruh pada jarak jauh?

Disparitas menyusut seiring jarak, sehingga kesalahan disparitas yang sama menghasilkan kesalahan jangkauan yang lebih besar. Pertimbangkan garis dasar, panjang fokus, dan jangkauan operasi secara bersamaan.