Pengantar Penggabungan Sensor — Membangun Satu Model Dunia dari Banyak Sensor

Robot dan kendaraan otonom biasanya membawa beberapa sensor sekaligus — kamera, LiDAR, IMU, radar, GNSS. Namun, tidak satu pun dari sensor tersebut, secara terpisah, memahami dunia dengan benar: kamera kesulitan dengan kedalaman, LiDAR tidak dapat memberi tahu Anda warna atau tekstur, dan kesalahan IMU menumpuk seiring waktu. Teknologi Sensor Fusion mengisi titik buta setiap sensor dengan kekuatan sensor lain, menyusun satu "model dunia" yang konsisten dari bagian-bagian yang masing-masing memiliki kekurangan. Artikel ini membahas dasar-dasar matematis — probabilitas dan optimasi — dan kemudian pasangan konkretnya: VIO, LIO, dan Kamera×LiDAR.

Contoh IMU/INS

Contoh kamera kedalaman

Gambar: Xsens MTi-G (Kallap85, CC BY-SA 4.0) / Intel RealSense depth camera D435 (Marc Auledas, CC BY-SA 4.0), Wikimedia Commons.

0. Apa yang Dibahas Artikel Ini

• Apa itu Sensor Fusion, dan mengapa satu sensor saja tidak pernah cukup
• Alur kerja Fusion dasar (sensor → pengukuran → fitur/status → fusi → estimasi status)
• Perbedaan antara Fusion Awal, Menengah, dan Akhir
• Cara kerja Fusion probabilistik — Filter Kalman, EKF, UKF, Filter Partikel
• Cara kerja Fusion berbasis optimasi — Grafik Faktor, Grafik Pose
• Mengapa VIO (Kamera×IMU), LIO (LiDAR×IMU), dan Kamera×LiDAR merupakan pasangan yang sangat alami
• Contoh integrasi empat sensor (Kamera×LiDAR×Radar×IMU) menggunakan pengemudian otonom
• Apa yang sebenarnya membuat Fusion sulit dalam praktiknya — sinkronisasi waktu, kalibrasi, kebisingan
• Cara berpikir tentang mendesain sistem Fusion untuk kasus penggunaan Anda

1. Jawaban Singkat: Apa Itu Sensor Fusion

Dalam satu Kalimat: Penggabungan Sensor secara matematis menggabungkan pengamatan yang tidak lengkap dan bising dari beberapa sensor untuk menghasilkan perkiraan "keadaan" yang lebih akurat dan lebih andal daripada yang dapat diberikan oleh satu sensor saja.

Definisi tersebut memuat tiga gagasan. Pertama, komplementaritas — sensor yang berbeda memiliki kekuatan dan kelemahan yang berbeda, sehingga menggabungkannya memungkinkan masing-masing sensor untuk saling meniadakan kelemahan sensor lainnya. Kedua, Estimasi Keadaan — kerangka kerja statistik untuk menyimpulkan kuantitas yang tidak dapat Anda amati secara langsung (di mana saya berada sekarang, dengan kecepatan berapa, dalam orientasi apa) dari kuantitas yang dapat Anda amati. Ketiga, Model Dunia — hasil dari pengintegrasian informasi fragmentaris dari setiap sensor ke dalam representasi tunggal yang konsisten baik dalam waktu maupun ruang. Robot tidak bertindak berdasarkan data sensor mentah — ia bertindak berdasarkan Model Dunia terintegrasi ini.

2. Mengapa Satu Sensor Saja Tidak Cukup?

Menyelaraskan apa yang baik dan buruk dari setiap sensor menjelaskan mengapa Penggabungan pada dasarnya wajib dilakukan.

Tabel ini mengungkapkan bahwa "sensor presisi tinggi" dan "sensor universal" adalah dua hal yang berbeda. LiDAR mengalahkan kamera dalam hal presisi geometris tetapi tidak dapat memberi tahu Anda warna atau makna. GNSS memberikan posisi absolut tetapi pembaruannya lambat dan tidak dapat dipercaya di pusat kota. IMU tidak bergantung pada iluminasi atau visibilitas, tetapi dipengaruhi oleh suhu, getaran, dan kesalahan pemasangan; karena memperoleh keadaan melalui integrasi, pergeseran tidak dapat dihindari seiring waktu. Fusi Sensor memanfaatkan hubungan komplementer ini secara matematis.

3. Struktur Dasar Fusi

Detail dari alur kerja Fusi Sensor berubah tergantung pada apa yang difusikan dan pada tingkat apa (bagian selanjutnya), tetapi bentuk umumnya sama, yaitu lima tahap setiap saat.

Gambar 1 — Pengukuran mentah dari setiap sensor dikonversi menjadi fitur atau status parsial, dan tahap Fusion mengintegrasikannya ke dalam satu status perkiraan.

Pengukuran mentah langsung dari setiap sensor tidak dapat dibandingkan secara langsung — pengukuran tersebut berbeda dalam satuan, kerangka koordinat, dan laju pembaruan. Setiap aliran data sensor pertama-tama diubah menjadi fitur (titik kunci gambar, tepi awan titik, dan sebagainya) atau keadaan parsial (kecepatan, pose relatif), dan baru kemudian diserahkan ke tahap Fusi. Tahap Fusi inilah tempat metode probabilistik (Filter Kalman, dll.) atau metode berbasis optimasi (Grafik Faktor, dll.) yang dibahas di bawah ini benar-benar diterapkan, dan outputnya adalah keadaan estimasi akhir — posisi, kecepatan, orientasi, dan banyak lagi.

4. Tiga Tingkat Fusi

Fusi secara umum terbagi menjadi tiga tingkat, tergantung pada di mana dalam alur kerja informasi dari beberapa sensor digabungkan.

Tingkat mana yang dipilih merupakan pertimbangan antara akurasi dan biaya implementasi. Fusi Awal, pada prinsipnya, memanfaatkan informasi paling banyak, tetapi offset waktu tingkat milidetik atau kesalahan pemasangan tingkat milimeter antar sensor menurunkan hasil secara langsung, sehingga memerlukan kalibrasi yang sangat ketat. Fusi tahap akhir memiliki keunggulan praktis yang besar — alur pemrosesan setiap sensor dapat dikembangkan dan di-debug secara independen — tetapi apa pun yang "terlewatkan" oleh sensor individual tidak dapat dipulihkan, tidak peduli seberapa cerdas hasilnya digabungkan di tahap selanjutnya. Fusi tingkat menengah, terutama Fusi BEV dalam pengemudian otonom, telah menjadi jalan tengah yang semakin populer antara kedua ekstrem ini.

5. Fusi Probabilistik

Kerangka kerja matematika pertama dari dua kerangka kerja untuk menggabungkan pengamatan beberapa sensor didasarkan pada teori probabilitas. Fondasinya adalah Estimasi Bayesian: gabungkan "estimasi yang dibawa dari langkah sebelumnya" (prior) dengan "pengamatan baru" (likelihood) untuk memperbarui "estimasi saat ini" (posterior).

Sisi kiri adalah distribusi posterior atas keadaan x_t yang diberikan setiap pengamatan z_{1:t} dari waktu 1 hingga t. Sisi kanan mengambil estimasi sebelumnya p(x_{t-1}\mid z_{1:t-1}), menyebarkannya satu langkah ke depan melalui model gerak p(x_t\mid x_{t-1}) (integral), dan kemudian memberi bobot pada prediksi tersebut berdasarkan kemungkinan observasi baru p(z_t\mid x_t) — sebuah siklus "prediksi, lalu pembaruan".

Filter Kalman adalah hasil yang Anda dapatkan ketika Anda mengambil pembaruan Bayesian umum tersebut dan mengasumsikan semuanya — baik keadaan maupun observasi — bersifat linier dan Gaussian, yang mengubah pembaruan menjadi ekspresi bentuk tertutup. Pada langkah prediksi, keadaan dan kovariansi kesalahan dimajukan melalui model gerak; pada langkah pembaruan, ketidaksesuaian antara observasi baru dan prediksi (inovasi) mengoreksi keadaan, dengan bobot berdasarkan Kalman Gain.

P_t^{-} adalah kovariansi kesalahan prediksi, H memetakan keadaan ke ruang observasi, dan R adalah kovariansi noise observasi. Gain Kalman K_t adalah bobot yang menyatakan seberapa besar kepercayaan pada "prediksi model" dibandingkan dengan "observasi baru": semakin kecil noise observasi R (sensor yang dapat dipercaya), semakin besar bobot observasi; semakin kecil ketidakpastian prediksi P_t^{-} (model yang percaya diri), semakin besar bobot prediksi — keseimbangan menyesuaikan diri secara otomatis.

Model gerak dan sensor robot nyata hampir tidak pernah linier, sehingga Filter Kalman biasa biasanya tidak dapat diterapkan secara langsung. Filter Kalman yang Diperluas (EKF) melinierkan model gerak dan observasi nonlinier di sekitar estimasi saat ini menggunakan Jacobian, kemudian menerapkan persamaan pembaruan yang sama seperti Filter Kalman biasa. Filter Kalman Tak Beraroma (UKF; Julier & Uhlmann, 1997) sepenuhnya melewatkan aproksimasi Jacobian, melainkan langsung melewatkan sejumlah kecil titik sampel representatif (titik sigma) melalui fungsi nonlinier dan merekonstruksi rata-rata dan kovariansi dari hasilnya — yang dapat mengungguli EKF di bawah nonlinieritas yang kuat. Filter Partikel (Gordon, Salmond & Smith, 1993) sama sekali tidak membatasi distribusi ke Gaussian; ia mengaproksimasi distribusi probabilitas itu sendiri dengan sejumlah besar partikel (sampel), yang memungkinkannya untuk merepresentasikan distribusi multimodal di mana beberapa hipotesis hidup berdampingan — dengan biaya membutuhkan lebih banyak partikel, dan lebih banyak komputasi, untuk akurasi yang lebih tinggi.

6. Fusi Berbasis Optimasi

Jika Fusi probabilistik memperbarui secara berurutan, selangkah demi selangkah, kerangka kerja matematika kedua — Fusi berbasis optimasi — mengambil pendekatan yang berbeda: menyimpan jendela pengamatan, kemudian menyelesaikan kembali keadaan yang paling konsisten dengan semuanya sekaligus.

Formulasi andalannya adalah Grafik Faktor. Keadaan yang akan diestimasi (posisi robot pada setiap langkah waktu, posisi landmark yang diamati) menjadi simpul; kendala di antara keduanya (apa yang diberitahukan oleh pengamatan sensor tertentu tentang bagaimana dua keadaan harus berhubungan) menjadi Faktor yang menghubungkan simpul-simpul tersebut, dan seluruh grafik diselesaikan sebagai masalah kuadrat terkecil nonlinier.

\mathbf{x} adalah himpunan lengkap keadaan yang akan diestimasi, \mathbf{z}_k adalah observasi sensor ke-k, \mathbf{e}_k adalah fungsi kesalahan yang mengukur ketidaksesuaian antara prediksi observasi tersebut dan keadaan saat ini, dan \Sigma_k^{-1} adalah bobot dari kepercayaan observasi tersebut. Ketika posisi 3D landmark dioptimalkan bersamaan dengan pose kamera, proses ini secara khusus disebut Penyesuaian Bundel (Bundle Adjustment). Ketika node adalah pose di sepanjang lintasan robot, itu disebut optimasi Grafik Pose (Pose Graph) — kerangka kerja standar untuk mengoreksi pergeseran yang terakumulasi setelah penutupan loop (mengenali tempat yang sebelumnya dikunjungi).

Fusi Probabilistik (terutama EKF) murah dan sangat cocok untuk pemrosesan sekuensial, tetapi tidak dapat mengunjungi kembali observasi setelah diserap — ia hanya bergerak maju dari estimasi saat ini. Fusi berbasis optimasi dapat menelusuri kembali dan mengoreksi seluruh lintasan ketika pengamatan baru bertentangan dengan perkiraan lama, yang umumnya membuatnya lebih akurat — dengan mengorbankan daya komputasi yang meningkat seiring bertambahnya ukuran grafik. Pustaka serbaguna seperti Ceres Solver, g2o, dan GTSAM banyak digunakan untuk menyelesaikan masalah kuadrat terkecil nonlinier jarang (di mana setiap pengamatan hanya menyentuh sejumlah kecil variabel) secara efisien.

7. Kamera×IMU (VIO)

Pemasangan Kamera dengan IMU disebut Visual-Inertial Odometry (VIO), dan ini adalah salah satu pasangan Fusi yang paling banyak digunakan dalam praktik. Alasan mengapa keduanya bekerja sama dengan baik adalah karena kelemahan mereka saling melengkapi hampir sempurna.

Kamera dapat memperkirakan gerakannya sendiri dari bagaimana titik fitur bergerak di seluruh gambar, tetapi kamera monokuler pada prinsipnya tidak dapat menentukan skala absolut (satuan jarak dunia nyata), dan rotasi cepat cenderung mengaburkan gambar dan merusak pelacakan fitur. IMU adalah cerminan dari hal tersebut: ia mengukur percepatan dan kecepatan sudut secara langsung pada ratusan Hz, sehingga tahan terhadap gerakan cepat, dan pengintegrasian percepatan menghasilkan perubahan kecepatan dan posisi pada skala sebenarnya — tetapi integrasi yang sama berarti kesalahan terakumulasi (drift) seiring waktu, dan ia tidak pernah mengetahui posisi absolut.

Seperti yang ditunjukkan persamaan ini, IMU memperoleh posisi dengan mengintegrasikan percepatan a_t dua kali, sehingga bahkan bias akselerometer yang kecil pun akan bertambah menjadi kesalahan posisi yang tumbuh sebanding dengan kuadrat waktu yang telah berlalu. VIO dapat menggunakan pengamatan fitur visual untuk membatasi drift tersebut; dengan eksitasi gerakan dan kemampuan pengamatan yang cukup, IMU dapat mendukung estimasi skala metrik, tetapi tidak menghilangkan ambiguitas skala dalam setiap kondisi. MSCKF (Mourikis & Roumeliotis, 2007, berbasis EKF), OKVIS (Leutenegger dkk., 2015, berbasis optimasi nonlinier), dan VINS-Mono (Qin dkk., 2018, monokular + IMU) adalah implementasi penting dari VIO di bawah kedua kerangka kerja ini.

8. LiDAR×IMU (LIO)

Penggabungan LiDAR dengan IMU disebut LiDAR-Inertial Odometry (LIO), yang banyak digunakan pada robot luar ruangan dan kendaraan otonom. LiDAR mengukur geometri di sekitarnya secara langsung dan tepat sebagai awan titik, tetapi satu pemindaian membutuhkan waktu puluhan hingga ratusan milidetik untuk diselesaikan, dan jika sensor itu sendiri bergerak selama jendela waktu tersebut, titik-titik dalam satu pemindaian akan terdistorsi (distorsi gerak).

Sekali lagi, laju pengambilan sampel IMU yang tinggi adalah penyelamatnya: interpolasi perubahan orientasi halus yang ditangkap selama pemindaian mengoreksi distorsi tersebut. Dan mengandalkan sepenuhnya pada pencocokan titik-ke-titik awan (ICP dan sejenisnya) cenderung bergeser di lingkungan yang minim fitur geometris — koridor panjang tanpa fitur, lapangan terbuka — di mana informasi inersia IMU mengisi celah dan menjaga estimasi tetap stabil.

LOAM (Zhang & Singh, 2014) yang awal mempelopori odometri LiDAR dengan mengekstrak titik fitur tepi dan planar dari awan titik dan mencocokkannya. LIO-SAM (Shan et al., 2020) mengintegrasikan informasi LiDAR dan IMU secara erat pada Grafik Faktor, yang dirancang agar kendala GPS dan penutupan loop dapat digabungkan ke dalam grafik yang sama. FAST-LIO / FAST-LIO2 (Xu et al., 2021 / 2022) mengadopsi integrasi LiDAR-IMU yang terhubung erat melalui Iterated Kalman Filter, dan FAST-LIO2 khususnya memproses point cloud secara langsung daripada melalui ekstraksi fitur sparse. Keterkaitan erat dapat memanfaatkan informasi gabungan, tetapi akurasi dan biaya bergantung pada inisialisasi, degenerasi, implementasi, dan waktu sensor; hal ini tidak selalu lebih unggul daripada keterkaitan longgar.

9. Kamera×LiDAR

Memadukan Kamera dan LiDAR adalah kombinasi Fusion yang paling intuitif dan saling melengkapi — "mengetahui makna tetapi tidak mengetahui jarak" bertemu dengan "mengetahui jarak tetapi tidak mengetahui makna." Tetapi penggabungan ini membawa kesulitan yang tidak dimiliki oleh yang lain: sistem koordinat kedua sensor pada dasarnya berbeda (bidang gambar 2D kamera versus point cloud 3D LiDAR), sehingga menghubungkan keduanya membutuhkan prosedur kalibrasi dan proyeksi yang eksplisit.

Kalibrasi menyelesaikan parameter intrinsik kamera (panjang fokus, distorsi lensa, matriks intrinsik K) dan pose relatif antara kamera dan LiDAR (ekstrinsik: rotasi R, translasi t). Dengan parameter tersebut, titik 3D \mathbf{X} yang diukur oleh LiDAR dapat diproyeksikan ke koordinat piksel kamera \mathbf{u}.

\pi(\cdot) adalah fungsi proyeksi perspektif yang memetakan koordinat homogen ke bidang gambar 2D, dan [R\mid t] adalah transformasi dari koordinat LiDAR ke koordinat kamera. Kalibrasi adalah proses penyelesaian R dan t yang meminimalkan kesalahan ini \mathbf{e}; Setelah itu selesai, proyeksi yang sama menentukan "titik LiDAR mana yang sesuai dengan piksel gambar mana" (Asosiasi Titik-Piksel). Korespondensi tersebut memungkinkan Anda untuk melampirkan informasi warna atau kelas kamera ke titik-titik LiDAR, atau memberikan jangkauan tepat LiDAR pada objek yang terdeteksi kamera.

Pendekatan dominan dalam pengemudian otonom modern melakukan proyeksi ini pada tingkat fitur daripada titik demi titik: BEV Fusion (Bird's-Eye View Fusion). BEVFusion (Liang dkk., 2022, dan secara terpisah Liu dkk., 2022) mengubah fitur gambar kamera dan fitur awan titik LiDAR ke ruang BEV (2D dari atas ke bawah) secara independen, kemudian menggabungkannya di sana — dan secara luas dikutip sebagai contoh utama dari Fusi Tingkat Menengah untuk Kamera×LiDAR.

10. Kamera×LiDAR×Radar×IMU

Ambil contoh mengemudi otonom, dan dalam praktiknya fusi jauh melampaui satu pasangan: Kamera, LiDAR, Radar, dan IMU (ditambah GNSS) diintegrasikan sekaligus, masing-masing dengan peran yang jelas.

• Kamera: mengenali "makna" yang tidak dapat diberikan oleh geometri murni — warna lampu lalu lintas, teks rambu, jenis lajur
• LiDAR: mengukur bentuk 3D dan jarak objek di sekitarnya secara tepat, tidak terpengaruh oleh pencahayaan
• Radar: tetap berfungsi dalam hujan, kabut, atau cahaya latar yang mengganggu kamera dan LiDAR, dan mengukur kecepatan relatif secara langsung melalui Doppler
• IMU: menangkap perubahan orientasi dan percepatan kendaraan sendiri pada frekuensi tinggi, melakukan interpolasi antara pembacaan sensor lain
• GNSS: menyediakan referensi untuk penyelarasan global dengan peta (biasanya terintegrasi dengan IMU setelah koreksi presisi tinggi, misalnya RTK)

Keempat atau kelima jenis sensor ini saling menutupi kelemahan masing-masing sehingga hampir semua mode kegagalan tunggal dapat ditangkap oleh sensor lain: kabut tebal menurunkan akurasi kamera dan LiDAR, tetapi radar tetap berfungsi; terowongan menghalangi GPS, tetapi odometri IMU plus LiDAR menjaga lokalisasi mandiri tetap aktif. Desain redundansi ini — mengurangi kemungkinan beberapa sensor gagal secara bersamaan dalam kondisi yang sama — adalah alasan utama mengapa Fusion multi-sensor dianggap mutlak diperlukan dalam kasus penggunaan seperti mengemudi otonom, di mana kegagalan bukanlah pilihan.

11. Apa yang Membuat Fusion Sulit

Meskipun Fusion Sensor tampak elegan di atas kertas, implementasinya menghadapi serangkaian kesulitan praktis yang sangat nyata.

• Sinkronisasi Waktu: setiap sensor mengeluarkan data dengan kecepatan dan latensi yang berbeda, sehingga memperlakukannya sebagai "momen yang sama" membutuhkan penyelarasan waktu yang akurat — sinkronisasi pemicu tingkat perangkat keras, atau interpolasi stempel waktu.

• Kalibrasi: posisi dan orientasi relatif antar sensor (ekstrinsik), dan parameter internal masing-masing sensor (intrinsik), harus diketahui secara tepat. Sedikit pergeseran pemasangan akan menimbulkan kesalahan sistematis di seluruh hasil fusi.

• Transformasi Koordinat: setiap sensor berada dalam kerangka acuannya sendiri (kerangka acuan kamera, kerangka acuan LiDAR, kerangka acuan kendaraan, kerangka acuan global), dan kerangka acuan ini harus ditransformasikan secara konsisten dan terus menerus.

• Kebisingan Sensor: karakteristik kebisingan setiap sensor (Gaussian atau tidak, bias atau tidak) berbeda, dan pemodelan yang salah akan mengacaukan pembobotan (misalnya, Kalman Gain) dalam Fusi probabilistik.

• Pencilan: deteksi palsu, atau ketidaksesuaian yang disebabkan oleh objek dinamis, menimbulkan kebisingan yang tidak pernah diantisipasi oleh model — model statistik biasa tidak dapat menanganinya sendiri, sehingga teknik estimasi yang kuat seperti RANSAC, atau penolakan pencilan eksplisit, menjadi perlu.

• Propagasi Ketidakpastian: kecuali ketidakpastian (kovarians) individual setiap sensor disebarkan dengan benar melalui seluruh proses Fusi, keandalan estimasi akhir akan salah dinilai — dan baik kepercayaan diri yang berlebihan atau kehati-hatian yang berlebihan akan menyebabkan keputusan selanjutnya menjadi keliru.

Tidak satu pun dari masalah ini dapat diselesaikan hanya dengan menerapkan persamaan Filter Kalman dalam buku teks — semuanya berada dalam ranah rekayasa sistem.

12. Model Dunia Akhir

Gabungkan semua yang telah dibahas sejauh ini — sensor individual, metode Fusi individual — dan apa yang pada akhirnya dibawa oleh robot atau kendaraan otonom adalah jenis "model dunia" yang ditunjukkan di bawah ini, yang menggabungkan spesialisasi setiap sensor menjadi satu.

Gambar 2 — Kamera, LiDAR, IMU, Radar, dan GNSS masing-masing memberikan informasi yang berbeda, dan lapisan Fusion mengintegrasikannya ke dalam satu Model Dunia yang konsisten.

Model Dunia bukan hanya "di mana saya berada" — ia memuat geometri objek di sekitarnya (dari LiDAR), apa objek-objek tersebut (dari kamera), kecepatan relatifnya (dari radar), perubahan orientasi kendaraan itu sendiri (dari IMU), dan posisi global di peta (dari GNSS), semuanya terintegrasi tanpa kontradiksi di sepanjang waktu atau ruang. Perencanaan jalur robot, atau keputusan mengemudi kendaraan otonom, dibuat berdasarkan Model Dunia ini — tidak pernah berdasarkan data sensor mentah. Sensor Fusion, dalam pengertian itu, adalah jembatan antara persepsi dan tindakan: ia mengubah kemampuan persepsi individual setiap sensor menjadi satu representasi koheren yang dapat ditindaklanjuti oleh sistem.

13. Merancang Sistem Fusi dalam Praktik

Saat benar-benar merancang sistem Fusi Sensor, empat pertanyaan cenderung membuat pengambilan keputusan lebih mudah dipahami.

Keputusan-keputusan ini tidak independen — mereka saling memengaruhi. Sistem otomotif yang diproduksi massal, misalnya, sering kali dipaksa untuk menggunakan desain berbasis filter dan penggabungan longgar karena keterbatasan komputasi, sementara kasus penggunaan penelitian atau pembuatan peta offline dapat menggunakan desain berbasis optimasi dan penggabungan erat yang mengejar akurasi maksimum. Tidak ada yang namanya "metode Fusion yang sempurna" — inti dari desain Sensor Fusion praktis adalah memilih kombinasi yang paling masuk akal mengingat sensor apa yang ada di dalamnya, komputasi apa yang tersedia, dan akurasi serta latensi apa yang dibutuhkan aplikasi.

14. Ringkasan

Fusi Sensor secara matematis menggabungkan pengamatan dari Kamera, LiDAR, IMU, Radar, dan GNSS — masing-masing kuat dan lemah di tempat yang berbeda — menggunakan metode probabilistik (Filter Kalman/EKF/UKF/Filter Partikel) atau metode berbasis optimasi (Grafik Faktor/Penyesuaian Bundel), untuk menghasilkan estimasi keadaan yang lebih akurat dan andal daripada yang dapat diberikan oleh sensor tunggal mana pun. Pasangan konkret seperti VIO (Kamera×IMU), LIO (LiDAR×IMU), dan BEV Fusion (Kamera×LiDAR) semuanya didasarkan pada ide yang sama — menerjemahkan komplementaritas ke dalam persamaan — dan pilihan desain tentang di mana dan bagaimana melakukan fusi pada akhirnya menentukan akurasi, biaya komputasi, dan kompleksitas implementasi yang dihasilkan.

Pemeriksaan sebelum menggabungkan pengukuran

Memperlakukan posisi dan kecepatan yang diperoleh dari pengamatan yang sama sebagai pengukuran independen dapat membuat estimasi menjadi terlalu percaya diri. Periksa stempel waktu, kerangka koordinat, ekstrinsik, dan korelasi kesalahan sebelum menambahkan sensor. Evaluasi fusi terhadap baseline sensor tunggal dalam kondisi yang sama, termasuk gangguan.

• OpenVINS: Model IMU, keadaan, dan propagasi ketidakpastian