Cara mengevaluasi SLAM — ATE, RPE, waktu eksekusi, dan kegagalan

Contents — find the section you need

Change parameters and verify

Open the panel, then press Run to load Python. You can stop execution and reset parameters. Results are computed on this device. No Python installation is required.

Local execution steps below are optional for reproducing the source results; they are not required for the browser experiment.

The experiment controls are in English.

Open experiment panel in a new tab

Download reproduction source

Peta SLAM yang bersih secara visual tidak mengungkapkan kesalahan pose atau latensi. Tentukan referensi, kebebasan penyelarasan, dan penanganan kegagalan sebelum membandingkan sistem. Angka-angka di sini berasal dari lintasan sintetis, bukan tolok ukur algoritma SLAM tertentu.

Apa yang diukur oleh ATE dan RPE

Misalkan $Q_i$ adalah pose referensi, $P_i$ adalah estimasi, dan $S$ adalah penyelarasan tetap. Kesalahan absolut dapat ditulis $E_i=Q_i^{-1}SP_i$ . Akar kuadrat rata-rata dari norma translasinya adalah salah satu ukuran ATE yang umum; evo menyebut metrik pose absolut yang lebih luas sebagai APE.

Kesalahan relatif membandingkan gerakan selama interval $i\rightarrow j$ : $F_{ij}=(Q_i^{-1}Q_j)^{-1}(P_i^{-1}P_j)$ . Hasilnya bergantung pada apakah interval tersebut satu detik, satu meter, atau satu frame. Lihat dokumentasi resmi evo Metrics.

Periksa perbedaan dengan perhitungan sederhana

Simpan slam_metric_lab.py di direktori kosong dan jalankan python3 slam_metric_lab.py. Program ini telah diperiksa dengan Python 3.12.3 dan hanya menggunakan pustaka standar. Referensinya adalah $x=t$ meter, diambil sampelnya pada 101 titik dari 0 hingga 10 detik dengan interval 0,1 detik, dengan rotasi identitas.

Kesalahan sintetis	RMSE APE translasi tidak sejajar	RMSE RPE translasi satu detik, semua pasangan
Offset konstan +0,1 m	0,100000 m	0,000000 m
Pergeseran meningkat sebesar 0,01 m setiap detik	0,057879 m	0,010000 m

Translasi konstan muncul dalam perbedaan posisi tetapi saling meniadakan dengan perbedaan gerakan. Pergeseran tetap ada di keduanya. Contoh ini tidak menerapkan penyelarasan maupun interpolasi waktu. Unduh referensi dan estimasi pergeseran.

Cocokkan data nyata sebelum mengevaluasi

Cocokkan waktu dan frame, perbaiki penyelarasan, hitung APE dan RPE, lalu laporkan kegagalan dan latensi

Gunakan meter dan detik, dan jangan mencampur frame referensi sensor dan tubuh. Bedakan waktu mulai perekaman yang berbeda dari kesalahan jam. Format TUM adalah timestamp x y z q_x q_y q_z q_w; verifikasi urutan kuaternion terhadap dokumentasi format resmi.

Penyelarasan SE(3) mengoreksi rotasi dan translasi; Sim(3) juga mengoreksi skala. Koreksi skala dapat sesuai untuk membandingkan bentuk lintasan monokular, tetapi menghilangkan kesalahan skala jika itu yang ingin diukur oleh eksperimen. Jangan mencampuradukkan pengaturan evaluasi ini secara diam-diam dalam pemeringkatan.

Rekam lingkungan evo

Dalam lingkungan evo khusus, simpan evo_ape --version dan evo_rpe tum --help. Perintah-perintah ini mengikuti struktur CLI resmi; ini adalah prosedur, bukan hasil yang dieksekusi pada lintasan nyata untuk artikel ini.

evo_ape tum reference.tum estimate.tum --align --save_results ape.zip
evo_rpe tum reference.tum estimate.tum --delta 1 --delta_unit s --all_pairs --save_results rpe.zip

Ganti nama file dengan lintasan dari eksekusi yang sama. Perbaiki toleransi asosiasi stempel waktu menggunakan bantuan versi yang terinstal dan laporkan jumlah sampel yang cocok. Tabel sintetis di atas tidak sejajar, jadi menambahkan --align mengubah interpretasi dan hasilnya.

Laporkan lebih dari sekadar akurasi

Kuantitas	Konteks yang dibutuhkan
APE / RPE	Penyelarasan, interval, meter atau derajat, pose yang cocok
Kegagalan	Total run, kehilangan pelacakan, dan detik pemulihan
Latensi	Akuisisi-ke-estimasi yang tersedia p50/p95 dan sinkronisasi jam
Sumber daya	CPU/GPU, thread, memori, laju input, dan versi perangkat lunak

Waktu pemrosesan per frame berbeda dari latensi termasuk antrian. Tanpa ground truth, jangan laporkan ATE. Anda dapat mengukur pengulangan atau konsistensi sebagai gantinya, sambil menyatakan bahwa ini tidak secara langsung menetapkan akurasi posisi.

Pertahankan interval yang sulit

Menghapus hanya bagian yang sulit akan menyisakan skor akurasi untuk pelacakan yang berhasil. Laporkan tingkat keberhasilan keseluruhan secara terpisah dari kesalahan pada interval yang dapat dievaluasi. Pertama, periksa waktu sensor dan frame untuk menghindari pencampuran kesalahan integrasi ke dalam perbandingan algoritma.