Comment évaluer le SLAM — ATE, RPE, temps d’exécution et défaillances

Une carte SLAM visuellement propre ne révèle ni l'erreur de pose ni la latence. Définissez la référence, les libertés d'alignement et le traitement des erreurs avant de comparer les systèmes. Les valeurs présentées ici proviennent de trajectoires synthétiques et non d'un benchmark d'un algorithme SLAM particulier.

Que mesurent l'ATE et le RPE ?

Soit Q_i la pose de référence, P_i l'estimation et S un alignement fixe. L'erreur absolue peut s'écrire E_i=Q_i^{-1}SP_i. La racine carrée moyenne de sa norme de translation est une mesure courante de l'ATE ; evo appelle cette métrique plus générale, basée sur la pose absolue, l'APE.

L'erreur relative compare le mouvement sur l'intervalle i\rightarrow j : F_{ij}=(Q_i^{-1}Q_j)^{-1}(P_i^{-1}P_j). Les résultats dépendent de la valeur de cet intervalle : une seconde, un mètre ou une image. Consultez la documentation officielle d'evo Metrics (https://github.com/MichaelGrupp/evo/wiki/Metrics).

Vérifiez la distinction par un calcul simple

Enregistrez slam_metric_lab.py dans un répertoire vide et exécutez python3 slam_metric_lab.py . Ce script a été testé avec Python 3.12.3 et utilise uniquement la bibliothèque standard. La référence est x=t mètres, échantillonnée en 101 points de 0 à 10 secondes à intervalles de 0,1 seconde, avec rotations d'identité.

Une translation constante apparaît dans les différences de position, mais s'annule dans les différences de mouvement. La dérive persiste dans les deux cas. Cet exemple n'applique ni alignement ni interpolation temporelle. Téléchargez la référence et l'estimation de dérive.

Correspondance avec les données réelles avant l'évaluation

Diagram 1 · Use the button to switch views

Utilisez les mètres et les secondes, et ne mélangez pas les repères du capteur et du corps. Distinguez les différents temps de début d'enregistrement des erreurs d'horloge. Le format TUM est timestamp x y z q_x q_y q_z q_w ; vérifiez l'ordre des quaternions par rapport à la documentation officielle du format.

L'alignement SE(3) corrige la rotation et la translation ; Sim(3) corrige également l'échelle. La correction d'échelle peut convenir à la comparaison de la forme des trajectoires monoculaires, mais elle supprime l'erreur d'échelle si c'est ce que l'expérience vise à mesurer. Ne mélangez pas ces paramètres d'évaluation dans un classement.

Enregistrement de l'environnement evo

Dans un environnement evo dédié, enregistrez evo_ape --version et evo_rpe tum --help. Ces commandes suivent la structure officielle de l'interface de ligne de commande ; il s'agit d'une procédure, et non de résultats exécutés sur des trajectoires réelles pour cet article.

evo_ape tum reference.tum estimate.tum --align --save_results ape.zip
evo_rpe tum reference.tum estimate.tum --delta 1 --delta_unit s --all_pairs --save_results rpe.zip

Remplacez les noms de fichiers par les trajectoires de la même exécution. Corrigez la tolérance d'association des horodatages à l'aide de l'aide de la version installée et indiquez le nombre d'échantillons correspondants. Le tableau synthétique ci-dessus n'est pas aligné ; l'ajout de --align modifie donc son interprétation et ses résultats.

Rapport plus complet que la précision

Le temps de traitement par image diffère de la latence, y compris la mise en file d'attente. Sans vérité terrain, ne pas indiquer l'ATE. Vous pouvez mesurer la répétabilité ou la cohérence, en précisant que celles-ci n'établissent pas directement la précision de position.

Conserver les intervalles difficiles

La suppression des seules sections difficiles permet d'obtenir un score de précision pour les suivis réussis. Indiquez le taux de réussite global séparément de l'erreur sur les intervalles évaluables. Vérifiez d'abord la synchronisation des capteurs et les images pour éviter d'intégrer des erreurs d'intégration dans une comparaison d'algorithmes.