Wie man SLAM bewertet – ATE, RPE, Laufzeit und Fehler

Eine visuell saubere SLAM-Karte gibt weder Aufschluss über Lagefehler noch über Latenz. Definieren Sie Referenz, Ausrichtungsfreiheitsgrade und Fehlerbehandlung, bevor Sie Systeme vergleichen. Die hier angegebenen Werte stammen aus synthetischen Trajektorien und stellen keinen Benchmark eines bestimmten SLAM-Algorithmus dar.

Was ATE und RPE messen

Sei Q_i die Referenzlage, P_i die Schätzung und S eine feste Ausrichtung. Der absolute Fehler kann als E_i=Q_i^{-1}SP_i dargestellt werden. Der quadratische Mittelwert seiner Translationsnorm ist ein gängiges ATE-Maß; evo bezeichnet die umfassendere Metrik für die absolute Lage als APE.

Der relative Fehler vergleicht die Bewegung im Intervall i\rightarrow j : F_{ij}=(Q_i^{-1}Q_j)^{-1}(P_i^{-1}P_j). Die Ergebnisse hängen davon ab, ob das Intervall eine Sekunde, einen Meter oder ein Frame beträgt. Siehe die offizielle evo Metrics-Dokumentation.

Überprüfen Sie die Unterscheidung mit einer kleinen Berechnung

Speichern Sie slam_metric_lab.py in einem leeren Verzeichnis und führen Sie python3 slam_metric_lab.py aus. Die Überprüfung erfolgte mit Python 3.12.3 und verwendet ausschließlich die Standardbibliothek. Die Referenzwerte betragen x=t Meter, abgetastet an 101 Punkten von 0 bis 10 Sekunden in 0,1-Sekunden-Intervallen, mit Identitätsrotationen.

Eine konstante Translation tritt in Positionsdifferenzen auf, hebt sich aber in Bewegungsdifferenzen auf. Drift bleibt in beiden Fällen bestehen. In diesem Beispiel werden weder Ausrichtung noch Zeitinterpolation angewendet. Laden Sie die Referenz und die Driftabschätzung herunter.

Reale Daten vor der Auswertung abgleichen

Diagram 1 · Use the button to switch views

Meter und Sekunden verwenden und Sensor- und Körperbezugssysteme nicht vermischen. Unterschiedliche Aufzeichnungsstartzeiten von Taktfehlern unterscheiden. Das TUM-Format ist timestamp x y z q_x q_y q_z q_w ; die Quaternionenreihenfolge anhand der offiziellen Formatdokumentation überprüfen.

Die SE(3)-Ausrichtung korrigiert Rotation und Translation; Sim(3) korrigiert zusätzlich die Skalierung. Eine Skalierungskorrektur kann für den Vergleich monokularer Trajektorienformen sinnvoll sein, beseitigt aber Skalierungsfehler, wenn diese im Experiment gemessen werden sollen. Diese Auswertungseinstellungen dürfen in einem Ranking nicht unbemerkt vermischt werden.

EVO-Umgebung aufzeichnen

Speichern Sie in einer dedizierten EVO-Umgebung die Dateien evo_ape --version und evo_rpe tum --help. Diese Befehle folgen der offiziellen CLI-Struktur; sie stellen eine Prozedur dar und liefern für diesen Artikel keine Ergebnisse, die auf realen Trajektorien ausgeführt wurden.

evo_ape tum reference.tum estimate.tum --align --save_results ape.zip
evo_rpe tum reference.tum estimate.tum --delta 1 --delta_unit s --all_pairs --save_results rpe.zip

Ersetzen Sie die Dateinamen durch die Trajektorien desselben Durchlaufs. Korrigieren Sie die Toleranz der Zeitstempelzuordnung mithilfe der Hilfe der installierten Version und geben Sie die Anzahl der übereinstimmenden Stichproben an. Die obige synthetische Tabelle ist nicht ausgerichtet; das Hinzufügen von --align verändert daher deren Interpretation und Ergebnisse.

Mehr als nur Genauigkeit berichten

Die Verarbeitungszeit pro Frame unterscheidet sich von der Latenz, einschließlich der Warteschlangen. Ohne Referenzdaten sollte kein ATE angegeben werden. Stattdessen können Wiederholbarkeit oder Konsistenz gemessen werden, wobei darauf hingewiesen werden muss, dass diese nicht direkt die Positionsgenauigkeit bestimmen.

Schwierige Intervalle beibehalten

Durch das Entfernen schwieriger Abschnitte wird ein Genauigkeitswert für erfolgreiches Tracking erzielt. Die Gesamterfolgsrate sollte separat vom Fehler in auswertbaren Intervallen angegeben werden. Überprüfen Sie zunächst Sensor-Timing und Frames, um zu vermeiden, dass Integrationsfehler in einen Algorithmenvergleich einfließen.