Cómo evaluar SLAM: ATE, RPE, tiempo de ejecución y fallos

Un mapa SLAM visualmente limpio no revela errores de pose ni latencia. Defina la referencia, las libertades de alineación y el tratamiento de fallos antes de comparar sistemas. Los valores aquí presentados provienen de trayectorias sintéticas, no de una evaluación comparativa de un algoritmo SLAM específico.

¿Qué miden ATE y RPE?

Sea Q_i la pose de referencia, P_i la estimación y S una alineación fija. El error absoluto se puede escribir como E_i=Q_i^{-1}SP_i. La raíz cuadrática media de su norma de traslación es una medida común de ATE; evo denomina a la métrica más amplia de pose absoluta APE.

El error relativo compara el movimiento en el intervalo i\rightarrow j : F_{ij}=(Q_i^{-1}Q_j)^{-1}(P_i^{-1}P_j). Los resultados dependen de si el intervalo es de un segundo, un metro o un fotograma. Consulte la documentación oficial de Métricas de evo.

Compruebe la distinción con un pequeño cálculo

Guarde slam_metric_lab.py en un directorio vacío y ejecute python3 slam_metric_lab.py. Se probó con Python 3.12.3 y utiliza únicamente la biblioteca estándar. La referencia son los metros de x=t, muestreados en 101 puntos de 0 a 10 segundos a intervalos de 0,1 segundos, con rotaciones de identidad.

Una traslación constante aparece en las diferencias de posición, pero se cancela con las diferencias de movimiento. La deriva persiste en ambos casos. Este ejemplo no aplica ni alineación ni interpolación temporal. Descargue la referencia y la estimación de deriva.

Compare los datos reales antes de evaluar

Diagram 1 · Use the button to switch views

Utilice metros y segundos, y no mezcle los fotogramas de referencia del sensor y del cuerpo. Distinga los diferentes tiempos de inicio de grabación de los errores del reloj. El formato TUM es timestamp x y z q_x q_y q_z q_w; verifique el orden de los cuaterniones con la documentación oficial del formato.

La alineación SE(3) corrige la rotación y la traslación; Sim(3) también corrige la escala. La corrección de escala puede ser apropiada para comparar la forma de la trayectoria monocular, pero elimina el error de escala si eso es lo que el experimento pretende medir. No mezcle silenciosamente estas configuraciones de evaluación en una clasificación.

Registrar el entorno evo

En un entorno evo dedicado, guarda evo_ape --version y evo_rpe tum --help. Estos comandos siguen la estructura oficial de la CLI; son un procedimiento, no resultados ejecutados en trayectorias reales para este artículo.

evo_ape tum reference.tum estimate.tum --align --save_results ape.zip
evo_rpe tum reference.tum estimate.tum --delta 1 --delta_unit s --all_pairs --save_results rpe.zip

Reemplaza los nombres de archivo con trayectorias de la misma ejecución. Corrige la tolerancia de asociación de marcas de tiempo usando la ayuda de la versión instalada e informa el número de muestras coincidentes. La tabla sintética anterior no está alineada, por lo que agregar --align cambia su interpretación y resultados.

Informar más que precisión

Recursos | CPU/GPU, subprocesos, memoria, frecuencia de entrada y versiones de software |

El tiempo de procesamiento por fotograma difiere de la latencia, incluyendo la cola. Sin datos de referencia, no informe el tiempo de procesamiento automático (ATE). En su lugar, puede medir la repetibilidad o la consistencia, indicando que estas no determinan directamente la precisión posicional.

Conservar intervalos difíciles

Eliminar solo las secciones difíciles deja una puntuación de precisión para el seguimiento exitoso. Informe la tasa de éxito general por separado del error en los intervalos evaluables. Primero, verifique la temporización y los fotogramas del sensor para evitar mezclar fallos de integración en una comparación de algoritmos.