SLAM 평가 방법 — ATE, RPE, 런타임 및 실패율

Contents — find the section you need

Change parameters and verify

Open the panel, then press Run to load Python. You can stop execution and reset parameters. Results are computed on this device. No Python installation is required.

Local execution steps below are optional for reproducing the source results; they are not required for the browser experiment.

The experiment controls are in English.

Open experiment panel in a new tab

Download reproduction source

시각적으로 깔끔한 SLAM 맵은 포즈 오류나 지연 시간을 드러내지 않습니다. 시스템을 비교하기 전에 기준 포즈, 정렬 자유도, 오류 처리 방식을 정의해야 합니다. 여기에 제시된 수치는 특정 SLAM 알고리즘의 벤치마크가 아닌 합성 궤적에서 얻은 것입니다.

ATE와 RPE의 측정 기준

$Q_i$ 을 기준 포즈, $P_i$ 을 추정 포즈, $S$ 를 고정 정렬이라고 합시다. 절대 오차는 $E_i=Q_i^{-1}SP_i$ 으로 나타낼 수 있습니다. 변환 노름의 제곱평균제곱근(RMS)은 일반적인 ATE 측정 기준 중 하나이며, evo에서는 더 광범위한 절대 포즈 측정 기준을 APE라고 부릅니다.

상대 오차는 $i\rightarrow j$ : $F_{ij}=(Q_i^{-1}Q_j)^{-1}(P_i^{-1}P_j)$ 구간 동안의 움직임을 비교합니다. 결과는 구간이 1초, 1미터 또는 1프레임인지에 따라 달라집니다. 자세한 내용은 공식 evo Metrics 문서를 참조하십시오.

간단한 계산으로 차이점을 확인해 보세요

slam_metric_lab.py 파일을 빈 디렉토리에 저장하고 python3 slam_metric_lab.py을 실행하세요. 이 코드는 Python 3.12.3에서 테스트되었으며 표준 라이브러리만 사용합니다. 기준 데이터는 $x=t$ 미터이며, 0초에서 10초까지 0.1초 간격으로 101개 지점에서 샘플링되었고, 항등 회전을 적용했습니다.

합성 오차	정렬되지 않은 변환 APE RMSE	1초, 모든 쌍 변환 RPE RMSE
상수 +0.1m 오프셋	0.100000m	0.000000m
매초 0.01m씩 증가하는 드리프트	0.057879m	0.010000m

위치 차이에는 일정한 변환이 나타나지만 움직임 차이에서는 상쇄됩니다. 드리프트는 두 경우 모두에 남아 있습니다. 이 예제에서는 정렬이나 시간 보간을 적용하지 않습니다. 참조 및 드리프트 추정치를 다운로드하십시오.

평가 전에 실제 데이터와 일치시키십시오.

시간과 프레임을 일치시키고, 정렬을 수정하고, APE 및 RPE를 계산한 다음 오류 및 지연 시간을 보고합니다

미터와 초 단위를 사용하고 센서 기준 프레임과 신체 기준 프레임을 혼합하지 마십시오. 서로 다른 기록 시작 시간과 시계 오류를 구분하십시오. TUM 형식은 timestamp x y z q_x q_y q_z q_w 입니다. 공식 형식 문서에 따라 쿼터니언 순서를 확인하십시오.

SE(3) 정렬은 회전과 변환을 보정하고, Sim(3)은 크기도 보정합니다. 단안 궤적 형태를 비교할 때는 스케일 보정이 적절할 수 있지만, 실험의 목적이 스케일 오차를 측정하는 것이라면 스케일 오차를 제거해야 합니다. 순위를 매길 때 이러한 평가 설정을 혼합하여 사용하지 마십시오.

evo 환경 기록

전용 evo 환경에서 evo_ape --version 및 evo_rpe tum --help 파일을 저장하십시오. 이 명령들은 공식 CLI 구조를 따르며, 이 문서에서는 실제 궤적에 대해 실행된 결과가 아니라 절차입니다.

evo_ape tum reference.tum estimate.tum --align --save_results ape.zip
evo_rpe tum reference.tum estimate.tum --delta 1 --delta_unit s --all_pairs --save_results rpe.zip

파일 이름을 동일한 실행에서 얻은 궤적 이름으로 바꾸십시오. 설치된 버전의 도움말을 사용하여 타임스탬프 연결 허용 오차를 수정하고 일치하는 샘플 수를 보고하십시오. 위의 합성 표는 정렬되지 않았으므로 --align를 추가하면 해석과 결과가 변경됩니다.

정확도 외 추가 정보 보고

수량	필수 컨텍스트
APE/RPE	정렬, 간격, 미터 또는 도, 일치하는 포즈
실패	총 실행 횟수, 추적 손실 및 복구 시간(초)
지연 시간	획득부터 사용 가능 추정치까지의 시간(p50/p95) 및 클록 동기화
리소스	CPU/GPU, 스레드, 메모리, 입력 속도 및 소프트웨어 버전

프레임당 처리 시간은 큐잉을 포함한 지연 시간과 다릅니다. 정답 데이터가 없는 경우 ATE를 보고하지 마십시오. 대신 반복성 또는 일관성을 측정할 수 있지만, 이러한 지표가 위치 정확도를 직접적으로 나타내는 것은 아님을 명시해야 합니다.

어려운 구간 유지

어려운 구간만 제거하면 추적 성공 시의 정확도 점수만 남습니다. 전체 성공률은 평가 가능한 구간의 오류와 별도로 보고하십시오. 통합 오류가 알고리즘 비교에 혼용되지 않도록 센서 타이밍 및 프레임을 먼저 확인하십시오.