단안식 깊이 추정 - 상대적 순서에서 미터법 거리까지

단안 심도 추정은 하나의 RGB 이미지에서 픽셀 단위의 거리를 예측합니다. 단일 이미지로는 크기가 동일해 보이는 작고 가까운 물체와 크고 멀리 있는 물체를 명확하게 구분할 수 없습니다. 따라서 첫 번째 질문은 모델이 상대적 심도(앞뒤 순서)를 예측하는지, 아니면 미터와 같은 물리적 단위를 사용하는 미터법 심도를 예측하는지입니다.

요약

• 단안 이미지는 일반적으로 절대적인 크기를 결정하지 못합니다. 상대적 심도는 순서와 모양을 나타내고, 미터법 심도는 단위 방위 거리를 목표로 합니다.

• 미터법 심도를 출력하는 모델조차도 카메라, 장면 및 학습 데이터 분포 범위를 벗어나면 크기 편차나 부분적인 오류를 보일 수 있습니다.

• 정답 데이터가 없는 이미지로는 심도 정확도를 판단할 수 없습니다. 심도 오차, 상대적 순서, 가려짐 경계, 그리고 크기 정렬 사용 여부를 개별적으로 고려해야 합니다.

이미지가 크기를 고정하지 못하는 이유

핀홀 카메라의 경우, 3D 점 (X,Y,Z)은 대략 u=fX/Z, v=fY/Z로 투영됩니다. 모든 좌표와 깊이를 동일한 비율로 확대/축소하면 이미지 위치는 변경되지 않습니다. 이것이 단안식 스케일 모호성입니다. 깊이 모델은 객체 크기, 원근, 음영, 텍스처 및 학습된 장면 사전 정보를 사용하여 통계적으로 이 문제를 해결합니다.

단안식 깊이에 대한 스케일 및 평가

모델 출력 \hat D이 상대적인 값만 제공하는 경우, a\hat D+b와 정렬하여 평가할 수 있습니다. 정렬 후 오차가 낮다고 해서 모델이 미터 단위까지 직접 복원할 수 있다는 것을 의미하지는 않습니다. 정렬되지 않은 메트릭 평가와 정렬된 상대적 평가를 혼합하여 사용하지 마십시오.

출력 유형 구분

측정 깊이가 장애물 거리 또는 크기를 결정하는 경우, 도메인 정답, 센서 동기화, 카메라 내부 매개변수, 유효 범위 및 무효 값 정책을 수정해야 합니다. 모델 이름이나 그럴듯해 보이는 이미지만으로는 실제 정확도를 보장할 수 없습니다.

최소 평가 프로토콜

동일한 유효 픽셀 집합에 대해 정답 깊이 D와 예측값 \hat D을 비교합니다. 일반적인 측정 지표에는 절대 상대 오차 \mathrm{AbsRel}=\mathrm{mean}(|\hat D-D|/D), RMSE 및 임계값 정확도 \delta이 포함됩니다. 무효 픽셀, 가림 처리, 제외된 원거리 범위 및 유효 픽셀 수를 기록합니다.

상대적 모델의 경우, 스케일 정렬이 모든 테스트 이미지에 대해 개별적으로 추정되는지 또는 훈련 데이터에서 고정되는지 명시해야 합니다. 이미지별 정렬은 상대적인 모양을 비교하는 데 유용하지만, 모델이 안정적인 물리적 스케일을 복원하지 못하는 한계를 숨길 수 있습니다.

일반적인 오류 발생 원인

• 거울, 투명한 물체, 하늘, 질감이 없는 벽은 신뢰할 수 있는 시각적 단서를 거의 제공하지 않습니다.

• 익숙하지 않은 조명, 카메라, 영역, 물체 또는 시야각은 스케일과 경계를 왜곡할 수 있습니다.

• 얇은 구조물과 가려진 경계는 평균 메트릭이 낮더라도 안전에 중요한 로컬 오류를 포함할 수 있습니다.

• 비디오 예측은 프레임마다 깜빡일 수 있습니다. 단일 이미지 메트릭은 시간적 안정성을 보장하지 않습니다.

요약

단안 깊이 추론은 이미지 증거와 시각적 사전 정보를 결합하는 문제이며, 단순히 소프트웨어로 구현된 거리 센서가 아닙니다. 상대적 깊이, 메트릭 깊이, 스케일 정렬을 분리하고, 결과를 비교하기 전에 정답 및 유효 픽셀 조건을 기록해야 합니다. 모델별 랩은 라이선스가 부여된 입력, 수정된 버전, 참조 깊이 및 하드웨어 조건이 확보될 때까지 기다려야 합니다.

참고 문헌

• Eigen et al., Depth Map Prediction from a Single Image using a Multi-Scale Deep Network
• Ranftl et al., Vision Transformers for Dense Prediction