Estimación de profundidad monocular: del orden relativo a la distancia métrica.

La estimación de profundidad monocular predice la distancia por píxel a partir de una imagen RGB. Una sola imagen no permite distinguir de forma unívoca un objeto pequeño cercano de uno grande y distante con el mismo tamaño aparente. Por lo tanto, la primera pregunta es si un modelo predice la profundidad relativa (orden de adelante hacia atrás) o la profundidad métrica con una unidad física como los metros.

En resumen

• Una imagen monocular generalmente no determina la escala absoluta. La profundidad relativa describe el orden y la forma; la profundidad métrica busca la distancia en unidades.

• Incluso un modelo que proporciona profundidad métrica puede mostrar deriva de escala o fallos locales fuera de la cámara, la escena y la distribución de entrenamiento con la que aprendió.

• Una imagen sin datos de referencia no puede establecer la precisión de la profundidad. Es necesario separar el error de profundidad, el orden relativo, los límites de oclusión y si se utilizó la alineación de escala.

Por qué la imagen no fija la escala

Para una cámara estenopeica, un punto 3D (X,Y,Z) se proyecta aproximadamente como u=fX/Z, v=fY/Z. Escalar todas las coordenadas y la profundidad por el mismo factor deja la posición de la imagen sin cambios. Esto se conoce como ambigüedad de escala monocular. Un modelo de profundidad la resuelve estadísticamente utilizando el tamaño del objeto, la perspectiva, el sombreado, la textura y los datos previos de la escena aprendidos.

Diagram 1 · Use the button to switch views

Si la salida del modelo \hat D es solo relativa, la evaluación puede alinearla con a\hat D+b. Un error bajo después de la alineación no prueba que el modelo pueda recuperar directamente metros. Nunca mezcle la evaluación métrica sin alinear con la evaluación relativa alineada.

Separar los tipos de salida

Cuando la profundidad métrica determina la distancia o dimensión de un obstáculo, corrija la verdad fundamental del dominio, la sincronización del sensor, los parámetros intrínsecos de la cámara, el rango válido y la política de valores no válidos. Un nombre de modelo o una imagen de apariencia plausible no garantizan la precisión en el mundo real.

Protocolo de evaluación mínimo

Compare la profundidad real D y la predicción \hat D sobre el mismo conjunto de píxeles válidos. Las medidas comunes incluyen el error relativo absoluto \mathrm{AbsRel}=\mathrm{mean}(|\hat D-D|/D), el RMSE y la precisión del umbral \delta. Registre los píxeles no válidos, el manejo de oclusiones, los rangos lejanos excluidos y el número de píxeles válidos.

Para un modelo relativo, indique si la alineación de escala se estima por separado para cada imagen de prueba o si se fija a partir de los datos de entrenamiento. La alineación por imagen es útil para comparar la forma relativa, pero puede ocultar la incapacidad del modelo para recuperar una escala física estable.

Condiciones de fallo comunes

• Los espejos, los objetos transparentes, el cielo y las paredes sin textura ofrecen pocas pistas visuales fiables.

• La iluminación, las cámaras, las regiones, los objetos o los campos de visión desconocidos pueden distorsionar la escala y los límites.

• Las estructuras delgadas y los límites de oclusión pueden contener errores locales críticos para la seguridad, a pesar de una métrica promedio baja.

• Las predicciones de vídeo pueden parpadear entre fotogramas. Las métricas de una sola imagen no garantizan la estabilidad temporal.

Resumen

La profundidad monocular es un problema de inferencia que combina la evidencia de la imagen con información visual previa; no se trata simplemente de un sensor de distancia en el software. Separe la profundidad relativa, la profundidad métrica y la alineación de escala, y registre las condiciones de verdad fundamental y de píxeles válidos antes de comparar los resultados. Un laboratorio específico para el modelo debería esperar hasta que se disponga de entradas con licencia, versiones corregidas, profundidad de referencia y condiciones de hardware.

Referencias

• Eigen et al., Predicción de mapas de profundidad a partir de una sola imagen mediante una red neuronal profunda multiescala
• Ranftl et al., Vision Transformers para predicción densa