Contents — find the section you need

A estimativa de profundidade monocular prevê uma distância por pixel a partir de uma única imagem RGB. Uma única imagem não distingue de forma inequívoca um pequeno objeto próximo de um grande objeto distante com o mesmo tamanho aparente. Portanto, a primeira questão é se um modelo prevê profundidade relativa — ordenação da frente para trás — ou profundidade métrica com uma unidade física, como metros.

Em resumo

  • Uma imagem monocular geralmente não determina a escala absoluta. A profundidade relativa descreve a ordenação e a forma; a profundidade métrica visa a distância com unidade de medida.

  • Mesmo um modelo que gera profundidade métrica pode apresentar desvios de escala ou falhas locais fora da câmera, da cena e da distribuição de treinamento da qual aprendeu.

  • Uma imagem sem dados de referência não pode estabelecer a precisão da profundidade. É necessário separar o erro de profundidade, a ordenação relativa, os limites de oclusão e se o alinhamento de escala foi utilizado.

Por que a imagem não corrige a escala

Para uma câmera pinhole, um ponto 3D (X,Y,Z) projeta-se aproximadamente como u=fX/Z, v=fY/Z. Escalar todas as coordenadas e a profundidade pelo mesmo fator deixa a posição da imagem inalterada. Isso é ambiguidade de escala monocular. Um modelo de profundidade resolve isso estatisticamente usando tamanho do objeto, perspectiva, sombreamento, textura e informações prévias da cena aprendidas.

Diagram 1 · Use the button to switch views
Escala e avaliação para profundidade monocular

Se a saída do modelo \hat D for apenas relativa, a avaliação pode alinhá-la com a\hat D+b. Um baixo erro pós-alinhamento não prova que o modelo pode recuperar diretamente metros. Nunca misture avaliação métrica não alinhada com avaliação relativa alinhada.

Separar os tipos de saída

Saída O que suporta Condição adicional
Profundidade relativa Ordenação frente/trás e forma A escala absoluta ainda é necessária
Profundidade inversa Uma representação que enfatiza regiões próximas Não confunda 1/Z com a profundidade Z
Profundidade métrica Distância em metros ou outra unidade Valide a calibração da câmera, do domínio e da escala

Quando a profundidade métrica determina a distância ou a dimensão de um obstáculo, defina a verdade fundamental do domínio, a sincronização do sensor, os parâmetros intrínsecos da câmera, o intervalo válido e a política de valores inválidos. Um nome de modelo ou uma imagem plausível não estabelecem a precisão no mundo real.

Um protocolo de avaliação mínimo

Compare a profundidade real D e a previsão \hat D no mesmo conjunto de pixels válidos. As medidas comuns incluem o erro relativo absoluto \mathrm{AbsRel}=\mathrm{mean}(|\hat D-D|/D), o RMSE e a precisão do limiar \delta. Registre os pixels inválidos, o tratamento de oclusões, os intervalos distantes excluídos e o número de pixels válidos.

Para um modelo relativo, indique se o alinhamento da escala é estimado separadamente para cada imagem de teste ou fixado a partir dos dados de treinamento. O alinhamento por imagem é útil para comparar formas relativas, mas pode ocultar a incapacidade do modelo de recuperar uma escala física estável.

Condições comuns de falha

  • Espelhos, objetos transparentes, céu e paredes sem textura fornecem poucas pistas visuais confiáveis.

  • Iluminação, câmeras, regiões, objetos ou campos de visão desconhecidos podem quebrar a escala e os limites.

  • Estruturas finas e limites de oclusão podem conter erros locais críticos para a segurança, apesar de uma métrica média baixa.

  • As previsões de vídeo podem oscilar de um quadro para outro. Métricas de imagem única não garantem estabilidade temporal.

Resumo

A profundidade monocular é um problema de inferência que combina evidências de imagem com informações visuais prévias; não se trata simplesmente de um sensor de distância em software. Separe a profundidade relativa, a profundidade métrica e o alinhamento de escala, e registre as condições de verdade fundamental e de pixel válido antes de comparar os resultados. Um laboratório específico para o modelo deve aguardar até que as entradas licenciadas, as versões corrigidas, a profundidade de referência e as condições de hardware estejam disponíveis.

Verifique seu entendimento
Uma boa pontuação de profundidade relativa prova que as distâncias em metros estão corretas?

Não. Verifique o alinhamento da escala, a verdade fundamental da métrica e as condições da câmera e da distribuição de dados separadamente.

Referências

What to read next

Review monocular imaging and planar distance assumptionsComo funcionam as câmeras monoculares e principais produtos — Mobileye, Tesla, ContinentalReview focal length and camera intrinsicsGuia básico de calibração de câmeras — Recuperação da distorção da lente e parâmetros intrínsecosReview the backgroundIntrodução ao Visual-SLAM — Como uma câmera aprende "Onde estou?""