Monokulare Tiefenschätzung – Von relativen zu metrischen Entfernungen

Die monokulare Tiefenschätzung sagt die Entfernung pro Pixel anhand eines RGB-Bildes voraus. Ein einzelnes Bild kann ein kleines, nahes Objekt nicht eindeutig von einem großen, entfernten Objekt mit derselben scheinbaren Größe unterscheiden. Daher ist die erste Frage, ob ein Modell die relative Tiefe – die Reihenfolge von vorne nach hinten – oder die metrische Tiefe mit einer physikalischen Einheit wie Metern vorhersagt.

Kurz zusammengefasst

• Ein monokulares Bild bestimmt im Allgemeinen nicht den absoluten Maßstab. Relative Tiefe beschreibt die Reihenfolge und Form; metrische Tiefe zielt auf die Entfernung in einer Einheit ab.

• Selbst ein Modell, das metrische Tiefe ausgibt, kann außerhalb der Kamera, der Szene und der Trainingsverteilung, aus der es gelernt hat, Skalenabweichungen oder lokale Fehler aufweisen.

• Ein Bild ohne Referenzdaten kann keine Tiefengenauigkeit gewährleisten. Tiefenfehler, relative Reihenfolge, Verdeckungsgrenzen und die Verwendung der Skalenanpassung müssen separat betrachtet werden.

Warum das Bild den Maßstab nicht festlegt

Bei einer Lochkamera wird ein 3D-Punkt (X,Y,Z) ungefähr als u=fX/Z, v=fY/Z projiziert. Die Skalierung aller Koordinaten und der Tiefe mit demselben Faktor lässt die Bildposition unverändert. Dies ist eine monokulare Skalenmehrdeutigkeit. Ein Tiefenmodell löst sie statistisch mithilfe von Objektgröße, Perspektive, Schattierung, Textur und gelernten Szeneninformationen.

Diagram 1 · Use the button to switch views

Wenn die Modellausgabe \hat D nur relativ ist, kann die Auswertung sie mit a\hat D+b abgleichen. Ein geringer Fehler nach dem Abgleich beweist nicht, dass das Modell Meter direkt rekonstruieren kann. Nicht ausgerichtete metrische Auswertungen dürfen niemals mit ausgerichteten relativen Auswertungen vermischt werden.

Ausgabetypen trennen

Metrische Tiefe | Entfernung in Metern oder einer anderen Einheit | Kalibrierung von Kamera, Domäne und Maßstab prüfen |

Wenn die metrische Tiefe die Entfernung oder Dimension eines Hindernisses bestimmt, legen Sie die Referenzwerte der Domäne, die Sensorsynchronisation, die Kameraparameter, den gültigen Bereich und die Richtlinie für ungültige Werte fest. Ein Modellname oder ein plausibel aussehendes Bild belegen keine Genauigkeit in der Praxis.

Minimales Evaluierungsprotokoll

Vergleichen Sie die Referenztiefe D und die Vorhersage \hat D anhand desselben gültigen Pixelsatzes. Gängige Messgrößen sind der absolute relative Fehler \mathrm{AbsRel}=\mathrm{mean}(|\hat D-D|/D), der RMSE und die Schwellenwertgenauigkeit \delta. Protokollieren Sie ungültige Pixel, die Behandlung von Verdeckungen, ausgeschlossene Fernbereiche und die Anzahl der gültigen Pixel.

Geben Sie bei einem relativen Modell an, ob die Maßstabsausrichtung für jedes Testbild separat geschätzt oder anhand der Trainingsdaten festgelegt wird. Die Ausrichtung pro Bild ist zwar nützlich, um relative Formen zu vergleichen, kann aber die Unfähigkeit des Modells verschleiern, eine stabile physikalische Skalierung zu gewährleisten.

Häufige Fehlerbedingungen

• Spiegel, transparente Objekte, Himmel und texturlose Wände liefern wenige zuverlässige visuelle Anhaltspunkte.

• Ungewohnte Beleuchtung, Kameras, Bereiche, Objekte oder Sichtfelder können Skalierung und Grenzen beeinträchtigen.

• Dünne Strukturen und Verdeckungsgrenzen können trotz niedriger durchschnittlicher Metrik sicherheitskritische lokale Fehler enthalten.

• Videovorhersagen können von Bild zu Bild flackern. Einzelbildmetriken garantieren keine zeitliche Stabilität.

Zusammenfassung

Monokulare Tiefenmessung ist ein Inferenzproblem, das Bildinformationen mit visuellen Vorkenntnissen kombiniert; sie ist nicht einfach ein Entfernungssensor in Software. Trennen Sie relative Tiefe, metrische Tiefe und Skalierungsausrichtung und erfassen Sie die tatsächlichen Werte und die Bedingungen für gültige Pixel, bevor Sie Ergebnisse vergleichen. Ein modellspezifisches Labor sollte warten, bis lizenzierte Eingaben, korrigierte Versionen, Referenztiefe und Hardwarebedingungen verfügbar sind.

Referenzen

• Eigen et al., Depth Map Prediction from a Single Image using a Multi-Scale Deep Network
• Ranftl et al., Vision Transformers for Dense Prediction