Cómo funcionan las cámaras estéreo y productos clave: ZED 2i, Subaru EyeSight

Contents — find the section you need

Una cámara estéreo fotografía la misma escena con dos lentes separadas a una distancia fija (la línea base), y luego calcula la distancia mediante triangulación a partir del desplazamiento (disparidad) entre las imágenes izquierda y derecha resultantes. Mientras que una cámara monocular nunca puede determinar la distancia absoluta a partir de una sola imagen, una cámara estéreo puede calcular la distancia directamente a partir de la relación geométrica entre sus dos puntos de vista, lo que facilita obtener una medición precisa sin depender de suposiciones adicionales (como una superficie de carretera plana, por ejemplo). Se utiliza ampliamente para el monitoreo frontal en vehículos autónomos, la navegación robótica y la medición 3D industrial.

Un Subaru WRX S4 equipado con el sistema de asistencia al conductor EyeSight basado en cámara estéreo

Un vehículo equipado con EyeSight (Subaru WRX S4)

Cámara de profundidad estéreo Intel RealSense D435 con sus sensores infrarrojos izquierdo y derecho visibles

Una unidad de cámara estéreo: Intel RealSense D435

Imágenes: Subaru WRX S4 2.0GT-S EyeSight (DBA-VAG) frontal (Tokumeigakarinoaoshima, CC BY-SA 4.0) / Intel Cámara de profundidad Realsense D435 (Marc Auledas, CC BY-SA 4.0), Wikimedia Commons. La D435 no es un componente de EyeSight; es un ejemplo físico de una unidad de cámara con dos puntos de vista.

Principio: la longitud de la línea base genera una compensación

La relación entre la disparidad $d$ (el desplazamiento de píxeles del mismo punto entre las imágenes izquierda y derecha), la distancia focal $f$ y la línea base (distancia entre las dos lentes) $B$ es:

Z = \frac{f \cdot B}{d}

Aquí $Z$ es la distancia al objeto. Como muestra esta ecuación, la distancia $Z$ es inversamente proporcional a la disparidad $d$ : los objetos cercanos tienen una gran disparidad y los objetos distantes tienen una disparidad menor. que se reduce hacia cero. Una línea base más larga ( $B$ ) aumenta la sensibilidad (la cantidad de cambios en la disparidad para un cambio de distancia dado), lo que mejora la precisión de la medición a larga distancia. Por el contrario, una línea base más larga significa que los campos de visión de las dos lentes dejan de superponerse una vez que un objeto se acerca demasiado, lo que aumenta la distancia mínima medible (el límite de corto alcance). Esto significa que el diseño de una cámara estéreo conlleva una compensación inherente, centrada en la longitud de la línea base, entre "priorizar el largo alcance" y "priorizar el corto alcance". Debido a que es un enfoque pasivo, basado en luz visible, a diferencia de una cámara de profundidad activa (sin proyector infrarrojo), tiende a funcionar de manera más estable que un LiDAR o una cámara de profundidad activa en exteriores bajo la luz solar intensa.

Geometría epipolar, la base de la visión estereoscópica

Imagen: Epipolar geometry (Arne Nordmann, CC BY-SA 3.0 / GFDL), Wikimedia Commons.

Existen muchos algoritmos para calcular la disparidad entre las imágenes izquierda y derecha (corrección estereoscópica), pero un método clásico que se ha mantenido ampliamente utilizado es la Corrección Semiglobal (SGM), publicada en 2005 por Heiko Hirschmüller en el Centro Aeroespacial Alemán (DLR). Este método aproxima lo que fundamentalmente es un problema de optimización 2D con aproximadamente ocho direcciones de optimización de líneas de escaneo 1D, logrando una precisión cercana a la de un método global con un costo computacional similar al de uno local. Está implementado en muchas bibliotecas de visión artificial, incluyendo OpenCV, y las implementaciones de hardware en FPGA y GPU están muy extendidas. Corrección estereoscópica basada en aprendizaje profundo (métodos que utilizan una CNN). (Por ejemplo, para la agregación de costos) supera cada vez más a SGM en precisión, pero los algoritmos de la familia SGM siguen utilizándose activamente en aplicaciones integradas donde la capacidad de procesamiento es limitada.

Comparación de especificaciones clave del producto

Producto	Modelo base	Rango de profundidad	Resolución / Velocidad de fotogramas	Notas
Stereolabs ZED 2i (modelo con distancia focal de 2,1 mm)	12 cm	0,3–20 m	60 fps en HD720, hasta 2K (2208x1242)	Menos del 1 % de error en 3 m, menos del 5 % en 15 m
Stereolabs ZED 2i (modelo con distancia focal de 4 mm)	12 cm	1,5–35 m	60 fps en HD720, hasta 2K (2208x1242)	Menos del 1 % de error en 3 m, menos del 5 % en 15 m

Luxonis OAK-D | 7,5 cm | (orientado a rango medio) | — | La VPU Myriad X integrada gestiona la inferencia de IA y la profundidad estéreo simultáneamente. Financiado por una campaña de Kickstarter en julio de 2020 que recaudó aproximadamente 1,3 millones de dólares de más de 650 patrocinadores, lo que impulsó su producción en masa. |

Intel RealSense D435/D435i | Aprox. 50 mm | Aprox. 0,3–10 m (dependiendo de las condiciones) | Hasta 1280x720 a 90 fps (profundidad) | Puede usar un proyector de patrones infrarrojos activo como ayuda, pero también funciona solo con estéreo pasivo. El D435i es la variante con IMU de 6 ejes. |

e-con Systems TaraXL | 60 mm | Aprox. 0,5–3 m | WVGA (752x480), hasta 60 fps | Optimizada para la plataforma NVIDIA Jetson, con una IMU de 6 ejes integrada. Utiliza sensores ON Semiconductor MT9V024 en ambos lados.

La ZED 2i (lanzada en 2023) es una cámara estéreo diseñada para robótica de exteriores. Se ofrece en dos modelos de lente con diferentes distancias focales para cubrir casos de uso tanto de corto alcance (modelo de 2,1 mm, mínimo 0,3 m) como de largo alcance (modelo de 4 mm, hasta 35 m). Ambas comparten una base de 12 cm, que constituye la base de las características de medición de distancia de la ZED 2i. El OAK-D de Luxonis es un dispositivo integrado que combina una cámara de profundidad estéreo con un chip de inferencia de IA (una VPU Intel Movidius Myriad X) en una sola unidad, y se distingue por haber alcanzado la producción en masa tras un éxito rotundo. Campaña de Kickstarter de 2020. Su variante de largo alcance, la OAK-D LR, extiende la línea base a 15 cm, una aplicación directa en el diseño del producto del principio de que "una línea base más larga mejora la precisión a larga distancia", descrito anteriormente. Las cámaras RealSense D435/D435i de Intel y TaraXL de e-con Systems son diseños híbridos basados en estéreo pasivo, pero con la capacidad de añadir proyección infrarroja o una IMU, ideales para aplicaciones de robótica de corto alcance y drones.

Caso de estudio: la evolución de EyeSight de Subaru: de dos a tres ojos

El ejemplo más longevo de una cámara estéreo en el mundo real es EyeSight de Subaru. La primera generación de EyeSight, lanzada en 2008, adoptó un sistema en el que dos cámaras estéreo capturan la carretera en 3D, utilizando una medición precisa de la distancia a los obstáculos —algo con lo que una cámara monocular tenía dificultades— como base para funciones de seguridad como el frenado precolisión. Tras sucesivas mejoras, las instalaciones acumuladas de EyeSight en todo el mundo superaron los 5 millones de unidades en agosto. 2022.

La última generación de EyeSight ha evolucionado hacia una configuración de "tres ojos", añadiendo una cámara monocular gran angular al par de cámaras estéreo tradicionales. Dado que un par de cámaras estéreo por sí solo tiene un campo de visión limitado, la cámara monocular gran angular añadida refuerza la percepción periférica, por ejemplo, del tráfico cruzado en las intersecciones. "EyeSight X" va más allá, combinando la percepción del entorno de las cámaras estéreo con GPS y datos de mapas 3D de alta precisión para permitir la conducción autónoma condicional (Nivel 2) en autopistas. Es un ejemplo real de cómo fusionar la capacidad de medición de distancia de una cámara estéreo con información externa (GNSS y datos cartográficos) para ofrecer una asistencia al conductor avanzada que una cámara por sí sola no podría proporcionar.

El creador de EyeSight fundó su propia empresa de visión estéreo

El ingeniero que lideró el desarrollo de la primera generación de EyeSight (el "Stereo Range Imager") fue Keiji Saneyoshi, ingeniero principal de Subaru. Su equipo fue el primero en el mundo en Lanzó al mercado un sistema de asistencia al conductor que utilizaba exclusivamente cámaras estéreo para detectar vehículos, peatones, ciclistas y motociclistas. Tras dejar Subaru en 1998, Saneyoshi continuó su investigación como profesor en el Instituto Tecnológico de Tokio hasta principios de 2017, y en mayo de 2016 fundó su propia empresa, ITD Lab, para seguir desarrollando la tecnología de visión estéreo. Se trata de una trayectoria profesional inusual en el sector: una tecnología nacida en el seno de una empresa automotriz, impulsada por su propio inventor, hasta convertirse en una empresa especializada e independiente.

Intel RealSense también tuvo un giro dramático: en 2021, el anuncio del fin de la vida útil de varias líneas de productos (L515, la serie T26x y la serie F45x) inquietó al sector, pero las cámaras de profundidad estéreo de la serie D400 se mantuvieron en producción, y en 2025 el negocio de RealSense se independizó por completo de Intel, relanzándose como una empresa independiente respaldada por una ronda de financiación Serie A de 50 millones de dólares. Firma de capital privado especializada en semiconductores. Se trata de una línea de cámaras de profundidad estéreo que, tras comenzar como una división de una importante empresa de semiconductores, decidió, en respuesta a la demanda del mercado, continuar operando como negocio independiente.

Parámetros que determinan el rendimiento

Longitud de la línea base: El parámetro más importante, que establece el equilibrio entre la precisión a larga distancia y el límite inferior de medición a corta distancia (la zona muerta). Como muestra la relación $Z = fB/d$ , una línea base más larga $B$ aumenta la sensibilidad a la distancia para un cambio de disparidad dado. El OAK-D LR, al duplicar la línea base del OAK-D estándar (a 15 cm) para alcanzar un alcance de 30 m, aplica este principio directamente al diseño del producto.
Rango de profundidad: Al igual que con los dos modelos de distancia focal del ZED 2i, el rango óptimo varía drásticamente según el caso de uso (robot de interior frente a vehículo de exterior).
Precisión de profundidad: Como muestran las especificaciones del ZED 2i, la tasa de error aumenta con la distancia. 1% a menos de 3 m, aumentando a menos del 5% a menos de 15 m). Las aplicaciones que requieren mediciones de alta precisión a corta distancia, como la prevención de colisiones, exigen una precisión diferente a la de las aplicaciones donde basta con una percepción aproximada del entorno distante.
Limitaciones del campo de visión: Una cámara estéreo solo puede medir la profundidad donde se superponen los campos de visión de las dos lentes, por lo que su campo de visión tiende a ser limitado. La última versión de EyeSight, que incorpora una cámara monocular gran angular, existe precisamente para compensar esto, y la combinación de múltiples sensores es prácticamente una necesidad práctica.
Debilidades inherentes a la tecnología de luz visible: La estereoscopía pasiva no puede detectar disparidades y pierde precisión en la medición de distancias en objetos sin suficiente textura (patrón). En una pared lisa o un suelo de color uniforme, una cámara de profundidad activa que utiliza proyección de patrones infrarrojos puede ofrecer ventajas.
Coste computacional de la correspondencia estéreo: Buscar puntos correspondientes entre las imágenes izquierda y derecha es computacionalmente costoso, y para los dispositivos integrados, la aceleración por hardware es prácticamente obligatoria. Por este motivo, el OAK-D incorpora una unidad dedicada. La VPU y la serie RealSense D400 incorporan un ASIC dedicado (el procesador de visión D4); el procesamiento en tiempo real solo con la CPU es complejo.
Si integra una IMU: Los productos con una IMU de 6 ejes integrada, como la TaraXL de e-con Systems y la Intel RealSense D435i, pueden compensar el movimiento de la cámara durante el procesamiento de la profundidad. Para robots móviles y drones, esta integración suele ser el factor decisivo.

Cómo se amplifica un error de un píxel en un error de rango

La profundidad estéreo sigue a $Z=fB/d$ . Al convertir la incertidumbre de disparidad $\sigma_d$ en incertidumbre de rango, obtenemos:

\sigma_Z\simeq\frac{fB}{d^2}\sigma_d=\frac{Z^2}{fB}\sigma_d

Para $f=700\,\mathrm{px}$ , $B=0.12\,\mathrm{m}$ y $Z=2\,\mathrm{m}$ , la disparidad es $d=42\,\mathrm{px}$ . El error de disparidad de $0.5\,\mathrm{px}$ se convierte entonces en aproximadamente $2.4\,\mathrm{cm}$ de error de alcance. El mismo error de $0.5\,\mathrm{px}$ aumenta a aproximadamente $0.60\,\mathrm{m}$ en $Z=10\,\mathrm{m}$ , razón por la cual la estimación subpíxel y una línea base más larga son importantes a larga distancia.

Esto no significa que una línea base más larga sea siempre la solución. A corta distancia, los dos campos de imagen pueden dejar de superponerse, y las vibraciones o los cambios extrínsecos dependientes de la temperatura pueden ser relevantes. En la práctica, informe el error de reproyección, la confianza de disparidad y las regiones ocluidas por separado para cada banda de distancia.

Curva de error de alcance que muestra que un error de disparidad de 0,5 píxeles produce un error de aproximadamente 2,4 cm a 2 m, pero de aproximadamente 0,60 m a 10 m — Diagrama: Duskcoil. Conceptual, no medido; muestra la amplificación cuadrática del error de disparidad con la distancia.

Comprueba tu comprensión

¿Importa menos un píxel de error de disparidad a larga distancia?

¿Rango?

La disparidad disminuye con la distancia, por lo que el mismo error de disparidad produce un mayor error de rango. Considere la línea base, la distancia focal y el rango de operación en conjunto.

Referencias

What to read next

Review the backgroundCómo funcionan las cámaras monoculares y productos clave: Mobileye, Tesla, Continental.Continue the seriesCómo funcionan las cámaras de profundidad y productos clave: RealSense, Kinect, Orbbec.Explore another aspect of this fieldLea el registro de una IMU estacionaria: sesgo, dispersión y desviación de Allan.

#Camera #Stereo Camera #Subaru #EyeSight #Sensor #Autonomous Driving