Cómo funcionan las cámaras de profundidad y productos clave: RealSense, Kinect, Orbbec.

Una cámara de profundidad captura la distancia (profundidad) a un objeto píxel a píxel. Mientras que una cámara estéreo es un diseño pasivo que detecta la disparidad utilizando únicamente luz visible, la mayoría de las cámaras de profundidad proyectan activamente algún tipo de luz sobre el objeto y calculan la profundidad a partir de la luz reflejada. Las implementaciones se dividen en tres categorías principales: "estéreo activo", que proyecta un patrón de puntos aleatorios con un emisor infrarrojo y realiza la correspondencia estéreo sobre él; "luz estructurada", que calcula la profundidad geométricamente a partir de la distorsión de un patrón conocido; y "tiempo de vuelo" (ToF), que calcula la distancia directamente a partir del tiempo de ida y vuelta (o desfase) de la luz. Las tres comparten la misma ventaja fundamental: al utilizar una señal artificial, pueden capturar la profundidad incluso en objetos como una pared blanca lisa o un suelo de color uniforme, donde el estéreo pasivo tiene dificultades para detectar la disparidad. Se utilizan para SLAM de robots en interiores, seguimiento de manos en realidad virtual/aumentada, autenticación facial en teléfonos inteligentes y medición 3D industrial.

Kinect (2010, en exhibición en el E3)

Intel RealSense D435

Imágenes: Kinect y Xbox 360 en el E3 2010 (James Pfaff, CC BY 2.0) / Intel Cámara de profundidad Realsense D435 (Marc Auledas, CC BY-SA 4.0), ambos de Wikimedia Commons. La foto de RealSense muestra la D435 básica, no la D435i con IMU que se menciona en el texto.

Principio: tres enfoques activos

Estereoscopía activa: un proyector infrarrojo proyecta un patrón de puntos aleatorios sobre un objeto y, a continuación, realiza una correspondencia estéreo entre dos cámaras infrarrojas sobre el desplazamiento de dicho patrón para calcular la profundidad. El principio subyacente es la misma triangulación que la estereoscopía pasiva (Z = fB/d, véase el artículo sobre cámaras estéreo), con la diferencia de que la textura se añade artificialmente. La serie RealSense D400 de Intel utiliza este enfoque.

Luz estructurada: la triangulación se realiza mediante un par compuesto por un proyector que emite un patrón conocido y una sola cámara, en lugar de dos cámaras. También existe una línea base entre el proyector y la cámara, y la profundidad se calcula comparando la distorsión del patrón proyectado (puntos, rayas, etc.) sobre las superficies del objeto con un patrón de referencia conocido. Tanto el Kinect original (2010) como el TrueDepth de Apple (Face ID del iPhone) utilizan este método: TrueDepth proyecta más de 30 000 puntos infrarrojos sobre un rostro para leer su forma 3D.

El ToF (Tiempo de Vuelo) aplica el mismo principio de tiempo de ida y vuelta de la luz que el LiDAR, en paralelo y por píxel. Más allá de la medición directa del tiempo de ida y vuelta de un pulso (dToF), el método predominante en las cámaras de profundidad de consumo e industriales es el iToF: proyecta luz continua modulada y calcula la distancia a partir del desfase \Delta\phi entre la señal emitida y la reflejada. Con la frecuencia de modulación f_{mod} y la velocidad de la luz c, la distancia Z viene dada por:

Al no requerir triangulación, no necesita una línea base entre el proyector y la cámara, lo que facilita su miniaturización y elimina las piezas móviles. Los productos de Microsoft desde Kinect v2 en adelante, y el Femto Bolt de Orbbec, utilizan este enfoque. Los tres enfoques se basan en luz infrarroja, por lo que comparten una debilidad común: la precisión tiende a degradarse en exteriores bajo la luz solar intensa, que es rica en infrarrojos.

Diagram 1 · Use the button to switch views

Diagrama: Duskcoil. Las líneas azules muestran la luz proyectada; las líneas naranjas discontinuas muestran la luz que regresa del objetivo. La estereoscopía activa y la luz estructurada triangulan sobre una línea base, mientras que el ToF utiliza un desplazamiento de tiempo o fase.

Comparación de especificaciones clave del producto

La D435i es la D435 básica con una IMU de 6 ejes (Bosch BMI055) añadida. Los datos de su IMU se sincronizan temporalmente (alineados con la marca de tiempo) con los datos de profundidad, lo que permite corregir el movimiento de la cámara durante el procesamiento de la profundidad y las nubes de puntos. La Kinect original se basaba en la tecnología de luz estructurada desarrollada por la startup israelí PrimeSense; su sucesora, la Kinect v2, adoptó la tecnología de tiempo de vuelo (ToF). Azure Kinect dejó de fabricarse en 2023, pero Microsoft cedió la licencia de su tecnología de tiempo de vuelo a Orbbec, y la sucesora, Femto Bolt, utiliza el mismo módulo de cámara de profundidad que Azure Kinect, lo que facilita la migración para las aplicaciones existentes. TrueDepth del iPhone es una rama comercial independiente de la misma tecnología de luz estructurada de PrimeSense: un claro ejemplo de cómo una misma raíz tecnológica se divide en dos aplicaciones totalmente diferentes: la detección de movimiento en consolas de videojuegos y la autenticación facial en smartphones.

Cómo una tecnología, PrimeSense, se expandió a Xbox, iPhone y robots industriales

La empresa israelí PrimeSense, creadora de Kinect — La tecnología central del Kinect original (lanzado en 2010) no fue desarrollada internamente por Microsoft, sino que se trataba de una tecnología de detección de profundidad mediante luz estructurada creada por la startup israelí PrimeSense. Kinect superó rápidamente sus orígenes como consola de videojuegos y encontró una amplia aplicación en la robótica académica y comercial: la combinación de una resolución inferior a 720p con captura simultánea de profundidad y RGB, a una fracción del coste de un costoso LiDAR, representó una oportunidad excepcional para la investigación robótica en aquel momento. Un artículo de 2011 de Richard Newcombe, Shahram Izadi y sus colegas de Microsoft Research, «KinectFusion: Mapeo y seguimiento denso de superficies en tiempo real» (IEEE ISMAR 2011), demostró el mapeo denso de superficies 3D en tiempo real utilizando únicamente una cámara de profundidad de bajo coste y una GPU estándar, convirtiéndose en uno de los trabajos fundacionales de la investigación en SLAM RGB-D.

La adquisición de PrimeSense por parte de Apple y su renacimiento como Face ID — En noviembre de 2013, Apple adquirió PrimeSense por 360 millones de dólares. Esto no eliminó del mercado la tecnología de luz estructurada del Kinect original; su origen técnico se convirtió en la base de Face ID, materializándose en el sistema de cámara "TrueDepth" del iPhone X (un iluminador infrarrojo, un proyector de puntos y una cámara infrarroja), anunciado en 2017. Se trata de un caso excepcionalmente grande de reutilización tecnológica: una tecnología creada para la detección de movimiento en consolas de videojuegos se convirtió, siete años después, en la tecnología central de autenticación biométrica presente en miles de millones de smartphones.

Microsoft vuelve a descontinuar Kinect — Durante más de una década, Microsoft ha lanzado y luego descontinuado repetidamente generaciones de productos de la familia Kinect: Kinect para Xbox 360, Kinect para Xbox One, Kinect para Windows v2 y el kit de desarrollo Azure Kinect DK, orientado a la industria y la investigación. La descontinuación del Azure Kinect DK, anunciada en agosto de 2023, fue el último (y hasta ahora definitivo) "fin de Kinect" en esta línea. Pero esta vez no fue una retirada total: Microsoft optó por licenciar su tecnología ToF a Orbbec, y el "Femto Bolt" de Orbbec llegó con el mismo módulo de cámara de profundidad que el Azure Kinect. Es un patrón que recuerda a la adquisición de PrimeSense una década antes: una tecnología que sobrevive a través de un traspaso corporativo.

Parámetros que determinan el rendimiento

• Alcance de profundidad: El alcance de la D435i, de aproximadamente 0,3 a 3 m (hasta unos 10 m equivalentes en algunas condiciones), es ideal para un alcance medio-corto, adecuado para detectar obstáculos sobre una mesa o alrededor de estanterías en un robot de interior, o para uso a corta distancia, como el seguimiento de manos. Para la monitorización a larga distancia en exteriores, se recomienda una cámara estéreo o un LiDAR.
• Método de detección (estéreo activo / luz estructurada / ToF): El estéreo activo conlleva el coste computacional de la correspondencia estéreo, pero puede construirse con componentes relativamente económicos. La luz estructurada ofrece alta precisión a corta distancia, lo que la hace adecuada para aplicaciones de alta precisión a muy corta distancia, como el reconocimiento facial, pero suele presentar limitaciones de miniaturización al requerir una línea de base entre el proyector y la cámara. El ToF no necesita piezas móviles ni línea de base, lo que facilita su miniaturización, aunque no suele igualar la precisión a corta distancia de la luz estructurada. Femto Bolt, con su resolución de profundidad de 1024x1024 en un cuerpo compacto, aprovecha al máximo la miniaturización de la tecnología ToF.
• IMU y sincronización horaria integradas: En aplicaciones donde la cámara se mueve (cámaras de mano, montadas en drones, robots móviles), la precisión de la sincronización horaria entre los datos de profundidad y los datos de la IMU determina la exactitud de la corrección del desenfoque por movimiento. Las IMU integradas en la D435i, Azure Kinect y Femto Bolt están diseñadas específicamente para este caso de uso.
• Tolerancia a la luz ambiental: Los tres sistemas basados en infrarrojos son estables en interiores, pero su precisión tiende a disminuir en exteriores bajo la luz solar intensa, que difumina el patrón proyectado o la señal reflejada. Las aplicaciones diseñadas para funcionar en exteriores suelen recurrir a la estereoscopía pasiva (ZED, etc.) o a una combinación de enfoques.
• Textura del objeto: Para la robótica de interiores y la realidad virtual/aumentada que trabajan con objetos con poca textura (una pared blanca, un suelo de color uniforme), un método activo que proyecte artificialmente un patrón infrarrojo resulta ventajoso. Esta ventaja disminuye en entornos exteriores con mucha textura.
• Distancia mínima de detección: Para aplicaciones que requieren profundidad a muy corta distancia (seguimiento de manos, autenticación facial), el límite inferior del rango de profundidad determina directamente la usabilidad. TrueDepth, diseñado específicamente para un objetivo a tan solo decenas de centímetros de distancia (un rostro), es el ejemplo arquetípico de esto.

Estimación del error de alcance por método

Para el estéreo activo, la relación básica es Z=fB/d, por lo que la incertidumbre de disparidad \sigma_d se amplifica como:

Con f=600\,\mathrm{px}, B=0.05\,\mathrm{m}, Z=3\,\mathrm{m} y \sigma_d=0.25\,\mathrm{px}, el error de alcance es aproximadamente 7.5\,\mathrm{cm}. Un patrón proyectado ayuda a la coincidencia en una pared con poca textura, pero los puntos pueden desaparecer bajo la luz solar intensa o en materiales que absorben infrarrojos.

Para ToF, la lectura de fase o temporización, la reflectividad, la multitrayectoria y el tiempo de integración son factores dominantes. Por lo tanto, una resolución de profundidad de 1024 × 1024 píxeles no es la misma especificación que la desviación estándar del alcance. Al seleccionar un dispositivo, mantenga constantes la distancia objetivo y el material, y mida la tasa de retornos faltantes, la tasa de valores atípicos, la latencia de fotogramas y el desfase de la marca de tiempo entre la profundidad, RGB e IMU.

Diagram 2 · Use the button to switch views

Figura 2: Los valores de la izquierda se calculan a partir de f,B,\sigma_d del artículo. La derecha explica por qué el error aleatorio ToF, el sesgo y los retornos no válidos requieren mediciones separadas. Esta no es una curva de rendimiento del dispositivo.