Introducción a la fusión de sensores: Construyendo un modelo mundial a partir de múltiples sensores.

Los robots y vehículos autónomos suelen llevar varios sensores a la vez: cámara, LiDAR, IMU, radar y GNSS. Sin embargo, ninguno de ellos, por sí solo, comprende el mundo correctamente: una cámara tiene dificultades con la profundidad, un LiDAR no puede detectar el color ni la textura, y los errores de una IMU se acumulan con el tiempo. La fusión de sensores es la tecnología que compensa las deficiencias de cada sensor con las fortalezas de otro, creando un "modelo del mundo" coherente a partir de piezas individuales imperfectas. Este artículo aborda tanto los fundamentos matemáticos —probabilidad y optimización— como las combinaciones concretas: VIO, LIO y Cámara×LiDAR.

Ejemplo de IMU/INS

Ejemplo de cámara de profundidad

Imágenes: Xsens MTi-G (Kallap85, CC BY-SA 4.0) / Intel Cámara de profundidad RealSense D435 (Marc Auledas, CC BY-SA 4.0), Wikimedia Commons.

0. Contenido de este artículo

• Para qué sirve la fusión de sensores y por qué un solo sensor nunca es suficiente
• El proceso básico de fusión (sensor → medición → característica/estado → fusión → estado estimado)
• La diferencia entre la fusión temprana, intermedia y tardía
• Cómo funciona la fusión probabilística: filtro de Kalman, EKF, UKF, filtro de partículas
• Cómo funciona la fusión basada en optimización: grafos de factores, grafos de pose
• Por qué VIO (cámara × IMU), LIO (LiDAR × IMU) y cámara × LiDAR son combinaciones tan naturales
• Un ejemplo de integración de cuatro sensores (cámara × LiDAR × radar × IMU) en la conducción autónoma
• Qué dificulta la fusión en la práctica: sincronización temporal, calibración, ruido
• Cómo diseñar un sistema de fusión para su caso de uso

1. Respuesta breve: Qué es la fusión de sensores

En una frase: La fusión de sensores combina matemáticamente las observaciones incompletas y ruidosas de múltiples sensores para producir una estimación del "estado" más precisa y fiable que la que podría proporcionar cualquier sensor por sí solo.

Esta definición engloba tres ideas. Primero, la complementariedad: los diferentes sensores presentan fortalezas y debilidades en distintos puntos, por lo que su combinación permite que cada uno compense las debilidades del otro. Segundo, la estimación del estado: el marco estadístico para inferir una magnitud que no se puede observar directamente (dónde me encuentro ahora mismo, a qué velocidad, en qué orientación) a partir de las magnitudes que sí se pueden observar. Tercero, el modelo del mundo: el resultado de integrar la información fragmentaria de cada sensor en una única representación coherente tanto en el tiempo como en el espacio. Un robot no actúa sobre los datos brutos de los sensores, sino sobre este modelo del mundo integrado.

2. ¿Por qué no basta con un solo sensor?

Al analizar las fortalezas y debilidades de cada sensor, queda claro por qué la fusión es prácticamente indispensable.

Esta tabla revela que un "sensor de alta precisión" y un "sensor universal" son dos cosas distintas. El LiDAR supera a una cámara en precisión geométrica, pero no puede proporcionar información sobre el color ni el significado. El GNSS proporciona la posición absoluta, pero se actualiza lentamente y no es fiable en zonas urbanas. Una IMU no depende de la iluminación ni de la visibilidad, pero se ve afectada por la temperatura, las vibraciones y los errores de montaje; dado que deriva su estado mediante integración, la deriva es inevitable con el tiempo. La fusión de sensores aprovecha matemáticamente esta relación complementaria.

3. Estructura básica de la fusión

Los detalles de un proceso de fusión de sensores varían según lo que se fusione y a qué nivel (la siguiente sección), pero la estructura general consta siempre de cinco etapas.

Figura 1: Las mediciones sin procesar de cada sensor se convierten en características o estado parcial, y la etapa de fusión las integra en un único estado estimado.

Las mediciones sin procesar de cada sensor no se pueden comparar directamente, ya que difieren en unidades, sistemas de coordenadas y frecuencias de actualización. Cada flujo de datos de los sensores se convierte primero en características (puntos clave de la imagen, bordes de la nube de puntos, etc.) o en un estado parcial (velocidad, pose relativa), y solo entonces se pasa a la etapa de Fusión. En esta etapa de Fusión se aplican los métodos probabilísticos (filtros de Kalman, etc.) o los métodos basados en optimización (grafos factoriales, etc.) que se describen a continuación, y su resultado es el estado final estimado: posición, velocidad, orientación, etc.

4. Tres niveles de fusión

La fusión se divide, a grandes rasgos, en tres niveles, según en qué punto del proceso se combina la información de múltiples sensores.

Fusión tardía | En la salida de percepción/estimación independiente de cada sensor (p. ej., detecciones) | El proceso de cada sensor permanece independiente, es fácil de implementar, pero la información perdida anteriormente no se puede recuperar posteriormente | Enfoques de tipo conjunto que combinan las detecciones de objetos de la cámara con las del LiDAR a posteriori |

El nivel a elegir implica un equilibrio entre precisión y coste de implementación. La fusión temprana, en principio, aprovecha al máximo la información, pero las desviaciones de tiempo a nivel de milisegundos o los errores de montaje a nivel de milímetros entre sensores degradan directamente el resultado, lo que exige una calibración muy precisa. La fusión tardía tiene una gran ventaja práctica: el proceso de cada sensor se puede desarrollar y depurar de forma independiente; sin embargo, lo que un sensor individual "perdió" no se puede recuperar, por muy ingeniosamente que se combinen los resultados posteriormente. La fusión de nivel intermedio, especialmente la fusión de vehículos eléctricos en la conducción autónoma, se ha convertido en el punto medio cada vez más popular entre estos dos extremos.

5. Fusión probabilística

El primero de los dos marcos matemáticos para combinar las observaciones de múltiples sensores se basa en la teoría de la probabilidad. Su fundamento es la estimación bayesiana: combinar la estimación anterior (la distribución a priori) con la nueva observación (la verosimilitud) para actualizar la estimación actual (la distribución a posteriori).

El lado izquierdo muestra la distribución a posteriori sobre el estado x_t dada cada observación z_{1:t} desde el tiempo 1 hasta el t. El lado derecho toma la estimación anterior p(x_{t-1}\mid z_{1:t-1}), la propaga un paso hacia adelante a través del modelo de movimiento p(x_t\mid x_{t-1}) (la integral) y luego pondera esa predicción por la probabilidad de la nueva observación p(z_t\mid x_t) — un ciclo de "predicción y actualización".

El Filtro de Kalman se obtiene al tomar esa actualización bayesiana general y asumir que todo —tanto el estado como la observación— es lineal y gaussiano, lo que convierte la actualización en una expresión analítica. En el paso de predicción, la covarianza del estado y del error se avanza a través del modelo de movimiento; en el paso de actualización, la discrepancia entre la nueva observación y la predicción (la innovación) corrige el estado, ponderada por la ganancia de Kalman.

P_t^{-} representa la covarianza del error predicho, H mapea el estado al espacio de observación, y R representa la covarianza del ruido de observación. La ganancia de Kalman K_t es un peso que expresa la confianza en la predicción del modelo frente a la nueva observación: cuanto menor sea el ruido de observación R (un sensor fiable), mayor será el peso de la observación; cuanto menor sea la incertidumbre de la predicción P_t^{-} (un modelo fiable), mayor será el peso de la predicción. El equilibrio se ajusta automáticamente.

Los modelos de movimiento y sensores de un robot real casi nunca son lineales, por lo que un filtro de Kalman simple no suele aplicarse directamente. El Filtro de Kalman Extendido (EKF) linealiza los modelos no lineales de movimiento y observación alrededor de la estimación actual mediante jacobianos, y luego aplica las mismas ecuaciones de actualización que el filtro de Kalman convencional. El Filtro de Kalman sin Aroma (UKF; Julier y Uhlmann, 1997) omite por completo la aproximación jacobiana, pasando en su lugar un pequeño conjunto de puntos de muestra representativos (puntos sigma) directamente a través de las funciones no lineales y reconstruyendo la media y la covarianza a partir de los resultados, lo que puede superar al EKF en condiciones de fuerte no linealidad. El Filtro de Partículas (Gordon, Salmond y Smith, 1993) no restringe la distribución a una gaussiana; aproxima la distribución de probabilidad con un gran número de partículas (muestras), lo que le permite representar distribuciones multimodales donde coexisten varias hipótesis, aunque a costa de requerir más partículas y mayor capacidad de cálculo para obtener mayor precisión.

6. Fusión basada en optimización

Mientras que la fusión probabilística se actualiza secuencialmente, paso a paso, el segundo marco matemático —la fusión basada en optimización— adopta un enfoque diferente: se mantiene un intervalo de observaciones y luego se resuelve para obtener el estado que sea máximamente consistente con todas ellas simultáneamente.

Su formulación principal es el grafo de factores. Los estados a estimar (la pose del robot en cada paso de tiempo, las posiciones de los puntos de referencia observados) se convierten en nodos; las restricciones entre ellos (lo que una observación de sensor dada nos indica sobre cómo deben relacionarse dos estados) se convierten en factores que conectan esos nodos, y todo el grafo se resuelve como un problema de mínimos cuadrados no lineales.

\mathbf{x} es el conjunto completo de estados a estimar, \mathbf{z}_k la observación del sensor k, \mathbf{e}_k la función de error que mide la discrepancia entre la predicción de dicha observación y el estado actual, y \Sigma_k^{-1} el peso de la confianza de esa observación. Cuando las posiciones 3D de los puntos de referencia se optimizan junto con las poses de la cámara, este proceso se denomina Ajuste de Paquetes (Bundle Adjustment). Cuando los nodos son poses a lo largo de la trayectoria de un robot, se denomina Optimización del Grafo de Poses (Pose Graph Optimization), el marco estándar para corregir la deriva acumulada tras el cierre de un bucle (reconociendo un lugar visitado previamente).

La Fusión Probabilística (especialmente el EKF) es económica y adecuada para el procesamiento secuencial, pero no puede volver a una observación una vez absorbida; solo avanza a partir de la estimación actual. La fusión basada en optimización puede corregir la trayectoria completa cuando una nueva observación entra en conflicto con una estimación anterior, lo que generalmente la hace más precisa, aunque a costa de un mayor coste computacional a medida que crece el grafo. Bibliotecas de propósito general como Ceres Solver, g2o y GTSAM se utilizan ampliamente para resolver de forma eficiente este tipo de problema de mínimos cuadrados no lineales dispersos (donde cada observación afecta solo a un pequeño número de variables).

7. Cámara × IMU (VIO)

La combinación de una cámara con una IMU se denomina odometría visual-inercial (VIO), y es una de las combinaciones de fusión más utilizadas en la práctica. La razón por la que ambas se complementan tan bien es que sus debilidades se compensan casi a la perfección.

Una cámara puede estimar su propio movimiento a partir de cómo se desplazan los puntos característicos en las imágenes, pero una cámara monocular no puede determinar la escala absoluta (unidades de distancia del mundo real) en principio, y la rotación rápida tiende a desenfocar la imagen e interrumpir el seguimiento de características. Una IMU es la imagen especular: mide la aceleración y la velocidad angular directamente a cientos de Hz, por lo que es robusta ante movimientos rápidos, e integra la aceleración para obtener cambios de velocidad y posición a escala real. Sin embargo, esta misma integración implica que los errores se acumulan (deriva) con el tiempo, y nunca conoce la posición absoluta.

Como muestra esta ecuación, una IMU obtiene la posición integrando la aceleración a_t dos veces, por lo que incluso un pequeño sesgo del acelerómetro se acumula en un error de posición que aumenta con el cuadrado del tiempo transcurrido. VIO puede utilizar observaciones de características visuales para limitar esta deriva; con suficiente excitación de movimiento y observabilidad, la IMU puede admitir la estimación a escala métrica, pero no elimina la ambigüedad de escala en todas las condiciones. MSCKF (Mourikis y Roumeliotis, 2007, basado en EKF), OKVIS (Leutenegger et al., 2015, basado en optimización no lineal) y VINS-Mono (Qin et al., 2018, monocular + IMU) son implementaciones clave de VIO dentro de estos dos marcos.

8. LiDAR×IMU (LIO)

La combinación de un LiDAR con una IMU se denomina Odometría Inercial LiDAR (LIO), ampliamente utilizada en robots de exterior y conducción autónoma. El LiDAR mide la geometría del entorno de forma directa y precisa como una nube de puntos, pero un solo escaneo tarda entre decenas y cientos de milisegundos en completarse, y si el sensor se mueve durante ese tiempo, los puntos dentro de un escaneo se distorsionan (distorsión por movimiento).

En este caso, la alta frecuencia de muestreo de la IMU es fundamental: la interpolación de los cambios de orientación precisos capturados durante un escaneo corrige dicha distorsión. Y depender exclusivamente de la correspondencia entre nubes de puntos (ICP y similares) tiende a desviarse en entornos con escasas características geométricas —un largo corredor sin rasgos distintivos, un campo abierto— donde la información inercial de la IMU rellena el vacío y mantiene la estimación estable.

El sistema LOAM (Zhang y Singh, 2014) fue pionero en la odometría LiDAR al extraer puntos de características planas y de borde de la nube de puntos y compararlos. LIO-SAM (Shan et al., 2020) integró estrechamente la información LiDAR e IMU en un grafo factorial, diseñado para que las restricciones de GPS y de cierre de bucle pudieran incorporarse al mismo grafo. FAST-LIO / FAST-LIO2 (Xu et al., 2021 / 2022) adoptó una integración LiDAR-IMU estrechamente acoplada mediante un filtro de Kalman iterado, y FAST-LIO2 en particular procesa la nube de puntos directamente en lugar de mediante la extracción de características dispersas. El acoplamiento estrecho puede aprovechar la información conjunta, pero la precisión y el coste dependen de la inicialización, la degeneración, la implementación y la sincronización de los sensores; no es universalmente superior al acoplamiento flexible.

9. Cámara × LiDAR

La combinación de cámara y LiDAR es la fusión más intuitivamente complementaria que existe: «conoce el significado pero no la distancia» se encuentra con «conoce la distancia pero no el significado». Sin embargo, esta combinación presenta una dificultad que las demás no tienen: los sistemas de coordenadas de ambos sensores son fundamentalmente diferentes (el plano de imagen 2D de la cámara frente a la nube de puntos 3D del LiDAR), por lo que relacionarlos requiere un procedimiento explícito de calibración y proyección.

La calibración resuelve los parámetros intrínsecos de la cámara (distancia focal, distorsión de la lente, matriz intrínseca K) y la pose relativa entre la cámara y el LiDAR (parámetros extrínsecos: rotación R, traslación t). Con estos datos, un punto 3D \mathbf{X} medido por LiDAR se puede proyectar en coordenadas de píxeles de la cámara \mathbf{u}.

\pi(\cdot) es la función de proyección de perspectiva que mapea coordenadas homogéneas en el plano de la imagen 2D, y [R\mid t] es la transformación de coordenadas LiDAR a coordenadas de la cámara. La calibración consiste en calcular R y t para minimizar este error \mathbf{e}; una vez hecho esto, la misma proyección determina qué punto LiDAR corresponde a qué píxel de la imagen (Asociación Punto-Píxel). Esta correspondencia permite asociar información de color o clase de la cámara a los puntos LiDAR, o bien proporcionar a un objeto detectado por la cámara el rango preciso del LiDAR.

El enfoque dominante en la conducción autónoma moderna realiza esta proyección a nivel de características, en lugar de punto por punto: BEV Fusion (Bird's-Eye View Fusion). BEVFusion (Liang et al., 2022, y por separado Liu et al., 2022) convierte las características de la imagen de la cámara y las características de la nube de puntos LiDAR al espacio BEV (2D descendente) de forma independiente, para luego combinarlas allí. Este enfoque se cita ampliamente como el ejemplo paradigmático de fusión de nivel medio para cámara × LiDAR.

10. Cámara × LiDAR × Radar × IMU

Tomando como ejemplo la conducción autónoma, en la práctica la fusión va mucho más allá de un solo par: la cámara, el LiDAR, el radar y la IMU (además del GNSS) se integran simultáneamente, cada uno con una función claramente definida.

• Cámara: reconoce información que la geometría pura no puede proporcionar: color del semáforo, texto de las señales, tipo de carril.
• LiDAR: mide la forma 3D precisa y la distancia de los objetos circundantes, sin verse afectado por la iluminación.
• Radar: sigue funcionando con lluvia, niebla o contraluz, condiciones que dificultan el funcionamiento de las cámaras y el LiDAR, y mide la velocidad relativa directamente mediante el efecto Doppler.
• IMU: registra el cambio de orientación y la aceleración del vehículo a alta frecuencia, interpolando las lecturas de los demás sensores.
• GNSS: proporciona la referencia para la alineación global con un mapa (generalmente integrado con la IMU tras una corrección de alta precisión, por ejemplo, RTK).

Estos cuatro o cinco tipos de sensores compensan las deficiencias de los demás, de modo que prácticamente cualquier fallo individual es detectado por otro sensor: la niebla densa reduce la precisión de la cámara y el LiDAR, pero el radar sigue funcionando; un túnel bloquea el GPS, pero la odometría de la IMU y el LiDAR mantiene la localización automática. Este diseño de redundancia —que reduce la probabilidad de que varios sensores fallen simultáneamente en las mismas condiciones— es la principal razón por la que la fusión multisensor se considera indispensable en un caso de uso como la conducción autónoma, donde el fallo no es una opción.

11. Dificultades de la fusión

Por muy elegante que parezca la fusión de sensores sobre el papel, su implementación presenta una serie de dificultades prácticas muy reales.

• Sincronización temporal: cada sensor emite datos a una velocidad y con una latencia diferentes, por lo que tratarlos como si fueran "el mismo instante" requiere una alineación temporal precisa: sincronización de disparo a nivel de hardware o interpolación de marcas de tiempo.

• Calibración: la posición y orientación relativas entre los sensores (parámetros extrínsecos) y los parámetros internos de cada sensor (parámetros intrínsecos) deben conocerse con precisión. Un ligero desfase en el montaje introduce un error sistemático en todo el resultado fusionado.

• Transformación de coordenadas: cada sensor opera en su propio sistema de referencia (sistema de la cámara, sistema del LiDAR, sistema del vehículo, sistema global), y estos deben transformarse de forma consistente y continua.

• Ruido del sensor: las características de ruido de cada sensor (gaussiano o no, sesgado o no) difieren, y un modelado incorrecto altera la ponderación (p. ej., la ganancia de Kalman) en la fusión probabilística.

• Valores atípicos: las detecciones falsas o las discrepancias causadas por objetos dinámicos introducen ruido que el modelo no previó. Un modelo estadístico simple no puede manejar esto por sí solo, por lo que se requieren técnicas de estimación robustas como RANSAC o el rechazo explícito de valores atípicos.

• Propagación de la incertidumbre: a menos que la incertidumbre individual (covarianza) de cada sensor se propague correctamente a través de todo el proceso de fusión, la fiabilidad real de la estimación final se juzga erróneamente, y tanto el exceso de confianza como la excesiva precaución pueden llevar a decisiones posteriores incorrectas.

Ninguno de estos problemas se resuelve simplemente aplicando las ecuaciones del filtro de Kalman; todos pertenecen al ámbito de la ingeniería de sistemas.

12. El modelo del mundo final

Si integramos todo lo visto hasta ahora —los sensores individuales, los métodos de fusión individuales—, el modelo del mundo que finalmente transporta un robot o vehículo autónomo es el tipo de "modelo del mundo" que se muestra a continuación, que combina la especialización de cada sensor en uno solo.

Figura 2 — La cámara, el LiDAR, la IMU, el radar y el GNSS proporcionan información diferente, y la capa de Fusión la integra en un Modelo del Mundo coherente.

El Modelo del Mundo no se limita a indicar "dónde estoy", sino que contiene la geometría de los objetos circundantes (del LiDAR), la naturaleza de esos objetos (de la cámara), sus velocidades relativas (del radar), los cambios de orientación del propio vehículo (de la IMU) y una posición global en el mapa (del GNSS), todo ello integrado sin contradicciones en el tiempo ni en el espacio. La planificación de la trayectoria de un robot o las decisiones de conducción de un vehículo autónomo se basan en este Modelo del Mundo, nunca en los datos brutos de los sensores. La Fusión de Sensores es, en ese sentido, el puente entre la percepción y la acción: convierte la capacidad perceptiva individual de cada sensor en una representación coherente sobre la que el sistema puede actuar.

13. Diseño de un sistema de fusión en la práctica

Al diseñar un sistema de fusión de sensores, cuatro preguntas suelen facilitar la toma de decisiones.

Estas decisiones no son independientes; se influyen mutuamente. Un sistema automotriz de producción en masa, por ejemplo, suele verse obligado a adoptar diseños basados en filtros y de acoplamiento flexible debido a las limitaciones computacionales, mientras que los casos de uso en investigación o la creación de mapas sin conexión pueden permitirse diseños optimizados y de acoplamiento estrecho que buscan la máxima precisión. No existe un método de fusión perfecto; la esencia del diseño práctico de fusión de sensores reside en elegir la combinación más adecuada según los sensores disponibles, la capacidad de procesamiento y la precisión y latencia que requiera la aplicación.

14. Resumen

La fusión de sensores combina matemáticamente las observaciones de la cámara, el LiDAR, la IMU, el radar y el GNSS —cada uno con diferentes niveles de señal— mediante métodos probabilísticos (filtro de Kalman/EKF/UKF/filtro de partículas) o métodos de optimización (grafo factorial/ajuste de paquetes), para obtener una estimación del estado más precisa y fiable que la que podría proporcionar cualquier sensor individual. Combinaciones concretas como VIO (cámara × IMU), LIO (LiDAR × IMU) y BEV Fusion (cámara × LiDAR) se basan en esta misma idea: traducir la complementariedad en ecuaciones. Las decisiones de diseño sobre dónde y cómo fusionar determinan, en última instancia, la precisión resultante, el coste computacional y la complejidad de la implementación.

Comprobaciones antes de fusionar mediciones

Tratar la posición y la velocidad derivadas de la misma observación como mediciones independientes puede generar una estimación excesivamente optimista. Compruebe las marcas de tiempo, los sistemas de coordenadas, los parámetros extrínsecos y las correlaciones de error antes de añadir sensores. Evalúe la fusión comparándola con las referencias de un solo sensor en las mismas condiciones, incluyendo las interrupciones.

• OpenVINS: Modelo IMU, propagación de estado e incertidumbre