Introdução à Fusão de Sensores — Construindo um Modelo Mundial Único a partir de Múltiplos Sensores

Robôs e veículos autônomos geralmente carregam vários sensores simultaneamente — câmera, LiDAR, IMU, radar, GNSS. No entanto, nenhum deles, isoladamente, compreende o mundo corretamente: uma câmera tem dificuldades com profundidade, um LiDAR não consegue identificar cores ou texturas, e os erros de uma IMU se acumulam ao longo do tempo. A Fusão de Sensores é a tecnologia que preenche as lacunas de cada sensor com os pontos fortes de outro, construindo um "modelo do mundo" consistente a partir de peças individualmente falhas. Este artigo aborda os fundamentos matemáticos — probabilidade e otimização — e, em seguida, as combinações concretas: VIO, LIO e Câmera×LiDAR.

Exemplo de IMU/INS

Exemplo de câmera de profundidade

Imagens: Xsens MTi-G (Kallap85, CC BY-SA 4.0) / Intel Câmera de profundidade RealSense D435 (Marc Auledas, CC BY-SA 4.0), Wikimedia Commons.

0. O que este artigo aborda

• Para que serve a Fusão de Sensores e por que um único sensor nunca é suficiente
• O pipeline básico de Fusão (sensor → medição → recurso/estado → fusão → estado estimado)
• A diferença entre Fusão Inicial, Intermediária e Final
• Como funciona a Fusão probabilística — Filtro de Kalman, EKF, UKF, Filtro de Partículas
• Como funciona a Fusão baseada em otimização — Grafos de Fatores, Grafos de Pose
• Por que VIO (Câmera × IMU), LIO (LiDAR × IMU) e Câmera × LiDAR são combinações tão naturais
• Um exemplo de integração de quatro sensores (Câmera × LiDAR × Radar × IMU) usando direção autônoma
• O que realmente torna a Fusão difícil na prática — sincronização de tempo, calibração, ruído
• Como pensar em projetar um sistema de Fusão para o seu caso de uso

1. Resposta curta: O que é Fusão de Sensores

Em Uma frase: A Fusão de Sensores combina matematicamente as observações incompletas e ruidosas de múltiplos sensores para produzir uma estimativa de "estado" mais precisa e confiável do que qualquer sensor individual poderia fornecer sozinho.

Essa definição engloba três ideias. Primeiro, complementaridade — diferentes sensores têm pontos fortes e fracos em diferentes áreas, portanto, combiná-los permite que cada um compense as fraquezas do outro. Segundo, Estimativa de Estado — a estrutura estatística para inferir uma quantidade que você não pode observar diretamente (onde estou agora, a que velocidade, em que orientação) a partir de quantidades que você pode observar. Terceiro, Modelo do Mundo — o resultado da integração das informações fragmentadas de cada sensor em uma única representação consistente tanto no tempo quanto no espaço. Um robô não age com base em dados brutos de sensores — ele age com base nesse Modelo do Mundo integrado.

2. Por que um único sensor não é suficiente?

Ao analisar os pontos fortes e fracos de cada sensor, fica claro por que a Fusão é essencialmente obrigatória.

O que esta tabela revela é que "sensor de alta precisão" e "sensor universal" são duas coisas diferentes. O LiDAR supera uma câmera em precisão geométrica, mas não consegue fornecer informações sobre cores ou significado. O GNSS fornece a posição absoluta, mas atualiza lentamente e não é confiável em áreas urbanas. Uma IMU não depende de iluminação ou visibilidade, mas é afetada por temperatura, vibração e erros de montagem; como deriva o estado por meio de integração, a deriva é inevitável ao longo do tempo. A Fusão de Sensores explora essa relação complementar matematicamente.

3. A Estrutura Básica da Fusão

Os detalhes de um pipeline de Fusão de Sensores variam dependendo do que está sendo fundido e em qual nível (a próxima seção), mas a estrutura geral é sempre a mesma: cinco estágios.

Figura 1 — As medições brutas de cada sensor são convertidas em características ou estado parcial, e o estágio Fusion as integra em um único estado estimado.

As medições brutas diretamente de cada sensor não podem ser comparadas diretamente — elas diferem em unidades, sistemas de coordenadas e taxas de atualização. Cada fluxo de dados do sensor é primeiro convertido em características (pontos-chave da imagem, bordas da nuvem de pontos, etc.) ou estado parcial (velocidade, pose relativa), e somente então é encaminhado para a etapa de Fusão. É nessa etapa de Fusão que os métodos probabilísticos (Filtros de Kalman, etc.) ou métodos baseados em otimização (Grafos de Fatores, etc.) discutidos abaixo são efetivamente utilizados, e sua saída é o estado estimado final — posição, velocidade, orientação e muito mais.

4. Três Níveis de Fusão

A fusão se divide em três níveis principais, dependendo de onde no pipeline as informações de múltiplos sensores são combinadas.

A escolha do nível é um equilíbrio entre precisão e custo de implementação. A Fusão Inicial, em princípio, explora o máximo de informações, mas desvios de temporização em nível de milissegundos ou erros de montagem em nível de milímetros entre os sensores degradam o resultado diretamente, exigindo uma calibração muito precisa. A Fusão Tardia tem uma grande vantagem prática — o pipeline de processamento de cada sensor pode ser desenvolvido e depurado independentemente — mas o que um sensor individual "perdeu" não pode ser recuperado, não importa quão inteligentemente os resultados sejam combinados posteriormente. A Fusão de Nível Intermediário, especialmente a Fusão BEV em condução autônoma, tornou-se o meio-termo cada vez mais popular entre esses dois extremos.

5. Fusão Probabilística

A primeira das duas estruturas matemáticas para combinar observações de múltiplos sensores baseia-se na teoria da probabilidade. Seu fundamento é a Estimação Bayesiana: combinar "a estimativa levada adiante da etapa anterior" (a priori) com "a nova observação" (a verossimilhança) para atualizar "a estimativa atual" (a posteriori).

O lado esquerdo é a distribuição posterior sobre o estado x_t dada cada observação z_{1:t} do instante 1 até t. O lado direito da equação pega a estimativa anterior p(x_{t-1}\mid z_{1:t-1}), propaga-a um passo adiante através do modelo de movimento p(x_t\mid x_{t-1}) (a integral) e, em seguida, pondera essa previsão pela probabilidade da nova observação p(z_t\mid x_t) — um ciclo de "prever e atualizar".

O Filtro de Kalman é o resultado da adoção dessa atualização Bayesiana geral, assumindo que tudo — tanto o estado quanto a observação — é linear e Gaussiano, o que transforma a atualização em uma expressão de forma fechada. Na etapa de previsão, a covariância do estado e do erro é propagada através do modelo de movimento; na etapa de atualização, a discrepância entre a nova observação e a previsão (a inovação) corrige o estado, ponderada pelo Ganho de Kalman.

P_t^{-} é a covariância do erro previsto, H mapeia o estado para o espaço de observação e R é a covariância do ruído de observação. O Ganho de Kalman K_t é um peso que expressa o quanto confiar na "previsão do modelo" em relação à "nova observação": quanto menor o ruído de observação R (um sensor confiável), maior o peso da observação; quanto menor a incerteza da previsão P_t^{-} (um modelo confiante), maior o peso da previsão — o equilíbrio se ajusta automaticamente.

Os modelos de movimento e de sensores de um robô real quase nunca são lineares, portanto, um Filtro de Kalman simples geralmente não pode ser aplicado diretamente. O Filtro de Kalman Estendido (EKF) lineariza os modelos não lineares de movimento e observação em torno da estimativa atual usando Jacobianas e, em seguida, aplica as mesmas equações de atualização do Filtro de Kalman comum. O Filtro de Kalman Não-Centrado (UKF; Julier & Uhlmann, 1997) ignora completamente a aproximação Jacobiana, passando um pequeno conjunto de pontos de amostra representativos (pontos sigma) diretamente pelas funções não lineares e reconstruindo a média e a covariância a partir dos resultados — o que pode superar o EKF sob forte não-linearidade. O Filtro de Partículas (Gordon, Salmond & Smith, 1993) não restringe a distribuição à Gaussiana; ele aproxima a própria distribuição de probabilidade com um grande número de partículas (amostras), o que permite representar distribuições multimodais onde várias hipóteses coexistem — ao custo de necessitar de mais partículas e mais poder computacional para maior precisão.

6. Fusão Baseada em Otimização

Enquanto a Fusão probabilística atualiza sequencialmente, um passo de cada vez, a segunda estrutura matemática — a Fusão baseada em otimização — adota uma abordagem diferente: mantém uma janela de observações e, em seguida, busca novamente o estado que seja o mais consistente possível com todas elas simultaneamente.

Sua formulação principal é o Grafo de Fatores. Os estados a serem estimados (a pose do robô em cada instante de tempo, as posições dos pontos de referência observados) tornam-se nós; as restrições entre eles (o que uma determinada observação do sensor nos diz sobre como dois estados devem se relacionar) tornam-se Fatores que conectam esses nós, e todo o grafo é resolvido como um problema de mínimos quadrados não lineares.

\mathbf{x} é o conjunto completo de estados a serem estimados, \mathbf{z}_k a k-ésima observação do sensor, \mathbf{e}_k a função de erro que mede a discrepância entre o que essa observação prevê e o estado atual, e \Sigma_k^{-1} o peso da confiança dessa observação. Quando as posições 3D de pontos de referência são otimizadas juntamente com as poses da câmera, esse processo é chamado especificamente de Ajuste de Feixe. Quando os nós são poses ao longo da trajetória de um robô, é chamado de otimização do Grafo de Pose — a estrutura padrão para corrigir a deriva acumulada após o fechamento de um loop (reconhecimento de um local visitado anteriormente).

A Fusão Probabilística (especialmente o EKF) é barata e adequada para processamento sequencial, mas não pode revisitar uma observação depois que ela foi absorvida — ela apenas avança a partir da estimativa atual. A Fusão baseada em otimização pode retroceder e corrigir toda a trajetória quando uma nova observação entra em conflito com uma estimativa antiga, o que geralmente a torna mais precisa — ao custo de um aumento na capacidade computacional à medida que o grafo cresce. Bibliotecas de propósito geral como Ceres Solver, g2o e GTSAM são amplamente utilizadas para resolver esse tipo de problema de mínimos quadrados não lineares esparsos (onde cada observação afeta apenas um pequeno número de variáveis) de forma eficiente.

7. Câmera × IMU (VIO)

A combinação de uma câmera com uma IMU é chamada de Odometria Visual-Inercial (VIO) e é uma das combinações de Fusão mais amplamente utilizadas na prática. O motivo pelo qual as duas funcionam tão bem é que suas fraquezas se complementam quase perfeitamente.

Uma câmera pode estimar seu próprio movimento a partir de como os pontos de referência se movem nas imagens, mas uma câmera monocular não consegue determinar a escala absoluta (unidades de distância do mundo real) em princípio, e a rotação rápida tende a desfocar a imagem e interromper o rastreamento de características. Uma IMU é a imagem espelhada: ela mede a aceleração e a velocidade angular diretamente em centenas de Hz, sendo, portanto, robusta a movimentos rápidos. A integração da aceleração resulta na variação de velocidade e posição em escala real — mas essa mesma integração significa que os erros se acumulam (deriva) ao longo do tempo, e ela nunca conhece a posição absoluta.

Como mostra esta equação, uma IMU deriva a posição integrando a aceleração a_t duas vezes, de modo que mesmo um pequeno viés do acelerômetro se acumula em um erro de posição que cresce com o quadrado do tempo decorrido. O VIO pode usar observações de características visuais para restringir essa deriva; com excitação de movimento e observabilidade suficientes, a IMU pode suportar a estimativa em escala métrica, mas não elimina a ambiguidade de escala em todas as condições. MSCKF (Mourikis & Roumeliotis, 2007, baseado em EKF), OKVIS (Leutenegger et al., 2015, baseado em otimização não linear) e VINS-Mono (Qin et al., 2018, monocular + IMU) são implementações marcantes de VIO sob essas duas estruturas.

8. LiDAR×IMU (LIO)

A combinação de um LiDAR com uma IMU é chamada de Odometria Inercial LiDAR (LIO), amplamente utilizada em robôs para ambientes externos e direção autônoma. O LiDAR mede a geometria do ambiente de forma direta e precisa como uma nuvem de pontos, mas uma única varredura leva dezenas a centenas de milissegundos para ser concluída e, se o próprio sensor se mover durante esse período, os pontos dentro de uma varredura ficam distorcidos (distorção de movimento).

Mais uma vez, a alta taxa de amostragem da IMU é o que resolve o problema: a interpolação das mudanças de orientação precisas capturadas durante uma varredura corrige essa distorção. E depender puramente da correspondência entre nuvens de pontos (ICP e similares) tende a apresentar desvios em ambientes geometricamente pobres em detalhes — um longo corredor sem características, um campo aberto — onde a informação inercial da IMU preenche a lacuna e mantém a estimativa estável.

O LOAM (Zhang & Singh, 2014) foi pioneiro na odometria LiDAR ao extrair pontos de borda e pontos de características planares da nuvem de pontos e realizar a correspondência entre eles. O LIO-SAM (Shan et al., 2020) integrou de forma precisa as informações de LiDAR e IMU em um Grafo de Fatores, projetado para que as restrições de GPS e de fechamento de laço pudessem ser incorporadas ao mesmo grafo. FAST-LIO / FAST-LIO2 (Xu et al., 2021 / 2022) adotou a integração LiDAR-IMU fortemente acoplada por meio de um Filtro de Kalman Iterado, e o FAST-LIO2, em particular, processa a nuvem de pontos diretamente, em vez de por meio da extração de características esparsas. O acoplamento forte pode explorar informações conjuntas, mas a precisão e o custo dependem da inicialização, da degenerescência, da implementação e do sincronismo do sensor; não é universalmente superior ao acoplamento fraco.

9. Câmera×LiDAR

A combinação de Câmera e LiDAR é a combinação de Fusão mais intuitivamente complementar que existe — "conhece o significado, mas não a distância" encontra "conhece a distância, mas não o significado". Mas essa combinação apresenta uma dificuldade que as outras não têm: os sistemas de coordenadas dos dois sensores são fundamentalmente diferentes (o plano de imagem 2D de uma câmera versus a nuvem de pontos 3D do LiDAR), portanto, relacioná-los requer um procedimento explícito de calibração e projeção.

A calibração determina os parâmetros intrínsecos da câmera (distância focal, distorção da lente, matriz intrínseca K) e a pose relativa entre a câmera e o LiDAR (extrínsecos: rotação R, translação t). Com esses dados, um ponto 3D \mathbf{X} medido pelo LiDAR pode ser projetado nas coordenadas de pixel da câmera \mathbf{u}.

\pi(\cdot) é a função de projeção em perspectiva que mapeia coordenadas homogêneas no plano da imagem 2D, e [R\mid t] é a transformação das coordenadas do LiDAR para as coordenadas da câmera. A calibração é o processo de encontrar os valores de R e t que minimizam o erro \mathbf{e}; uma vez concluída essa etapa, a mesma projeção determina "qual ponto do LiDAR corresponde a qual pixel da imagem" (Associação Ponto-Pixel). Essa correspondência permite associar informações de cor ou classe da câmera aos pontos do LiDAR, ou atribuir ao objeto detectado pela câmera a distância precisa do LiDAR.

A abordagem dominante na condução autônoma moderna realiza essa projeção no nível de características, em vez de ponto a ponto: Fusão BEV (Fusão de Visão Bidirecional). BEVFusion (Liang et al., 2022, e separadamente Liu et al., 2022) converte as características da imagem da câmera e as características da nuvem de pontos do LiDAR no espaço BEV (2D de cima para baixo) de forma independente e, em seguida, as combina nesse espaço — sendo amplamente citada como o principal exemplo de Fusão de Nível Intermediário para Câmera×LiDAR.

10. Câmera×LiDAR×Radar×IMU

Tomemos como exemplo a condução autônoma e, na prática, a fusão vai muito além de um único par: Câmera, LiDAR, Radar e IMU (mais GNSS) são integrados simultaneamente, cada um com uma função claramente definida.

• Câmera: reconhece o "significado" que a geometria pura não consegue fornecer — cor do semáforo, texto da placa, tipo de faixa
• LiDAR: mede a forma 3D precisa e a distância dos objetos ao redor, sem ser afetado pela iluminação
• Radar: continua funcionando na chuva, neblina ou contraluz que interferem no funcionamento das câmeras e do LiDAR, e mede a velocidade relativa diretamente via Doppler
• IMU: captura a mudança de orientação e a aceleração do próprio veículo em alta frequência, interpolando as leituras dos outros sensores
• GNSS: fornece a referência para o alinhamento global com um mapa (geralmente integrado à IMU após correção de alta precisão, por exemplo, RTK)

Esses quatro ou cinco tipos de sensores complementam as deficiências uns dos outros, de modo que quase qualquer falha individual é detectada por outro sensor: neblina densa degrada a precisão da câmera e do LiDAR, mas o radar continua funcionando; um túnel bloqueia o GPS, mas a odometria da IMU combinada com o LiDAR mantém a autolocalização ativa. Este projeto de redundância — que reduz a probabilidade de vários sensores falharem simultaneamente sob as mesmas condições — é o principal motivo pelo qual a fusão de múltiplos sensores é considerada indispensável em aplicações como a condução autônoma, onde a falha não é uma opção.

11. O que torna a fusão difícil

Por mais elegante que a fusão de sensores pareça no papel, sua implementação apresenta uma série de dificuldades práticas muito reais.

• Sincronização de tempo: cada sensor emite dados em uma taxa diferente e com latência diferente, portanto, tratá-los como "o mesmo instante" exige um alinhamento de tempo preciso — sincronização de gatilho em nível de hardware ou interpolação de timestamp.

• Calibração: a posição e a orientação relativas entre os sensores (extrínsecos) e os parâmetros internos de cada sensor (intrínsecos) devem ser conhecidos com precisão. Um pequeno desalinhamento na montagem introduz um erro sistemático em todo o resultado da fusão.

• Transformação de Coordenadas: cada sensor opera em seu próprio sistema de coordenadas (sistema da câmera, sistema do LiDAR, sistema do veículo, sistema global), e esses sistemas precisam ser transformados de forma consistente e contínua.
• Ruído do Sensor: as características de ruído de cada sensor (gaussiano ou não, enviesado ou não) diferem, e modelar isso incorretamente compromete a ponderação (por exemplo, o Ganho de Kalman) na Fusão probabilística.
• Valores Atípicos: detecções falsas ou discrepâncias causadas por objetos dinâmicos introduzem ruído que o modelo nunca previu — um modelo estatístico simples não consegue lidar com isso sozinho, portanto, técnicas de estimação robustas como RANSAC ou rejeição explícita de valores atípicos tornam-se necessárias.
• Propagação da Incerteza: a menos que a incerteza individual (covariância) de cada sensor seja propagada corretamente por todo o processo de Fusão, a confiabilidade real da estimativa final é mal avaliada — e tanto o excesso de confiança quanto a cautela excessiva levam a decisões equivocadas nas etapas subsequentes.

Nenhum desses problemas se resolve simplesmente implementando as equações do Filtro de Kalman dos livros didáticos — todos eles pertencem ao domínio da engenharia de sistemas.

12. O Modelo Mundial Final

Reúna tudo o que foi abordado até agora — os sensores individuais, os métodos de fusão individuais — e o que um robô ou veículo autônomo carrega, em última análise, é o tipo de "modelo mundial" mostrado abaixo, que integra a especialidade de cada sensor em um único modelo.

Figura 2 — Câmera, LiDAR, IMU, Radar e GNSS fornecem informações diferentes, e a camada de Fusão as integra em um Modelo de Mundo consistente.

O Modelo de Mundo não é apenas "onde estou" — ele contém a geometria dos objetos ao redor (do LiDAR), o que esses objetos são (da câmera), suas velocidades relativas (do radar), as mudanças de orientação do próprio veículo (da IMU) e uma posição global no mapa (do GNSS), tudo integrado sem contradição ao longo do tempo ou do espaço. O planejamento de trajetória de um robô ou as decisões de direção de um veículo autônomo são tomadas com base nesse Modelo de Mundo — nunca com base em dados brutos dos sensores. A Fusão de Sensores é, nesse sentido, a ponte entre a percepção e a ação: ela converte a capacidade perceptiva individual de cada sensor em uma representação coerente sobre a qual o sistema pode realmente agir. ## 13. Projetando um Sistema de Fusão na Prática

Ao projetar um sistema de Fusão de Sensores, quatro perguntas tendem a facilitar a tomada de decisão.

Essas decisões não são independentes — elas se influenciam mutuamente. Um sistema automotivo produzido em massa, por exemplo, muitas vezes é forçado a adotar projetos baseados em filtros e com acoplamento frouxo devido a limitações de computação, enquanto aplicações de pesquisa ou mapeamento offline podem se dar ao luxo de projetos baseados em otimização e com acoplamento rígido, que buscam a máxima precisão. Não existe um "método de fusão perfeito" — a essência do projeto prático de Fusão de Sensores é escolher a combinação mais sensata, considerando os sensores disponíveis, a capacidade de processamento e a precisão e latência exigidas pela aplicação.

14. Resumo

A Fusão de Sensores combina matematicamente observações de Câmera, LiDAR, IMU, Radar e GNSS — cada um com pontos fortes e fracos em diferentes áreas — usando métodos probabilísticos (Filtro de Kalman/EKF/UKF/Filtro de Partículas) ou métodos baseados em otimização (Grafo de Fatores/Ajuste de Feixe), para produzir uma estimativa de estado mais precisa e confiável do que qualquer sensor individual poderia fornecer. Combinações concretas como VIO (Câmera × IMU), LIO (LiDAR × IMU) e Fusão BEV (Câmera × LiDAR) baseiam-se na mesma ideia — traduzir a complementaridade em equações — e as escolhas de projeto sobre onde e como fundir os sensores determinam, em última análise, a precisão, o custo computacional e a complexidade de implementação.

Verificações antes de fundir medições

Tratar a posição e a velocidade derivadas da mesma observação como medições independentes pode gerar uma estimativa excessivamente confiante. Verifique os registros de data e hora, os sistemas de coordenadas, as variáveis extrínsecas e as correlações de erro antes de adicionar sensores. Avalie a fusão em relação às linhas de base de sensor único sob as mesmas condições, incluindo interrupções.

• OpenVINS: Modelo IMU, estado e propagação de incerteza