센서 융합 입문 — 여러 센서를 활용하여 하나의 세계 모델 구축하기

로봇과 자율주행 차량은 일반적으로 카메라, LiDAR, IMU, 레이더, GNSS 등 여러 센서를 동시에 탑재합니다. 하지만 이러한 센서들 중 어느 하나만으로는 세상을 완벽하게 이해할 수 없습니다. 카메라는 깊이 정보를 파악하는 데 어려움을 겪고, LiDAR는 색상이나 질감을 구분할 수 없으며, IMU는 시간이 지남에 따라 오류가 누적됩니다. 센서 융합 기술은 각 센서의 사각지대를 다른 센서의 강점으로 보완하여, 개별적으로 결함이 있는 조각들을 하나로 통합한 일관된 "세상 모델"을 구축합니다. 이 글에서는 수학적 기초(확률 및 최적화)와 구체적인 센서 조합(VIO, LIO, Camera×LiDAR)에 대해 살펴봅니다.

IMU/INS 예시

심도 카메라 예시

이미지: Xsens MTi-G (Kallap85, CC BY-SA 4.0) / Intel RealSense D435 심도 카메라 (Marc Auledas, CC BY-SA 4.0) 위키미디어 커먼즈.

0. 이 문서의 내용

• 센서 융합이란 무엇이며, 왜 단일 센서로는 충분하지 않은가
• 기본적인 융합 파이프라인 (센서 → 측정 → 특징/상태 → 융합 → 추정 상태)
• 초기, 중간, 후기 융합의 차이점
• 확률적 융합의 작동 원리 — 칼만 필터, 확장 칼만 필터(EKF), 역칼만 필터(UKF), 파티클 필터
• 최적화 기반 융합의 작동 원리 — 팩터 그래프, 포즈 그래프
• VIO(카메라×IMU), LIO(LiDAR×IMU), 카메라×LiDAR가 왜 자연스러운 조합인가
• 자율 주행을 활용한 4개 센서 통합 예시 (카메라×LiDAR×레이더×IMU)
• 실제 융합 구현의 어려움 — 시간 동기화, 보정, 노이즈
• 사용 사례에 맞는 융합 시스템 설계 방법

1. 센서 융합이란 무엇인가?

한 문장으로 요약하면: 센서 융합은 여러 센서에서 얻은 불완전하고 노이즈가 있는 관측값을 수학적으로 결합하는 기술입니다. 단일 센서로는 얻을 수 없는 더 정확하고 신뢰할 수 있는 "상태" 추정치를 생성하는 것.**

이 정의에는 세 가지 개념이 담겨 있습니다. 첫째, 상호보완성 – 서로 다른 센서는 강점과 약점이 다르기 때문에 센서들을 결합하면 각 센서의 약점을 서로 상쇄할 수 있습니다. 둘째, 상태 추정 – 직접 관찰할 수 없는 양(현재 위치, 속도, 방향)을 관찰 가능한 양으로부터 추론하는 통계적 프레임워크입니다. 셋째, 월드 모델 – 각 센서의 단편적인 정보를 시간과 공간 모두에서 일관된 단일 표현으로 통합한 결과입니다. 로봇은 원시 센서 데이터에 따라 행동하는 것이 아니라, 이 통합된 월드 모델에 따라 행동합니다.

2. 왜 센서 하나만으로는 충분하지 않은가?

각 센서의 장단점을 살펴보면 센서 융합이 필수적인 이유가 명확해집니다.

| 센서 | 강점 | 약점 | |---|---| | 카메라 | 색상, 질감, 의미론(객체 범주)을 인식하며, 높은 각도 해상도를 제공합니다. | 깊이를 직접 측정하기 어렵고, 어둠, 역광, 악천후 시 성능이 저하되며, 단안식이라 크기를 정확히 측정할 수 없습니다. | | LiDAR | 거리와 기하학적 형태를 정밀하게 직접 측정하며, 조명 조건에 영향을 받지 않습니다. | 색상이나 질감 정보는 제공하지 않으며, 비, 안개, 먼지 환경에서 성능이 저하되고, 거리가 멀어질수록 포인트 클라우드가 희소해지고 정밀도가 떨어집니다. | | IMU(관성 측정 장치) | 높은 샘플링 속도(수백 Hz 이상)를 제공하며, 방향 변화에 민감하고, 카메라 조명 및 가시성에 영향을 받지 않습니다. | 온도, 진동, 장착 오류의 영향을 받으며, 오차가 누적되어 드리프트가 발생하고, 절대 위치를 제공하지 않습니다. | | 레이더 | 악천후(비, 안개, 먼지)에 강하며, 도플러 효과를 통해 상대 속도를 직접 측정합니다. | 각도 해상도가 낮아 물체의 형태를 정확하게 파악하기 어렵고, 정지된 물체를 구분하는 데 어려움을 겪을 수 있습니다. | | GNSS | 절대적인 전역 좌표를 제공하며, 오차가 누적되지 않습니다. 낮은 업데이트 속도(일반적으로 1~10Hz); 실내, 터널 또는 도심 고층 건물(다중경로)에서 성능 저하 또는 신호 끊김 발생 |

이 표에서 알 수 있듯이 "고정밀 센서"와 "범용 센서"는 서로 다른 개념입니다. LiDAR는 기하학적 정밀도 면에서 카메라보다 우수하지만 색상이나 의미를 구분할 수는 없습니다. GNSS는 절대 위치를 제공하지만 업데이트 속도가 느리고 도심 지역에서는 신뢰할 수 없습니다. IMU는 조명이나 가시성에 영향을 받지 않지만 온도, 진동 및 설치 오류의 영향을 받습니다. 또한 적분을 통해 상태를 도출하기 때문에 시간이 지남에 따라 드리프트가 불가피합니다. 센서 융합은 이러한 상호 보완적인 관계를 수학적으로 활용합니다.

3. 융합의 기본 구조

센서 융합 파이프라인의 세부 사항은 융합 대상과 융합 수준(다음 섹션 참조)에 따라 달라지지만, 큰 틀은 항상 동일한 5단계로 구성됩니다.

그림 1 — 각 센서의 원시 측정값은 특징 또는 부분 상태로 변환되고, 융합 단계에서 이를 통합하여 단일 추정 상태를 생성합니다.

각 센서에서 직접 얻은 원시 측정값은 단위, 좌표계 및 업데이트 속도가 다르기 때문에 직접 비교할 수 없습니다. 각 센서 스트림은 먼저 특징(이미지 키포인트, 포인트 클라우드 경계 등) 또는 부분 상태(속도, 상대 자세)로 변환된 후 융합 단계로 전달됩니다. 융합 단계는 아래에서 설명하는 확률 기반 방법(칼만 필터 등) 또는 최적화 기반 방법(팩터 그래프 등)이 실제로 적용되는 단계이며, 최종 추정 상태(위치, 속도, 방향 등)를 출력합니다.

4. 세 가지 융합 단계

융합은 여러 센서의 정보가 파이프라인의 어느 단계에서 결합되는지에 따라 크게 세 단계로 나뉩니다.

어떤 단계를 선택할지는 정확도와 구현 비용 간의 절충점입니다. 초기 융합은 원칙적으로 가장 많은 정보를 활용하지만, 센서 간의 밀리초 단위 타이밍 오프셋이나 밀리미터 단위 장착 오차가 결과에 직접적인 영향을 미치므로 매우 정밀한 보정이 필요합니다. 후기 융합은 각 센서의 처리 파이프라인을 독립적으로 개발하고 디버깅할 수 있다는 큰 실질적인 이점이 있지만, 개별 센서가 "놓친" 정보는 아무리 정교하게 결과를 결합하더라도 복구할 수 없습니다. 중간 수준 융합, 특히 자율 주행에서의 BEV 융합은 이 두 극단적인 방식 사이의 중간 지점으로 점점 더 인기를 얻고 있습니다.

5. 확률적 융합

여러 센서의 관측값을 결합하는 두 가지 수학적 프레임워크 중 첫 번째는 확률 이론에 기반합니다. 그 기초는 베이지안 추정입니다. 즉, "이전 단계에서 가져온 추정치"(사전 확률)와 "새로운 관측값"(가능도)을 결합하여 "현재 추정치"(사후 확률)를 업데이트하는 것입니다.

좌변은 시간 1부터 t까지의 모든 관측값 z_{1:t}이 주어졌을 때 상태 x_t에 대한 사후 확률 분포입니다. 오른쪽 항은 이전 추정값 p(x_{t-1}\mid z_{1:t-1})를 가져와 모션 모델 p(x_t\mid x_{t-1})(적분)을 통해 한 단계 앞으로 전파한 다음, 새로운 관측값 p(z_t\mid x_t)의 가능도로 예측값을 가중합니다. 이는 "예측 후 업데이트" 주기입니다.

칼만 필터는 일반적인 베이지안 업데이트에서 상태와 관측값 모두 선형 가우시안 분포를 따른다고 가정할 때 얻어지며, 이를 통해 업데이트는 폐쇄형 표현식으로 변환됩니다. 예측 단계에서는 상태와 오차 공분산이 모션 모델을 통해 전진하고, 업데이트 단계에서는 새로운 관측값과 예측값 사이의 불일치(혁신)가 칼만 게인으로 가중되어 상태를 수정합니다.

P_t^{-}은 예측 오차 공분산이고, H은 상태를 관측 공간으로 매핑하며, R은 관측 잡음 공분산입니다. 칼만 게인 K_t은 "모델의 예측"과 "새로운 관측값" 중 어느 것을 더 신뢰해야 하는지를 나타내는 가중치입니다. 관측 잡음이 작을수록(R, 센서가 신뢰할 만할수록) 관측값에 더 큰 가중치가 부여되고, 예측 불확실성이 작을수록(P_t^{-}, 모델이 확신할수록) 예측값에 더 큰 가중치가 부여됩니다. 이러한 균형은 자동으로 조정됩니다.

실제 로봇의 동작 및 센서 모델은 거의 선형이 아니므로 일반 칼만 필터를 직접 적용할 수 없는 경우가 많습니다. 확장 칼만 필터(EKF)는 야코비 행렬을 사용하여 현재 추정값을 중심으로 비선형 동작 및 관측 모델을 선형화한 다음, 일반 칼만 필터와 동일한 업데이트 방정식을 적용합니다. 무향 칼만 필터(UKF; Julier & Uhlmann, 1997)는 야코비 행렬 근사를 완전히 생략하고, 소수의 대표 샘플 포인트(시그마 포인트)를 비선형 함수에 직접 통과시켜 결과로부터 평균과 공분산을 재구성합니다. 이는 강한 비선형성 환경에서 확장 칼만 필터(EKF)보다 우수한 성능을 보일 수 있습니다. 파티클 필터(Gordon, Salmond & Smith, 1993)는 분포를 가우시안 분포로 제한하지 않고, 다수의 파티클(샘플)을 사용하여 확률 분포 자체를 근사화합니다. 따라서 여러 가설이 공존하는 다중 모드 분포를 표현할 수 있지만, 더 높은 정확도를 위해서는 더 많은 파티클과 연산 능력이 필요합니다.

6. 최적화 기반 융합

확률적 융합이 순차적으로 한 단계씩 업데이트되는 반면, 두 번째 수학적 프레임워크인 최적화 기반 융합은 다른 접근 방식을 취합니다. 즉, 관측값들의 윈도우를 유지한 다음, 모든 관측값들과 최대한 일관성 있는 상태를 한 번에 다시 계산합니다.

이 프레임워크의 핵심 공식은 팩터 그래프입니다. 추정해야 할 상태(각 타임스텝에서의 로봇 자세, 관측된 랜드마크의 위치)는 노드가 되고, 상태들 간의 제약 조건(주어진 센서 관측값이 두 상태 간의 관계에 대해 알려주는 정보)은 이 노드들을 연결하는 팩터가 됩니다. 전체 그래프는 비선형 최소제곱 문제로 풀립니다.

\mathbf{x}은 추정해야 할 모든 상태 집합이고, \mathbf{z}_k은 번째 센서 관측값이며, k은 해당 관측값이 예측하는 값과 현재 상태 간의 불일치를 측정하는 오차 함수이고, \Sigma_k^{-1}은 해당 관측값의 신뢰도에 따른 가중치입니다. 랜드마크 3D 위치를 카메라 포즈와 함께 최적화하는 경우, 이 과정을 번들 조정(Bundle Adjustment)이라고 합니다. 로봇 궤적을 따라 포즈를 노드로 사용하는 경우, 포즈 그래프 최적화(Pose Graph optimization)라고 하며, 이는 루프 클로저(이전에 방문한 위치 인식) 후 누적된 드리프트를 수정하는 표준 프레임워크입니다.

확률적 융합(특히 확장 칼만 필터, EKF)은 비용이 저렴하고 순차 처리에 적합하지만, 한 번 흡수된 관측값은 다시 방문할 수 없으며 현재 추정값에서 앞으로만 나아갈 수 있습니다. 최적화 기반 융합은 새로운 관측값이 이전 추정값과 충돌할 때 전체 궤적을 수정할 수 있어 일반적으로 정확도를 높일 수 있습니다. 다만, 그래프가 커짐에 따라 연산량이 증가하는 단점이 있습니다. Ceres Solver, g2o, GTSAM과 같은 범용 라이브러리는 이러한 희소 비선형 최소제곱 문제(각 관측값이 소수의 변수에만 영향을 미치는 문제)를 효율적으로 해결하는 데 널리 사용됩니다.

7. 카메라×IMU(VIO)

카메라와 IMU를 결합하는 것을 시각-관성 오도메트리(VIO)라고 하며, 실제로 가장 널리 사용되는 융합 조합 중 하나입니다. 이 둘이 매우 잘 어울리는 이유는 서로의 약점을 거의 완벽하게 보완하기 때문입니다.

카메라는 이미지에서 특징점의 움직임을 통해 자체 움직임을 추정할 수 있지만, 단안 카메라는 원칙적으로 절대적인 크기(실제 거리 단위)를 결정할 수 없으며, 빠른 회전은 이미지를 흐리게 하고 특징점 추적을 방해하는 경향이 있습니다. IMU는 이와 정반대되는 특성을 지닙니다. 수백 Hz의 주파수로 가속도와 각속도를 직접 측정하기 때문에 빠른 움직임에도 강건하며, 가속도를 적분하여 실제 크기에 따른 속도와 위치 변화를 얻을 수 있습니다. 하지만 이러한 적분 과정 때문에 시간이 지남에 따라 오차가 누적(드리프트)되며, 절대 위치를 정확하게 알 수는 없습니다.

위 방정식에서 볼 수 있듯이, IMU는 가속도를 두 번 적분하여 위치를 계산합니다. 따라서 작은 가속도계 바이어스조차도 누적되어 경과 시간의 제곱에 비례하여 커지는 위치 오차로 이어집니다. VIO는 시각적 특징 관측을 통해 이러한 드리프트를 제한할 수 있습니다. 충분한 모션 자극과 관측 가능성이 확보된다면 IMU는 미터법 단위의 크기 추정을 지원할 수 있지만, 모든 조건에서 크기 모호성을 완전히 제거할 수는 없습니다. MSCKF(Mourikis & Roumeliotis, 2007, EKF 기반), OKVIS(Leutenegger et al., 2015, 비선형 최적화 기반), 그리고 VINS-Mono(Qin et al., 2018, 단안 센서 + IMU)는 이 두 프레임워크 하에서 VIO를 구현한 대표적인 모델입니다.

8. LiDAR×IMU (LIO)

LiDAR와 IMU를 결합한 것을 LiDAR-관성 주행측정법(LIO)이라고 하며, 실외 로봇 및 자율 주행에 널리 사용됩니다. LiDAR는 주변 지형을 포인트 클라우드 형태로 직접적이고 정확하게 측정하지만, 한 번의 스캔에 수십에서 수백 밀리초가 소요되며, 이 시간 동안 센서 자체가 움직이면 스캔 내의 포인트들이 왜곡됩니다(모션 왜곡).

여기서도 IMU의 높은 샘플링 속도가 중요한 역할을 합니다. 스캔 중에 포착된 미세한 방향 변화를 보간하여 왜곡을 보정하는 것입니다. 또한, 포인트 클라우드 간 매칭(ICP 등)에만 의존하는 방식은 기하학적 특징이 부족한 환경, 예를 들어 특징이 없는 긴 복도나 탁 트인 들판과 같은 곳에서 오차가 발생하기 쉽습니다. 이때 IMU의 관성 정보가 이러한 오차를 보완하여 안정적인 추정치를 제공합니다.

초기 LOAM(Zhang & Singh, 2014)은 포인트 클라우드에서 에지 및 평면 특징점을 추출하고 이를 매칭하는 방식으로 LiDAR 오도메트리를 개척했습니다. LIO-SAM(Shan et al., 2020)은 GPS 및 루프 폐쇄 제약 조건을 동일한 그래프에 통합할 수 있도록 설계된 팩터 그래프에 LiDAR 및 IMU 정보를 긴밀하게 통합했습니다. FAST-LIO / FAST-LIO2(Xu et al., 2021 / 2022)는 반복 칼만 필터를 통해 LiDAR와 IMU를 긴밀하게 통합하는 방식을 채택했으며, 특히 FAST-LIO2는 희소 특징 추출을 거치지 않고 포인트 클라우드를 직접 처리합니다. 긴밀한 통합은 관절 정보를 활용할 수 있지만, 정확도와 비용은 초기화, 퇴화, 구현 및 센서 타이밍에 따라 달라지므로 느슨한 통합보다 항상 우수한 것은 아닙니다.

9. 카메라×LiDAR

카메라와 LiDAR의 조합은 가장 직관적으로 상호 보완적인 융합 조합입니다. 즉, "의미는 알지만 거리는 모르는" 센서와 "거리는 알지만 의미는 모르는" 센서의 만남입니다. 하지만 이 조합에는 다른 조합에는 없는 어려움이 있습니다. 두 센서의 좌표계가 근본적으로 다르기 때문입니다(카메라의 2D 이미지 평면과 LiDAR의 3D 포인트 클라우드). 따라서 두 센서 간의 관계를 설정하려면 명시적인 보정 및 투영 절차가 필요합니다.

캘리브레이션은 카메라의 내부 매개변수(초점 거리, 렌즈 왜곡, 내부 행렬 K)와 카메라와 LiDAR 간의 상대적인 자세(외부 매개변수: 회전 R, 변환 t)를 계산합니다. 이러한 정보를 바탕으로 LiDAR로 측정된 3D 점 \mathbf{X}을 카메라 픽셀 좌표 \mathbf{u}로 투영할 수 있습니다.

\pi(\cdot)은 동차 좌표를 2D 이미지 평면에 매핑하는 원근 투영 함수이고, [R\mid t]은 LiDAR 좌표에서 카메라 좌표로의 변환입니다. 캘리브레이션은 이 오차 \mathbf{e}을 최소화하는 R 및 t을 계산하는 과정입니다. 이 과정이 완료되면, 동일한 투영 방식을 통해 "어떤 LiDAR 포인트가 어떤 이미지 픽셀에 대응하는지"(포인트-픽셀 연관)를 결정합니다. 이러한 대응 관계를 통해 카메라의 색상 또는 클래스 정보를 LiDAR 포인트에 연결하거나, 카메라가 감지한 객체에 LiDAR의 정확한 거리를 부여할 수 있습니다.

최신 자율 주행에서 주로 사용되는 접근 방식은 포인트 단위가 아닌 특징 레벨에서 이 투영을 수행하는 BEV 융합(Bird's-Eye View Fusion)입니다. BEVFusion(Liang et al., 2022 및 Liu et al., 2022)은 카메라 이미지 특징과 LiDAR 포인트 클라우드 특징을 각각 BEV(탑다운 2D) 공간으로 변환한 다음, 그 공간에서 결합합니다. 이는 카메라×LiDAR 중간 레벨 융합의 대표적인 예로 널리 알려져 있습니다.

10. 카메라×LiDAR×레이더×IMU

자율 주행을 예로 들면, 실제 융합은 단일 센서 쌍을 훨씬 뛰어넘어 카메라, LiDAR, 레이더, IMU(및 GNSS)가 모두 통합되어 각각 명확하게 정의된 역할을 수행합니다.

• 카메라: 순수 기하학적 정보로는 파악할 수 없는 "의미"를 인식합니다. 예를 들어 신호등 색상, 표지판 텍스트, 차선 유형 등을 인식합니다.
• LiDAR: 주변 물체의 정확한 3D 형상과 거리를 조명의 영향을 받지 않고 측정합니다.
• 레이더: 카메라와 LiDAR의 작동을 방해하는 비, 안개, 역광 상황에서도 계속 작동하며, 도플러 효과를 통해 상대 속도를 직접 측정합니다.
• IMU: 차량의 방향 변화와 가속도를 고주파로 측정하여 다른 센서들의 측정값 사이를 보간합니다.
• GNSS: 지도와의 전역 정렬을 위한 기준점을 제공합니다. (일반적으로 고정밀 보정 후 IMU에 통합됨, 예: RTK)

이 네다섯 가지 센서 유형은 서로의 약점을 보완하여 거의 모든 단일 센서의 고장 상황을 다른 센서가 보완할 수 있도록 합니다. 예를 들어 짙은 안개는 카메라와 LiDAR의 정확도를 떨어뜨리지만 레이더는 계속 작동합니다. 터널은 GPS를 차단하지만 IMU와 LiDAR 주행 거리계를 통해 차량의 위치 파악을 유지할 수 있습니다. 여러 센서가 동일한 조건에서 동시에 고장날 가능성을 줄이는 이러한 중복 설계는 자율 주행과 같이 고장이 허용되지 않는 사용 사례에서 다중 센서 융합이 필수적인 가장 큰 이유입니다.

11. 융합의 어려움

센서 융합은 이론상으로는 훌륭해 보이지만, 실제로 구현하는 데에는 여러 가지 현실적인 어려움이 있습니다.

• 시간 동기화: 각 센서는 서로 다른 속도와 지연 시간으로 데이터를 출력하므로, 모든 센서를 "동일한 순간"으로 처리하려면 정확한 시간 정렬이 필요합니다. 이를 위해서는 하드웨어 수준의 트리거 동기화 또는 타임스탬프 보간이 필요합니다.

• 보정: 센서 간의 상대적인 위치와 방향(외부 변수) 및 각 센서 자체의 내부 매개변수(내부 변수)를 정확하게 알아야 합니다. 미세한 장착 오차라도 융합된 결과 전체에 체계적인 오차를 유발합니다.

• 좌표 변환: 각 센서는 고유한 좌표계(카메라 좌표계, LiDAR 좌표계, 차량 좌표계, 전역 좌표계)에 존재하며, 이러한 좌표계를 일관되고 지속적으로 변환해야 합니다. - 센서 잡음: 각 센서의 잡음 특성(가우시안 분포 여부, 편향 여부 등)은 서로 다르며, 이를 잘못 모델링하면 확률적 융합에서 가중치(예: 칼만 게인)가 왜곡됩니다.

• 이상치: 오탐지 또는 동적 객체로 인한 불일치는 모델이 예상하지 못한 잡음을 발생시킵니다. 단순한 통계 모델로는 이를 처리할 수 없으므로 RANSAC과 같은 강건 추정 기법이나 명시적인 이상치 제거가 필요합니다.

• 불확실성 전파: 각 센서의 개별 불확실성(공분산)이 융합 과정 전체에 걸쳐 정확하게 전파되지 않으면 최종 추정치의 실제 신뢰도가 잘못 판단되어 과신 또는 지나친 신중함으로 인해 후속 결정이 잘못될 수 있습니다.

이러한 문제들은 단순히 교과서적인 칼만 필터 방정식을 구현하는 것만으로는 해결되지 않으며, 모두 시스템 엔지니어링 영역에 속합니다.

12. 최종 세계 모델

지금까지 다룬 모든 것, 즉 개별 센서와 개별 융합 방법들을 종합하면 로봇이나 자율 주행 차량이 궁극적으로 탑재하게 되는 것은 아래 그림과 같은 "세계 모델"입니다. 이 모델은 각 센서의 전문 분야를 하나로 통합합니다.

그림 2 — 카메라, LiDAR, IMU, 레이더, GNSS는 각각 다른 정보를 제공하며, 융합 레이어는 이들을 하나의 일관된 월드 모델로 통합합니다.

월드 모델은 단순히 "내 위치"만을 나타내는 것이 아닙니다. 주변 물체의 기하학적 정보(LiDAR), 물체의 종류(카메라), 상대 속도(레이더), 차량 자체의 방향 변화(IMU), 지도상의 전역 위치(GNSS) 등 모든 정보를 시간과 공간에 걸쳐 모순 없이 통합하여 담고 있습니다. 로봇의 경로 계획이나 자율 주행 차량의 주행 결정은 이 월드 모델을 기반으로 이루어지며, 원시 센서 데이터에 기반해서는 절대 이루어지지 않습니다. 센서 융합은 이러한 의미에서 인지와 행동 사이의 다리 역할을 합니다. 각 센서의 개별적인 인지 능력을 시스템이 실제로 활용할 수 있는 하나의 일관된 표현으로 변환합니다.

13. 실제 센서 융합 시스템 설계

실제로 센서 융합 시스템을 설계할 때, 다음 네 가지 질문을 통해 의사결정을 효율적으로 내릴 수 있습니다.

이러한 결정들은 서로 독립적이지 않고 상호 영향을 미칩니다. 예를 들어, 양산형 자동차 시스템은 컴퓨팅 자원의 제약으로 인해 필터 기반의 느슨한 결합 설계 방식을 채택해야 하는 경우가 많지만, 연구용 애플리케이션이나 오프라인 지도 구축과 같은 경우에는 최대 정확도를 추구하는 최적화 기반의 긴밀한 결합 설계 방식을 사용할 수 있습니다. "완벽한 센서 융합 방식"이란 존재하지 않습니다. 실용적인 센서 융합 설계의 핵심은 탑재된 센서, 가용 컴퓨팅 자원, 그리고 애플리케이션이 요구하는 정확도와 지연 시간을 고려하여 가장 합리적인 조합을 선택하는 것입니다.

14. 요약

센서 융합은 카메라, LiDAR, IMU, 레이더, GNSS 등 각 센서의 관측값을 수학적으로 결합하여, 각 센서가 강점과 약점을 가진 여러 위치에서 얻은 데이터를 확률적 방법(칼만 필터/확장 칼만 필터/유한 칼만 필터/파티클 필터) 또는 최적화 기반 방법(팩터 그래프/번들 조정)을 사용하여 단일 센서로는 얻을 수 없는 더 정확하고 신뢰할 수 있는 상태 추정치를 생성합니다. VIO(카메라×IMU), LIO(LiDAR×IMU), BEV 융합(카메라×LiDAR)과 같은 구체적인 센서 쌍은 모두 상호 보완성을 방정식으로 표현하는 동일한 개념에 기반합니다. 융합 위치와 방법에 대한 설계 선택은 최종적인 정확도, 계산 비용 및 구현 복잡성을 결정합니다.

측정값 융합 전 확인 사항

동일한 관측값에서 얻은 위치와 속도를 독립적인 측정값으로 취급하면 추정치가 과대평가될 수 있습니다. 센서를 추가하기 전에 타임스탬프, 좌표계, 외부 변수 및 오차 상관관계를 확인하십시오. 정전 상황을 포함한 동일한 조건에서 단일 센서 기준선과 융합 성능을 비교 평가합니다.

• OpenVINS: IMU 모델, 상태 및 불확실성 전파