스테레오 카메라 작동 방식 및 주요 제품 — ZED 2i, Subaru EyeSight

스테레오 카메라는 일정한 간격(기준선)으로 배치된 두 개의 렌즈를 사용하여 동일한 장면을 촬영한 후, 좌우 이미지 간의 차이(시차)를 삼각측량 방식으로 계산합니다. 단안 카메라는 단일 이미지만으로는 절대 거리를 정확하게 측정할 수 없지만, 스테레오 카메라는 두 시점 간의 기하학적 관계를 이용하여 직접 거리를 계산할 수 있으므로, 도로 표면이 평평하다는 등의 추가적인 가정을 하지 않고도 정확한 거리 측정이 가능합니다. 자율 주행 차량의 전방 모니터링, 로봇 내비게이션, 산업용 3D 측정 등 다양한 분야에서 널리 사용됩니다.

EyeSight가 장착된 차량(Subaru WRX S4)

스테레오 카메라 유닛: Intel RealSense D435

이미지: Subaru WRX S4 2.0GT-S EyeSight (DBA-VAG) 전면 (Tokumeigakarinoaoshima, CC BY-SA) 4.0) / Intel Realsense 심도 카메라 D435 (Marc Auledas, CC BY-SA 4.0), Wikimedia Commons. D435는 EyeSight 구성 요소가 아니라 두 개의 시점을 가진 카메라 유닛의 물리적 예입니다.

원리: 베이스라인 길이로 인한 상충 관계

시차(좌우 이미지 간 동일 지점의 픽셀 이동), 초점 거리, 베이스라인(두 렌즈 사이의 거리) 사이의 관계는 다음과 같습니다.

여기서 Z은 물체까지의 거리입니다. 이 식에서 알 수 있듯이, 거리 Z는 시차 d에 반비례합니다. 즉, 가까운 물체는 시차가 크고, 멀리 있는 물체는 시차가 작습니다. 0에 가까워질수록 시차가 줄어듭니다. 베이스라인이 길어질수록 감도(주어진 거리 변화에 대한 시차 변화량)가 증가하여 장거리 측정 정확도가 향상됩니다. 반대로 베이스라인이 길어지면 물체가 너무 가까워지면 두 렌즈의 시야가 겹치지 않게 되어 최소 측정 거리(근거리 한계)가 늘어납니다. 즉, 스테레오 카메라 설계에는 베이스라인 길이를 중심으로 "장거리 우선"과 "단거리 우선" 사이의 본질적인 절충점이 존재합니다. 능동형 심도 카메라와 달리(적외선 프로젝터가 사용되지 않음) 가시광선 기반의 수동 방식이기 때문에 강한 햇빛 아래 야외에서 LiDAR나 능동형 심도 카메라보다 더 안정적으로 작동하는 경향이 있습니다.

에피폴라 기하학, 스테레오 비전의 기초

이미지: Epipolar geometry (Arne Nordmann, CC BY-SA 3.0 / GFDL), Wikimedia Commons.

좌우 이미지에서 시차를 계산하는 알고리즘(스테레오 매칭)은 여러 가지가 있지만, 2005년 독일 항공우주센터(DLR)의 하이코 히르슈뮐러가 발표한 세미 글로벌 매칭(SGM)은 오랫동안 널리 사용되어 온 고전적인 방법입니다. 이 방법은 근본적으로 2차원 최적화 문제인 문제를 약 8개의 방향으로 1차원 스캔라인 최적화를 통해 근사화하여, 전역 최적화 방법과 유사한 정확도를 달성하면서도 계산 비용은 지역 최적화 방법과 유사한 수준입니다. OpenCV를 비롯한 많은 컴퓨터 비전 라이브러리에 구현되어 있으며, FPGA 및 GPU를 이용한 하드웨어 구현도 널리 사용되고 있습니다. 딥러닝 기반 스테레오 매칭(CNN을 사용하는 방법)은 비용 함수로 활용됩니다. 예를 들어 집계(aggregation)와 같은 알고리즘은 정확도 면에서 SGM을 점점 능가하고 있지만, 연산 능력이 제한적인 임베디드 애플리케이션에서는 SGM 계열 알고리즘이 여전히 활발하게 사용되고 있습니다.

주요 제품 사양 비교

ZED 2i(2023년 출시)는 실외 로봇 공학을 위해 설계된 스테레오 카메라로, 근거리(2.1mm 모델, 최소 0.3m) 및 원거리(4mm 모델, 최대 35m) 촬영에 모두 적합하도록 초점 거리가 다른 두 가지 렌즈 모델로 제공됩니다. 두 모델 모두 12cm의 베이스라인을 공유하며, 이는 ZED 2i의 거리 측정 특성의 기반이 됩니다. Luxonis의 OAK-D는 스테레오 심도 카메라와 AI 추론 칩(Intel Movidius Myriad X VPU)을 하나의 장치에 통합한 임베디드 장치로, 대량 생산에 성공적으로 진입한 제품입니다. 2020년 킥스타터 캠페인의 폭발적인 성공에 힘입어 출시된 OAK-D LR은 장거리 버전이며, 기준선을 15cm까지 확장했습니다. 이는 앞서 설명한 "기준선이 길어질수록 장거리 정확도가 향상된다"는 원칙을 제품 설계에 직접 적용한 것입니다. 인텔의 RealSense D435/D435i와 e-con Systems의 TaraXL은 패시브 스테레오 방식을 기반으로 하지만 적외선 프로젝션이나 IMU를 추가할 수 있는 하이브리드 설계로, 근거리 로봇 및 드론 애플리케이션에 적합합니다.

사례 연구: 스바루 EyeSight의 진화 - 두 눈에서 세 눈으로

가장 오랫동안 실제 현장에서 사용된 스테레오 카메라는 스바루의 "EyeSight"입니다. 2008년에 출시된 1세대 EyeSight는 두 대의 스테레오 카메라가 전방 도로를 3D로 촬영하고, 단안 카메라로는 어려웠던 장애물과의 정확한 거리 측정을 기반으로 충돌 방지 제동과 같은 안전 기능을 구현했습니다. 여러 차례의 개선을 거쳐 전 세계적으로 EyeSight가 50억 대 이상 설치되었습니다. 2022년 8월 기준 백만 대 판매.

최신 EyeSight는 기존의 스테레오 카메라 두 대에 광각 단안 카메라를 추가하여 "세 눈" 구성으로 진화했습니다. 스테레오 카메라 두 대만으로는 시야각이 제한적이기 때문에, 추가된 광각 단안 카메라는 교차로에서의 교차 차량 감지 등 주변 상황 인식을 강화합니다. "EyeSight X"는 여기서 한 단계 더 나아가 스테레오 카메라의 주변 환경 인식 기능을 GPS 및 고정밀 3D 지도 데이터와 결합하여 고속도로에서 조건부 핸즈프리 주행(레벨 2)을 가능하게 합니다. 이는 스테레오 카메라 자체의 거리 측정 능력과 외부 정보(GNSS 및 지도 데이터)를 융합하여 카메라만으로는 제공할 수 없었던 첨단 운전자 보조 기능을 구현한 실제 사례입니다.

EyeSight 개발자, 스테레오 비전 회사 설립

1세대 EyeSight("스테레오 거리 이미저") 개발을 이끈 엔지니어는 스바루의 수석 엔지니어인 사네요시 케이지였습니다. 그의 팀은 업계 최초로 스테레오 비전 회사를 설립했습니다. 사네요시는 스테레오 카메라만을 사용하여 차량, 보행자, 자전거, 오토바이 운전자를 감지하는 운전자 보조 시스템을 개발하여 시장에 출시했습니다. 1998년 스바루를 떠난 후, 사네요시는 2017년 초까지 도쿄 공업대학에서 교수로 연구를 이어갔고, 2016년 5월에는 스테레오 비전 기술 발전을 위해 ITD Lab을 설립했습니다. 자동차 회사에서 탄생한 기술을 발명한 사람이 직접 독립적인 전문 기업을 설립하여 발전시킨 것은 업계에서 보기 드문 사례입니다.

인텔 리얼센스 역시 극적인 전환점을 맞았습니다. 2021년, L515, T26x 시리즈, F45x 시리즈 등 여러 제품 라인의 단종이 발표되어 업계를 불안하게 했지만, D400 시리즈 스테레오 심도 카메라는 계속 생산되었고, 2025년에는 리얼센스 사업부가 인텔에서 완전히 분사되어 5천만 달러 규모의 시리즈 2000 투자를 유치하며 독립 회사로 재출범했습니다. 반도체 분야에 집중하는 사모펀드로부터 투자를 유치했습니다. 이는 대형 반도체 회사의 한 사업부로 시작한 스테레오 심도 카메라 제품군이 시장 수요에 대응하여 독립 사업으로 생존하기로 결정한 사례입니다.

성능을 결정하는 매개변수

• 베이스라인 길이: 장거리 정확도와 근거리 측정 한계(데드존) 사이의 균형을 설정하는 가장 중요한 매개변수입니다. 관계식 Z = fB/d에서 볼 수 있듯이, 베이스라인이 길수록(B) 주어진 시차 변화에 대한 거리 감도가 향상됩니다. OAK-D LR은 표준 OAK-D의 베이스라인을 두 배(15cm)로 늘려 30m의 측정 범위를 달성했는데, 이는 바로 이 원리를 제품 설계에 직접 적용한 것입니다.
• 심도 범위: ZED 2i의 두 가지 초점 거리 모델과 마찬가지로, 최적의 범위는 사용 사례(실내 로봇 vs. 실외 차량)에 따라 크게 달라집니다.
• 심도 정확도: ZED 2i 사양에서 알 수 있듯이, 오차율은 거리가 멀어질수록 증가합니다. (3m 이내에서는 1% 미만, 15m 이내에서는 5% 미만으로 오차가 증가합니다.) 충돌 방지와 같이 높은 정밀도의 근거리 측정이 필요한 애플리케이션은 원거리 주변 환경에 대한 대략적인 정보만으로 충분한 애플리케이션과는 다른 정확도를 요구합니다.
• 시야각 제한: 스테레오 카메라는 두 렌즈의 시야각이 겹치는 부분에서만 깊이를 측정할 수 있으므로, 단독으로는 시야각이 제한적입니다. 최신 EyeSight에 광각 단안 카메라가 추가된 것은 바로 이러한 한계를 보완하기 위한 것이며, 여러 센서를 결합하는 것은 실질적인 필요성에 가깝습니다.
• 가시광선 기반의 한계: 수동 스테레오 방식은 질감(패턴)이 충분하지 않은 물체에서는 시차를 감지할 수 없어 거리 측정 정확도가 떨어집니다. 평평한 벽이나 단색 바닥에서는 적외선 패턴 투영을 사용하는 능동형 깊이 카메라가 유리할 수 있습니다.
• 스테레오 매칭의 연산 비용: 좌우 이미지 간의 대응점을 찾는 것은 연산 비용이 많이 들며, 임베디드 장치의 경우 하드웨어 가속이 필수적입니다. 이것이 바로 OAK-D에 전용 VPU가 탑재된 이유입니다. RealSense D400 시리즈는 전용 ASIC(Vision Processor D4)을 탑재하고 있습니다. CPU만으로는 실시간 처리가 어렵습니다.
• IMU 내장 여부: e-con Systems TaraXL 및 Intel RealSense D435i와 같이 6축 IMU가 내장된 제품은 깊이 정보를 처리하는 동안 카메라 자체의 움직임을 보정할 수 있습니다. 모바일 로봇 및 드론 장착 용도의 경우, 이러한 통합은 실질적인 결정 요인이 되는 경우가 많습니다.

1픽셀 오차가 거리 오차로 증폭되는 방식

스테레오 깊이는 Z=fB/d을 따릅니다. 시차 불확실성 \sigma_d을 거리 불확실성으로 변환하면 다음과 같습니다.

f=700\,\mathrm{px}, B=0.12\,\mathrm{m}, Z=2\,\mathrm{m}의 경우 시차는 d=42\,\mathrm{px}입니다. 0.5\,\mathrm{px}의 시차 오차는 약 2.4\,\mathrm{cm}의 거리 오차가 됩니다. 동일한 0.5\,\mathrm{px} 오차는 Z=10\,\mathrm{m}에서 약 0.60\,\mathrm{m}까지 증가하는데, 이것이 바로 장거리에서 서브픽셀 추정과 더 긴 베이스라인이 중요한 이유입니다.

그렇다고 해서 더 긴 베이스라인이 항상 정답은 아닙니다. 근거리에서는 두 이미지 필드가 겹치지 않을 수 있으며, 진동이나 온도에 따른 외부 변화가 중요할 수 있습니다. 실제로는 각 거리 대역별로 재투영 오차, 시차 신뢰도, 가려진 영역을 별도로 보고해야 합니다.

Diagram 1 · Use the button to switch views

Diagram 2 · Use the button to switch views

\sigma_Z\propto Z^2: error grows at rangetarget range Zrange error \sigma_Znearfar

참고 자료

• Stereolabs ZED 2i 제품 페이지
• ZED 2i 상세 사양 (Stereolabs 지원)
• Subaru EyeSight의 발전과 역사
• EyeSight 가이드 (SUBARU 공식)
• EyeSight (위키백과)
• Subaru EyeSight의 아버지, 스테레오 비전으로 돌아오다 (EE Times)
• Luxonis OAK-D 킥스타터 캠페인
• OpenCV AI 키트(PyImageSearch) 소개
• Luxonis OAK-D LR 제품 페이지
• Intel RealSense D435/D435i 제품 페이지
• Intel, RealSense 사업부 분사(Tom's Hardware)
• e-con Systems TaraXL 제품 페이지
• 반전역 매칭 및 상호 정보를 이용한 스테레오 처리(Hirschmüller, 2008, IEEE PAMI) )
• 준전역 매칭(위키백과)