심도 카메라의 작동 원리 및 주요 제품 — RealSense, Kinect, Orbbec

심도 카메라는 물체까지의 거리(깊이)를 픽셀 단위로 측정합니다. 스테레오 카메라는 가시광선만을 이용하여 시차를 감지하는 수동형 카메라인 반면, 대부분의 심도 카메라는 물체에 빛을 투사하고 반사된 빛을 통해 깊이를 계산합니다. 구현 방식은 크게 세 가지로 나뉩니다. 적외선 방출기를 사용하여 임의의 점 패턴을 투사하고 이를 기반으로 스테레오 매칭을 수행하는 "능동형 스테레오", 알려진 패턴의 왜곡을 통해 기하학적으로 깊이를 계산하는 "구조광 방식", 그리고 빛의 왕복 시간(또는 위상차)을 직접 측정하는 "시간차 측정(ToF)" 방식입니다. 이 세 가지 방식 모두 인공적인 신호를 활용할 수 있다는 공통적인 장점을 가지고 있습니다. 따라서 수동형 스테레오 카메라가 시차 감지에 어려움을 겪는 흰 벽이나 단색 바닥과 같은 대상에서도 깊이를 측정할 수 있습니다. 심도 카메라는 실내 로봇 SLAM, VR/AR 손 추적, 스마트폰 얼굴 인증, 산업용 3D 측정 등에 사용됩니다.

Kinect (2010, E3 전시)

Intel RealSense D435

이미지: Kinect 및 Xbox 360, E3 2010 (James Pfaff, CC BY 2.0) / Intel Realsense 심도 카메라 D435 (Marc Auledas, (CC BY-SA 4.0) 모두 Wikimedia Commons에서 가져왔습니다. RealSense 사진은 본문에서 설명하는 IMU가 장착된 D435i가 아닌 기본 D435를 보여줍니다.

원리: 세 가지 능동형 접근 방식

능동형 스테레오는 적외선 프로젝터가 물체에 임의의 점 패턴을 투사한 다음, 두 대의 적외선 카메라를 사용하여 해당 패턴의 변화를 기반으로 스테레오 매칭을 수행하여 깊이를 계산합니다. 기본 원리는 수동형 스테레오( Z = fB/d , 스테레오 카메라 문서 참조)와 동일한 삼각 측량 방식이지만, 질감이 인위적으로 추가됩니다. Intel의 RealSense D400 시리즈는 이 방식을 사용합니다.

구조광은 두 대의 카메라 대신 "알려진 패턴을 방출하는 프로젝터"와 "단일 카메라"로 구성된 쌍을 사용하여 삼각 측량을 수행합니다. 프로젝터와 카메라 사이에도 기준선이 있으며, 투사된 패턴(점, 줄무늬 등)이 물체 표면에 대해 어떻게 왜곡되는지를 알려진 기준 패턴과 비교하여 깊이를 역산합니다. 오리지널 키넥트(2010)와 애플의 트루뎁스(아이폰 페이스 ID)는 모두 이 방식을 사용합니다. 트루뎁스는 30,000개 이상의 적외선 점을 얼굴에 투사하여 3D 형태를 읽어냅니다.

ToF(Time of Flight)는 LiDAR에서 사용하는 것과 동일한 왕복 광 시간 원리를 픽셀 단위로 병렬 적용합니다. 펄스의 왕복 시간(dToF)을 직접 측정하는 방식 외에도, 소비자 및 산업용 깊이 카메라에서 주로 사용되는 방식은 iToF입니다. iToF는 변조된 연속광을 투사하고 방출된 신호와 반사된 신호 사이의 위상차로부터 거리를 계산합니다. 변조 주파수 f_{mod}과 빛의 속도 c을 사용하면 거리 Z은 다음과 같이 계산됩니다.

삼각측량이 필요 없으므로 프로젝터와 카메라 사이에 기준선이 필요하지 않아 소형화가 용이하고 움직이는 부품을 제거할 수 있습니다. 마이크로소프트의 Kinect v2 이후 제품과 Orbbec의 Femto Bolt는 이 방식을 사용합니다. 세 가지 방식 모두 적외선을 사용하기 때문에 공통적인 약점이 있습니다. 적외선이 풍부한 강한 햇빛 아래 야외에서는 정확도가 떨어지는 경향이 있습니다.

Diagram 1 · Use the button to switch views

다이어그램: Duskcoil. 파란색 선은 투사된 빛을 나타내고, 주황색 점선은 목표물에서 반사된 빛을 나타냅니다. 액티브 스테레오와 구조광 방식은 기준선을 기반으로 삼각측량을 하는 반면, ToF(시간-초점 센서)는 시간 또는 위상 편이를 사용합니다.

주요 제품 사양 비교

D435i는 기본 D435에 6축 IMU(Bosch BMI055)가 추가된 모델입니다. IMU 데이터는 깊이 데이터와 시간 동기화(타임스탬프 정렬)되어 출력되는데, 이는 깊이 및 포인트 클라우드를 처리하는 동안 카메라 자체의 움직임을 보정할 수 있게 해줍니다. 최초의 Kinect는 이스라엘 스타트업 PrimeSense가 개발한 구조광 기술을 기반으로 제작되었으며, 후속 모델인 Kinect v2는 ToF(Time-of-Flight) 기술로 전환했습니다. Azure Kinect는 2023년에 생산이 중단되었지만, Microsoft는 ToF 기술을 Orbbec에 라이선스했고, 후속 모델인 Femto Bolt는 Azure Kinect와 동일한 깊이 카메라 모듈을 사용하여 기존 애플리케이션의 마이그레이션을 용이하게 합니다. iPhone의 TrueDepth는 동일한 PrimeSense 구조광 기술 계보에서 파생된 별도의 상용 기술로, 하나의 기술적 뿌리가 "게임 콘솔 모션 감지"와 "스마트폰 얼굴 인증"이라는 완전히 다른 두 가지 응용 분야로 분화된 대표적인 사례입니다.

프라임센스(PrimeSense)의 기술이 어떻게 Xbox, iPhone, 그리고 산업용 로봇으로 확장되었는가

키넥트를 개발한 이스라엘 기업 프라임센스 — 2010년에 출시된 오리지널 키넥트의 핵심 기술은 마이크로소프트에서 자체 개발한 것이 아니라, 이스라엘 스타트업 프라임센스가 개발한 구조광 기반 심도 센싱 기술이었습니다. 키넥트는 게임 콘솔이라는 초기 목표를 빠르게 넘어 학계와 상업용 로봇 분야에서 널리 사용되기 시작했습니다. 720p 미만의 해상도와 심도 및 RGB 동시 캡처 기능을 고가의 LiDAR보다 훨씬 저렴한 가격으로 제공하는 것은 당시 로봇 연구에 있어 획기적인 혁신이었습니다. 2011년 마이크로소프트 리서치의 리처드 뉴컴, 샤흐람 이자디 외 연구진이 발표한 논문 "KinectFusion: 실시간 고밀도 표면 매핑 및 추적"(IEEE ISMAR 2011)은 저가형 심도 카메라 하나와 범용 GPU만을 사용하여 실시간 고밀도 3D 표면 매핑을 구현했으며, 이는 RGB-D SLAM 연구의 기초를 다진 중요한 연구 중 하나가 되었습니다.

애플의 프라임센스 인수와 페이스 ID로의 재탄생 — 2013년 11월, 애플은 프라임센스를 3억 6천만 달러에 인수했습니다. 그렇다고 해서 오리지널 키넥트의 구조광 기술이 시장에서 완전히 사라진 것은 아닙니다. 오히려 그 기술적 계보는 2017년 아이폰 X에 발표된 "TrueDepth" 카메라 시스템(적외선 투광 조명, 도트 프로젝터, 적외선 카메라)의 핵심 기술인 Face ID로 발전했습니다. 이는 기술 재활용의 매우 이례적인 사례입니다. 게임 콘솔용 모션 센싱 기술이 7년 후, 10억 대가 넘는 스마트폰에 탑재되는 핵심 생체 인증 기술이 된 것입니다.

마이크로소프트, 키넥트 "또다시" 단종 — 마이크로소프트는 10년이 넘는 기간 동안 Xbox 360용 키넥트, Xbox One용 키넥트, Windows v2용 키넥트, 그리고 산업/연구용 Azure Kinect DK 등 여러 세대의 키넥트 제품군을 출시했다가 단종하는 과정을 반복해 왔습니다. 2023년 8월에 발표된 Azure Kinect DK의 단종은 이러한 키넥트 제품군의 가장 최근(그리고 현재까지는 마지막) 단종 사례입니다. 하지만 이번에는 완전한 후퇴는 아니었습니다. 마이크로소프트는 ToF 기술을 오르벡(Orbbec)에 라이선스하기로 결정했고, 오르벡의 "펨토 볼트(Femto Bolt)"는 애저 키넥트(Azure Kinect)와 동일한 심도 카메라 모듈을 탑재하고 출시되었습니다. 이는 10년 전 프라임센스(PrimeSense) 인수 당시와 유사한 패턴입니다. 기업 인수 과정에서 하나의 기술은 살아남은 것입니다.

성능을 결정하는 요소

• 심도 범위: D435i의 범위는 약 0.3~3m(특정 조건에서는 최대 약 10m 상당)로, 근거리에서 중거리용 설계입니다. 실내 로봇의 경우 테이블 위나 선반 주변의 장애물을 감지하거나 손 추적과 같은 근거리 용도에 적합합니다. 실외 장거리 모니터링에는 스테레오 카메라나 LiDAR가 더 적합합니다.
• 방법 선택(액티브 스테레오/구조광/ToF): 액티브 스테레오는 스테레오 매칭에 필요한 연산 비용이 발생하지만 비교적 저렴한 부품으로 제작할 수 있습니다. 구조광 방식은 근거리에서 높은 정확도를 제공하여 얼굴 인식(Face ID)과 같은 초정밀 근접 촬영 애플리케이션에 적합하지만, 프로젝터와 카메라 사이에 기준선이 필요하기 때문에 소형화에 제약이 따르는 경향이 있습니다. ToF 방식은 움직이는 부품이나 기준선이 필요 없어 소형화가 용이하지만, 근거리 정확도 면에서는 구조광 방식만큼 뛰어나지 않은 경우가 많습니다. 펨토 볼트(Femto Bolt)는 1024x1024 해상도의 심도 데이터를 컴팩트한 본체에 담아 ToF 방식의 이러한 소형화 장점을 활용한 설계입니다.
• 내장 IMU 및 시간 동기화: 카메라 자체가 움직이는 애플리케이션(휴대용, 드론 장착형, 모바일 로봇)의 경우, 심도 데이터와 IMU 데이터의 시간 동기화 정확도가 모션 블러 보정의 정확도를 결정합니다. D435i, Azure Kinect 및 Femto Bolt에 내장된 IMU는 이러한 사용 사례를 염두에 두고 특별히 설계되었습니다.
• 주변광 내성: 세 가지 적외선 기반 방식 모두 실내에서는 안정적이지만, 강한 햇빛이 비추는 실외에서는 투사된 패턴이나 반사된 신호가 흐려져 정확도가 떨어지는 경향이 있습니다. 실외에서 실행될 것으로 예상되는 애플리케이션은 일반적으로 수동 스테레오(ZED 등) 또는 여러 방식을 혼합하여 사용해야 합니다.
• 객체 질감: 흰색 벽이나 단색 바닥과 같이 질감이 부족한 대상을 처리하는 실내 로봇 공학 및 VR/AR 환경에서는 적외선 패턴을 인위적으로 투사할 수 있는 능동 방식이 유리합니다. 하지만 질감이 풍부한 실외 환경에서는 이러한 이점이 줄어듭니다.
• 최소 거리 측정: 손 추적, 얼굴 인증과 같이 매우 가까운 거리에서 깊이 정보가 필요한 애플리케이션의 경우, 깊이 측정 범위의 하한값이 사용성을 직접적으로 결정합니다. TrueDepth는 불과 수십 센티미터 떨어진 대상(얼굴)을 위해 특별히 설계되었기 때문에 이러한 점을 보여주는 대표적인 예입니다.

방법별 거리 오차 추정

액티브 스테레오의 경우 기본 관계는 Z=fB/d이므로, 시차 불확실성 \sigma_d는 다음과 같이 증폭됩니다.

f=600\,\mathrm{px}, B=0.05\,\mathrm{m}, Z=3\,\mathrm{m}, \sigma_d=0.25\,\mathrm{px}을 고려하면 거리 오차는 약 7.5\,\mathrm{cm}입니다. 투영된 패턴은 질감이 부족한 벽면에서의 매칭을 돕지만, 강한 햇빛 아래나 적외선을 흡수하는 재질에서는 점이 사라질 수 있습니다.

ToF의 경우 위상 또는 타이밍 판독, 반사율, 다중 경로 및 적분 시간이 주요 요인입니다. 따라서 1024×1024 픽셀의 깊이 해상도는 거리 표준 편차와 동일한 사양이 아닙니다. 장치를 선택할 때는 목표 거리와 재질을 일정하게 유지하고, 결측값률, 이상치율, 프레임 지연 시간, 그리고 깊이, RGB, IMU 간의 타임스탬프 오프셋을 측정하십시오.

위상 판독, 다중 경로 및 낮은 반사율에 대한 별도의 ToF 오류 경로와 함께 거리에 따른 능동 스테레오 거리 오차 계산

그림 2 — 왼쪽 값은 본 논문의 f,B,\sigma_d 에서 계산된 값입니다. 오른쪽은 ToF 랜덤 오류, 편향 및 잘못된 반환에 대해 별도의 측정이 필요한 이유를 설명합니다. 이는 장치 성능 곡선이 아닙니다.

참고 자료

• Intel RealSense D435i 제품 페이지
• Kinect (위키백과)
• Azure Kinect (위키백과)
• Microsoft, Azure Kinect DK 생산 종료 발표 (Microsoft Tech Community)
• Orbbec Femto Bolt 제품 페이지
• Orbbec x Microsoft 협업 개요
• Microsoft, Kinect 생산 중단 지속 (TechCrunch)
• Apple의 PrimeSense 인수 관련 기사
• iPhone TrueDepth/Face ID 작동 방식 (구조)
• KinectFusion 논문 (IEEE ISMAR 2011)
• Kinect 거리 감지: 구조광 방식 대 시간차 방식 Kinect (arXiv:1505.05459)