デプスカメラは、対象物までの距離(深度)を画素ごとに取得できるカメラである。ステレオカメラが可視光だけで視差を検出するパッシブ方式であるのに対し、デプスカメラの多くは何らかの形で自ら光を対象物に投げかけ、その反射から深度を割り出すアクティブ方式を採る。実装方式は大きく3つに分かれ、赤外線プロジェクターでランダムな点状パターンを投影してステレオマッチングする「アクティブステレオ」、既知のパターンの歪み方から幾何学的に奥行きを求める「構造化光(Structured Light)」、光の往復時間(または位相差)から直接距離を計算する「Time of Flight(ToF)」がある。いずれも人工的な手掛かりを使えるため、白い壁や単色の床面など、パッシブステレオでは視差を検出しにくい対象でも深度を取得しやすいのが共通の強みである。屋内ロボットのSLAM、VR/ARのハンドトラッキング、スマートフォンの顔認証、産業用の3次元計測などで使われている。

2010年のE3で展示されたXbox 360とKinectセンサーKinect(2010年、E3展示時)
三脚に取り付けられたIntel RealSense D435Intel RealSense D435

画像: Kinect and Xbox 360 at E3 2010(James Pfaff, CC BY 2.0)/ Intel Realsense depth camera D435(Marc Auledas, CC BY-SA 4.0)、いずれもWikimedia Commons。RealSenseの写真は本文で扱うIMU内蔵版D435iではなく無印D435。

原理: 3つのアクティブ方式

アクティブステレオは、赤外線プロジェクターがランダムな点状パターンを対象物に投影し、左右2台の赤外線カメラでそのパターンのズレをステレオマッチングして深度を算出する。原理はパッシブステレオと同じ三角測量(Z = fB/d、ステレオカメラの記事を参照)だが、模様(テクスチャ)を人工的に付与できる点が異なる。Intel RealSense D400シリーズがこの方式を採る。

構造化光は、左右2台のカメラの代わりに「既知のパターンを投影するプロジェクター」と「1台のカメラ」の組で三角測量する。プロジェクターとカメラの間にもベースラインがあり、投影したパターン(ドット・縞模様など)が対象物の凹凸でどう歪むかを、あらかじめ分かっている基準パターンと比較することで奥行きを逆算する。初代Kinect(2010年)やアップルのTrueDepth(iPhone Face ID)がこの方式を採用しており、TrueDepthは3万個以上の赤外線ドットを顔面に投影して立体形状を読み取る。

ToF(Time of Flight)は、LiDARと同じ光の往復時間の原理を画素単位で並列に適用する方式である。パルス光の往復時間を直接計測する方式(dToF)のほか、家庭用・産業用デプスカメラで主流なのは、変調した連続光を投射し反射光との位相差 \Delta\phi から距離を求める方式(iToF)である。変調周波数を f_{mod}、光速を c とすると、距離 Z は

Z = \frac{c \cdot \Delta\phi}{4\pi f_{mod}}

で与えられる。三角測量を必要としないためプロジェクター・カメラ間のベースライン確保が不要で、装置を小型化しやすく可動部もない。Kinect v2以降のMicrosoft製品やOrbbec Femto Boltがこの方式を採る。3方式とも赤外線を使うため、太陽光に強い赤外線成分が含まれる屋外の明るい環境では精度が落ちやすいという弱点を共有する。

主要製品のスペック比較

製品 方式 深度レンジ 内蔵IMU 用途
Intel RealSense D435i アクティブステレオ(赤外線パターン投影) 約0.3〜3m(条件により最大約10m相当まで) Bosch BMI055(6軸: 加速度計+ジャイロ) SLAM、VR/AR、ドローンの動き補正
Microsoft Kinect(初代、2010年) 構造化光(PrimeSense製) 約1.2〜3.5m なし ゲーム機Xbox 360のモーションセンシング。深度320×240、30fps
Microsoft Kinect v2 / Azure Kinect ToF (公式スペックは用途により異なる) Azure KinectはIMU内蔵 Azure KinectはMR・ロボティクス・産業用途向けに2020年発売、2023年に生産終了
Orbbec Femto Bolt ToF(Microsoftからライセンスした技術を使用) 深度解像度1024×1024まで、水平120°視野 6軸IMU Azure Kinect後継として2023年発表。深度15fps(1024×1024)/30fps(640×576)、4K RGBカメラ併載
Apple iPhone TrueDepth 構造化光(3万個超のIRドット投影) 顔認証に最適化された至近距離 (iPhone本体のIMUと連携) Face ID、Animoji、ポートレートモードの被写体分離

RealSense D435iは、無印のD435に6軸IMU(Bosch BMI055)を追加したモデルである。IMUデータは深度データと時刻同期(タイムスタンプ整合)されて出力されるため、カメラ自体の動きによって生じるブレを補正しながら深度・点群を扱えるのが特徴である。初代Kinectはイスラエルのスタートアップ企業PrimeSenseが開発した構造化光技術をベースにしており、後継のKinect v2ではToF方式へと乗り換えている。Azure Kinectは2023年に生産終了となったが、Microsoftはそのフライトタイム技術をOrbbecにライセンス供与し、後継機Femto BoltはAzure Kinectと同じ深度カメラモジュールを使用することで既存アプリケーションの移行を容易にしている。iPhoneのTrueDepthは、PrimeSenseの構造化光技術の系譜を汲む別の商業的展開であり、同じ技術ルーツから「ゲーム機のモーションセンシング」と「スマートフォンの顔認証」という全く異なる用途が枝分かれした実例になっている。

PrimeSenseという1つの技術が、Xbox・iPhone・産業用ロボットに枝分かれした経緯

Kinectを生んだイスラエルのPrimeSense — 初代Kinect(2010年発売)の中核技術は、Microsoft社内の開発ではなく、イスラエルのスタートアップ企業PrimeSenseが開発した構造化光深度センシング技術だった。Kinectは瞬く間にゲーム機の枠を超え、学術・商業ロボティクスの現場で広く使われるようになった――720p以下の画素数、高価なLiDARに比べ桁違いに安いコストで深度・RGB画像を同時取得できるという組み合わせは、当時のロボティクス研究にとって破格の存在だった。マイクロソフト研究所のRichard Newcombe・Shahram Izadiらが2011年に発表した論文「KinectFusion: Real-time dense surface mapping and tracking」(IEEE ISMAR 2011)は、低コストの深度カメラ1台とコモディティGPUだけでリアルタイムに密な3次元表面地図を構築する手法を示し、RGB-D SLAM研究の起点の一つになった。

アップルによるPrimeSense買収とFace IDへの転生 — 2013年11月、アップルはPrimeSenseを3億6000万ドルで買収した。これにより初代Kinectの構造化光技術そのものが市場から消えたわけではなく、その技術系譜は2017年発表のiPhone X「TrueDepth」カメラシステム(赤外線フラッド照明・ドットプロジェクター・赤外線カメラの3点構成)としてFace IDに結実した。ゲーム機のモーションセンシング用に開発された技術が、7年後には10億台規模で出荷されるスマートフォンの生体認証の中核技術になったという、技術の転用としては異例のスケールを持つ事例である。

MicrosoftがKinectを「また」終息させた話 — MicrosoftはXbox 360版Kinect、Xbox One版Kinect、Windows版Kinect for Windows v2、そして産業・研究用途向けのAzure Kinect DKと、10年以上にわたって複数世代のKinect系製品を送り出しては終息させることを繰り返してきた。2023年8月に発表されたAzure Kinect DKの生産終了は、この系譜における最新(そして現時点で最後)の「Kinectの終わり」だった。しかし今回は完全な撤退ではなく、MicrosoftはToF技術のライセンスをOrbbecに供与するという道を選び、Orbbecの「Femto Bolt」がAzure Kinectと同じ深度カメラモジュールを引き継ぐ形で登場した。一つの技術が企業をまたいで生き延びるという、PrimeSense買収と似た構図が10年越しに繰り返された形になる。

性能を左右するパラメータ

参考リンク

#カメラ #デプスカメラ #RealSense #Kinect #センサー #ロボティクス