Derinlik Kameraları Nasıl Çalışır ve Başlıca Ürünleri — RealSense, Kinect, Orbbec

Derinlik kamerası, bir nesneye olan mesafeyi (derinliği) piksel bazında yakalar. Stereo kamera, yalnızca görünür ışığı kullanarak eşitsizliği algılayan pasif bir tasarıma sahipken, çoğu derinlik kamerası nesneye aktif olarak bir tür ışık yansıtır ve geri dönenlerden derinliği çıkarır. Uygulamalar genel olarak üç kategoriye ayrılır: kızılötesi bir yayıcı ile rastgele bir nokta deseni yansıtan ve üzerinde stereo eşleştirme yapan "aktif stereo"; bilinen bir desenin nasıl bozulduğundan geometrik olarak derinliği hesaplayan "yapılandırılmış ışık"; ve mesafeyi doğrudan ışığın gidiş-dönüş süresinden (veya faz kaymasından) hesaplayan "Uçuş Süresi" (ToF). Üçünün de aynı temel gücü vardır - yapay bir ipucu kullanabildikleri için, pasif stereonun eşitsizliği algılamakta zorlandığı düz beyaz bir duvar veya düz renkli bir zemin gibi hedeflerde bile derinliği yakalayabilirler. İç mekan robot SLAM, VR/AR el takibi, akıllı telefon yüz kimlik doğrulaması ve endüstriyel 3D ölçüm için kullanılırlar.

Kinect (2010, E3'te sergileniyor)

Intel RealSense D435

Görseller: Kinect ve Xbox 360 E3 2010'da (James Pfaff, CC BY 2.0) / Intel Realsense derinlik kamerası D435 (Marc Auledas, CC BY-SA 4.0), her ikisi de Wikimedia Commons'tan. RealSense fotoğrafı, metinde tartışılan IMU donanımlı D435i değil, temel D435'i göstermektedir.

Prensip: Üç aktif yaklaşım

Aktif stereo, bir kızılötesi projektörün bir nesne üzerine rastgele bir nokta deseni yansıtmasını ve ardından derinliği hesaplamak için bu desendeki kaymaya göre iki kızılötesi kamera arasında stereo eşleştirme yapmasını içerir. Temel prensip, pasif stereo ile aynı üçgenlemedir (Z = fB/d, stereo kamera makalesine bakın), ancak doku yapay olarak eklenir. Intel'in RealSense D400 serisi bu yaklaşımı kullanır.

Yapılandırılmış ışık, iki kamera yerine "bilinen bir desen yayan bir projektör" ve "tek bir kamera"dan oluşan bir çift kullanarak üçgenleme yapar. Projektör ve kamera arasında da bir temel çizgi vardır ve derinlik, yansıtılan desenin (noktalar, çizgiler vb.) nesne yüzeylerine karşı nasıl bozulduğunu bilinen bir referans desenle karşılaştırarak geriye doğru hesaplanır. Orijinal Kinect (2010) ve Apple'ın TrueDepth'i (iPhone Face ID) bu yaklaşımı kullanır; TrueDepth, bir yüzün 3 boyutlu şeklini okumak için yüze 30.000'den fazla kızılötesi nokta yansıtır.

ToF (Uçuş Süresi), LiDAR tarafından kullanılan aynı gidiş-dönüş ışık süresi prensibini, piksel başına paralel olarak uygular. Bir darbenin gidiş-dönüş süresini (dToF) doğrudan ölçmenin ötesinde, tüketici ve endüstriyel derinlik kameralarında baskın olan yaklaşım iToF'tur: modüle edilmiş sürekli ışık yansıtır ve yayılan ve yansıyan sinyal arasındaki faz kaymasından mesafeyi türetir. Modülasyon frekansı f_{mod} ve ışık hızı c ile mesafe Z şu şekilde verilir:

Üçgenleme gerektirmediği için, projektör ve kamera arasında bir taban çizgisine ihtiyaç duymaz, bu da minyatürleştirmeyi kolaylaştırır ve hareketli parçaları ortadan kaldırır. Microsoft'un Kinect v2'den itibaren ürünleri ve Orbbec'in Femto Bolt'u bu yaklaşımı kullanır. Her üç yaklaşım da kızılötesi ışığa dayanır, bu nedenle ortak bir zayıflıkları vardır: güçlü güneş ışığı altında dış mekanlarda doğruluk azalma eğilimindedir, çünkü güneş ışığı kızılötesi açısından zengindir.

Diagram 1 · Use the button to switch views

Diyagram: Duskcoil. Mavi çizgiler yansıtılan ışığı gösterir; Turuncu kesik çizgiler, hedeften geri dönen ışığı gösterir. Aktif stereo ve yapılandırılmış ışık, bir taban çizgisi üzerinde üçgenleme yaparken, ToF zaman veya faz kayması kullanır.

Temel ürün özellikleri karşılaştırması

D435i, 6 eksenli IMU (Bosch BMI055) eklenmiş temel D435 modelidir. IMU verileri, derinlik verileriyle zaman senkronize (zaman damgası hizalı) olarak çıktı verir; bu da derinlik ve nokta bulutlarını işlerken kameranın kendi hareketini düzeltmesini sağlar. Orijinal Kinect, İsrailli girişim PrimeSense tarafından geliştirilen yapılandırılmış ışık teknolojisi üzerine kurulmuştu; halefi Kinect v2 ise ToF'a geçti. Azure Kinect 2023'te üretimden kalktı, ancak Microsoft, uçuş süresi teknolojisini Orbbec'e lisansladı ve halefi Femto Bolt, Azure Kinect ile aynı derinlik kamera modülünü kullanarak mevcut uygulamalar için geçişi kolaylaştırdı. iPhone'un TrueDepth'i, aynı PrimeSense yapılandırılmış ışık soyunun ayrı bir ticari dalıdır - bir teknolojik kökün tamamen farklı iki uygulamaya ayrılmasının gerçek bir örneği: "oyun konsolu hareket algılama" ve "akıllı telefon yüz kimlik doğrulaması".

Bir Teknoloji, PrimeSense, Xbox, iPhone ve Endüstriyel Robotlara Nasıl Ulaştı?

Kinect'i Yaratan İsrail Şirketi PrimeSense — Orijinal Kinect'in (2010'da piyasaya sürüldü) temel teknolojisi Microsoft'ta şirket içi olarak geliştirilmedi; İsrailli girişim şirketi PrimeSense tarafından geliştirilen yapılandırılmış ışık derinlik algılama teknolojisiydi. Kinect, oyun konsolu kökenlerini hızla aştı ve akademik ve ticari robotikte geniş kullanım alanı buldu: 720p altı çözünürlüğün, eş zamanlı derinlik ve RGB yakalama ile birleşimi, pahalı LiDAR'ın maliyetinin çok daha düşük bir kısmıyla, o zamanlar robotik araştırmaları için dikkat çekici bir fırsattı. Microsoft Research'ten Richard Newcombe, Shahram Izadi ve meslektaşlarının 2011 yılında yayınladığı "KinectFusion: Gerçek Zamanlı Yoğun Yüzey Haritalama ve İzleme" (IEEE ISMAR 2011) başlıklı makale, yalnızca tek bir düşük maliyetli derinlik kamerası ve sıradan bir GPU kullanarak gerçek zamanlı yoğun 3B yüzey haritalamayı göstererek RGB-D SLAM araştırmasının kurucu çalışmalarından biri oldu.

Apple'ın PrimeSense'i satın alması ve Face ID olarak yeniden doğuşu — Kasım 2013'te Apple, PrimeSense'i 360 milyon dolara satın aldı. Bu durum, orijinal Kinect'in yapılandırılmış ışık teknolojisini piyasadan silmedi; teknik kökeni, 2017'de duyurulan iPhone X'in "TrueDepth" kamera sisteminde (kızılötesi bir aydınlatıcı, nokta projektörü ve kızılötesi kamera) somutlaşarak Face ID'nin çekirdeğini oluşturdu. Bu, alışılmadık derecede büyük ölçekli bir teknoloji yeniden kullanım örneğidir: oyun konsolu hareket algılama için geliştirilen bir teknoloji, yedi yıl sonra, bir milyar adetlik ölçekte akıllı telefonlarda kullanılan temel biyometrik kimlik doğrulama teknolojisi haline geldi.

Microsoft Kinect'i "tekrar" piyasadan kaldırıyor — Microsoft, on yıldan fazla bir süredir Kinect ailesi ürünlerinin nesillerini tekrar tekrar piyasaya sürdü ve ardından piyasadan kaldırdı: Xbox 360 için Kinect, Xbox One için Kinect, Windows v2 için Kinect ve endüstriyel/araştırma odaklı Azure Kinect DK. Ağustos 2023'te duyurulan Azure Kinect DK'nın üretiminin durdurulması, bu serinin en son (ve şimdiye kadarki son) "Kinect'in sonu" oldu. Ancak bu sefer tam bir geri çekilme değildi; Microsoft, ToF teknolojisini Orbbec'e lisanslamayı tercih etti ve Orbbec'in "Femto Bolt"u, Azure Kinect ile aynı derinlik kamerası modülünü taşıyarak piyasaya sürüldü. Bu, on yıl önce gerçekleşen PrimeSense satın alımını yankılayan bir model: bir teknoloji, kurumsal bir devir teslim sürecinde hayatta kalıyor.

Performansı Belirleyen Parametreler

• Derinlik aralığı: D435i'nin yaklaşık 0,3-3 metre aralığı (bazı koşullar altında yaklaşık 10 metreye kadar eşdeğer), bir masaüstünde veya iç mekan robotu için rafların etrafında engelleri tespit etmek veya el takibi gibi yakın mesafeli kullanım için uygun, orta menzilli bir tasarımdır. Dış mekan uzun menzilli izleme için stereo kamera veya LiDAR daha uygundur.
• Yöntem seçimi (aktif stereo / yapılandırılmış ışık / ToF): Aktif stereo, stereo eşleştirmenin hesaplama maliyetini taşır ancak nispeten ucuz bileşenlerden oluşturulabilir. Yapılandırılmış ışık, Face ID gibi çok yakın, yüksek hassasiyetli uygulamalar için uygun olan yakın mesafede yüksek doğruluk sunar, ancak projektör ve kamera arasında bir taban çizgisine ihtiyaç duyması nedeniyle minyatürleştirme kısıtlamalarıyla karşı karşıya kalma eğilimindedir. ToF'nin hareketli parçalara veya taban çizgisine ihtiyacı yoktur, bu da minyatürleştirmeyi kolaylaştırır, ancak yapılandırılmış ışığın yakın mesafe doğruluğuna ulaşma eğiliminde değildir. Femto Bolt, 1024x1024 derinlik çözünürlüğünü kompakt bir gövdeye sığdırarak, ToF'nin bu minyatürleştirme avantajından tam olarak yararlanan bir tasarım sunuyor.
• Dahili IMU ve zaman senkronizasyonu: Kameranın kendisinin hareket ettiği uygulamalarda (elde taşınabilir, drone'a monte edilmiş, mobil robot), derinlik verileri ve IMU verilerinin ne kadar hassas bir şekilde zaman senkronize edildiği, hareket bulanıklığı düzeltmesinin doğruluğunu belirler. D435i, Azure Kinect ve Femto Bolt'taki dahili IMU'lar, özellikle bu kullanım senaryosu göz önünde bulundurularak tasarlanmıştır.
• Ortam ışığına tolerans: Üç kızılötesi tabanlı yaklaşımın tümü iç mekanlarda stabildir, ancak doğruluk, yansıtılan deseni veya yansıyan sinyali silen güçlü güneş ışığı altında dış mekanlarda azalma eğilimindedir. Dış mekanlarda çalışması beklenen uygulamalar genellikle pasif stereo (ZED, vb.) veya çeşitli yaklaşımların bir karışımına başvurmak zorundadır.
• Nesne dokusu: İç mekan robotik ve VR/AR uygulamalarında, beyaz duvar, düz renkli zemin gibi dokusu düşük hedeflerle uğraşırken, yapay olarak kızılötesi desen yansıtabilen aktif bir yöntem avantajlıdır. Bu avantaj, dokusu zengin dış mekan ortamlarında azalır.
• Minimum menzil mesafesi: Çok yakın mesafede derinliğe ihtiyaç duyan uygulamalar için (el takibi, yüz kimlik doğrulaması), derinlik aralığının alt sınırı doğrudan kullanılabilirliği belirler. TrueDepth'in sadece birkaç santimetre uzaktaki bir hedef (bir yüz) için özel olarak tasarlanmış olması bunun tipik bir örneğidir.

Yöntemle Menzil Hatasının Tahmini

Aktif stereo için temel ilişki Z=fB/d'dir, bu nedenle eşitsizlik belirsizliği \sigma_d şu şekilde büyütülür:

f=600\,\mathrm{px}, B=0.05\,\mathrm{m}, Z=3\,\mathrm{m} ve \sigma_d=0.25\,\mathrm{px} ile menzil hatası yaklaşık 7.5\,\mathrm{cm}'dir. Yansıtılan bir desen, dokusu zayıf bir duvarda eşleştirmeye yardımcı olur, ancak noktalar güçlü güneş ışığı altında veya kızılötesini emen malzemelerde kaybolabilir.

ToF için faz veya zamanlama okuması, yansıtıcılık, çoklu yol ve entegrasyon süresi baskındır. Bu nedenle, 1024×1024 piksel derinlik çözünürlüğü, menzil standart sapmasıyla aynı özellik değildir. Bir cihaz seçerken, hedef mesafeyi ve malzemeyi sabit tutun ve eksik dönüş oranını, aykırı değer oranını, kare gecikmesini ve derinlik, RGB ve IMU arasındaki zaman damgası farkını ölçün.

Diagram 2 · Use the button to switch views

Şekil 2 — Soldaki değerler makalenin f,B,\sigma_d'sinden hesaplanmıştır. Sağdaki, ToF rastgele hatası, sapma ve geçersiz dönüşlerin neden ayrı ölçümler gerektirdiğini açıklar. Bu bir cihaz performans eğrisi değildir.