VIO/LIO Temel Bilgileri — Kendi Kendini Konumlandırmak için IMU'yu Kamera veya LiDAR ile Birleştirme

Ne Visual-SLAM ne de LiDAR-SLAM tek başına her yerde işe yaramaz. Kamera karanlıkta veya hızlı hareket halindeyken zorlanır; LiDAR ise özellik bakımından fakir ortamlarda zorlanır ve daha pahalıdır. Bu zayıflıkları gidermenin anahtarı, yüksek frekansta ivme ve açısal hızı ölçen IMU'dur (Atalet Ölçüm Birimi). VIO (Görsel-Ataletsel Odometri) ve LIO (LiDAR-Ataletsel Odometri) - bir kamera veya LiDAR'ı bir IMU ile eşleştirmek - günümüzde birçok otonom mobil robot, drone ve AR/VR cihazında fiili standart konfigürasyon haline gelmiştir. Bu makale, tek başına bir IMU'nun neden konum tahminini sürdüremeyeceğinin ardındaki prensipten başlayarak, sensör füzyonu fikrini, Filtre tabanlı ve Optimizasyon tabanlı tahminin iki tasarım felsefesini ve son olarak da dönüm noktası niteliğindeki algoritmaları ele almaktadır: ROVIO, OKVIS, VINS-Mono, OpenVINS, LIO-SAM ve FAST-LIO2.

IMU/INS örneği

LiDAR örneği

Görseller: Xsens MTi-G (Kallap85, CC BY-SA 4.0) / Livox Mid-40, Horizon ve Tele-15 (Dllu, CC BY-SA 4.0), Wikimedia Commons. Temsili giriş sensörleri, gerekli bir VIO/LIO donanım yapılandırması değildir.

0. Bu Makalenin Kapsamı

• Bir IMU'nun neyi ölçtüğü ve neden tek başına bir IMU'nun zaman içinde konumu sürekli olarak geri kazanamadığı
• Sırasıyla bir Kamera ve bir LiDAR'ın zayıf yönleri ve neden bunlardan birini bir IMU ile birleştirmenin bu kadar iyi çalıştığı
• VIO ve LIO'nun her birinin neyi ifade ettiği ve aralarındaki fark
• Filtre tabanlı (EKF/MSCKF) ve Optimizasyon tabanlı (Faktör Grafiği) tasarım felsefeleri arasındaki fark
• ROVIO, OKVIS, VINS-Mono, VINS-Fusion ve OpenVINS (VIO) ve LIO-SAM, FAST-LIO ve FAST-LIO2'nin (LIO) her birinin katkıları
• Kullanım durumuna göre pratikte VIO ve LIO arasında nasıl seçim yapılacağı

1. Kısa Cevap: Bir IMU, VIO ve LIO Nedir?

Her biri tek cümleyle: Bir IMU (Atalet Ölçümü) IMU (Imultane Unit), yüksek frekansta, herhangi bir dış referans noktasına bağlı kalmadan kendi ivmesini ve açısal hızını ölçmek için bir ivmeölçer ve bir jiroskopu birleştiren bir sensördür. VIO (Görsel-Ataletsel Odometri), kendi konumunu ve yönünü tahmin etmek için bu IMU'yu bir kamera ile birleştirme tekniğidir; LIO (LiDAR-Ataletsel Odometri) ise aynı şeyi bir IMU'yu bir LiDAR ile birleştirerek yapar.

Bir IMU, yüksek frekansta (tipik olarak yüzlerce Hz'den yaklaşık 1 kHz'e kadar) "şu anda ne kadar hızla ivmeleniyorum ve ne kadar hızlı dönüyorum" diye size söyler; ancak entegre niceliği olan konum, zamanla hızla sapar (bunu 3. Bölümde yakından inceleyeceğiz). Bir kamera veya bir LiDAR, çevredeki ortamı çapraz referanslayarak göreceli konum kısıtlamaları sağlayabilir, ancak yalnızca düşük frekansta (onlarca Hz) ve her ikisi de belirli durumlarda (karanlık, özellik açısından fakir sahneler, hızlı hareket) tamamen işlevini kaybeder. VIO ve LIO'nun temel fikri, bu "yüksek frekanslı ancak kayma gösteren IMU"yu "ortama bağlı arıza modlarına sahip düşük frekanslı Kamera/LiDAR" ile birleştirerek, her birinin diğerinin zayıf yönlerini telafi etmesini sağlamaktır.

2. Bir IMU Gerçekte Ne Ölçer?

Bir IMU'nun içinde genel olarak iki tür sensör bulunur.

Bir ivmeölçer, sensör çerçevesindeki özgül kuvveti ölçer. İdeal olarak, \mathbf{f}_b=R_{wb}^{T}(\mathbf{a}_w-\mathbf{g}_w), burada R_{wb} sensör koordinatlarını dünya koordinatlarına döndürür, \mathbf{a}_w dünya çerçevesi ivmesidir ve \mathbf{g}_w yerçekimidir. Durağan halde yaklaşık 1 g ve ideal serbest düşüşte neredeyse sıfır okur. Entegrasyondan önce, sapmayı düzeltin, dünya çerçevesine döndürün ve yerçekimini ekleyin. OpenVINS IMU modelinde koordinat ve sapma tanımlarına bakın.

Bir jiroskop, sensörün kendi dönüş hızını, yani açısal hızını ölçer. Burada üç ekseni aynı anda birleştirmek, yuvarlanma, eğim ve sapma etrafındaki dönüş hızını verir.

Bu iki tür sensörü birleştirerek, bir IMU, tamamen sensörün kendi iç durumundan, herhangi bir dış referans noktasına (haritalanmış bir özellik, bir radyo sinyali) hiç referans vermeden, yüksek frekansta 6 serbestlik dereceli hareket bilgisi (3 öteleme + 3 dönme) üretebilir. Bu "hiçbir dış referans yok" özelliği, aynı anda IMU'nun en büyük gücü ve en büyük zayıflığıdır - gücü, tamamen karanlıkta veya cam duvarlı bir odanın içinde değişmeden kalan sağlamlığıdır; zayıflığı ise 3. Bölümde inceleyeceğimiz biriken hatadır.

Bir IMU'nun çıktısı ayrıca her zaman önyargı ve gürültü içerir. Sapma, sensöre özgü bir sapma hatasıdır; gerçek değer sıfır olsa bile çıkış sıfır değildir ve sıcaklık değişimi gibi faktörler nedeniyle zamanla yavaşça kayar (Sapma Kararsızlığı). Gürültü, her okumada yeniden eklenen rastgele bir dalgalanmadır. Daha ucuz MEMS (Mikro-Elektro-Mekanik Sistemler) IMU'ları daha büyük sapma ve gürültüye sahip olma eğilimindedir ve bu, bir sonraki bölümde ele alınan Kaymanın temel nedenidir.

3. Yalnızca Bir IMU'dan Konum Bulma (Entegrasyon ve Kayma)

IMU çıkışından konumu geri kazanmak, ivmeyi iki kez entegre etmeyi gerektirir: hız, ivmenin integralidir ve konum, hızın integralidir.

Burada p_0 başlangıç konumu, v_0 başlangıç hızı ve a(s) ise s anındaki ivmedir. Formülün kendisi basit, ancak pratikte kullanılan ivme a(s) her zaman Bölüm 2'de tartışılan sapmayı b içerir. Sapmayı içeren bir ivmenin çift entegrasyonu, a(s) + b, şu biçimde sapma kaynaklı bir hata terimi üretir:

bu, geçen zamanın karesiyle orantılı olarak ıraksar. Bunun üzerine, jiroskop sapması, yönelim tahminini kademeli olarak çarpıtır ve bu yönelim hatası, ivmenin entegre edildiği yönü kirletir; bu nedenle genel konum hatası O(t^2) ile O(t^3) mertebesinde artma eğilimindedir. Hatanın zaman içinde sınırsız bir şekilde biriktiği bu olguya Sürüklenme denir.

Burada somut bir sayı sezgiyi geliştirmeye yardımcı olur. Ucuz bir MEMS IMU'nun yaklaşık 0.01\,\mathrm{m/s^2} ivmeölçer sapmasına sahip olduğunu varsayalım. 10 saniye sonra, ortaya çıkan konum hatası yaklaşık \frac{1}{2} \times 0.01 \times 10^2 = 0.5\,\mathrm{m} olur. Bir dakika sonra ise bu sayı 18\,\mathrm{m} olur. Tek başına bir IMU, yalnızca çok kısa bir zaman diliminde (saniyelerden birkaç on saniyeye kadar) konum tahmini için güvenilirdir ve bu, tek başına bir IMU'nun kendi kendine konum belirleme sistemi olarak hizmet verememesinin temel nedenidir. Başka bir deyişle: bir IMU, "kısa vadeli, yüksek frekanslı değişim" konusunda güçlü, "uzun vadeli, mutlak konum" konusunda ise zayıftır; bu, bir Kamera veya LiDAR'ın güçlü ve zayıf yönlerinin tam tersidir.

4. Kamera ve LiDAR'ın da Zayıf Yönleri Var

Eğer tek başına bir IMU konum kurtaramıyorsa, akla gelen ilk şey bir Kamera (bkz. "Visual-SLAM Primer") veya bir LiDAR (bkz. "LiDAR-SLAM Technology Trends") kullanmaktır. Bu bir yere kadar doğrudur, ancak hem Kamera hem de LiDAR'ın kendine özgü zayıf yönleri vardır.

Kameranın zayıf yönleri; düşük ışıkta görüntü bozulması (doğrudan yöntemin dayandığı özellik noktaları veya parlaklık gradyanlarının hesaplanması imkansız hale gelir), düşük dokulu ortamlar (düz beyaz bir duvar veya düz renkli bir zemin hiç karşılık noktası vermez) ve hızlı hareket altında Hareket Bulanıklığıdır (görüntü pozlama penceresi sırasında bulanıklaşır ve özellik tanımlayıcılarını istikrarsızlaştırır). Tüm bunların altında yatan temel neden aynıdır: Kamera, çalışmak için yeterli görsel sinyal alamıyor.

LiDAR'ın zayıf yönleri, özellik bakımından fakir ortamlardır (uzun bir tünelde veya geniş açık bir düzlemde, ICP/NDT gibi nokta bulutu kayıt yöntemleri benzersiz bir çözüme yakınsayamaz - buna geometrik dejenerasyon denir) ve sensörün maliyetidir. LiDAR, menzili ölçmek için aktif olarak lazer yayar, bu nedenle karanlığa ve arka aydınlatmaya karşı dayanıklıdır, ancak ortamın kendi geometrisinin seyrek olduğu bir yerde, tıpkı bir kamera gibi, performansını kaybeder.

IMU'nun zayıf yönü, Bölüm 3'te görüldüğü gibi, zamanla biriken sınırsız kayma ve kendi başına mutlak konumu kurtarmanın hiçbir yolunun olmamasıdır.

Önemli olan nokta, bu üç sensörün başarısız olduğu durumların neredeyse hiç örtüşmemesidir. Bir IMU, bir kameranın zorlandığı karanlıkta bile sorunsuz çalışmaya devam eder ve bir kamera veya LiDAR'ın özelliklerini kaybettiği anda bile yüksek frekanslı hareket bilgisi sağlamaya devam eder. Kamera ve LiDAR gözlemleri, çevresel geometriyi kullanarak sapmayı sınırlandırır. Bilinen bir harita, GNSS veya döngü kapanması gibi kısıtlamalar olmadan uzun vadeli mutlak konum doğruluğunu garanti etmezler. Bu tamamlayıcılık, bir sonraki bölümde ele alınan sensör füzyonunun başlangıç noktasıdır.

5. Sensör Füzyonu Fikri

Sensör Füzyonu, tek bir sensörden daha doğru, daha yüksek frekanslı ve daha sağlam bir tahmin elde etmek için çeşitli sensörlerin farklı hata özelliklerini ve güçlü yönlerini birleştirme çerçevesidir (füzyonun genel fikri için "Sensör Füzyonu Temel Bilgileri" bölümüne bakınız). VIO ve LIO tarafından paylaşılan iskelet, bir Tahmin-Güncelleme döngüsü olarak düzenlenebilir:

Diagram 1 · Use the button to switch views

Diagram 2 · Use the button to switch views

Şekil 1 — IMU (yüksek hız), Yayılım (entegrasyon) yoluyla durumu tahmin etmeye devam eder. Kamera/LiDAR'a (düşük hız) karşı özellik/nokta eşleştirmesinden gelen gözlemler, Güncelleme adımında bu tahmini düzeltir. Bu düzeltme sırasında tahmin edilen IMU sapması, bir sonraki Yayılıma geri beslenir ve Sürüklenme birikimini sürekli olarak bastırır.

Bu döngünün iki önemli noktası vardır. Birincisi, IMU güdümlü Yayılım sürekli olarak yüksek frekansta çalışır ve Kamera/LiDAR gözlemi mevcut olmadığı anlarda bile (karanlık, düşük doku, özellik bakımından fakir alan, hızlı hareket) pozisyonu tahmin etmeyi asla bırakmaz. İkincisi, yalnızca bir Kamera/LiDAR gözlemi geldiğinde tetiklenen Güncelleme adımı, aksi takdirde yalnızca IMU'dan sınırsız bir şekilde birikecek olan Sürüklenmeyi azaltır ve aynı anda IMU'nun kendi sapmasının tahminini günceller. Bunu tekrar Yayılıma geri beslemek. Bu kombinasyon - "yüksek frekansta çalışmaya devam eden tahmin" artı "gözlemle sınırlı yönlerdeki hataları azaltan düzeltme" - VIO ve LIO'nun paylaştığı tasarım felsefesidir.

6. VIO (Görsel-Ataletsel Odometri)

VIO (Görsel-Ataletsel Odometri), bu çerçevede bir Kameranın Güncelleme tarafındaki sensör rolünü oynadığı yapılandırmadır. IMU'nun yüksek frekanslı tahminini bir Kameranın özellik noktası gözlemleriyle birleştirmek, IMU'nun metrik ivme bilgilerini kullanarak, tek gözlü Görsel Odometriyi rahatsız eden ölçek belirsizliğini (Bölüm 4'te değinilen - tek gözlü görüntülerin tek başına gerçek dünyadaki metrik mesafeyi kurtaramaması gerçeği) çözer. Ve bir Kameranın zorlandığı hızlı hareketlerde, IMU sürekli olarak yüksek frekansta yön değişikliği sağlar ve izlemenin tamamen başarısız olma olasılığını önemli ölçüde azaltır.

VIO ayrıca Gevşek Bağlı ve Sıkıca Bağlı konfigürasyonlar, Kamera ve IMU'nun nasıl birbirine bağlandığına bağlıdır. Gevşek bağlı bir sistem, Kamera tarafındaki pozisyon tahminini ve IMU tarafındaki pozisyon tahminini bağımsız olarak hesaplar ve daha sonra iki sonucu birleştirir; uygulaması basittir, ancak IMU tarafı Kamera tarafındaki tahminin iç hata yapısını (hangi özellik gözleminin daha az veya daha çok belirsiz olduğunu) kullanamadığı için hassasiyetten ödün verir. Sıkıca bağlı bir sistem, IMU'nun ham verilerini ve görüntünün özellik gözlemlerini baştan itibaren tek, ortaklaşa tahmin edilen bir durum problemi olarak ele alır; uygulama daha karmaşıktır, ancak her iki sensörden gelen her bilgi parçası kullanılır ve daha yüksek hassasiyet sağlar. Bölüm 8, 9 ve 10'da ele aldığımız temsili modern VIO uygulamaları (OKVIS, VINS-Mono, OpenVINS ve diğerleri) sıkı bağlantıyı benimser.

7. LIO (LiDAR-Ataletli Odometri)

LIO (LiDAR-Ataletli Odometri) Odometri)**, güncelleme tarafında LiDAR'ın rol oynadığı aynı çerçevedir. LiDAR nokta bulutları, çevresel geometriyi doğrudan ve yüksek hassasiyetle yakalar, ancak tek bir tarama, tarama için on ila yüzlerce milisaniye sürer ve sensörün kendisi bu süre zarfında hareket ederse, ortaya çıkan nokta bulutu bozulur (Hareket Bozulması). IMU'nun yüksek frekanslı yönelim bilgisi sayesinde, tarama sırasındaki bu hareket düzeltilebilir ve bozulma içermeyen bir nokta bulutu yeniden oluşturulabilir.

Bölüm 6'daki VIO'da olduğu gibi, LIO'nun zorlandığı geometrik olarak dejenere ortamlarda (uzun tüneller, geniş açık düzlemler), IMU'nun sürekli kısa vadeli pozisyon tahmini, nokta bulutu kaydının (ICP/NDT gibi yöntemler) sapma olasılığını önemli ölçüde azaltır. LIO da pratikte ağırlıklı olarak sıkıca bağlı bir sistem olarak uygulanır - Bölüm 10'da ele alınan LIO-SAM ve FAST-LIO/FAST-LIO2, bu sıkıca bağlı tasarımı benimser.

8. Filtre tabanlı (Kalman Filtresi / EKF / MSCKF)

VIO ve LIO'nun özü -tahmin ve gözlemin birleştirilmesi- iki geniş tasarım felsefesinden biri altında uygulanır: Filtre tabanlı veya bir sonraki bölümde ele alınan Optimizasyon tabanlı yaklaşım.

Filtre tabanlı yaklaşımın temeli, doğrusal dinamiklere sahip bir sistem için en uygun durum tahminini yinelemeli olarak elde etmek üzere Tahmin ve gözlem odaklı Güncellemeyi dönüşümlü olarak kullanan bir çerçeve olan Kalman Filtresi'dir. IMU entegrasyonunun (poz kompozisyonu) ve Kameranın projeksiyonunun doğası gereği doğrusal olmayan olduğu VIO/LIO gibi bir problem için, bunun yerine doğrusal olmayan uzantı kullanılır: EKF (Genişletilmiş Kalman Filtresi). Bir EKF, her doğrusal olmayan fonksiyonu mevcut tahmin etrafında doğrusallaştırır (birinci dereceden Taylor açılımı) ve ardından sıradan bir Kalman Filtresi ile aynı güncelleme denklemlerini uygular.

Burada \hat{x}_k^{-}, Yayılımdan tahmin edilen durumu, z_k gerçek gözlemi, h(\cdot) durumdan bir gözlem tahmin eden gözlem modelini ve K_k ise Kalman Kazancını (tahminin gözleme göre ne kadar güvenilir olduğuna karar veren ağırlık) temsil eder. P_k^{-}, tahmin edilen durumun kovaryansını (belirsizliğini), H_k gözlem modelini doğrusallaştıran Jacobian'ı ve R ise gözlem gürültüsünün kovaryansını temsil eder. Sezgisel olarak, tahmin edilen belirsizlik P_k^{-}, gözlem gürültüsü R'e göre ne kadar büyükse, Kalman Kazancı K_k o kadar büyük olur ve gözlem z_k'in bilgisi duruma o kadar güçlü bir şekilde dahil edilir. Düzeltme.

EKF tabanlı bir VIO'yu basit bir şekilde uygulamak, görüntüdeki her bir özellik noktasını durum vektörüne dahil etmeyi gerektirir ve özellik noktalarının sayısı arttıkça hesaplama maliyeti hızla artar. 2007 yılında Mourikis ve Roumeliotis tarafından önerilen MSCKF (Çoklu Durum Kısıtlamalı Kalman Filtresi), tam olarak bu sorunu çözer. MSCKF, özellik noktalarının kendilerini filtrenin durumuna dahil etmez; bunun yerine, durumda birden fazla kamera pozisyonunu (kayan bir pencere) tutar ve durumu yalnızca aynı özellik noktasının bu pozisyonların birkaçından gözlemlendiği geometrik kısıtlamayı kullanarak günceller. Özellik noktalarını durumdan hariç tutarak, özellik sayısıyla birlikte hesaplama patlamasından kaçınırken, birden fazla kareyi kapsayan gözlemlerden de yararlanır - şu anda yaygın olarak kullanılan verimli bir Filtre tabanlı VIO tasarımı.

9. Optimizasyon Tabanlı (Paket Ayarlaması / Faktör Grafiği)

Filtre tabanlı tahmin özyinelemeli olarak güncellenir, ancak gibi yöntemler MSCKF, klonlanmış geçmiş pozları geçici olarak saklayabilir. Optimizasyon tabanlı yaklaşım, kayan bir pencere veya grafik boyunca durum ve gözlemleri korur ve bunların ortak tutarlılığı için doğrusal olmayan bir optimizasyonu çözer. Bunu, Visual-SLAM'in Paket Ayarlaması'nı (bkz. "Visual-SLAM Primer", Bölüm 10) IMU bilgilerini de içerecek şekilde genişletmek olarak düşünmek faydalı olur.

IMU ivmeleri ve açısal hızları bilinen gözlemlerdir, optimizasyon değişkenleri değildir. Her IMU zaman damgasında bir durum eklemek veya her yeniden doğrusallaştırmada her aralığı yeniden entegre etmek maliyeti artırır. Forster ve diğerleri tarafından 2015 yılında önerilen IMU Ön Entegrasyonu (arXiv:1512.02363), anahtar kareler arasındaki ölçümleri, sapma düzeltilebilir bir göreceli hareket faktörü olarak özetler. Durum, hız ve sapmaları ve bazı sistemlerde işaret noktalarını da içerebilir; maliyet, pencere tasarımıyla kontrol edilir. ve sadece IMU örnekleme hızıyla değil, yeniden doğrusallaştırma ile de ilgilidir.

Elde edilen IMU Ön Entegrasyon Faktörü, Kamera/LiDAR gözlemlerinden türetilen Faktörlerle (yeniden projeksiyon hatası veya tarama eşleştirme hatası) birlikte ortak bir Faktör Grafiği üzerine yerleştirilir ve tümü maksimum olasılık (veya maksimum a posteriori) tahmin problemi olarak birlikte çözülür - bu, Optimizasyon tabanlı yaklaşımın temel biçimidir.

\mathcal{X}, tahmin edilecek pozisyonlar, hızlar, sapmalar ve (gerektiğinde) harita noktaları kümesidir; r_{\mathrm{IMU}}, ön entegrasyon faktöründen kalan değerdir. Filtre tabanlı tahmin, maliyeti sıralı güncellemeler ve sınırlı geçmiş yoluyla kontrol eder; optimizasyon tabanlı tahmin, kayan bir pencereyi yeniden doğrusallaştırabilir. Doğruluk ve maliyet, pencere uzunluğuna, başlatmaya, yeniden doğrusallaştırma programına, modele ve hesaplama bütçesine bağlıdır, bu nedenle hiçbiri evrensel değildir. üstün.

Diagram 3 · Use the button to switch views

Diagram 4 · Use the button to switch views

i Keyframe i{+}1 High-rate IMU measurements (hundreds of Hz) Integrated together over the interval → a single relative-motion Factor

Şekil 2 — i anahtar karesi ile ... arasında gelen çok sayıda IMU ölçümü (yüzlerce Hz) i{+}1 önceden entegrasyon yoluyla bir araya getirilir ve Faktör Grafiğinde tek bir göreceli hareket Faktörü olarak ele alınır. Bu, optimizasyon değişkenlerinin sayısını IMU'nun örnekleme hızından bağımsız tutar - yalnızca anahtar kare sayısına bağlıdır.

10. Önemli Algoritmalar

VIO

ROVIO (Sağlam Görsel Ataletsel Odometri), Bloesch ve diğerleri tarafından IROS 2015'te sunulan, EKF tabanlı bir VIO'dur. Özellik noktası tanımlayıcılarını eşleştirmek yerine, görüntü yaması parlaklık bilgilerini doğrudan EKF'nin gözlem modeline besler - Filtre tabanlı tahmin ile Doğrudan yöntemi birleştirmenin temsili bir örneği olan Doğrudan yöntem tarzı bir yaklaşım.

OKVIS (Açık Anahtar Kare Tabanlı Görsel Ataletsel SLAM), Leutenegger ve diğerleri tarafından sunulmuştur. IJRR 2015'te sunulan VINS-Mono, doğrusal olmayan optimizasyona dayalı, anahtar kare tabanlı bir VIO'dur. IMU Ön Entegrasyonunu (Bölüm 9) Paket Ayarlaması tarzı yeniden projeksiyon hatası minimizasyonuyla birleştiren bu sistem, optimizasyon tabanlı VIO'nun ilk önemli uygulamalarından biridir.

Hong Kong Bilim ve Teknoloji Üniversitesi'nden Qin, Li ve Shen'in geliştirdiği VINS-Mono, IMU Ön Entegrasyonu (Bölüm 9) üzerinde doğrusal olmayan optimizasyona dayanan, küresel düzeltme için Döngü Kapatma ekleyen ve her bileşen için gevşek ve sıkı bağlantılı çalışma arasında geçiş yapılabilen esnek bir tasarım sunan, monoküler kameralar için bir VIO'dur. VINS-Fusion, VINS-Mono'yu çoklu sensör konfigürasyonlarını (stereo kameralar, GPS) destekleyecek şekilde genişleten ve daha çeşitli donanım kurulumlarında pratikliği önceliklendiren halefidir.

OpenVINS, Geneva, Eckenhoff, Lee, Yang, Huang ve işbirlikçileri tarafından geliştirilen, MSCKF tabanlı açık kaynaklı bir VIO araştırma platformudur. MSCKF'nin verimli Filtre tabanlı tasarımına (Bölüm 8) dayanan bu platform, araştırma amaçlı genişletme ve doğrulama kolaylığına öncelik veren bir uygulama olarak yaygın olarak kullanılmaktadır.

LIO

LIO-SAM (Smoothing and Mapping Yoluyla Sıkıca Bağlı Lidar Atalet Odometrisi), Shan, Englot, Meyers, Wang, Ratti, Rus ve işbirlikçileri tarafından IROS 2020'de sunulan, Faktör Grafiği üzerine kurulu, sıkıca bağlı bir LIO'dur. Birkaç Faktör türünü (IMU Ön Entegrasyon Faktörü, LiDAR tarama eşleştirmesinden elde edilen Odometri Faktörü, GPS Faktörü ve Döngü Kapatma Faktörü) aynı Faktör Grafiğinde birleştirir ve Optimizasyon tabanlı tasarım felsefesinin (Bölüm 9) LiDAR'a uygulanmasının temsili bir örneğidir.

Hong Kong Üniversitesi MARS Laboratuvarı'ndan Xu, Zhang ve işbirlikçileri tarafından geliştirilen FAST-LIO (Hızlı LiDAR-Atalet Odometrisi), Sıkıca Bağlı Tekrarlanan Kalman Filtresi üzerine kurulu hızlı bir LIO'dur. Optimizasyon tabanlı LIO-SAM'ın aksine, filtre tabanlıdır, yüksek hızlı LiDAR nokta bulutlarını doğrudan işlemek üzere tasarlanmıştır ve sınırlı işlem gücüne sahip platformlarda gerçek zamanlı çalışmayı önceliklendirir. FAST-LIO2 onun halefidir: artımlı en yakın komşu arama yapısı (iKD-Ağacı) ile nokta bulutunu doğrudan yöneterek, haritanın yeniden oluşturulmasının maliyetini önemli ölçüde azaltır ve daha hızlı ve daha doğru, sıkıca bağlı bir LIO elde eder.

11. VIO ve LIO Karşılaştırması

VIO'nun güçlü yönleri düşük sensör maliyeti ve renk ve desen tanıma özelliğinin sağladığı yüksek seviyeli çevresel anlayıştır (nesne tanıma ile doğal bir uyum); LIO'nun güçlü yönleri ise geometrik doğruluk ve karanlığa ve kötü hava koşullarına karşı dayanıklılıktır - bu temel iş bölümüdür.

12. Pratikte Birini Seçmek

VIO, LIO veya her ikisinin bir kombinasyonunu seçmek, taşıyabileceğiniz sensörlere, bütçenize ve çalışmayı beklediğiniz ortama bağlıdır.

• İç mekan servis robotları / robot süpürgeler: Düşük maliyet öncelikliyse, VIO (veya gevşek bağlantılı bir kamera-artı-IMU konfigürasyonu) genellikle kazanır; hassasiyet ve geometrik olarak doğru bir harita öncelikliyse, LIO genellikle seçilir. Çok sayıda koridor ve duvar bulunan normal bir iç mekan ortamında, LiDAR'ın maliyetinden elde edilen doğruluk kazanımı daha kolay haklı çıkarılabilir.

• Dronlar: Yük ve güç konusunda sıkı kısıtlamalarla, hafif bir kamera-artı-IMU VIO konfigürasyonu genellikle baskın olur. Açık hava alanlarında GPS ile eşleştirme de yaygındır.

• AR/VR: Kulaklığın dahili kamerası ve IMU'sunu kullanan bir VIO (Görsel-Ataletsel Odometri), fiili standarttır; ek bir LiDAR'a sahip birkaç üst düzey model hariç, maliyet ve ağırlık kısıtlamaları VIO'yu varsayılan ilk tercih haline getirir.

• Otonom sürüş / dış mekan otonom mobil robotlar: Kötü hava koşullarında, arka aydınlatmada ve gece sürüşünde sağlamlık talebi göz önüne alındığında, LIO genellikle omurgayı oluşturur ve VIO ve GNSS ile birlikte katmanlanır (bkz. "Sensör Füzyonu Temel Bilgileri").

• Geometrik olarak bozulmuş alanlar -- tüneller, uzun düz koridorlar: Yalnızca LiDAR veya yalnızca LIO, kayıtta kararsız hale gelme eğilimindedir, bu nedenle bozulmayı telafi etmek için ayrı bir bilgi kaynağı - VIO veya tekerlek odometrisi - eklemek önemlidir.

Temel kural şudur: Bütçe ve sensör ağırlığı izin veriyorsa ve geometrik hassasiyet en öncelikliyse, LIO'yu seçin; maliyet ve hafiflik öncelikliyse ve ayrıca renk/desen tabanlı çevresel anlayıştan da yararlanmak istiyorsanız, VIO'yu seçin. Gerçek ürün geliştirmede, ikisi nadiren tek başına seçilir - bunun yerine, duruma göre VIO, LIO, GNSS ve tekerlek odometrisini ağırlıklandıran çoklu sensör füzyonuna (bkz. "Sensör Füzyonu Temel Bilgileri") dönüşme eğilimindedirler.

13. Özet

Bir IMU, yüksek frekanslı, tamamen kendi kendine yeten hareket bilgisi sağlar, ancak entegrasyonla elde edilen konum, geçen sürenin karesinin küpüyle orantılı olarak hızla kayar. Bir Kamera (VIO) veya bir LiDAR (LIO) bu birikmiş hatayı periyodik olarak düzeltir, ancak her birinin kendi ayrı zayıflığı vardır - Kamera için karanlık ve düşük doku, LiDAR için geometrik olarak bozulmuş ortamlar. VIO ve LIO, tek başına hiçbir sensörün ulaşamayacağı bir sağlamlık ve hassasiyet elde etmek için, ya Filtre tabanlı (EKF/MSCKF) ya da Optimizasyon tabanlı (IMU Ön Entegrasyonu + Faktör Grafiği) çerçeve altında uygulanan bir Tahmin (yüksek frekanslı IMU tahmini) - Güncelleme (Kamera/LiDAR düzeltmesi) döngüsü aracılığıyla bu tamamlayıcı zayıflıkları birleştirir.