VO/VIO Temel Bilgileri — Kamera ve IMU'dan Hareket Tahmini İçin Pratik Bir Temel

Bir kamera tutarak etrafta dolaşın ve görüntü dizisinde bir duvarın veya bir tabelanın köşesinin azar azar kaydığını gözlemleyin. Bu sırada bir ivmeölçer ve bir jiroskop, cihazın aynı aralıkta ne kadar ivmelendiğini ve döndüğünü yüksek frekansta ölçer. Görsel Odometri (VO), önceki verilerden yola çıkarak bugüne kadarki göreceli duruşu, hızı ve konumu tahmin eder; Görsel-Ataletli Odometri (VIO) ise her ikisinden de tahmin eder. İç mekanlarda uçan dronlar, AR/VR başlıkları, el tipi 3D tarayıcılar ve mobil robotlar için temel bir teknolojidir.

VO/VIO bazen SLAM ile eş anlamlı olarak ele alınır, ancak rolleri biraz farklıdır. Odometri, düzgün, kısa vadeli bir göreceli yörünge üreten bir ön uç aşamasıdır ve hatası prensipte birikir. SLAM, bu birikmiş hatayı küresel olarak düzeltmek için bir harita, yer tanıma ve döngü kapatma kullanır. Bu makale, haritalamanın genel görünümünden ziyade, hareketin kare kare nasıl entegre edildiğine, IMU'nun nasıl birleştirildiğine ve tahminin ne zaman şüpheyle karşılanması gerektiğine odaklanmaktadır.

Örnek araç kamerası

Örnek GNSS/INS IMU

Görseller: Car Mobileye sisteminin pencere kamerası (Ranbar, CC BY-SA 4.0) / Xsens MTi-G (Kallap85, CC BY-SA 4.0), Wikimedia Commons. Temsili sensörler, gerekli bir VO/VIO ürün kombinasyonu değildir.

0. 30 Saniyelik Özet

• VO, kamera hareketini görüntü eşleşmelerinden veya piksel görünümündeki değişikliklerden sırayla tahmin eder. Monoküler VO, ötelemenin mutlak ölçeğini gözlemleyemez ve hata zamanla birikir. Stereo, RGB-D, bilinen nesne boyutu, atalet algılama ve tekerlekler ölçek sağlar.

• VIO, kameranın düşük frekanslı, kaymaya dayanıklı gözlemlerini, kısa aralıklarda doğru olan ancak sapma nedeniyle kayan IMU'nun yüksek frekanslı gözlemleriyle birleştirir. Jiroskop dönüşü sağlar; ivmeölçer, yerçekimini ivmeden ayıran ipucunu tamamlar.

• IMU ön entegrasyonu, görüntü anahtar kareleri arasındaki birçok IMU örneğini tek bir, sapma yeniden doğrusallaştırılabilir kısıtlamaya sıkıştırır. Bu, kayan pencere optimizasyonunu hesaplama açısından uygulanabilir kılan şeydir.

• Başlangıç en zor kısımdır. Yeterli paralaks, dönüşü içeren uyarım, sabit haldeyken sapma tahmini ve kamera-IMU zaman senkronizasyonu ve dışsal kalibrasyon olmadan, ölçek, yerçekimi, hız ve sapma birbirinden ayrılamaz.

• Değerlendirme sadece ortalama hatayı değil, ATE/RPE'yi, aralık başına sapmayı, arıza oranını, gecikmeyi, CPU/GPU kullanımını ve yörüngenin herhangi bir yeniden konumlandırma kullanıp kullanmadığını da rapor etmelidir. Düşük doku, dinamik nesneler, hareket bulanıklığı, yuvarlanan deklanşör, şoklar ve senkronizasyon sapması klasik arıza koşullarıdır.

1. VO Ne Tahmin Ediyor ve Ne Tahmin Etmiyor

Kamera veya IMU çerçevesinin B dünya çerçevesine W göre k zamanındaki pozisyonunu \mathbf{p}_{WB,k} ve dönüşünü R_{WB,k} olarak yazın. VO'nun temel çıktısı, bitişik kareler veya anahtar kareler arasındaki göreceli dönüşümdür.

Özellik izleme yöntemlerinde, Temel Matris, RANSAC aracılığıyla karşılık gelen noktalardan tahmin edilir ve dönüş ve öteleme yönü bundan elde edilir. Zaten 3B noktaları olan stereo/RGB-D/harita tabanlı yöntemlerde, 2B-3B eşleşmelerinde PnP kullanılır. Doğrudan VO'da, açık tanımlayıcıları eşleştirmek yerine, pozlama düzeltilmiş piksel değerlerinin yansıtılan konumlarında aynı olması için poz optimize edilir.

Hangi yöntem kullanılırsa kullanılsın, VO, "son kareden bu yana ne kadar ilerlediğimi" entegre eden bir tür ölü hesaplama yöntemidir. Harici bir harita veya döngü kapatma olmadan, göreceli pozdaki küçük bir hata bile asla ortadan kalkmaz. Konum hatası genellikle zaman ve kat edilen mesafe ile artar ve uzun bir koridorda ileri geri yürüyüp başlangıç noktanıza geri dönseniz bile, yörünge kapanmaz. Bu sadece bir uygulama hatası değil; yerel gözlemleri ardışık olarak biriktiren bir problemin özelliğidir.

Monoküler Ölçek Problemi

Kalibre edilmiş bir monoküler iki görünüm eşleşmesi E=[\mathbf{t}]_\times R'i kısıtlar, ancak \mathbf{t}'nin uzunluğunu belirlemez. Bunun nedeni, her 3B noktanın ölçeklendirilmesi ve s>0 ile ötelenmesinin görüntü projeksiyonlarını değiştirmemesidir. Bir monoküler VO pozisyonu, konum birimi keyfi olsa bile doğru görünebilir ve ölçek kareler arasında sallanırsa, yörüngenin şekli bile bozulur.

Bilinen bir taban çizgisine sahip bir stereo donanımla, derinlik d'ten Z=fB/d olarak kurtarılabilir. RGB-D, sensörün kendi derinliğine sabit bir ölçek verir. VIO'da, ivme m/s² birimlerinde ölçüldüğü için Yerçekiminin büyüklüğü bilindiğinde, yeterli hareket uyarımı, görsel sistemin keyfi ölçeğini fiziksel ölçeğe hizalamanıza olanak tanır. Ancak sadece bir IMU takmak otomatik olarak ölçek üretmez; sabit haldeyken, sabit hızda hareket ederken, çok kısa bir aralıkta veya yanlış zaman kaymasıyla, ölçek ve sapma birbirine karışır.

2. Kamera Gözlemleri: Özellik Tabanlı ve Doğrudan Yöntemler

Özellik tabanlı VO, ORB, SIFT, FAST+KLT ve benzeri yöntemlerle izlenen eşleşmeleri kullanır. Yeni bir karenin 2B gözlemi \mathbf{z}_{ij} ve dönüm noktası \mathbf{P}_j için, projeksiyon kalıntısı şöyledir:

burada \pi([X,Y,Z]^\mathsf{T})=(X/Z,Y/Z)^\mathsf{T} perspektif bölümüdür. RANSAC uyumsuzlukları giderir ve Huber kaybı veya benzeri bir yöntem, kalan aykırı değerlerin aşırı ağırlıklandırılmasını önler. Özellik tabanlı yöntemler, pozlama değişikliklerine karşı nispeten dayanıklıdır ve görselleştirilmesi ve hata ayıklanması daha kolaydır. Geometrik olarak.

Doğrudan yöntemler, karşılık gelen piksellerin veya küçük yamaların parlaklık kalıntısını en aza indirir. Pozlama parametreleri a_i,b_i ile, bir noktadaki kalıntı \mathbf{u} kabaca şu şekilde yazılabilir:

Bu, birçok dokulu pikseli kullanabilir, ancak parlaklık sabitliği varsayımına, hareketli deklanşöre, bulanıklığa, otomatik pozlamaya ve yansımalara karşı hassastır. Yarı doğrudan yöntemler orta yolu izler - kaba izleme için pikseller, daha sonraki aşama için özellikler.

3. IMU Neyi Ölçer ve Neden Doğrudan Entegre Edilemez

Bir IMU, jiroskopun açısal hızını \tilde{\boldsymbol\omega} ve ivmeölçerin özgül kuvvetini \tilde{\mathbf{a}} verir. Bunlar ideal değerler değildir - sapma \mathbf{b}_g,\mathbf{b}_a ve beyaz gürültü \mathbf{n}_g,\mathbf{n}_a içerirler.

Buradaki önemli nokta, ivmeölçerin dünya ivmesini doğrudan ölçmemesidir - yerçekimi ile birlikte özgül kuvveti ölçer. Zaten çıkarılmış durumda. Yönü bilmeden, yerçekimini hangi yöne ekleyeceğinizi bilemezsiniz ve küçük bir sapmayı bile çift entegre etmek, konumun hızla kaymasına neden olur. Sürekli zamanlı hareket denklemleri şöyledir:

Sadece bir saniye sonraki hataya bakıldığında, bir IMU pürüzsüz ve mükemmel görünür, ancak dakikalarca yardımsız navigasyonda, sapma ve yön hatası konumu ciddi şekilde bozar. VIO'nun özü, görüntülerin IMU'nun uzun vadeli kaymasını düzeltmesi, IMU'nun ise görüntülerin seyrek olduğu kısa hareket ve dönüş aralıklarını birleştirmesidir.

4. IMU Ön Entegrasyonu: Anahtar Kareler Arasındaki Hareketi Sıkıştırma

Tipik bir kurulumda kamera 20-60 Hz'de ve IMU 100-1000 Hz'de çalışır. i ve j anahtar kareleri arasında onlarca ila yüzlerce IMU ölçümü olabilir. Optimizasyoncu pozisyonu her değiştirdiğinde her örneği yeniden entegre etmek... veya sapma pahalı olurdu. Forster ve diğerlerinin IMU ön entegrasyonu, belirli bir doğrusallaştırma noktası sapması etrafındaki göreceli dönüşü, hız değişimini ve konum değişimini önceden hesaplar ve ayrıca Jacobian'ları ve kovaryansı korur.

Yerçekimi ve dünya hızı çıkarılmış nicelikleri \Delta R_{ij},\Delta\mathbf{v}_{ij},\Delta\mathbf{p}_{ij} olarak yazarsak, tahmin kabaca şöyledir:

Sapma güncellendiğinde, saklanan \partial\Delta/\partial\mathbf{b} kullanılarak birinci dereceden bir düzeltme uygulanır ve tam yeniden entegrasyon yalnızca değişim büyük olduğunda gerçekleşir. Dönüş, düz bir vektör olarak toplanmaz, ancak SO(3) manifoldunda üstel harita veya kuaterniyonlar aracılığıyla oluşturulur. Bir kovaryans \Sigma_{ij} taşımak, gürültülü bir IMU'nun ve hassas bir kamera kalıntısının aynı amaç fonksiyonu içinde doğru şekilde ağırlıklandırılmasını sağlar.

Kaydırma pencereli VIO için temsili amaç fonksiyonu şöyledir:

Durum kümesi \mathcal X, her anahtar kare için poz, konum, hız, jiroskop/ivmeölçer sapmaları, işaret noktalarının ters derinliği ve gerektiğinde zaman kayması veya dışsal parametreleri içerir. Eski durumlar, hesaplama maliyetini sınırlı tutmak için bir önsele marjinalleştirilir. Marjinalleştirme doğrusallaştırma noktasına bağlı olduğundan, durumu tekrar tekrar büyük miktarda güncellemek tutarlılığı bozma eğilimindedir. Birinci Tahmin Jacobian (FEJ) gibi teknikler sadece bir hız optimizasyonu değildir; sistemin aslında gözlemlenemeyen serbestlik derecelerini yanlış bir şekilde "gözlemlemesini" önlemek için vardırlar.

5. Filtre Tabanlı ve Optimizasyon Tabanlı

VIO genel olarak hata durumu genişletilmiş Kalman filtresi (EKF) aileleri ve sabit uzunluklu doğrusal olmayan optimizasyon aileleri olarak ikiye ayrılır. İlki, mevcut durumu ve kovaryansı sırayla günceller ve tutarlılığı koruma eğilimindedir. Gecikme ve bellek kullanımı azalır. MSCKF, özellik noktalarını uzun ömürlü durum olarak tutmaz; bunun yerine, onları çoklu görünüm kısıtlamaları olarak marjinalleştirir, bu da onu hafif tutar. OpenVINS, tekrarlanabilirlik ve genişletilebilirliğe vurgu yaparak bu aileyi uygular.

İkincisi, birden fazla anahtar kareyi ve işaret noktasını birlikte optimize eder. VINS-Mono, özellik izleme, IMU ön entegrasyonu, kayan pencere ve döngü kapatmayı içeren temsili bir örnektir. Yeniden projeksiyon hatasını birden fazla kareye dağıtmak genellikle doğruluk avantajı sağlar, ancak marjinalleştirme, çözücü, gecikme ve başarısız başlatmadan kurtarma dikkatlice tasarlanmalıdır.

Özelliklerin işlenmesi | Gözlem kısıtlamaları olarak marjinalleştirilmesi kolaydır | Ters derinlik vb. açık durum olarak tutulması kolaydır |

Güçlü Yönleri | Gömülü sistemler için uygundur, kovaryansı yönetmek kolaydır | Yeniden projeksiyonu genel olarak tutarlı tutmak daha kolaydır |

Uyarılar | Doğrusallaştırma ve tutarlılık, gözlemlenebilirlik | Marjinalleştirme hatası, CPU yükü, yeniden doğrusallaştırma |

Hiçbiri evrensel olarak daha iyi değildir. Gerekli gecikme süresine, sensör frekansına, CPU bütçesine, görüş alanına, işletim ortamına ve bakım kapasitesine göre seçim yapın. Bir makalede bildirilen yörünge hatasını karşılaştırmak, kamera modelini, kalibrasyonu, veri kümesi hareketini ve yeniden konumlandırmanın kullanılıp kullanılmadığını göz ardı etmek, yanlış uygulama seçimi yapmanın iyi bir yoludur.

6. Başlangıç: İlk Birkaç Saniyede Neler Belirlenmelidir

VIO başladığı anda, dünya yönelimi, başlangıç hızı, jiroskop sapması, ivmeölçer sapması, yerçekimi, monoküler ölçek ve Kamera-IMU göreceli pozisyonunun tamamı belirsizdir. Tipik akış, yalnızca görüntülerden iki görünüm/çoklu görünüm göreceli bir yapı oluşturmak, ardından bu görsel hareketi IMU entegrasyonuyla hizalayarak hızı, yerçekimi yönünü, ölçeği ve sapmayı çözmektir.

Sabit bir aralık, ortalama jiroskop okumasından ilk jiroskop sapması tahminini ve ortalama ivme yönünden yerçekimi yönüne doğru bir ipucu verir. Ancak bir ivmeölçer, bir aracın kendi doğrusal ivmesini yerçekiminden ayırt edemez. Başlatma sırasında "uyarıcı" eklemek - cihazı sadece yavaşça ileri geri hareket ettirmek değil, birden fazla eksen boyunca döndürmek ve ötelemek - ölçek ve sapma arasındaki ilişkiyi çözmeye yardımcı olur. Tersine, cihazı bir masa üzerinde neredeyse sabit tutarak, tek yönde sabit hızda hareket ettirerek veya yalnızca bir düzlemi görerek başlamak, sistemin yetersiz gözlemlenmesine neden olur.

Başlatma başarısını değerlendirmek sadece optimize edici yakınsamasıyla ilgili değildir. Tahmin edilen ölçeğin pozitif ve makul olduğunu, yerçekiminin büyüklüğünün yaklaşık 9.81\,\mathrm{m/s^2}'a yakın olduğunu ve Sapma, sensörün özelliklerinin çok dışında değildir ve başlangıçta üçgenleştirilmiş noktaların yeterli paralaksa ve yüksek oranda pozitif derinliğe sahip olması gerekir. Bir arıza sonrasında eski kötü durumu devam ettirmek yerine, görüntü izlerini ve IMU tamponunu sıfırlamak ve yeniden başlatmak, sonraki aşamalarda daha az hasara yol açar.

7. Kalibrasyon ve Zaman Senkronizasyonu

VIO'nun performansını belirleyen şey, algoritmanın adından ziyade sensör modelinin doğruluğudur. En az üç kalibrasyon gereklidir.

• Kamera içsel kalibrasyonu: odak uzaklığı, ana nokta, bozulma modeli. Görüntü yeniden boyutlandırılırsa veya kırpılırsa, K de değişmelidir.

• Dışsal kalibrasyon: kamera ve IMU arasındaki katı dönüşüm T_{BC}. Birkaç derecelik bir dönüş hatası veya birkaç santimetrelik bir kaldıraç kolu hatası, hızlı hareket altında büyük bir etkiye sahiptir.

• Zaman kalibrasyonu: görüntü pozlama süresi ile IMU süresi arasındaki fark, ve gerekirse kamera okuma süresi. Ayrı saatler, tamponlama ve sürücü zaman damgaları, birkaç milisaniyelik bir artık sapma bırakabilir.

Kalibr, kamera ve IMU arasındaki zaman sapmasını ve dışsal etkileri tahmin etmek için yaygın olarak kullanılan bir araçtır. Ancak bir kez elde edilen bir değeri kalıcı olarak kabul etmek risklidir; odak değişikliği, gövdenin yeniden montajı, sıcaklık veya sensördeki yazılım zaman işlemesi bu koşulları değiştirebilir. Tipik değerleri bir veri sayfasından kopyalamak yerine, IMU gürültü yoğunluğunu ve sapma rastgele yürüyüşünü Allan varyansı gibi bir şeyle kontrol etmek, filtreye aşırı güvenmekten kaçınmaya yardımcı olur.

Hareketli deklanşörlü bir kamera, tek bir anda tek bir kare yakalamaz. Hızlı dönüş altında, üst ve alt sıralar farklı pozisyonlarda gözlemlenir ve küresel deklanşör varsayan bir yeniden projeksiyon kalıntısı sistematik olarak yanlış olacaktır. Küresel deklanşörlü kısa bir pozlama en güvenilir çözümdür; bu başarısız olursa, IMU telafisiyle birlikte sıra zamanlamasını içeren bir gözlem modelini düşünün. Sol/sağ kameralar veya bir derinlik sensörü eklerken, donanım tetiklemeli Senkronizasyon tercih edilir.

8. Bir Uygulama Seçimi: VINS-Mono, OpenVINS ve İlgili Sistemler

VINS-Mono, tek gözlü kamera ve IMU için yaygın olarak referans alınan optimizasyon tabanlı bir VIO uygulamasıdır. Çevrimiçi dışsal ve zaman kayması kalibrasyonu, özellik izleme, ön entegrasyon, kayan pencere ve döngü kapatma içerir. Değeri sadece bir pozisyon çıktısı vermekle sınırlı değildir; tüm konfigürasyonun araştırma amaçları için okunabilir olmasıdır. Stereo veya GPS'i birleştirmek istediğinizde VINS-Fusion bir adaydır.

OpenVINS, FEJ ile tasarlanmış ve tutarlılığı açıkça belirtilmiş, MSCKF/EKF ailesine odaklanmış açık kaynaklı bir uygulamadır. Filtre tabanlı bir VIO'nun durumu, kovaryansı ve kalibrasyonu nasıl ele aldığını doğrulamak istediğiniz durumlara uygundur. Basalt, yüksek performanslı bir optimizasyon arka ucu ile stereo VIO sağlar ve EuRoC gibi veri kümelerine karşı test edilir. Akıllı telefonlarda ve AR'da, platformun yerleşik VIO'sunu kullanmak, bir uygulama için genellikle daha gerçekçidir, çünkü Kamera zamanlamasına, IMU zamanlamasına ve cihaza özgü kalibrasyona erişimi vardır.

Mevcut uygulamaları karşılaştırırken, bir demoda görünen bir yörüngeyi başarı olarak değerlendirmeyin. Gerçek donanım üzerinde doğrulayın: giriş görüntüsünün çözünürlüğü ve gerçek frekansı, IMU'nun birimleri ve eksen kuralı, zaman referansı, dışsal kalibrasyon, başlatma hatası durumundaki davranış, izleme kaybından sonra yeniden konumlandırma, CPU kullanımı, bellek ve lisans. Özellikle, bir ROS mesajının zaman damgası "alınma zamanı" ile doldurulursa, tahminci doğru görünen ancak fiziksel olarak yanlış zaman aralıkları içeren bir sipariş alır.

9. Minimal Bir İşleme Akışı

1. Kamera içsel/dışsal parametrelerini ve zamanı kalibre edin ve görüntüleri ve IMU verilerini ortak bir zaman tabanında tamponlayın.

2. Her IMU varışında, sapma düzeltilmiş açısal hız ve özgül kuvvet kullanarak durumu tahmin edin ve kovaryansı güncelleyin veya Ön entegrasyon.

3. Her görüntü geldiğinde, önceki kare/anahtar kareden özellikleri izleyin ve ileri-geri kontroller, RANSAC ve maskeler kullanarak aykırı değerleri kaldırın.

4. Başlatmadan önce, paralaks ve uyarımı değerlendirin ve görsel yapıyı atalet verileriyle hizalayın. Koşullar kötüyse başlatmayı geciktirin.

5. Başlatmadan sonra, görsel yeniden projeksiyon kalıntısını IMU kalıntısıyla birleştirerek poz, konum, hız, sapma ve noktaları güncelleyin.

6. Eski anahtar kareleri marjinalleştirin ve kalite kontrolünden geçemeyen gözlemleri atın. Gerekirse yeniden konumlandırmaya veya güvenli sıfırlamaya geçin.

Bu akışta, tahmin ve düzeltme arasındaki ayrım önemlidir. Görüntüler geçici olarak kaybolsa bile, IMU tahmini çıktı üretmeye devam edebilir, ancak belirsizliği artmaktadır. İkili bir "poz mevcut / mevcut değil" yerine, uygulama tarafı izleme durumunu, bir kovaryans veya kalite puanını ve son görsel güncellemeden bu yana geçen süreyi almalı ve bunları AR ekranını kademeli olarak değiştirmek, hızı kontrol etmek ve güvenlik durdurmaları yapmak için kullanmalıdır.

10. Değerlendirme Ölçümler: Adil Karşılaştırma İçin Neleri Ölçmeliyiz?

Mutlak Yörünge Hatası (ATE), tahmini konum dizisi ile gerçek konum arasındaki farktır; bu fark, diziler rijit veya Sim(3) dönüşümü ile hizalandıktan sonra elde edilir.

Tek gözlü VO'nun ölçeği belirsiz olduğundan, Sim(3) hizalamasının da ölçekle eşleşip eşleşmediğini her zaman belirtin. VIO veya stereo'da ölçek hatasını gerçekten görmek istiyorsanız, Sim(3) hizalaması tam olarak bu hatayı gizleyecektir. SE(3) hizalaması kullanmak, yalnızca başlangıç pozisyonunu hizalamak veya yörüngeleri hizalanmamış olarak karşılaştırmak, amaca göre seçilmelidir.

Bağıl Pozisyon Hatası (RPE), sabit bir zaman veya mesafe aralığında yerel kaymayı ölçer \Delta. Tahmini bağıl dönüşüm \hat T_{k,k+\Delta} ile gerçek konum T^{\mathrm{gt}}_{k,k+\Delta} arasındaki farktan,

öteleme hatası (m/m veya %) ve dönüş Hata (derece/m, derece/s) hesaplanır. Uzun mesafede ATE küçük olsa bile, kısa vadeli titreşim büyükse, yörünge AR veya uçuş kontrolü için uygun değildir. Tersine, düzgün ancak uzun mesafelerde sürüklenen bir yörünge haritalama için elverişsizdir.

Gecikme / CPU / güç | Gömülü bir uygulamanın pratikliği | Yalnızca çevrimdışı işlemeye göre değerlendirilemez |

EuRoC MAV, TUM VI, UZH-FPV ve KITTI, karşılaştırma için yaygın olarak kullanılan halka açık veri kümeleridir. Ancak iç mekan el kameraları, araç üstü kurulumlar ve yarış dronları görüş alanı, aydınlatma, hız, titreşim ve pozlama açısından farklılık gösterir. Bir kıyaslama sıralamasını doğrudan gerçek donanıma aktarmak yerine, kendi kayıtlarınıza yakın bir rota, hız ve arıza koşulunda değerlendirme yapın. Gerçek verilerin yakalanamadığı saha koşullarında bile, kapalı bir döngünün başlangıç/bitiş aralığına, bilinen mesafelere, duvar yeniden projeksiyonuna veya harici hareket yakalama ile kapsanan kısmi bir bölüme karşı denetim yapabilirsiniz.

11. Temsili Arıza Koşulları ve Karşı Önlemler

Düşük doku, karanlık, bulanıklık

Beyaz bir duvar, karanlık bir koridor, arka aydınlatma veya keskin bir dönüş, görsel kalıntıda yetersiz gradyan bırakır. Az sayıda özellik noktası olduğunda RANSAC eşiğini gevşetmek sadece artırır. Uyumsuzluklar. Karşı önlemler arasında pozlama süresini kısaltan aydınlatma/sensör tasarımı, geniş açılı veya stereo çekim, özelliklerin yeniden algılanması ve tüketicinin artan tahmin edilen belirsizlik konusunda bilgilendirilmesi yer almaktadır.

Dinamik nesneler ve yansımalar

VIO, görüntü noktalarının çoğunun statik arka plana ait olduğunu varsayar. Kalabalıklar, trafikteki öndeki araç, aynalar, cam ve su yüzeyleri bu varsayımı bozar. Sağlam kayıp ve RANSAC tek başına arka planın azınlıkta kaldığı bir durumu kurtaramaz. İhtiyaç duyulan şey, hareketli nesnelerin anlamsal bölgesini dışlamak, birden fazla hareketi derinlik veya akışla ayırmak ve sabit nesnelere öncelik veren bir tasarımdır.

IMU doygunluğu, titreşim, sıcaklık kayması

Drone'larda ve küçük robotlarda motor titreşimi, ivmeölçere güçlü bant sınırlı gürültü enjekte eder ve şoklar aralığını doyurabilir. Filtrenin gürültüsünü çok küçük ayarlamak ve IMU'ya aşırı güvenmek, görüntü düzeltmelerini reddetmesine ve sapmasına neden olur. Titreşim izolasyonu, uygun bant sınırlama, doygunluk işaretleri, sıcaklığı içeren bir sapma modeli ve ölçülen gürültü parametrelerini kullanın. Ayrıca dikkatli olun — ham IMU'yu aşırı yumuşatmak kısa ivmeleri kaybetmenize neden olur.

Zaman kayması ve koordinat çerçevesi karışıklıkları

5 ms'lik bir zaman kayması, hızlı dönüş sırasında geniş bir görüş alanı farkına karşılık gelir. Görüntü zaman damgalarının pozlama başlangıcını, pozlama orta noktasını veya alım zamanını mı, IMU zaman damgalarının ise örnekleme zamanını mı yoksa varış zamanını mı ifade ettiğini açıkça belirtin. Sağ el/sol el kurallarını, yerçekiminin işaretini, T_{BC} ile T_{CB} arasındaki karışıklığı veya kameranın optik ekseninin yönünü karıştırmak, optimizasyonun sayısal olarak yakınsamasına rağmen fiziksel olarak yanlış kalmasına neden olabilir. Sabit bir test, bilinen 90 derecelik bir dönüş ve kısa bir düz çizgi hareketi kullanarak birim testleri hazırlayın.

Başlatma ile Yeniden Konumlandırmayı Karıştırmak

Başlatma, henüz harita veya ölçek olmayan bir durumdan tahmin başlatmaktır; yeniden konumlandırma ise bilinen bir haritaya veya geçmiş bir anahtar kareye geri dönmektir. Saf VO/VIO, izleme kaybı olduğunda genellikle yeni bir yerel koordinat çerçevesinde yeniden başlar. Değerlendirme yaparken, döngü kapatan SLAM'ın yeniden konumlandırma yeteneğini VO'nun ham kayma performansı ile karıştırmayın. Bir üründe, izleme kaybından sonra eski koordinat çerçevesini kullanmaya devam edip etmeyeceğinize, güvenli bir şekilde durup durmayacağınıza veya çapayı geçersiz kılıp kılmayacağınıza açıkça karar verin.

12. Son Yönelimler

Son yıllarda, SuperPoint, LightGlue ve LoFTR gibi öğrenmeye dayalı özellik ve eşleşme tahminleri, bazı durumlarda klasik yerel tanımlayıcılar için zor olan görünüm değişikliklerine karşı etkili olduğunu kanıtlamıştır. DROID-SLAM gibi derin bir ağı yinelemeli geometrik optimizasyonla birleştiren yaklaşımlar da ortaya çıkmıştır. Ancak öğrenilmiş bir model birçok eşleşme döndürse bile, ölçek belirsizliği, düzlemsel dejenerasyon, zaman senkronizasyonu ve IMU sapması fiziksel sorunlar olarak kalır. Öğrenilmiş çıktıyı sağlam geometriye, yeniden projeksiyon hatasına ve atalet tutarlılığına karşı doğrulayan bir tasarım hala temel yaklaşımdır.

Yüksek hızları ve yüksek dinamik aralıklarıyla olay kameraları, geleneksel bir kameranın bulanıklık veya karanlıkla mücadele ettiği koşulları kapsama potansiyeline sahiptir. LiDAR, UWB, GNSS veya tekerlek odometrisini VIO'ya ekleyen çok modlu tahmin de uzun vadeli sapma ve zorlu ortamlar için bir önlem olarak pratik hale geliyor. Daha fazla sensör eklemek performansı otomatik olarak iyileştirmez; dışsal faktörler, zamanlama, hata tespiti ve ağırlık ayarlaması yeni potansiyel hata yüzeyleri haline gelir.

13. Özet

VO, görüntülerden kısa vadeli göreceli hareketi kurtarmak için kullanışlı bir odometri tekniğidir, ancak monoküler VO'nun ölçeği yoktur ve yerel hata birikir. VIO, IMU'nun yüksek frekanslı hareket kısıtlamasını kameranın uzun vadeli düzeltmesiyle birleştirerek, ölçek, pozisyon, hız ve sapmayı eş zamanlı olarak tahmin eder. Temelinde doğru bir sensör modeli, IMU ön entegrasyonu, yeterli hareket uyarımı kullanılarak başlatma ve görsel ve ataletsel artıkların sağlam bir birleşimi yer alır.

Pratikte, önce kalibrasyonu, zamanlamayı ve koordinat çerçevelerini doğrulayın, ardından paralaksı, içsel dağılımı, yeniden projeksiyon hatasını, sapmayı, yerçekimini ve izleme durumunu gözlemlenebilir kayıtlara dönüştürün. VINS-Mono ve OpenVINS güçlü başlangıç noktalarıdır, ancak yakalama koşullarınız, gecikme süreniz, yeniden başlatma politikanız ve güvenlik gereksinimlerinize göre değerlendirilmelidir. Nihayetinde güvenilmesi gereken şey, yörüngenin ne kadar iyi göründüğü değil, ölçek ve pozisyonun hangi koşullar altında gözlemlenebilir olduğunu ve belirsizliğin hangi koşullar altında arttığını açıklayabilen bir tasarımdır.