Sensör Füzyonuna Giriş — Birçok Sensörden Tek Bir Dünya Modeli Oluşturma

Robotlar ve otonom araçlar genellikle aynı anda birkaç sensör taşırlar: kamera, LiDAR, IMU, radar, GNSS. Ancak bunların hiçbiri tek başına dünyayı doğru şekilde anlayamaz: bir kamera derinlikle mücadele eder, bir LiDAR size renk veya dokuyu söyleyemez, bir IMU'nun hataları zamanla birikir. Sensör Füzyonu, her sensörün kör noktalarını başka bir sensörün güçlü yönleriyle doldurarak, ayrı ayrı kusurlu parçalardan tutarlı bir "dünya modeli" oluşturan teknolojidir. Bu makale, hem matematiksel temelleri (olasılık ve optimizasyon) hem de somut eşleştirmeleri (VIO, LIO ve Kamera×LiDAR) ele almaktadır.

IMU/INS örneği

Derinlik kamerası örneği

Resimler: Xsens MTi-G (Kallap85, CC BY-SA 4.0) / Intel RealSense derinlik kamerası D435 (Marc Auledas, CC BY-SA 4.0), Wikimedia Commons.

0. Bu Makalenin İçeriği

• Sensör Füzyonu ne işe yarar ve neden tek bir sensör asla yeterli değildir?
• Temel Füzyon işlem hattı (sensör → ölçüm → özellik/durum → füzyon → tahmini durum)
• Erken, Orta ve Geç Füzyon arasındaki fark
• Olasılıksal Füzyon nasıl çalışır — Kalman Filtresi, EKF, UKF, Parçacık Filtresi
• Optimizasyon tabanlı Füzyon nasıl çalışır — Faktör Grafikleri, Poz Grafikleri
• VIO (Kamera×IMU), LIO (LiDAR×IMU) ve Kamera×LiDAR'ın neden bu kadar doğal eşleşmeler olduğu
• Otonom sürüş kullanan dört sensörlü entegrasyon örneği (Kamera×LiDAR×Radar×IMU)
• Uygulamada Füzyonu zorlaştıran şey nedir — zaman senkronizasyonu, kalibrasyon, gürültü
• Kullanım durumunuz için bir Füzyon sistemi tasarlamayı nasıl düşünmelisiniz?

1. Kısa Cevap: Sensör Füzyonu Nedir?

Tek cümleyle: Sensör Füzyonu Çoklu sensörlerden gelen eksik ve gürültülü gözlemleri matematiksel olarak birleştirerek, tek bir sensörün tek başına verebileceğinden daha doğru ve daha güvenilir bir "durum" tahmini üretir.**

Bu tanım üç fikri içerir. Birincisi, tamamlayıcılık — farklı sensörler farklı yerlerde güçlü ve zayıftır, bu nedenle bunların birleştirilmesi, her birinin diğerinin zayıf yönlerini ortadan kaldırmasına olanak tanır. İkincisi, Durum Tahmini — doğrudan gözlemleyemediğiniz bir niceliği (şu anda neredeyim, hangi hızdayım, hangi yönelimdeyim) gözlemleyebileceğiniz niceliklerden çıkarım yapmak için kullanılan istatistiksel çerçeve. Üçüncüsü, Dünya Modeli — her sensörün parçalı bilgilerini hem zaman hem de mekân açısından tutarlı tek bir temsile entegre etmenin sonucu. Bir robot ham sensör verilerine göre değil, bu entegre Dünya Modeline göre hareket eder.

2. Neden Tek Bir Sensör Yeterli Değil?

Her sensörün iyi ve kötü yönlerini sıralamak, Füzyonun neden esasen zorunlu olduğunu açıkça ortaya koymaktadır.

Bu tablo, "yüksek hassasiyetli sensör" ve "evrensel sensör"ün iki farklı şey olduğunu ortaya koymaktadır. LiDAR, geometrik hassasiyette bir kameradan daha iyidir ancak size renk veya anlam söyleyemez. GNSS mutlak konum verir ancak yavaş güncellenir ve şehir merkezinde güvenilir değildir. Bir IMU, aydınlatmaya veya görünürlüğe bağlı değildir, ancak sıcaklık, titreşim ve montaj hatasından etkilenir; entegrasyon yoluyla durum elde ettiği için, zamanla sapma kaçınılmazdır. Sensör Füzyonu, bu tamamlayıcı ilişkiyi matematiksel olarak kullanır.

3. Füzyonun Temel Yapısı

Sensör Füzyonu işlem hattının ayrıntıları, neyin ve hangi seviyede füzyonlandığına bağlı olarak değişir (bir sonraki bölüm), ancak genel yapı her zaman aynı beş aşamadan oluşur.

Şekil 1 — Her sensörden gelen ham ölçümler özelliklere veya kısmi duruma dönüştürülür ve Füzyon aşaması bunları tek bir tahmini değere entegre eder. Durum.

Her sensörden doğrudan alınan ham ölçümler doğrudan karşılaştırılamaz; birimleri, koordinat çerçeveleri ve güncelleme hızları farklıdır. Her sensör akışı önce özelliklere (görüntü anahtar noktaları, nokta bulutu kenarları vb.) veya kısmi duruma (hız, göreceli pozisyon) dönüştürülür ve ancak daha sonra Füzyon aşamasına verilir. Füzyon aşaması, aşağıda tartışılan olasılıksal yöntemlerin (Kalman Filtreleri vb.) veya optimizasyon tabanlı yöntemlerin (Faktör Grafikleri vb.) fiilen yer aldığı yerdir ve çıktısı nihai tahmini durumdur - konum, hız, yönelim ve daha fazlası.

4. Üç Füzyon Seviyesi

Füzyon, birden fazla sensörün bilgilerinin işlem hattının neresinde birleştirildiğine bağlı olarak genel olarak üç seviyeye ayrılır.

Hangi seviyenin seçileceği, doğruluk ve uygulama maliyeti arasında bir denge meselesidir. Erken Füzyon, prensip olarak en fazla bilgiyi kullanır, ancak sensörler arasındaki milisaniye düzeyindeki zamanlama sapmaları veya milimetre düzeyindeki montaj hataları sonucu doğrudan bozar ve çok sıkı kalibrasyon gerektirir. Geç Füzyonun büyük bir pratik avantajı vardır — her sensörün işlem hattı bağımsız olarak geliştirilebilir ve hata ayıklanabilir — ancak bireysel bir sensörün "kaçırdığı" herhangi bir şey, sonuçlar ne kadar zekice birleştirilirse birleştirilsin, kurtarılamaz. Orta seviye Füzyon, özellikle otonom sürüşte BEV Füzyonu, bu iki uç nokta arasında giderek daha popüler bir orta yol haline gelmiştir.

5. Olasılıksal Füzyon

Birden fazla sensörün gözlemlerini birleştirmek için kullanılan iki matematiksel çerçeveden ilki olasılık teorisine dayanmaktadır. Temeli Bayes Tahminidir: "önceki adımdan taşınan tahmini" (önsel) "yeni gözlem" (olasılık) ile birleştirerek "mevcut tahmini" (sonraki) güncelleyin.

Sol taraf, 1 zamanından t zamanına kadar her z_{1:t} gözlemi verildiğinde, x_t durumu üzerindeki sonradan dağılımdır. Sağ taraf, önceki tahmini p(x_{t-1}\mid z_{1:t-1}) alır, hareket modeli p(x_t\mid x_{t-1}) (integral) üzerinden bir adım ileriye doğru yayar ve ardından bu tahmini yeni gözlemin olasılığı p(z_t\mid x_t) ile ağırlıklandırır — bir "tahmin et, sonra güncelle" döngüsü.

Kalman Filtresi, bu genel Bayes güncellemesini alıp her şeyin — hem durumun hem de gözlemin — doğrusal ve Gauss dağılımlı olduğunu varsaydığınızda elde ettiğiniz şeydir; bu da güncellemeyi kapalı formda bir ifadeye dönüştürür. Tahmin adımında, durum ve hata kovaryansı hareket modeli üzerinden ilerletilir; güncelleme adımında, yeni gözlem ile tahmin arasındaki uyumsuzluk (yenilik), Kalman Kazancı ile ağırlıklandırılmış olarak durumu düzeltir.

P_t^{-}, tahmin edilen hata kovaryansıdır, H durumu gözlem uzayına eşler ve R gözlem gürültüsü kovaryansıdır. Kalman Kazancı K_t, "modelin tahminine" mi yoksa "yeni gözleme" mi ne kadar güvenileceğini ifade eden bir ağırlıktır: gözlem gürültüsü ne kadar küçükse R (güvenilir bir sensör), gözlem o kadar ağırlığa sahiptir; tahmin belirsizliği ne kadar küçükse P_t^{-} (güvenilir bir model), tahmin o kadar ağırlığa sahiptir — denge otomatik olarak kendini ayarlar.

Gerçek bir robotun hareket ve sensör modelleri neredeyse hiçbir zaman doğrusal değildir, bu nedenle düz bir Kalman Filtresi genellikle doğrudan uygulanamaz. Genişletilmiş Kalman Filtresi (EKF), Jacobian'ları kullanarak mevcut tahmin etrafında doğrusal olmayan hareket ve gözlem modellerini doğrusallaştırır ve ardından sıradan Kalman Filtresi ile aynı güncelleme denklemlerini uygular. Kokusuz Kalman Filtresi (UKF; Julier & Uhlmann, 1997), Jacobian yaklaşımını tamamen atlar, bunun yerine küçük bir temsili örnek nokta kümesini (sigma noktaları) doğrudan doğrusal olmayan fonksiyonlardan geçirir ve sonuçlardan ortalama ve kovaryansı yeniden oluşturur; bu da güçlü doğrusal olmayan durumlarda EKF'den daha iyi performans gösterebilir. Parçacık Filtresi (Gordon, Salmond & Smith, 1993) dağılımı Gauss dağılımıyla sınırlandırmaz; olasılık dağılımının kendisini çok sayıda parçacık (örnek) ile yaklaşık olarak temsil eder, bu da daha fazla parçacık ve daha fazla hesaplama gerektirme pahasına, birden fazla hipotezin bir arada bulunduğu çok modlu dağılımları temsil etmesine olanak tanır.

6. Optimizasyon Tabanlı Füzyon

Olasılıksal Füzyon ardışık olarak, birer adım atarak güncellenirken, ikinci matematiksel çerçeve olan optimizasyon tabanlı Füzyon farklı bir yaklaşım benimser: bir gözlem penceresi tutulur, ardından tüm gözlemlerle aynı anda en tutarlı olan durum için yeniden çözüm bulunur.

Amiral gemisi formülasyonu Faktör Grafiğidir. Tahmin edilecek durumlar (her zaman adımındaki robotun pozisyonu, gözlemlenen referans noktalarının konumları) düğümler haline gelir; aralarındaki kısıtlamalar (verilen bir sensör gözleminin iki durumun nasıl ilişkilendirilmesi gerektiği hakkında bize söyledikleri) bu düğümleri birbirine bağlayan Faktörler haline gelir ve tüm grafik doğrusal olmayan en küçük kareler problemi olarak çözülür.

\mathbf{x}, tahmin edilecek tüm durum kümesidir, \mathbf{z}_k, k -inci sensör gözlemidir, \mathbf{e}_k, bu gözlemin tahmin ettiği ile mevcut durum arasındaki uyumsuzluğu ölçen hata fonksiyonudur ve \Sigma_k^{-1}, bu gözlemin güveninden gelen ağırlıktır. 3B referans noktalarının konumları kamera pozisyonlarıyla birlikte optimize edildiğinde, bu işleme özellikle Paket Ayarlaması denir. Düğümler bir robotun yörüngesi boyunca pozisyonlar olduğunda, buna Pozisyon Grafiği optimizasyonu denir - bir döngü kapanışından sonra (daha önce ziyaret edilen bir yeri tanıma) biriken sapmayı düzeltmek için standart çerçeve.

Olasılıksal Füzyon (özellikle EKF), ucuzdur ve sıralı işlemeye uygundur, ancak bir gözlem bir kez absorbe edildikten sonra tekrar ziyaret edemez - yalnızca mevcut tahminden ileriye doğru hareket eder. Optimizasyon tabanlı Füzyon, yeni bir gözlem eski bir tahminle çeliştiğinde tüm yörüngeyi geriye dönüp düzeltebilir; bu da genellikle daha doğru sonuçlar verir - ancak grafik büyüdükçe hesaplama yükünün artması pahasına. Ceres Solver, g2o ve GTSAM gibi genel amaçlı kütüphaneler, bu tür seyrek doğrusal olmayan en küçük kareler problemlerini (herhangi bir gözlemin yalnızca az sayıda değişkene dokunduğu) verimli bir şekilde çözmek için yaygın olarak kullanılır.

7. Kamera×IMU (VIO)

Bir kamerayı bir IMU ile eşleştirmeye Görsel-Ataletsel Odometri (VIO) denir ve pratikte en yaygın kullanılan Füzyon eşleştirmelerinden biridir. İkisinin bu kadar iyi anlaşmasının nedeni, zayıf yönlerinin birbirini neredeyse mükemmel bir şekilde tamamlamasıdır.

Bir kamera, özellik noktalarının görüntüler boyunca nasıl hareket ettiğinden kendi hareketini tahmin edebilir, ancak tek gözlü bir kamera prensipte mutlak ölçeği (gerçek dünya mesafe birimleri) belirleyemez ve hızlı dönüş görüntüyü bulanıklaştırma ve özellik izlemeyi bozma eğilimindedir. Bir IMU, ayna görüntüsüdür: ivmeyi ve açısal hızı yüzlerce Hz'de doğrudan ölçer, bu nedenle hızlı harekete karşı dayanıklıdır ve ivmenin entegrasyonu, gerçek ölçekte hız ve konum değişimini verir - ancak aynı entegrasyon, zamanla hataların birikmesine (sapmaya) neden olur ve asla mutlak konumu bilemez.

Bu denklemde gösterildiği gibi, bir IMU, ivmeyi iki kez entegre ederek konumu elde eder a_t, bu nedenle küçük bir ivmeölçer sapması bile, geçen zamanın karesiyle büyüyen bir konum hatasına dönüşür. VIO, bu sapmayı sınırlamak için görsel özellik gözlemlerini kullanabilir; yeterli hareket uyarımı ve gözlemlenebilirlik ile IMU, metrik ölçekli tahmini destekleyebilir, ancak her koşulda ölçek belirsizliğini ortadan kaldırmaz. MSCKF (Mourikis & Roumeliotis, 2007, EKF tabanlı), OKVIS (Leutenegger vd., 2015, doğrusal olmayan optimizasyon tabanlı) ve VINS-Mono (Qin vd., 2018, monoküler + IMU), bu iki çerçeve altında VIO'nun dönüm noktası niteliğindeki uygulamalarıdır.

8. LiDAR×IMU (LIO)

Bir LiDAR'ı bir IMU ile eşleştirmeye LiDAR-Ataletsel Odometri (LIO) denir ve dış mekan robotlarında ve otonom sürüşte yaygın olarak kullanılır. LiDAR, çevredeki geometriyi doğrudan ve hassas bir şekilde nokta bulutu olarak ölçer, ancak tek bir taramanın tamamlanması on ila yüz milisaniye sürer ve sensörün kendisi bu süre zarfında hareket ederse, bir tarama içindeki noktalar bozulur (hareket bozulması).

Burada da IMU'nun yüksek örnekleme hızı devreye giriyor: bir tarama sırasında yakalanan ince taneli yönelim değişikliklerinin enterpolasyonu, bu bozulmayı düzeltir. Sadece nokta bulutundan nokta bulutuna eşleştirmeye (ICP ve benzeri) güvenmek, geometrik olarak özellik bakımından fakir ortamlarda (uzun, özelliksiz bir koridor, açık bir alan) sapmaya eğilimlidir; bu ortamlarda IMU'nun atalet bilgisi boşluğu doldurur ve tahmini sabit tutar.

Erken dönem LOAM (Zhang & Singh, 2014), nokta bulutundan kenar ve düzlemsel özellik noktalarını çıkararak ve bunları eşleştirerek LiDAR odometrisine öncülük etti. LIO-SAM (Shan vd., 2020), GPS ve döngü kapatma kısıtlamalarının aynı grafiğe katlanabilmesi için tasarlanmış bir Faktör Grafiği üzerinde LiDAR ve IMU bilgilerini sıkıca entegre etti. FAST-LIO / FAST-LIO2 (Xu vd., 2021 / 2022), yinelenen Kalman Filtresi aracılığıyla sıkıca bağlı LiDAR-IMU entegrasyonunu benimsedi ve özellikle FAST-LIO2, seyrek özellik çıkarımı yoluyla değil, doğrudan nokta bulutunu işler. Sıkı bağlantı, ortak bilgileri kullanabilir, ancak doğruluk ve maliyet, başlatma, dejenerasyon, uygulama ve sensör zamanlamasına bağlıdır; gevşek bağlantıya göre evrensel olarak üstün değildir.

9. Kamera×LiDAR

Kamera ve LiDAR'ı eşleştirmek, en sezgisel olarak tamamlayıcı Füzyon kombinasyonudur — "anlamı biliyor ama mesafeyi bilmiyor" ile "mesafeyi biliyor ama anlamı bilmiyor" buluşuyor. Ancak bu eşleştirme, diğerlerinde olmayan bir zorluk taşır: iki sensörün koordinat sistemleri temelde farklıdır (kameranın 2 boyutlu görüntü düzlemi ile LiDAR'ın 3 boyutlu nokta bulutu), bu nedenle ikisini ilişkilendirmek açık bir kalibrasyon ve projeksiyon prosedürü gerektirir.

Kalibrasyon, kameranın içsel parametrelerini (odak uzaklığı, lens bozulması, içsel matris K) ve kamera ile LiDAR arasındaki göreceli pozisyonu (dışsal parametreler: dönüş R, öteleme t) çözer. Eldeki verilerle, LiDAR tarafından ölçülen 3 boyutlu bir nokta \mathbf{X}, kamera piksel koordinatlarına \mathbf{u} yansıtılabilir.

\pi(\cdot), homojen koordinatları 2 boyutlu görüntü düzlemine eşleyen perspektif projeksiyon fonksiyonudur ve [R\mid t], LiDAR koordinatlarından kamera koordinatlarına dönüşümdür. Kalibrasyon, bu hatayı \mathbf{e} en aza indiren R ve t değerlerini çözme işlemidir; bu işlem tamamlandıktan sonra, aynı projeksiyon "hangi LiDAR noktasının hangi görüntü pikseline karşılık geldiğini" belirler (Nokta-Piksel İlişkilendirmesi). Bu eşleşme, bir kameranın renk veya sınıf bilgilerini LiDAR noktalarına bağlamanıza veya kamera tarafından algılanan bir nesneye LiDAR'ın kesin menzilini vermenize olanak tanır.

Modern otonom sürüşte baskın yaklaşım, bu projeksiyonu nokta nokta değil, özellik düzeyinde gerçekleştirir: BEV Füzyonu (Kuş Bakışı Füzyonu). BEV Füzyonu (Liang vd., 2022 ve ayrı olarak Liu vd., 2022), kamera görüntüsü özelliklerini ve LiDAR nokta bulutu özelliklerini bağımsız olarak BEV (yukarıdan aşağıya 2B) uzayına dönüştürür, ardından bunları orada birleştirir ve Kamera×LiDAR için Orta Seviye Füzyonun amiral gemisi örneği olarak yaygın olarak gösterilir.

10. Kamera×LiDAR×Radar×IMU

Otonom sürüşü örnek alırsak, pratikte füzyon tek bir çiftin çok ötesine geçer: Kamera, LiDAR, Radar ve IMU (artı GNSS) her biri açıkça tanımlanmış bir rolle aynı anda entegre edilir.

• Kamera: Saf geometrinin veremediği "anlamı" algılar — trafik ışığı rengi, işaret metni, şerit tipi
• LiDAR: Aydınlatmadan etkilenmeden çevredeki nesnelerin hassas 3 boyutlu şeklini ve mesafesini ölçer
• Radar: Kameraları ve LiDAR'ı etkileyen yağmur, sis veya arka ışıkta çalışmaya devam eder ve Doppler yoluyla doğrudan göreceli hızı ölçer
• IMU: Aracın kendi yönelim değişikliğini ve ivmesini yüksek frekansta yakalar ve diğer sensörlerin okumaları arasında enterpolasyon yapar
• GNSS: Bir haritayla küresel olarak hizalama için referans sağlar (genellikle yüksek hassasiyetli düzeltmeden sonra IMU ile entegre edilir, örneğin RTK)

Bu dört veya beş sensör türü, birbirlerinin zayıf noktalarını kapatır, böylece neredeyse her arıza modu başkası tarafından yakalanır: yoğun sis kamera ve LiDAR doğruluğunu düşürür, ancak radar çalışmaya devam eder; bir tünel GPS'i engeller, ancak IMU ve LiDAR odometrisi kendi kendine konum belirlemeyi canlı tutar. Bu yedeklilik tasarımı — aynı koşullar altında birden fazla sensörün aynı anda arızalanma olasılığını azaltmak — otonom sürüş gibi arızanın bir seçenek olmadığı kullanım durumlarında çoklu sensör füzyonunun vazgeçilmez olarak kabul edilmesinin en büyük nedenidir.

11. Füzyonu Zorlaştıran Şeyler

Sensör Füzyonu kağıt üzerinde ne kadar zarif görünürse görünsün, uygulanması çok gerçek pratik zorluklarla karşılaşmaktadır.

• Zaman Senkronizasyonu: Her sensör farklı bir hızda ve farklı bir gecikmeyle veri üretir, bu nedenle onları "aynı an" olarak ele almak, doğru zaman hizalaması gerektirir — donanım düzeyinde tetikleme senkronizasyonu veya zaman damgası enterpolasyonu.

• Kalibrasyon: Sensörler arasındaki göreceli konum ve yönelim (dışsal parametreler) ve her sensörün kendi iç parametreleri (içsel parametreler) tam olarak bilinmelidir. Hafif bir montaj sapması, tüm füzyon sonucunda sistematik bir hata oluşturur.

• Koordinat Dönüşümü: Her sensör kendi çerçevesinde (kamera çerçevesi, LiDAR çerçevesi, araç çerçevesi, küresel çerçeve) bulunur ve bunların tutarlı ve sürekli olarak dönüştürülmesi gerekir.

• Sensör Gürültüsü: Her sensörün gürültü özellikleri (Gauss dağılımı olup olmaması, sapma olup olmaması) farklıdır ve bunun yanlış modellenmesi, olasılıksal Füzyonda ağırlıklandırmayı (örneğin Kalman Kazancı) bozar.

• Aykırı Değerler: Yanlış tespitler veya dinamik nesnelerin neden olduğu uyumsuzluklar, modelin asla tahmin etmediği gürültüyü ortaya çıkarır; basit bir istatistiksel model bunu tek başına ele alamaz, bu nedenle RANSAC gibi sağlam tahmin teknikleri veya açık aykırı değer reddi gerekli hale gelir.

• Belirsizlik Yayılımı: Her sensörün bireysel belirsizliği (kovaryansı) tüm Füzyon süreci boyunca doğru şekilde yayılmadığı sürece, nihai tahminin gerçek güvenilirliği yanlış değerlendirilir ve aşırı güven veya aşırı ihtiyat, sonraki kararları yanlış yönlendirir.

Bunların hiçbiri, sadece ders kitaplarındaki Kalman Filtresi denklemlerini uygulamakla çözülmez; hepsi tamamen sistem mühendisliği alanına girer.

12. Nihai Dünya Modeli

Şimdiye kadar ele alınan her şeyi - bireysel sensörleri, bireysel Füzyon yöntemlerini - bir araya getirin ve bir robotun veya otonom aracın nihayetinde taşıdığı şey, her sensörün uzmanlığını bir araya getiren, aşağıda gösterilen türden bir "dünya modeli"dir.

Şekil 2 — Kamera, LiDAR, IMU, Radar ve GNSS'nin her biri farklı bilgiler sağlar ve Füzyon katmanı bunları tutarlı bir Dünya Modeline entegre eder.

Dünya Modeli sadece "neredeyim" değil; çevredeki nesnelerin geometrisini (LiDAR'dan), bu nesnelerin ne olduğunu (kameradan), göreceli hızlarını (radardan), aracın kendi yönelim değişikliklerini (IMU'dan) ve haritadaki küresel konumunu (GNSS'den) içerir; bunların tümü zaman veya mekân boyunca çelişki olmadan entegre edilmiştir. Bir robotun yol planlaması veya otonom bir aracın sürüş kararları, bu Dünya Modeline göre yapılır - asla ham sensör verilerine göre değil. Sensör Füzyonu, bu anlamda, algılama ve eylem arasındaki köprüdür: her sensörün bireysel algılama yeteneğini, sistemin gerçekten üzerinde işlem yapabileceği tutarlı bir temsile dönüştürür.

13. Uygulamada Bir Füzyon Sistemi Tasarlamak

Gerçekte bir Sensör Füzyon sistemi tasarlarken, karar verme sürecini kolaylaştıran dört soru vardır.

Doğruluk ve hesaplama maliyeti | Sıkı bağlantı genellikle daha doğrudur ancak uygulanması ve çalıştırılması daha maliyetlidir; gevşek bağlantı (sensör başına tahmin, ardından birleştirme) uygulaması daha kolay ve daha ucuzdur, ancak doğrulukta bir miktar kayıp yaşanabilir.

Bu kararlar bağımsız değildir; birbirlerini etkilerler. Örneğin, seri üretilen bir otomotiv sistemi, hesaplama kısıtlamaları nedeniyle genellikle filtre tabanlı, gevşek bağlantılı tasarımlara yönlendirilirken, araştırma kullanım durumları veya çevrimdışı harita oluşturma, maksimum doğruluğu hedefleyen optimizasyon tabanlı, sıkı bağlantılı tasarımları karşılayabilir. "Mükemmel Füzyon yöntemi" diye bir şey yoktur; pratik Sensör Füzyonu tasarımının özü, mevcut sensörler, mevcut hesaplama gücü ve uygulamanın gerektirdiği doğruluk ve gecikme süresi göz önüne alındığında en mantıklı kombinasyonu seçmektir.

14. Özet

Sensör Füzyonu, Kamera, LiDAR, IMU, Radar ve GNSS'den gelen gözlemleri (her birinin farklı yerlerde güçlü ve zayıf yönleri vardır) olasılıksal yöntemler (Kalman Filtresi/EKF/UKF/Parçacık Filtresi) veya optimizasyon tabanlı yöntemler (Faktör Grafiği/Paket Ayarlaması) kullanarak matematiksel olarak birleştirir ve tek bir sensörün verebileceğinden daha doğru ve güvenilir bir durum tahmini üretir. VIO (Kamera×IMU), LIO (LiDAR×IMU) ve BEV Füzyonu (Kamera×LiDAR) gibi somut eşleştirmeler, tamamlayıcılığı denklemlere dönüştürme fikrine dayanır ve füzyonun nerede ve nasıl yapılacağına dair tasarım seçimleri, sonuçta ortaya çıkan doğruluğu, hesaplama maliyetini ve uygulama karmaşıklığını belirler.

Ölçümleri Birleştirmeden Önce Kontroller

Aynı gözlemden elde edilen konum ve hızı bağımsız ölçümler olarak ele almak, tahmini aşırı güvenli hale getirebilir. Sensörleri eklemeden önce zaman damgalarını, koordinat çerçevelerini, dışsal parametreleri ve hata korelasyonlarını kontrol edin. Kesintiler de dahil olmak üzere aynı koşullar altında, tek sensörlü baz çizgilerine karşı füzyonu değerlendirin.

• OpenVINS: IMU modeli, durum ve belirsizlik yayılımı