Özellik Takibi Temel Bilgileri — Kareler Arasında Aynı Noktayı Kaybetmekten Nasıl Kaçınılır?

Özellik tespiti, "görüntüde nerede bir referans noktası kullanılacağına" karar verme süreci ise, özellik takibi de "bu referans noktasının bir sonraki karede nereye hareket ettiğini" bulma sürecidir. Kararlı takip, kamera hareketini, nesne hızını veya bir robotun kendi konumunu tahmin etmenizi sağlar. Tersine, tek bir eşleşmenin yanlış olması, sonraki poz tahmininin ve haritanın tamamen çökmesine neden olabilir. Bu makale, dedektörler ve tanımlayıcılar arasındaki farkı verilmiş kabul eder ve hem piksel hareketinin yerel optimizasyonunu hem de tanımlayıcı eşleştirmeyi tek bir tasarım problemi olarak ele alır.

0. 30 Saniyelik Özet

• Takip için iki yaklaşım vardır: "önceki karenin çevresindeki yamayı bir sonraki karede aramak" ve "her karede tanımlayıcıları tespit edip hesaplamak ve eşleştirmek".

• Lucas-Kanade yöntemi, parlaklık sabitliğini, yerel hareketi ve komşu pikseller arasında paylaşılan hızı varsayar ve 2×2 normal denklem sistemini çözer. Bir piramit kullanmak, büyük yer değiştirmeleri ele almak için onu genişletir.

• Tanımlayıcı eşleştirme, büyük kare aralıklarında bile yeniden arama yapabilir, ancak daha fazla işlem gücü ve daha fazla uyumsuzluk pahasına. Oran testi, karşılıklı en yakın komşular ve RANSAC ile geometrik olarak doğrulayın.

• İzleme kalitesi yalnızca eşleşme sayısıyla değil, görüntüdeki mekansal dağılım, yeniden projeksiyon hatası, ileri-geri tutarlılık ve tıkanmadan sonraki kurtarma oranıyla da değerlendirilmelidir.

• Zor durumlar hareket bulanıklığı, düşük doku, yansımalar, dinamik nesneler, yuvarlanan deklanşör ve ani ölçek değişimidir. Bir güven puanı ve yeniden algılama mekanizması şarttır.

1. Görüntüdeki Noktaların Hareket Ediyor Gibi Görünmesinin Nedenleri

Diagram 1 · Use the button to switch views

Şekil 1 — Bir eşleşme, hareketi komşu noktalar ve kamera modeliyle uyuşana kadar bir hipotezdir. Mekansal kapsama alanı, ham eşleşme sayısı kadar önemlidir.

Bir 3B nokta X, kamera hareketi altında görüntüde \mathbf{x}=(x,y)'ye yansır. Kare aralığı \Delta t ile izlemenin amacı, \mathbf{d}_k'teki yer değiştirmeyi bulmaktır.

Kamera öteleme yaptığında, görünen hız derinlikle değişir; döndürdüğünde ise tüm görüntü aynı yönde akar. Ardışık görüntüleri basitçe çıkarmak, buna karşı kırılgandır. Aydınlatma değişimi ve pozlama gürültüsü nedeniyle, bunun yerine yerel yama yapısı kullanılır.

2. Lucas-Kanade: Küçük Bir Pencereyi Tek Seferde Çözme

Parlaklık sabitliği varsayımı şöyledir:

Küçük yer değiştirmeler için doğrusallaştırma (u,v) optik akış kısıtlama denklemini verir:

Tek bir pikselde, bu iki bilinmeyen için tek bir denklemdir (diyafram problemi). Bu nedenle, bir pencere içindeki pikseller W bir araya getirilir ve en küçük kareler yöntemi

çözülür. Parantez içindeki terim, özellik noktasının yerel yapı matrisidir — bir köşede iki yönde ne kadar fazla gradyan varsa, o kadar kararlı bir şekilde tersine çevrilebilir. Düz bir duvarda veya tek bir kenarda, hareket benzersiz bir şekilde belirlenemez.

Büyük yer değiştirmeleri ele almak için, yer değiştirme, küçültülmüş bir piramidin kaba seviyesinden ince seviyeye doğru yayılır. Her seviyede, Bir sonraki konumda yeniden hesaplama yapılmadan önce birkaç yineleme çalıştırılır. Uygulamada, piramit derinliğini, pencere boyutunu, sonlandırma kriterlerini, minimum özdeğeri ve ileri-geri izleme hatasını ayarlarsınız.

3. Bu ve Tanımlayıcı Eşleştirme Arasında Seçim

ORB veya SIFT gibi tanımlayıcılar, çevreleyen yamayı bir vektöre veya bit dizisine dönüştürür ve en yakın mesafeli adayı karşılık olarak alır. Ardışık kareler arasındaki küçük hareketler için Lucas-Kanade hızlıdır, ancak tıkanmadan kurtulma, kare atlama veya kamera önemli ölçüde hareket ettiğinde tanımlayıcı yeniden eşleştirme değerli hale gelir.

Sadece en yakın mesafeli tanımlayıcı adayını almak, benzer desenlerden kaynaklanan uyumsuzlukları içerir. En yakın mesafe d_1 ile ikinci en yakın d_2 arasında d_1/d_2\lt\tau (oran testi) gerektirmek ve ayrıca A→B ve B→A'dan karşılıklı en yakın komşuları kontrol etmek yardımcı olur. Son olarak, temel bir matrisin yeniden projeksiyon hatasını, homografiyi veya yazışmalardan tahmin edilen PnP'yi kullanarak RANSAC ile doğrulayın.

4. İzleme Güvenini Nicelendirme

Uygulamada, "izleme başarılı oldu" değerlendirmesi Sadece "bir nokta döndürüldü" demek yeterli değildir. Aşağıdakileri kaydetmek, bir arızanın nedenini izole etmenizi sağlar:

• LK'nın minimum öz değeri ve kalıntısı
• İleri ve geri izleme arasındaki fark (ileri-geri hata)
• Tanımlayıcı oranı ve mesafe dağılımı
• RANSAC iç nokta oranı ve yeniden projeksiyon hatası
• Görüntüdeki noktaların uzamsal dağılımı (sadece merkezde mi kümeleniyorlar?)
• Ortalama kareler arası yer değiştirme, bulanıklık metriği, pozlama/kazanç

Yüksek bir RANSAC iç nokta oranına sahip olsanız bile, tüm noktalar görüntünün bir köşesinde kümelenirse, poz tahmini bozulur. Izgara hücresi başına maksimum nokta sayısını sınırlamak ve özellik noktalarını tüm görüş alanına yaymak, dönüş ve ötelemenin gözlemlenebilirliğini artırır. Bazen, farklı yönlere ve mesafelere yayılmış az sayıda eşleşmeyi korumak, sadece nokta sayısını artırmaktan daha iyidir.

5. Hareketli Nesneler ve Yuvarlanan Deklanşör

Görsel Odometri, kamera hareketini tahmin etmek için statik bir ortam varsayar. Çerçevede çok sayıda yaya, araba veya dönen bir fan göründüğünde, bunların karşılıkları kamera hareket modeliyle tutarsız aykırı değerler haline gelir. RANSAC'ın tek başına kaldıramayacağı kadar çok dinamik nesne olduğunda, anlamsal maskeleme, optik akış kümeleme, arka plan modelleme ve derinlik tutarlılığını birleştirin.

Bir CMOS kameranın yuvarlanan deklanşörü, görüntüyü satır satır, yukarıdan aşağıya, biraz farklı zamanlarda pozlar. Hızlı dönüş veya titreşim altında, kamera pozisyonu tek bir kare içinde bile satır satır değişir ve tek bir projeksiyon modeli varsayımını bozar. Azaltmalar arasında IMU açısal hızı, global deklanşör, kısa pozlama ve okuma zamanının kalibrasyonu kullanılarak satır zamanlama düzeltmesi yer alır.

6. Minimal Bir Uygulamanın Akışı

1. Kamerayı içsel parametreler, bozulma ve zaman damgalarıyla birlikte kalibre edin.

2. İlk karede FAST/ORB veya Shi-Tomasi'yi tespit edin ve bir ızgara aracılığıyla uzamsal olarak eşitleyin.

3. Her yeni karede, piramidal LK ile izleme yapın, ileri-geri hatayı kontrol edin ve Görüntü sınırları.

4. Düşük güvenilirlikteki noktaları atın ve az sayıda noktanın bulunduğu ızgara hücrelerinde yeni noktalar tespit edin.

5. Gerekli aralıkta tanımlayıcı eşleştirmeyi çalıştırın ve RANSAC ile aykırı değerleri kaldırın.

6. Kalan eşleşmeleri Temel Matris, PnP veya IMU birleştirme adımına iletin.

7. Noktalar sürekli olarak kaybolursa, yeniden başlatın ve izleme durumunu ve nedenini kaydedin.

İzlemeye ne zaman devam edileceğine karar verme

Oklüzyon veya pozlama değişikliği geçici olarak nokta sayısını azalttığında, her eski konumun ekstrapolasyonu yanlış bir eşleşmeyi istikrarlı görünen bir izlemeye dönüştürebilir. Önce kare numarasını, zaman damgalarını, görüntü sınırlarını ve ileri-geri hatayı kontrol edin, ardından çalışma zarfının dışındaki adayları kaldırın. Tüm hayatta kalan noktalar küçük bir görüntü bölgesini işgal ettiğinde yeterli sayıda nokta bile güvenli değildir; poz tahminini durdurun, ızgara hücresine göre yeniden tespit edin ve geometrik modeli yeniden uyarlamadan önce statik arka planı hareketli nesnelerden ayırın. Bunu "izleme" ve "yeniden başlatma" durumlarıyla bir durum makinesi olarak kaydedin. Eksik verileri yanlış eşleşmeden ayırt edilebilir hale getirir.

Uygulamada, işlem gecikmesinin eski bir noktayı daha yeni bir kareye karıştırmasını önlemek için her eşleşmeye bir kare numarası ve gözlem zaman damgası ekleyin. Kamera aniden hareket ettiğinde, yer değiştirmenin hala en kaba piramit seviyesine ve pencereye uyup uymadığını kontrol edin. Uymuyorsa, pencereyi başka bir desene yakınsayana kadar genişletmek yerine, tanımlayıcı yeniden aramaya geçmek daha güvenlidir. Yeniden aranan adaylar yine de epipolar veya homografi kalıntı kontrollerinden ve ileri-geri tutarlılıktan geçmelidir. Hareket eden nesneler kasıtlı olarak izleniyorsa, kamera hareket noktalarını ve nesne izleme noktalarını ayrı kümelerde tutun; bir kümenin aykırı değer kararlarını diğer küme için yeniden kullanmayın. Bu sınırlarda kurtarmayı test etmek için aydınlatma değişiklikleri, tıkanma ve iletişim gecikmesi ile kayıtları yeniden oynatın.

7. Sonuç

Özellik izleme, dedektörü, yerel optimizasyonu, tanımlayıcı eşleştirmeyi ve geometrik doğrulamayı tek bir güven tasarımı problemi olarak ele alan bir teknolojidir. LK, ardışık kareleri sorunsuz bir şekilde birbirine bağlar, tanımlayıcılar büyük değişikliklerden kurtulur ve RANSAC eleme yapar. Geometrik olarak uyumsuzluklar. Bunlardan herhangi birine bağlı kalmak yerine, nokta dağılımını, zaman senkronizasyonunu, dinamik nesneleri ve kayan deklanşörü içeren kayıtlar tutmak, Visual SLAM ve VIO'nun tekrarlanabilirliğini önemli ölçüde artırır.

Referanslar

• OpenCV — Optik Akış / Lucas-Kanade
• OpenCV — Özellik eşleştirme
• Bouguet, Affine Lucas Kanade özellik izleyicisinin piramidal uygulaması )
• ORB-SLAM3 makalesi
• VINS-Mono makalesi

Optik akış Lab içinde bu noktaları iki kare arasında izleyin.