Contents — find the section you need

Tek gözlü bir kamera, tek bir lens ve tek bir görüntü sensörüyle ilerideki yolu yakalar, ardından şerit çizgilerini, işaretleri, trafik ışıklarını, yayaları ve araçları tanımak için görüntü işleme kullanır. LiDAR veya radardan farklı olarak, aktif olarak radyo dalgaları veya ışık yaymaz - sadece yansıyan görünür ışığı alır - bu nedenle yapısı basittir ve hem maliyet hem de montaj alanı açısından avantajlıdır. Otonom araçlar için ADAS'ta (Gelişmiş Sürücü Destek Sistemleri), şerit değiştirme uyarısı, şerit takip asistanı (LKA) ve sadece görüşe dayalı uyarlanabilir hız kontrolü (ACC) için kullanılan en yaygın sensörlerden biridir.

Ön cama monte edilmiş bir Mobileye sistem kamerasıMobileye'nin cama monte edilmiş kamerası (2017'de fotoğraflandı)

Resim: Car Mobileye sisteminin cam kamerası (Ranbar, CC BY-SA 4.0), Wikimedia Commons. Bu, metinde tartışılan en yeni EyeQ6L tabanlı kamera değil, daha önceki bir modelin örneğidir.

Prensip: Tek bir görüntünün "mutlak ölçeği" yoktur

Tek gözlü bir kameranın en büyük zayıflığı, tek bir görüntünün prensip olarak bir nesneye olan mutlak mesafeyi (gerçek dünya ölçeği) belirleyememesidir. Bir kamera, iğne deliği kamera modeliyle yaklaşık olarak modellenebilir: 3 boyutlu uzaydaki bir nokta (X, Y, Z), odak uzaklığı f aracılığıyla görüntü düzlemindeki bir nokta (x, y)'e şu şekilde yansır:

x = f \frac{X}{Z}, \qquad y = f \frac{Y}{Z}

Bu denklemin gösterdiği gibi, görüntü koordinatlarından (x, y) elde edebileceğiniz tek şey, gerçek koordinatların (X, Y, Z) derinlik Z ile normalize edilmiş oranıdır; derinlik Z tek başına bir görüntüden geri hesaplanamaz. Görüntüde aynı boyutta yansıyan iki nesne, yakındaki küçük bir nesne veya uzaktaki büyük bir nesne olabilir ve bu denklem tek başına bunları ayırt edemez. Bu, iki lens arasındaki farktan üçgenleme yoluyla Z'u doğrudan hesaplayabilen stereo kameranın tam tersidir.

Resim: Pinhole kamera modeli geometrisi (KYN, CC0 1.0 kamu malı), Wikimedia Commons.

Bu kısıtlamanın üstesinden gelmek için, tek gözlü kamera tabanlı sistemler, bir tür "bilinen referans" kullanarak mesafeyi tahmin eder. Mobileye tarafından kullanılan temsili bir teknik, Ters Perspektif Haritalama (IPM) yoluyla tek görünüm geometrisidir: yol yüzeyinin düzlemsel olduğunu varsayar ve bilinen gerçek dünya boyutuna sahip bir nesneyi (örneğin şerit genişliği) referans olarak kullanarak, görüntüdeki konumdan gerçek mesafeyi geriye doğru hesaplar (ilgili patent: US8164628B2). Diğer teknikler arasında, bir nesnenin görünen boyutundan (bir aracın veya yayanın tipik gerçek dünya boyutları) mesafeyi tahmin etme ve ardışık kareler boyunca hareketten mesafe ve hızı tahmin etme (optik akış) yer alır. Bunların hepsi varsayımlara bağlı olduğundan, yol yüzeyi eğimli olduğunda veya bir nesnenin boyutu varsayılandan saptığında hata artma eğilimindedir.

Son yıllarda, bu boşluğu doğrudan kapatmak için derin öğrenmeyi kullanan "Tek Gözlü Derinlik Tahmini" (MDE) üzerine yapılan araştırmalar hızla ilerlemiştir. Önceki yöntemler yalnızca göreceli derinlik (yakın-uzak sıralaması) üretebilirken, 2025 yılında yayınlanan ve gerçek dünyadaki metre cinsinden mutlak mesafeyi veren "metrik" monoküler derinlik tahminine odaklanan bir araştırma makalesi (arXiv:2501.11841), monoküler yöntemin temel zayıflığının bir sinir ağı ile aşılmasının artık öncelikli bir araştırma alanı olduğunu gösteriyor.

Temel ürün özellikleri karşılaştırması

Ürün Çözünürlük Görüş alanı (FOV) Notlar
Mobileye EyeQ6L (EyeQ6 Lite) 8 megapiksel 120 derece EyeQ4M'deki kameradan 20 derece daha geniş. Yaklaşık olarak EyeQ4M'nin 4,5 katı işlem performansı, yaklaşık olarak yarısı kadar kalıp alanı ile
Tesla HW4 kamera 5 megapiksel HW3'ten (1,2 MP) önemli ölçüde daha geniş — kesin rakam açıklanmadı HW3'ün 1,2 MP'sinden 5 MP'ye büyük bir yükseltme. Arka kamera daha güçlü bir balık gözü efektine ve daha geniş bir açıya sahip
Continental MFC500 (MFC525/MFC526) 8 megapiksele kadar 125 dereceye kadar Tanıma işleminin kamera içinde veya harici bir ADCU'da (entegre kontrol ünitesi) çalıştırılabildiği modüler, ölçeklenebilir bir kamera platformu
comma.ai openpilot (comma 4) (sonradan takılan eklenti cihaz, monoküler kamera + özel SoC) — Üretim araçlarına Seviye 2 sürücü desteği ekleyen 999 dolarlık bir sonradan takılan kit. Tek bir uçtan uca sinir ağı olan "Supercombo", aracın gelecekteki yörüngesini doğrudan monoküler görüntüden tahmin eder
Sony IMX490 görüntü sensörü Yaklaşık 8,8 megapiksel (Sadece sensör, lens bağımsız) Geniş 150 dB dinamik aralığa ve LED titreşim azaltma özelliğine sahip, otomotiv sınıfı bir CMOS sensör; Mobileye, Continental ve diğerlerinin kamera modüllerinde ortak bir bileşen olarak kullanılır.

Mobileye'nin EyeQ6L'si, 2024 yılında duyurulan ve bağımsız bir monoküler kameradan ziyade "kamera + işlemci çipi" seti olarak sunulan bir ADAS SoC'dir (Çip Üzerinde Sistem). 8 MP çözünürlüğü ve 120 derecelik geniş görüş alanı, sadece mevcut şeridi değil, her iki taraftaki iki şeridin ortasını da algılayan şerit takip ve otomatik şerit değiştirme özelliklerini mümkün kılar. Tesla HW4, 2023'ten itibaren piyasaya sürülen donanım neslidir ve HW3'ün 1,2 MP'sinden 5 MP'ye önemli bir çözünürlük sıçramasıyla işaretler ve plaka tanıma doğruluğunu artırır. Continental'in MFC500'ü esnekliğiyle öne çıkar; tanıma işleme motoru kamera gövdesinin içinde veya harici bir ünitede bulunabilir ve aile, kamyon odaklı MFC526'ya kadar uzanır. comma.ai'nin OpenPilot'ı, burada bir otomobil üreticisinin fabrika sistemi yerine sonradan eklenen tek ürün olmasıyla farklılık gösteriyor ve aracın gelecekteki yörüngesini doğrudan monoküler görüntüden tahmin eden uçtan uca bir sinir ağı olan "Supercombo"yu kullanıyor.

İbrani Üniversitesi Laboratuvarından Mobileye'a ve Tesla'nın Radar "Silinmesine"

İbrani Üniversitesi laboratuvarından 15 milyar doların üzerinde bir Intel satın alımına — Mobileye, 1999 yılında Kudüs İbrani Üniversitesi'nde bilgisayar görüşü araştırmacısı olan Amnon Shashua ve yönetici Ziv Aviram tarafından kuruldu. Mobileye'dan önce Shashua, CogniTens (otomotiv ve havacılık için optik ölçüm sistemleri) ve CogniTech'in (video analiz teknolojisi) kurucuları arasında yer almıştı ve Mobileye, bu çalışmaların bir uzantısı olarak, seri üretim araçlara uygun fiyatlı bir görüş sistemi getirmeyi amaçlayarak piyasaya sürüldü. İlk çipi olan EyeQ1, şirketin ilk yol haritasından on yıl sonra, 2004 yılında piyasaya sürüldü. Mobileye, 2014 yılında yaklaşık 5,3 milyar dolarlık bir değerlemeyle Nasdaq'ta halka arz edildi ve 2017'de Intel tarafından 15,3 milyar dolara satın alındı; bu, o zamanlar İsrail tarihinin en büyük teknoloji satın alımıydı. 2022'nin sonlarında bağımsız bir halka açık şirket olarak (hala Intel'in bünyesinde) Nasdaq'a geri döndü ve o zamandan beri ADAS'tan otonom sürüşe ve "fiziksel yapay zekaya" doğru genişledi.

2021'de Tesla Vision'ın radarı "sildiği" an — Mayıs 2021'den itibaren, Kuzey Amerika Model 3 ve Model Y araçları, radar sensörü olmayan bir konfigürasyona geçerek, yalnızca kameralara ve sinir ağı işlemine dayanan "Tesla Vision"a geçişi başlattı. O dönemde Tesla'nın yapay zeka lideri olan Andrej Karpathy, Haziran ayında CVPR 2021'de (önde gelen bir bilgisayar görüşü konferansı) otonom sürüş çalıştayında yaptığı açılış konuşmasında, "Radar sistemini kaldırdık ve bu araçlarda sadece görüşe dayalı sürüş yapıyoruz" diyerek, Tesla'nın derin öğrenme tabanlı görüş sisteminin, yerini aldığı radardan yaklaşık yüz kat daha iyi bir noktaya ulaştığını açıkladı. Ayrıca, "olan her şey, aracı çevreleyen sekiz kameradan gelen videolara dayanarak, araç içinde ilk kez gerçekleşiyor" diyerek, sadece görüşe dayalı bir yaklaşımın teknik zorluğunu kabul ederken, bir kez başarılı olduğunda, dünyanın herhangi bir yerinde konuşlandırılabilir genel bir görüş sistemi haline geleceğini savundu. Avrupa ve Orta Doğu Model 3/Y daha sonra radar içermeyen Tesla Vision'a geçti; bu, bir otomobil üreticisinin sensör füzyonu yerine bilinçli olarak tek gözlü (ve çok kameralı) bir yaklaşımı seçmesinin dönüm noktası niteliğinde bir örneğidir.

Satış Sonrası Tek Gözlü Sürücü Destek Sistemi: comma.ai — Herhangi bir otomobil üreticisinin fabrika çıkışlı ADAS sisteminden ayrı olarak, iPhone'u jailbreak yapmasıyla tanınan George Hotz tarafından kurulan comma.ai, desteklenen araçlara 999 dolarlık tek bir satış sonrası cihaz (comma 3X/4) aracılığıyla Seviye 2 şerit takip ve adaptif hız sabitleyici ekleyen openpilot'ı satıyor. Modüler, geleneksel bir algılama hattı yerine, aracın gelecekteki yörüngesini ve yol yapısını doğrudan tek gözlü kamera görüntüsünden tahmin eden "Supercombo" adlı uçtan uca bir sinir ağı kullanıyor. Açık kaynaklı olduğu için, DIY ve araştırma topluluklarında yaygın olarak kullanılıyor.

Performansı Belirleyen Parametreler

  • Çözünürlük (piksel sayısı): Uzaktaki işaretler, trafik ışıkları ve küçük engeller için tanıma doğruluğunu doğrudan belirler. Tesla HW4'ün HW3'e göre yaklaşık 4 kat çözünürlük artışı, öncelikle küçük, uzaktaki hedeflerin görünürlüğünü iyileştirmeyi amaçlıyordu. Otomotiv monoküler kamera çözünürlüğü her yıl artmaya devam ediyor; Continental'in MFC500 ve Sony'nin IMX490 modelleri 8 megapiksel sınıfına ulaştı.
  • Görüş Alanı (FOV): Daha geniş bir FOV, tek bir kameranın çevredeki daha fazla alanı kapsamasını sağlar; örneğin, karşıdan karşıya geçen yayalar ve kavşaklarda birleşen araçlar. Mobileye'ın EyeQ6L modeli, EyeQ4M'den 20 derece daha geniş olan 120 derecelik görüş açısıyla tam olarak bunu hedefliyor. Continental'in MFC500 modeli ise daha da ileri giderek 125 dereceye ulaşıyor ve kavşaklarda yandan gelen araçları tespit etmeyi amaçlıyor.
  • Dinamik Aralık: Aşırı kontrastlı sahnelerde (tünel giriş/çıkışları, far parlaması ve gece arka ışığı) parlak noktaları patlatmadan veya gölgeleri ezmeden tanıma işleminin başarılı olup olmadığını belirler. Sony IMX490'ın 150 dB dinamik aralığı ve LED titreşim azaltma özelliği (LED trafik sinyallerinin titreşimini bastırır) bu zorluğu doğrudan ele almaktadır.
  • Mesafe tahmini ön koşulları: Monoküler kameralar mesafeyi varsayımlara dayanarak tahmin ettiğinden — düz bir yol yüzeyi, bilinen şerit genişliği, standart nesne boyutları — hata, engebeli yollarda, eğimlerde veya alışılmadık büyüklükteki engellerde artma eğilimindedir. Yüksek hassasiyetli mesafe gerektiren uygulamalar genellikle stereo kamera, LiDAR veya radar ile eşleştirmeyi varsayar, ancak Tesla Vision gibi yaklaşımlar bunun yerine yalnızca sinir ağı eğitiminin ölçeği yoluyla bu kısıtlamanın ötesine geçmeye çalışır.
  • Maliyet ve montaj alanı: Yalnızca tek bir lens ve sensöre ihtiyaç duyması, monoküler bir kamerayı stereo veya derinlik kamerasından daha küçük ve daha ucuz hale getirir; bu da birden fazla sensörün yer için rekabet ettiği bir aracın sıkışık ön cam üstü düzeninde bir avantajdır. comma.ai'nin 999 dolarlık fiyat etiketi, bu düşük maliyet avantajının sembolüdür.
  • İşlem performansı (SoC tarafında): Tek gözlü bir kameranın gerçek dünyadaki kullanışlılığı, yakalanan görüntünün arkasındaki işlemenin ne kadar gelişmiş olduğuna büyük ölçüde bağlıdır. EyeQ6L'nin EyeQ4M'ye göre 4,5 kat daha yüksek işlem gücü, özellikle tanıma doğruluğunu ve desteklenen özellik sayısını artırmak için mevcuttur.

Sayısal Bir Örnekle Monoküler Mesafenin Kontrol Edilmesi

Yolun düzlem olarak yaklaşık olarak kabul edilmesi durumunda, kamera yüksekliği H, odak uzaklığı f ve ufuktan nesnenin temas noktasına olan piksel uzaklığı y ile basitleştirilmiş bir ters perspektif ilişkisi şöyledir:

Z=\frac{fH}{y}

H=1.4\,\mathrm{m}, f=1200\,\mathrm{px} ve y=84\,\mathrm{px} için bu, Z\simeq20\,\mathrm{m} sonucunu verir. Aynı varsayımlar altında, temas noktasındaki 2 piksellik bir hata, diferansiyel yaklaşım \sigma_Z\simeq fH\sigma_y/y^2 kullanılarak yaklaşık 0.48\,\mathrm{m} menzil hatası verir. Yol eğimi, kamera açısı, şerit yüksekliği ve belirsiz temas noktası daha fazla hata ekler.

Bu hesaplama, nöral monoküler derinlik tahminini reddetmez. Öğrenilen çıktıyı yol geometrisi, bilinen nesne boyutları, stereo veya radar ile karşılaştırmak için bir referans sağlar. Sadece tek bir ortalama hata yerine, mesafe bandı, arka ışık, eğim, yağmur, gece ve nesne yüksekliğine göre test raporları sunun.

Diagram 1 · Use the button to switch views
İki piksellik temas noktası hatasının 10, 20 ve 30 metrede nasıl büyüdüğünü gösteren düz yol monoküler mesafe ölçüm diyagramı
Diagram 2 · Use the button to switch views
Z=fH/y: pixel offset shrinks with rangerange Zpixel offset from horizon ythe same 2px causes more range error
Diyagram: Alacakaranlık bobini. Ölçülmüş değil, kavramsal; piksel kayması ile mesafe arasındaki ters ilişkiyi gösterir.
Anlayışınızı kontrol edin
Bir görüntü bir nesnenin mesafesini belirler mi?

Ek varsayımlar olmadan ölçek belirsizdir.

Tahminin bilinen boyutu, birden fazla görünümü veya öğrenilmiş önsel bilgileri kullanıp kullanmadığını belirleyin.

Referanslar

What to read next

Review the backgroundLiDAR Nasıl Çalışır ve Başlıca Ürünleri — Livox, Velodyne, HesaiContinue the seriesStereo Kameralar Nasıl Çalışır ve Başlıca Ürünler — ZED 2i, Subaru EyeSightExplore another aspect of this fieldSabit bir IMU logunu okuyun: sapma, dağılım ve Allan sapması
#Camera #Mobileye #Tesla #Sensor #Autonomous Driving