Contents — find the section you need

Sinirsel 3D yöntemler, birden fazla görüntü ve kamera pozisyonundan bir sahne temsili öğrenir ve ardından yakalanmamış bir bakış açısından bir görüntü oluşturur. SfM öncelikle pozisyonları ve seyrek noktaları tahmin ederken ve MVS öncelikle yoğun geometriyi yeniden oluştururken, sinirsel 3D ayrıca bir sahnenin bir pozisyondan ve bakış yönünden nasıl göründüğünü de modeller.

## Özetle

  • NeRF, bir sahneyi pozisyondan ve bakış yönünden yoğunluk ve parlaklık döndüren bir fonksiyon olarak temsil eder; 3D Gauss Splatting, birçok açık 3D Gauss elemanını optimize eder.

  • Eğitim görüntülerinin iyi bir şekilde yeniden üretilmesi, görülmemiş görüntülerin veya geometrinin doğru olduğunu kanıtlamaz.

  • PSNR/SSIM gibi görüntü metriklerini derinlik, noktalar, normaller ve pozisyonların geometrik değerlendirmesinden ayırın. Yeni görünüm sentezi, bir ölçüm doğruluğu kanıtı değildir.

Diagram 1 · Use the button to switch views
Sinirsel 3B Eğitim ve Değerlendirme

Temsil Seçenekleri

NeRF, kamera ışınları boyunca örneklerde (\sigma,\mathbf{c})=F_\theta(\mathbf{x},\mathbf{d})'i değerlendirir ve bir görüntü oluşturmak için hacimsel işleme kullanır. Eğitim, işlenmiş ve giriş görüntüleri arasındaki farkı en aza indirir. 3B Gauss Splatting, konum, kovaryans, opaklık ve renk ile Gauss'ları yansıtır ve bu öğeleri seyrek noktalardan başlayarak optimize eder.

Temsil Güçlü Yönleri Dikkat Edilmesi Gerekenler
NeRF ailesi Sürekli ışınım alanı ve görünüme bağlı görünüm Birçok ışın örneği; eğitim ve işleme kuruluma bağlıdır
3B Gauss Splatting Açıkça yansıtılan öğeler hızlı bir şekilde işlenebilir Yoğunluğu, görünmeyen geometriyi ve dinamik nesneleri ayrı ayrı doğrulayın
Mesh / MVS Yüzey geometrisi açık ve incelenmesi kolaydır Yansımalara, tıkanmalara, deliklere ve zayıf dokuya duyarlıdır

Eğitim ve Değerlendirme Görüntülerinin Ayrılması

Eğitim için kullanılan her giriş görüntüsünün işlenmesi yalnızca gözlemlenen görüntülerin yeniden yapılandırılmasını ölçer. Görünmeyen bölgelere enterpolasyon oluşturmaz. Görüntüleri veya bir kamera yörüngesini eğitim, doğrulama ve ayrılmış görüntülere ayırın ve görüntü aralığını, örtüşmeyi, hareketli nesneleri ve kamera pozisyonu kaynağını sabitleyin. Pozisyonlar tahmin ediliyorsa, belirsizliklerini de kaydedin.

PSNR, SSIM ve LPIPS görüntü benzerliğini ölçebilir, ancak görünümü ölçerler. Geometrik değerlendirme, derinliği, noktaları, normalleri, kamera pozisyonlarını ve yeniden projeksiyon hatasını ayrı ayrı karşılaştırmalıdır. Bulanık bir temsil, bir duvarı veya ince bir yapıyı yanlış yerleştirirken görüntü puanını iyileştirebilir.

Yaygın Hata Koşulları

  • Aynalar, şeffaf yüzeyler, yansımalar ve değişen aydınlatma, bir noktanın tutarlı bir görünüme sahip olduğu varsayımını bozar.

  • Eğitim yörüngesinin dışındaki veya tıkanma ile gizlenmiş bölgeler, güçlü bir kanıt olmadan makul görünebilir.

  • Statik geometri olarak ele alınan hareketli insanlar, araçlar veya bitkiler hayaletler ve çift yüzeyler oluşturabilir.

  • Eğer SfM pozları veya ölçekleri kararsızsa, yalnızca işlenmiş görüntüler bunun nedenini belirleyemez.

Özet

Neural 3D, görüntülerden ve pozlardan görünüme bağlı bir sahne temsili öğrenir. NeRF ve 3D Gaussian Splatting farklı temsiller ve işleme stratejileri kullanır, ancak her ikisi de eğitim görünümü yeniden yapılandırması ve tutulan görünüm genellemesi arasında net bir ayrım gerektirir. Sonucu yorumlamadan önce görsel kaliteyi, geometriyi, poz hatasını, dinamik içeriği ve görünüm bölmelerini bağımsız olarak kaydedin.

Anlayışınızı kontrol edin
Yüksek bir eğitim görünümü PSNR'si, 3D geometrinin doğru olduğunu kanıtlar mı?

Hayır.

Tutulan görünümleri, derinlik veya nokta bulutu ölçümlerini ve kamera pozisyonu hatasını ayrı ayrı kontrol edin.

Referanslar

What to read next

Review camera poses and sparse points from input imagesHareketten Yapı Oluşturma Temel Bilgileri — Düzensiz Bir Fotoğraf Kümesinden 3B ve Kamera Konumlarını Birlikte KurtarmaReview classical dense reconstruction from multiple viewsÇoklu Görünümlü Stereo Temel Bilgiler — Seyrek Nokta Bulutunu Yoğun 3B Şekle DönüştürmeReview the backgroundTek Gözle Derinlik Tahmini — Göreceli Sıralamadan Metrik Mesafeye
#Neural 3D #NeRF #3D Gaussian Splatting #Novel View Synthesis #Computer Vision