NeRF ve 3D Gaussian Splatting ile Rekonstrüksiyon Teknolojileri

NeRF ve 3DGS, yapay zeka ile görselleri foto-gerçekçi 3D dünyalara dönüştürür; NeRF sürekli ağları, 3DGS ise hızlı elipsoidleri kullanır.

Üç Boyutlu Dünyayı Yeniden Tanımlamak

Bilgisayarlı görü (computer vision) ve bilgisayar grafikleri dünyası, iki boyutlu piksel yığınlarından gerçeğe uygun üç boyutlu evrenler inşa etme konusunda uzun yıllardır büyük bir çaba sarf etmektedir. Geleneksel olarak Structure from Motion (SfM) ve Multi-View Stereo (MVS) gibi fotogrametri tabanlı yöntemlerle çözülmeye çalışılan bu problem, son yıllarda yapay zeka ve derin öğrenmenin gücüyle köklü bir dönüşüm geçirmiştir. Bu dönüşümün en parlak iki aktörü, sahneyi sürekli bir fonksiyon olarak öğrenen Neural Radiance Fields (NeRF) ve pikselleri uzayda üç boyutlu elipsoid pikseller olarak konumlandıran 3D Gaussian Splatting (3DGS) teknolojileridir. Bu araştırma yazısında, tek veya çoklu görüntülerden 3D rekonstrüksiyon (yeniden yapılandırma) sürecini, her iki teknolojinin matematiksel ve operasyonel temellerini, avantajlarını ve geleceğe yönelik potansiyellerini derinlemesine inceleyeceğiz.

1. Geleneksel Yöntemlerden Yapay Zeka Tabanlı Dönüşüme Yolculuk

Geçmişte bir nesnenin veya mekanın dijital ikizini oluşturmak için lazer tarayıcılar (LiDAR) veya yoğun kamera kurulumlarından elde edilen görsellerin geometrici algoritmalarla işlenmesi gerekirdi. Bu yöntemler, nokta bulutları (point clouds) ve ardından poligon ağları (meshes) üreterek nesnelerin dış hatlarını başarıyla çıkarabiliyordu. Ancak aynalı yüzeyler, şeffaf objeler, saç telleri veya ince detaylar söz konusu olduğunda geleneksel fotogrametri çöküyordu. Nedeni basitti: Matematiksel formüller, ışığın yüzeyle olan karmaşık etkileşimini ve bakış açısına göre değişen yansımaları (view-dependent efektler) modellemekte yetersiz kalıyordu.

2020 yılında tanıtılan NeRF, geometriden ziyade ışığın kendisini modellemeye odaklanarak bu paradigmayı tamamen değiştirdi. Ardından gelen 2023 yapımı 3D Gaussian Splatting ise NeRF’ün en büyük zayıflığı olan “yüksek işlem maliyeti ve yavaş render süreleri” problemine bir panzehir olarak doğdu ve gerçek zamanlı rekonstrüksiyonda yeni bir çağ başlattı.

2. Neural Radiance Fields (NeRF): Sürekli Hacimsel Alanların Gücü

Neural Radiance Fields, bir sahneyi bir bilgisayar dosyasındaki poligonlar veya noktalar olarak değil, bir yapay sinir ağının ağırlıkları (weights) içinde saklar. Temel fikir, 3D uzaydaki her bir noktanın ve bu noktaya bakış açısının, yapay zeka tarafından bir renk ve yoğunluk değerine dönüştürülmesidir.

Matematiksel Altyapı ve Işın İzleme (Ray Marching)

NeRF, girdi olarak 5 boyutlu bir vektör alır: Uzaydaki konum (x,y,zx, y, z) ve bakış doğrultusu (θ\theta, ϕ\phi). Bu girdiler, genellikle çok katmanlı bir algılayıcı (MLP) ağından geçirilerek iki temel çıktıya dönüştürülür: Hacimsel yoğunluk (opacity/σopacity/\sigma) ve RGB rengi (c).

Bir görüntüyü render etmek için kamera merkezinden sahneye doğru sanal ışınlar gönderilir (Ray Marching). Bu ışınlar boyunca belirli aralıklarla örnekleme yapılır, her noktanın renk ve yoğunluk değeri MLP tarafından tahmin edilir ve bu değerler hacimsel render denklemi kullanılarak üst üste bindirilerek nihai 2D piksel rengi elde edilir.

Pozsal Kodlama (Positional Encoding)

Derin sinir ağları, doğası gereği düşük frekanslı (pürüzsüz) fonksiyonları öğrenmeye meyillidir. Bu durum, NeRF çıktılarının bulanık olmasına yol açabilirdi. Araştırmacılar, girdi koordinatlarını yüksek frekanslı sinüs ve kosinüs dalgalarına dönüştüren Positional Encoding tekniğini kullanarak ağın keskin kenarları, gölgeleri ve yüksek frekanslı doku detaylarını mükemmel bir şekilde öğrenmesini sağlamışlardır.

3. 3D Gaussian Splatting (3DGS): Gerçek Zamanlı Devrim

NeRF, görsel olarak büyüleyici sonuçlar sunsa da her bir piksel için milyonlarca kez yapay sinir ağı çalıştırmak zorunda olduğu için saniyede birkaç kare (FPS) hızın üzerine çıkamıyordu. Sinema kalitesinde bir rekonstrüksiyon için saatlerce eğitim ve daklarca render süresi gerekiyordu. 3D Gaussian Splatting, sahneyi bir yapay sinir ağında saklamak yerine, explicit (açık) bir temsil biçimine geri dönerek bu hantallığı ortadan kaldırdı.

3D Elipsoidler ve Splatting Tekniği

3DGS, sahneyi milyonlarca esnek, yarı saydam ve üç boyutlu elipsoid (Gaussian) ile tanımlar. Her bir Gaussian elipsoid şu parametrelere sahiptir:

  • Konum (Merkez): Uzaydaki x, y, z koordinatları.
  • Kovaryans Matrisi (Ölçek ve Döndürme): Elipsoidin büyüklüğü, uzama yönü ve oryantasyonu.
  • Opaklık (\alpha): Parçacığın ne kadar saydam olduğu.
  • Renk (Spherical Harmonics): Bakış açısına göre rengin nasıl değiştiğini gösteren matematiksel katsayılar.
    “Splatting” terimi, bu 3D elipsoidlerin kamera ekranına (2D düzleme) adeta bir boya topu gibi fırlatılarak yansıtılması sürecini ifade eder.

Rasterizasyon ve Eğitilebilirlik

3DGS’in mucizesi, bu milyonlarca elipsoidi sıralayan ve ekrana çok hızlı bir şekilde çizen özel bir GPU rasterizasyon algoritmasına dayanmasıdır. Sistem, ilk etapta basit bir SfM nokta bulutu ile başlar. Ardından, hedef görüntülerle mevcut görünüm arasındaki farkı (kayıp fonksiyonu) hesaplayarak gradyan inişi (gradient descent) ile elipsoidlerin yerini, rengini ve boyutunu optimize eder. Çok yoğun olmayan bölgelerde elipsoidler bölünür (cloning/splitting), gereksiz olanlar ise silinir. Sonuç: Saniyede 100+ FPS hızında, fotoğraf gerçekçiliğinde ve tamamen gerçek zamanlı dönebilen 3D sahneler.

4. Tek Görüntüden (Single-View) vs. Çoklu Görüntüden (Multi-View) Rekonstrüksiyon

3D rekonstrüksiyonun başarısı, girdilerin zenginliğine doğrudan bağlıdır. Ancak modern yapay zeka modelleri, girdi kısıtlılıklarını aşmak için tasarlanmaktadır.

Çoklu Görüntüden Rekonstrüksiyon (Multi-View)

Hem NeRF hem de 3DGS için ideal senaryodur. Bir nesnenin etrafından çekilmiş onlarca veya yüzlerce fotoğraf, COLMAP gibi yazılımlarla işlenerek kamera konumları (poses) belirlenir. Sistem, nesneyi her açıdan gördüğü için derinlik belirsizlikleri minimuma iner, gölgeler ve yansımalar gerçeğe en yakın şekilde haritalandırılır. Büyük mimari yapılar, sokaklar veya endüstriyel parçalar bu yöntemle kusursuzca dijitalleştirilir.

Tek Görüntüden Rekonstrüksiyon (Single-View)

Sadece tek bir fotoğraf karesinden arkada kalan görünmeyen kısımları tahmin ederek 3D model üretmek, bilgisayarlı görünün en zorlu problemlerinden biridir. Burada devreye generative prior (üretken öncüller) girer. Stable Diffusion veya benzeri büyük görsel üretim modelleri üzerinde eğitilen sistemler (örneğin LGM, InstantMesh veya TripoSR gibi modeller), nesnenin ne olduğunu “anlar” ve insan beynine benzer bir mantıkla nesnenin görünmeyen arka yüzünü hayal ederek tamamlar. Tek bir fotoğraftan saniyeler içinde 3D Gaussian veya NeRF alanları oluşturulabilir, ancak bu modellerde hayal ürünü (hallucination) detaylar ve geometrik sapmalar oluşma riski çok daha yüksektir.

5. Karşılaştırmalı Analiz: NeRF mi, 3D Gaussian Splatting mi?

Hangi teknolojinin seçileceği, projenin ihtiyaç duyduğu donanıma, hıza ve depolama kapasitesitesine göre değişiklik gösterir.

KriterNeural Radiance Fields (NeRF)3D Gaussian Splatting (3DGS)
Temsil BiçimiImplicit (Yapay Sinir Ağı Ağırlıkları)Explicit (Milyonlarca 3D Elipsoid)
Render HızıYavaş (Genellikle gerçek zamanlı değil)Çok Hızlı (100+ FPS, Gerçek Zamanlı)
Eğitim SüresiUzun (Saatler veya günler sürebilir)Çok Kısa (Birkaç dakika içinde optimize olur)
Depolama AlanıKüçük (Birkaç megabaytlık model dosyası)Büyük (Yüzlerce megabaytlık elipsoid verisi)
Detay KalitesiÇok yüksek yansıma ve ince duman/gaz modellemeKeskin geometriler ve pürüzsüz yüzeyler

Sık Sorulan Sorular (SSS)

Soru 1: NeRF veya 3D Gaussian Splatting çalıştırmak için nasıl bir donanıma ihtiyacım var?
Cevap 1: Her iki teknoloji de yoğun matematiksel hesaplamalar gerektirdiği için güçlü grafik işlemcilere (GPU) ihtiyaç duyar. Özellikle CUDA desteği olan NVIDIA ekran kartları (RTX 3090, 4090 serisi veya sunucu tabanlı A100/H100 kartları) eğitim süreçleri için standarttır. Ancak 3DGS, eğitildikten sonra web tarayıcılarında veya akıllı telefonlarda bile akıcı bir şekilde render edilebilir.
Soru 2: Bu teknolojiler oyun motorlarında (Unreal Engine, Unity) kullanılabilir mi?
Cevap 2: Evet, özellikle 3D Gaussian Splatting için geliştirilen eklentiler sayesinde elipsoid bulutları Unreal Engine 5 veya Unity içerisine aktarılabilmektedir. Bu, geleneksel poligon modelleme süreçlerini tamamen baypas ederek gerçek mekanların doğrudan oyun evrenine taşınmasını sağlar.
Soru 3: Geleneksel fotogrametri tamamen öldü mü?
Cevap 3: Hayır, ölmedi. Aslında NeRF ve 3DGS, başlangıç aşamasında kameraların konumunu bulabilmek için hala geleneksel fotogrametri araçlarına (COLMAP gibi Structure from Motion algoritmalarına) bağımlıdır. Ayrıca mühendislik ve mimari ölçümlerde poligon tabanlı CAD modelleri kesinlik açısından hala üstündür.
Soru 4: Telefonumla çektiğim videolarla kendi 3D sahnemi oluşturabilir miyim?
Cevap 4: Evet, oluşturabilirsiniz. Luma AI, Polycam veya Kiri Engine gibi modern mobil ve web platformları, telefonunuzla çektiğiniz bir videoyu arka planda NeRF veya 3D Gaussian Splatting algoritmalarıyla işleyerek dakikalar içinde tarama yapmanıza olanak tanır.
Soru 5: Tek bir fotoğraftan yapılan 3D rekonstrüksiyonlar endüstriyel üretimde kullanılabilir mi?
Cevap 5: Şu anki teknolojiyle hayır. Tek bir fotoğraftan yapılan üretimler büyük oranda yapay zekanın tahmini ve “hayal gücü” ile eksik yerleri doldurmasına dayandığı için milimetrik hassasiyet gerektiren endüstriyel parça üretimlerinde veya tıp alanında kullanılması güvenli değildir; ancak oyun ve animasyon sektöründe konsept tasarımı için harikadır.


İleri Okuma Tavsiyeleri ve Kaynaklar

  • Mildenhall, B., Srinivasan, P. P., Tancik, M., Barron, J. T., Ramamoorthi, R., & Ng, R. (2020). NeRF: Representing Scenes as Neural Radiance Fields for View Synthesis. (Orijinal NeRF makalesi – Bilgisayarlı görü dünyasını değiştiren temel çalışma).
  • Kerbl, B., Kopanas, G., Leimkühler, T., & Drettakis, G. (2023). 3D Gaussian Splatting for Real-Time Radiance Field Rendering. (Gerçek zamanlı rekonstrüksiyon devrimini başlatan, elipsoid rasterizasyonunu tanıtan makale).
  • Hugging Face 3D Vision Community & Tutorials: Yapay zeka tabanlı tek görüntüden (single-view) 3D model üreten güncel açık kaynak kodlu modellerin (InstantMesh, TripoSR) kod ve uygulama rehberleri.
Osman Bayrak

Osman Bayrak

Girişimci, yapay zeka uzmanı, quant trader, analist, broker, fotoğrafçı...

Makaleler: 416