Google'ın 2021 yılında ilk kez tanıttığı Dream Fields adlı üretken 3D AI (yapay zeka) sisteminin yeni ve geliştirilmiş bir sürümünü tanıttı.
Google'ın metni 3D olarak oluşturulmuş görüntülere dönüştürmek için tasarlanmış yeni nesil yapay zeka yazılımının adı DreamFusion.
DreamFusion nedir? Nasıl çalışıyor?
Google'ın metinleri 3D oluşturulmuş görüntülere dönüştüren yapay zekasına DreamFusion adı verilmiş. ArXiv'de yayınlanan yeni bilgilere göre araştırmacılar, Dream Fusion'ın tıpkı Dream Fields gibi, Neural Radiance Field (NeRF) isimli bir nöral ağ kullandığını ve bu ağın 2 boyutlu görselleri kullanarak ortaya karmaşık 3 boyutlu dizaynlar çıkarabildiğini belirtti.
Happy to announce DreamFusion, our new method for Text-to-3D!https://t.co/4xI2VHcoQW
— Ben Poole (@poolio) September 29, 2022
We optimize a NeRF from scratch using a pretrained text-to-image diffusion model. No 3D data needed!
Joint work w/ the incredible team of @BenMildenhall @ajayj_ @jon_barron#dreamfusion pic.twitter.com/YeG0zaFxuu
Fakat Twitter'dan açıklama yapan Google araştırma bilimcisi Ben Poole, Google'ın Dream Fields'a güç veren OpenAI CLIP teknolojisini, şirketin kendi yapay zekası Imagen ile değiştirdiğini ve daha farklı bir yaklaşım sergilediklerini açıkladı. Yukarıda ve aşağıda görülen 3B modeller, Midjourney ile gördüğümüz kadar foto-gerçekçi değil. Bununla birlikte, 3D modeller doğru yüzey geometrisine, derinliğe sahip olduğundan ve hatta çeşitli aydınlatma koşulları için yeniden oluşturulabilir olduklarından kesinlikle etkileyici duruyorlar.
The 3D model we generate is an improved NeRF that produces a 3D volume with density, color, and surface normals: pic.twitter.com/KhxqY5EN0p
— Ben Poole (@poolio) September 29, 2022
Ayrıca Poole, Twitter'da DreamFusion tarafından oluşturulan birkaç 3D modelin tek bir sahneye bile atılabileceğini açıklıyor. Poole, "Yöntemlerimizi açık kaynak modelleriyle birleştirmek ve 3D nesli için yeni bir gelecek sağlamaktan heyecan duyuyoruz. Önceden eğitilmiş bir metinden görüntüye yayılma modeli kullanarak bir NeRF'yi sıfırdan optimize ettik. 3D veriye gerek yok!" yorumunda bulundu.
We can even take several 3D models generated by DreamFusion and compose them into new scenes: pic.twitter.com/lo78DrluTP
— Ben Poole (@poolio) September 30, 2022
Dreamfusion’ın kullanıma ne zaman açılacağıyla ilgili bir açıklama yapılmadı. Bu yapay zekanın tıbbi alanda alınan görüntülerden ameliyat yapılacak organın yapısını tam olarak modelleme ya da indie oyun geliştiricileri için model oluşturmaya kadar birçok alanda kullanılabileceği belirtiliyor.
