Difüzyon modeli nedir?

Detaylı açıklama

Difüzyon modelleri, özellikle görsel üretiminde kullanılan üretken modellerdir. Çalışma mantığı iki aşamaya dayanır. İleri aşamada eğitim verisindeki bir görsele küçük adımlarla rastgele gürültü eklenir, ta ki görsel televizyon karıncalanmasına benzeyen bir hâle gelene kadar. Ters aşamada ise bir sinir ağı, bu gürültüyü adım adım temizlemeyi öğrenir. Eğitim bittikten sonra model, tamamen rastgele bir gürültü görseliyle başlayıp onu tekrar tekrar temizleyerek yeni bir görsel ortaya çıkarabilir. Fikir fizikten esinlenmiştir: bir bardak suya damlatılan mürekkebin zamanla her yere yayılması gibi, gürültü de görüntüye yayılır ve model bu yayılmanın tersini öğrenir. Metinden görsele çalışan sistemlerde model, bir metin kodlayıcıyla birleştirilir; böylece kullanıcının yazdığı açıklama üretimi yönlendirir. Yaygın bir iyileştirme olan örtük (latent) difüzyon, işlemi doğrudan piksellerde değil daha küçük boyutlu bir gizli uzayda yapar ve bu sayede hız ile maliyet açısından kazanç sağlar. Daha az adım kullanmak üretimi hızlandırır ama ince ayrıntılarda ödünle gelebilir; daha fazla adım genelde doğruluğu artırır ama süreyi uzatır. Difüzyon modelleri görsel dışında video, ses ve molekül üretimi gibi alanlarda da denenmektedir.

Kullanım örneği

Bir yapay zeka uygulamasına "karlı dağda kırmızı çadır" yazdığınızda, arka planda model rastgele gürültüyle dolu bir görselden başlar. Her adımda gürültüyü biraz azaltır ve birkaç saniye sonra yazdığınız açıklamaya uyan bir manzara ortaya çıkar.