Multimodal (Çok modlu) nedir?

Detaylı açıklama

Yapay zekada her veri türüne bir "mod" denir: metin, görüntü, ses ve video birer moddur. Yalnızca metinle çalışan bir model tek modludur. Multimodal model ise birden fazla türü aynı anda girdi olarak alabilir ya da çıktı olarak verebilir. Böylece bir fotoğrafı yorumlayıp açıklama yazabilir, bir ses kaydını metne dökebilir veya yazılı bir tarif üzerinden görsel üretebilir. Bu yaklaşımın arkasındaki fikir basit: farklı türler birbirinin eksik bilgisini tamamlar. Bir görselin altına yazılan başlık, görüntüde olmayan bilgiyi taşıyabilir. Tersine, bazen bir şeyi görselle anlatmak metinden daha kolaydır. Bu yüzden modelin bu bilgileri ortak bir temsilde birleştirmesi gerekir. Teknik tarafta sık kullanılan yöntemlerden biri, görüntü gibi bir girdiyi "token" adı verilen parçalara çevirip bunları metin tokenlarıyla iç içe vermektir. Bunun yanında her türü önce ayrı işleyip sonra birleştiren yöntemler de vardır. Çözülmesi gereken iki temel sorun var: hizalama (hangi parçanın hangisine karşılık geldiği) ve birleştirme (bilgilerin nasıl bir araya getirileceği). Kullanım alanları arasında görsele dayalı soru yanıtlama, görsel altyazılama, metinden görsel üretme, tıbbi görüntü ile hasta kayıtlarını birlikte değerlendirme ve robotik sayılabilir. Zorluklar da var: bir veri kaynağı eksik kalabilir ve farklı kaynakların birleşmesi gizlilik riski doğurabilir.

Kullanım örneği

Market fişinin fotoğrafını çekip modele yüklüyorsunuz ve "Bu alışverişte süt için ne kadar ödedim?" diye soruyorsunuz. Model hem görüntüdeki yazıları okuyor hem de sorunuzu anlayıp cevabı metin olarak veriyor.