Halüsinasyon nedir?

Detaylı açıklama

Halüsinasyon, bir yapay zeka sisteminin gerçeğe uymayan bilgiyi sanki doğruymuş gibi üretmesidir. Terim insan psikolojisindeki yanılsamalardan gevşek bir benzetmeyle alınmıştır. Büyük dil modellerine dayanan sohbet botları, akla yatkın görünen ama uydurma ayrıntıları cevaplarının içine yerleştirebilir. Bunun tipik örneği, var olmayan bir makaleye ya da yazara yapılan atıftır. Nedenlerden biri eğitim biçimidir: GPT tarzı modeller bir sonraki kelimeyi tahmin etmeyi öğrenir, bu da bilgi eksik olsa bile bir tahmin yürütmeye yöneltir. Eksik, hatalı veya dengesiz veri kümeleri de soruna yol açabilir. OpenAI araştırmacıları, eğitim ve değerlendirme yöntemlerinin belirsizliği kabul etmek yerine tahmin yürütmeyi ödüllendirdiğini yazmıştır. Azaltmak için farklı yaklaşımlar önerilmektedir: veri temizleme, modele dış bilgi ekleme, eğitim sürecinde değişiklik ve çıktıyı sonradan düzeltme. Geri getirmeyle zenginleştirilmiş üretim (RAG), modelin cevap vermeden önce dış kaynaklara erişmesini sağlayarak halüsinasyonu azaltır. Hukuk, akademik yazım ve sağlık gibi alanlarda sonuçlar ağır olabildiği için çıktıların insan tarafından doğrulanması gerekir. Bazı araştırmacılar terimi insan zihnine benzettiği için eleştirir ve bunun yerine karşılık olarak hayal ürünü anlamına gelmeyen ifadeler, örneğin uydurma ya da olgusal hata gibi adlandırmaları önerir.

Kullanım örneği

Bir öğrenci sohbet botundan ödevi için kaynak ister. Bot, yazar adı, yıl ve dergi adıyla düzgün görünen bir makale listesi verir, ama ilgili makalelerin bir kısmı hiç yayımlanmamıştır. Öğrenci kaynakları arama motorunda kontrol edince bunu fark eder.