RAG (Retrieval-Augmented Generation) nedir?

Detaylı açıklama

RAG, büyük dil modellerinin yalnızca eğitim sırasında öğrendikleriyle yetinmesini engelleyen bir tekniktir. Kullanıcı bir soru sorduğunda sistem önce harici bir kaynakta arama yapar. Bu kaynak bir şirketin iç belgeleri, yüklenmiş dosyalar, bir veritabanı ya da web sayfaları olabilir. Bulunan ilgili parçalar, kullanıcının sorusuyla birlikte modele verilir ve model cevabını hem soruya hem de bu parçalara bakarak üretir. Uygulamada belgeler genellikle embedding denen sayısal temsillere çevrilir ve bir vektör veritabanında saklanır. Arama aşamasında sorguya en yakın parçalar seçilir. Bu yaklaşımın en önemli avantajı, yeni bilgi geldiğinde modeli yeniden eğitmek yerine bilgi tabanını güncellemenin yeterli olmasıdır. Bu da hesaplama ve maliyet yükünü azaltır. Ayrıca cevaba kaynak eklenebildiği için kullanıcı bilgiyi kontrol edebilir. RAG halüsinasyonu azaltmaya yardımcı olur, ama tamamen ortadan kaldırmaz. Model, doğru bir kaynağı bağlamından koparıp yanlış yorumlayabilir, çelişkili kaynaklar arasında kararsız kalabilir ya da eski ve yeni bilgiyi karıştırabilir. Bu yüzden iyi bir RAG kurulumunda belgelerin nasıl parçalara bölüneceği, aramanın nasıl yapılacağı ve sonuçların nasıl yeniden sıralanacağı da önem taşır. Terim, 2020 yılında yayımlanan bir makaleyle literatüre girmiştir.

Kullanım örneği

Bir bankanın müşteri destek botuna 'Kredi kartı limit artışı için hangi belgeler gerekir?' diye sorulur. Bot önce şirketin yardım merkezi makalelerinde arama yapar, ilgili bölümü bulur ve cevabı o metne dayanarak yazar. Politika değiştiğinde yalnızca makale güncellenir, modelin yeniden eğitilmesi gerekmez.