Bağlam penceresi nedir?

Detaylı açıklama

Bağlam penceresi, bir dil modelinin çalışma belleğine benzetilen sınırdır. Model bir yanıt üretirken önceki mesajlar, yüklenen belgeler ve kod gibi bilgilerin yalnızca bu pencerenin içinde kalan kısmını doğrudan görebilir. Pencerenin dışında kalan bilgi modele ulaşmaz, ancak geri getirmeyle zenginleştirilmiş üretim (RAG) gibi yöntemlerle dış kaynaklardan alınan parçalar ek bağlam olarak pencereye eklenebilir. Pencere kelime ya da karakterle değil, tokenlayıcının ürettiği token birimleriyle ölçülür. Bir token tek bir harf, bir kelime parçası, bütün bir kelime ya da kısa bir ifade olabilir, bu yüzden kelime ile token arasında sabit bir oran yoktur. Dile göre de fark çıkar: bazı diller daha fazla token harcar. Pencerenin içine yalnızca kullanıcının yazdığı metin girmez. Çoğu zaman kullanıcıdan gizlenen sistem istemi, biçimlendirme karakterleri ve dışarıdan çekilen bilgiler de yer kaplar. Pencere dolduğunda metnin kısaltılması ya da özetlenmesi gerekir. Daha geniş pencere, daha uzun konuşmalara, belgelere ve kod tabanlarına imkân tanır ve genellikle daha tutarlı yanıtlar getirir. Bunun bedeli de var: işlem gücü ve maliyet artar, yanıtlar yavaşlayabilir. Ayrıca model, uzun bağlamın tamamını eşit verimle kullanamayabilir. Araştırmalar, ilgili bilginin girdinin ortasında kaldığı durumlarda başarının sıklıkla düştüğünü gösteriyor. Bu yüzden ilan edilen pencere boyutu ile fiilen verimli kullanılan boyut birbirinden farklı olabilir.

Kullanım örneği

Bir yapay zeka asistanıyla saatlerce süren bir konuşmada, en baştaki bir ayrıntıyı sorduğunuzda asistan onu unutmuş gibi davranabilir. Bunun nedeni, konuşma uzadıkça eski mesajların bağlam penceresine sığmaması ya da özetlenmesidir. Aynı şekilde çok uzun bir raporu tek seferde yüklediğinizde, pencere yetmezse belgenin bir kısmı modele hiç ulaşmayabilir.