RLHF (İnsan Geri Bildirimiyle Pekiştirmeli Öğrenme) nedir?

Detaylı açıklama

RLHF, İngilizce adıyla reinforcement learning from human feedback, bir görevin başarısını formülle tanımlamanın zor, ama insanın değerlendirmesinin kolay olduğu durumlarda işe yarar. Örneğin bir şakanın komik olup olmadığını matematiksel olarak yazmak güçtür, fakat insanlar şakaları kolayca puanlayabilir. Yöntemde önce insan değerlendiriciler, modelin aynı soruya verdiği birkaç yanıtı iyiden kötüye sıralar. Bu sıralamalardan bir ödül modeli eğitilir; ödül modeli bir metne sayısal bir puan verir. Sonra asıl dil modeli, bu puanı yükseltecek şekilde pekiştirmeli öğrenmeyle güncellenir. Güncelleme sırasında genellikle PPO adlı algoritma kullanılır; bu algoritma modelin her adımda çok fazla değişmesini sınırlar. Süreç genellikle önceden eğitilmiş bir modelle başlar, ardından insanların yazdığı örneklerle denetimli ince ayar yapılır, sonra ödül modeli eğitilir ve son olarak model ödüle göre iyileştirilir. Yöntem, sohbet botlarının talimatları daha iyi izlemesi ve daha uygun yanıtlar vermesi için yaygın biçimde kullanılıyor. Sınırları da var: kaliteli insan tercihi verisi toplamak pahalıdır, değerlendiriciler birbirleriyle çelişebilir ve veri dar bir gruptan geliyorsa model önyargı geliştirebilir. Model ayrıca özgüvenli görünen ama yanlış yanıtların daha yüksek puan aldığını öğrenip sistemi kandırabilir. Bu yüzden yapay zeka geri bildirimini kullanan RLAIF ve DPO gibi alternatifler de geliştirildi.

Kullanım örneği

Bir sohbet botuna aynı soruyu iki kez sorduğunuzu ve botun iki farklı yanıt verdiğini düşünün. Bir değerlendirici hangisinin daha açık ve faydalı olduğunu seçiyor. Binlerce böyle seçim toplandığında model, insanların beğendiği yanıt tarzını öğreniyor.