Kuantizasyon nedir?

Detaylı açıklama

Yapay zeka modelleri milyarlarca sayıdan oluşur ve bu sayılara ağırlık denir. Ağırlıklar çoğunlukla 32 bitlik kayan noktalı sayılarla saklanır. Kuantizasyon, aynı sayıları 16, 8 ya da 4 bit gibi daha dar bir biçime çevirerek modelin kapladığı yeri küçültür. Daha az bit kullanıldığı için model daha az bellek ister, tamsayı işlemleri de çoğu donanımda daha hızlı yapılabilir. Bu sayede büyük modeller daha mütevazı cihazlarda çalıştırılabilir. Bunun bir bedeli vardır: 8 bitlik bir tamsayı yalnızca 256 farklı değeri gösterebilir, 32 bitlik kayan noktalı sayı ise çok geniş bir aralığı kapsar. Bu yüzden gerçek değer aralığı dar sayı türüne bir ölçek ve sıfır noktası ile eşlenir. Aralığın nasıl belirleneceği kalibrasyon adımında çözülür. Kalibrasyon dinamik biçimde çalışma anında, statik biçimde ise önceden örnek veriyle yapılabilir. Bir diğer yol, modeli eğitirken kuantizasyon hatasını simüle etmektir. Her kuantizasyon enerji tasarrufu getirmez. Hugging Face belgesinde aktarılan ölçümlere göre küçük modellerde bazı 4 bitlik yöntemler enerji tüketimini artırabilir, büyük modellerde ise bellek kazancı korunur. Bu nedenle sonucu her kurulumda ayrıca denemek gerekir. Pratikte önce kolay yöntem denenir, doğruluk yeterliyse orada durulur.

Kullanım örneği

Telefonunuzda çalışan küçük bir yapay zeka asistanı düşünün. Model 32 bitlik sayılarla saklansa telefonun belleğine sığmayabilir. Ağırlıklar 8 ya da 4 bite indirildiğinde dosya belirgin biçimde küçülür ve model cihazda çalışabilir. Bunun karşılığında yanıt kalitesinde küçük bir düşüş yaşanabilir.