Token nedir?

Detaylı açıklama

Yapay zeka modelleri metni harf harf ya da kelime kelime okumaz. Makine öğrenmesi algoritmaları metin değil sayı işlediği için yazı önce küçük parçalara bölünür, her parçaya benzersiz bir tam sayı verilir ve bu sayıya bir temsil vektörü (embedding) bağlanır. Bu parçalara token denir. Hangi parçaların sözlüğe gireceği, bayt çifti kodlaması (BPE) ve WordPiece gibi yöntemlerle belirlenir. BPE, önce tek tek karakterlerle başlar, en sık yan yana gelen çiftleri birleştirir ve istenen sözlük boyutuna ulaşana kadar bunu sürdürür. Bu yüzden sık geçen kelimeler tek token olurken nadir ya da uzun kelimeler birkaç parçaya ayrılır. Türkçe gibi eklemeli dillerde bir kelime çoğu zaman birden fazla token tutabilir. Bunun dışında [MASK] ve [UNK] gibi özel tokenlar da vardır. Token, modelin ne kadar metni aynı anda görebileceğini de belirler: dikkat mekanizması, bağlam penceresi içindeki tokenlar arasındaki ilişkileri hesaplar. Dil modelleri temelde bir sonraki tokenı tahmin edecek şekilde eğitilir. Bu nedenle hesaplama maliyeti ve kullanım ücreti de çoğunlukla token sayısı üzerinden konuşulur. Kısacası token, yazı ile model arasındaki çeviri birimidir.

Kullanım örneği

ChatGPT'ye uzun bir e-postayı özetletirken yazdığınız metin arka planda yüzlerce küçük parçaya bölünür. Her parça bir token sayılır. Metin uzadıkça token sayısı da artar ve modelin bağlam penceresine sığması zorlaşır.