Transformer nedir?

Detaylı açıklama

Transformer, girdiyi önce token denilen küçük parçalara böler, her token'ı bir sayı dizisine (vektöre) dönüştürür ve her katmanda bu token'ların birbirine ne kadar önem vermesi gerektiğini dikkat mekanizmasıyla hesaplar. Böylece bir cümledeki kritik sözcüklerin etkisi artar, daha az önemli olanların etkisi azalır. Dikkat işlemi tek başına sıra bilgisini bilmediği için modele konum bilgisi ayrıca eklenir; 'adam köpeği ısırdı' ile 'köpek adamı ısırdı' bu sayede farklı işlenir. Transformer'dan önce dizi verisi için çoğunlukla RNN ve LSTM gibi yapılar kullanılıyordu. Bunlar sözcükleri tek tek, sırayla işlediği için paralel çalıştırmak zordu. Transformer ise token'ları aynı anda işleyebildiğinden eğitim sırasında GPU'larda çok daha rahat hızlandırılır; bu özellik büyük modellerin yaygınlaşmasında önemli bir etken oldu. Mimari ilk olarak makine çevirisini iyileştirmek için, 2017'de 'Attention Is All You Need' makalesiyle tanıtıldı. Sonrasında BERT gibi yalnızca kodlayıcı (encoder), GPT gibi yalnızca çözücü (decoder) kullanan türevler ortaya çıktı. Metnin dışında görüntü, ses ve robotik gibi alanlarda da kullanılıyor. Bir dezavantajı da var: standart dikkat hesabının maliyeti, dizi uzadıkça kareli biçimde artar.

Kullanım örneği

Telefonunuzda bir mesajı yazarken 'Dün Ayşe'yle buluştum, o çok yorgundu' cümlesindeki 'o' sözcüğünün kime işaret ettiğini bir dil modeli anlamaya çalışır. Transformer, 'o' token'ının cümledeki diğer sözcüklerle ilişkisini hesaplar ve 'Ayşe'ye daha fazla dikkat verir.