Dil modelleri metni doğrudan harf harf ya da kelime kelime okumaz; önce "token" adı verilen parçalara böler. Bir token kısa ve sık kullanılan bir kelimenin tamamı olabileceği gibi, uzun bir kelimenin bir parçası ya da tek bir noktalama işareti de olabilir. Her token modelin içinde bir sayıya karşılık gelir.
Türkçe gibi eklemeli dillerde bir kelime birden fazla token'a bölünebilir. Örneğin "kitaplarımızdan" gibi bir kelime, model tarafından birkaç parçaya ayrılabilir. Bu nedenle aynı anlamdaki bir metin, Türkçede İngilizceye göre daha fazla token tutabilir.
Token kavramı pratikte önemlidir: modellerin bir seferde işleyebileceği metin uzunluğu (bağlam penceresi) ve pek çok hizmetin ücretlendirmesi token sayısına göre belirlenir.
Pour les enfants
Çocuğunuza nasıl anlatırsınız?
Lego ile bir kule yaptığını düşün. Kule bir cümle ise, her bir Lego parçası bir token'dır. Bazı parçalar büyüktür (bütün bir kelime), bazıları küçüktür (kelimenin bir eki). Yapay zeka cümleleri bu parçaları tek tek dizerek kurar.
Gündelik bir örnek
"Merhaba dünya!" ifadesi bir model için "Merhaba", " dünya" ve "!" gibi birkaç token'a bölünebilir; bölünme şekli modelden modele değişir.