Token dediğimiz şey LLM'lerin bilgi işlemede kullandığı yapıtaşlarıdır. Bunlar kelimenin kendisi, parçaları vs. olabilir. Yani evet, modelin karmaşıklığı denilebilir bir yerde. Bir modelin token sayısı arttıkça performansın genelde artması beklenir fakat durum her alanda ve her durumda böyle olacak diye bir şey yok, hatta olmadığına dair pek çok örnek de var.
Şu görseldeki her bir kutu birer token mesela:
Her modeldeki gibi modelin karmaşıklığının artmasının getirileri ve götürüleri var. Burada amaç olabilecek en optimize değeri bulmak, en az token kullanımıyla en iyi sonuçları elde etmek.
Ücret konusunda, bu konu özelinde bir bilgim yok ama insanlar internet üzerinden "beklenmedik ödeme" çıkmasından dehşet korkar oldu. Böyle bilindik bir servise kart bilgisi vs. vermediyseniz sizden nasıl ücret çeksin? Servisi kullanmadan önce ücretlidir diye uyarı vermediyse neden bir ücret çıksın?