AI ve e-ticaret
Token
Token
Modelin metni işlediği parçacık
Bir dil modelinin metni işlerken kullandığı kelime, kelime parçası veya işaret gibi birimdir.
Token
- LLM
- Prompt
Aynı konuyu tamamlayan terimleri birlikte inceleyin.
Ne işime yarar?
Girdi ve çıktı uzunluğu ile bazı model kullanım sınırlarının nasıl ölçüldüğünü anlamanızı sağlar.
Temsili mağaza örneği
Bir örnekle
düşünün.
Aynı uzunluktaki Türkçe ve İngilizce metinler modelin ayırma yöntemine göre farklı sayıda parçaya bölünebilir.
Modelin metni işlediği parçacık
Token
Dikkat edin.
Bir token her zaman bir kelime veya karakter değildir. Sayı ve ücretlendirme modelin kurallarıyla kontrol edilir.
Biraz daha derine