التوكن

Token

وحدة معالجة النصّ في نماذج الذكاء (غالبًا قطعة صغيرة من كلمة). التسعير محسوب بها. الكلمة العربية المتوسّطة ≈ 2–3 توكنز.