Глосарій · Визначення
Токени
Токени — фрагменти тексту, які читає й пише мовна модель; ними вимірюються ліміти контексту й за ними тарифікується більшість API моделей.
Автор: Nythrex EngineeringОновлено 1 хв читання
Простими словами
Моделі обробляють не слова, а токени — частини слів, цілі слова чи розділові знаки. Провайдери беруть плату за мільйон вхідних і вихідних токенів, і вихідні зазвичай дорожчі. Той самий текст деякими мовами займає більше токенів, ніж англійською.
Коли це важливо для вас
- Оцінка витрат на API
- Проєктування промптів і пошуку
- Порівняння моделей і провайдерів
Типові помилки
- Рахувати лише повідомлення користувача, а не весь промпт
- Забувати, що вихідні токени дорожчі
- Вважати кількість токенів однаковою для різних мов і моделей
Читайте також
Безкоштовний інструментКалькулятор вартості LLM APIПорахуйте місячну вартість LLM-функції: запити, вхідні й вихідні токени, цінові рівні моделей і кешування промптів. Безкоштовно, у браузері, з вашими цінами.Гайд11 способів зменшити рахунок за LLMЯк зменшити витрати на LLM: кешування, маршрутизація моделей, коротший контекст, кращий пошук і бюджети — з перевіркою якості на тестах.ГлосарійКонтекстне вікноКонтекстне вікно — максимальний обсяг тексту (у токенах), який модель може врахувати за раз: інструкції, історію, знайдені документи й власну відповідь.ГлосарійКешування промптівКешування промптів дає провайдеру змогу повторно використати обробку однакового початку промпту в різних запитах, знижуючи вартість і затримку.
Потрібен другий погляд на ваш проєкт?
Розкажіть, що ви будуєте і де застрягли. Протягом одного робочого дня відповімо з найпрактичнішим наступним кроком — навіть якщо цей крок не з нами.