Глосарій · Визначення
Контекстне вікно
Контекстне вікно — максимальний обсяг тексту (у токенах), який модель може врахувати за раз: інструкції, історію, знайдені документи й власну відповідь.
Автор: Nythrex EngineeringОновлено 1 хв читання
Простими словами
Усе, що модель «бачить» у запиті, має вміститися в контекстне вікно. Сучасні моделі мають великі вікна, але їх заповнення коштує грошей і часу, а дуже довгий контекст моделі використовують не завжди однаково добре. Більше — не автоматично краще.
Коли це важливо для вас
- Вибір між RAG і вставкою документів прямо в промпт
- Довгі розмови й роботи агентів
- Оцінка вартості запиту
Типові помилки
- Заповнювати вікно «про всяк випадок»
- Вважати, що модель однаково уважна до всього
- Ігнорувати вартість довгих промптів на масштабі
Читайте також
ГлосарійТокениТокени — фрагменти тексту, які читає й пише мовна модель; ними вимірюються ліміти контексту й за ними тарифікується більшість API моделей.Гайд11 способів зменшити рахунок за LLMЯк зменшити витрати на LLM: кешування, маршрутизація моделей, коротший контекст, кращий пошук і бюджети — з перевіркою якості на тестах.ГлосарійRAG (retrieval-augmented generation)RAG — підхід, за якого AI-система спершу шукає релевантні фрагменти у ваших документах чи даних, а потім мовна модель відповідає на їх основі з посиланнями.
Потрібен другий погляд на ваш проєкт?
Розкажіть, що ви будуєте і де застрягли. Протягом одного робочого дня відповімо з найпрактичнішим наступним кроком — навіть якщо цей крок не з нами.