Nythrex

Гайд · AI-архітектура

RAG vs fine-tuning vs промптинг: перестаньте платити не за те.

«Треба навчити модель на наших даних» — одне з найдорожчих речень в AI-проєктах, бо зазвичай це неправильне рішення. Fine-tuning, RAG і промптинг розв'язують різні проблеми. Обирайте за проблемою, а не за модним словом — і заощадите місяці.

Автор: Nythrex EngineeringОновлено 3 хв читання

Стандартна поведінка ок → Потрібна особлива поведінка
Fine-tuning (поведінка, формат, стиль)
Fine-tuning + RAG
Промпт-інжиніринг
RAG (retrieval-augmented generation)

Нових знань треба мало → Потрібно багато ваших знань

Два питання вирішують більшість випадків: проблема в знаннях, у поведінці чи в обох?

Три інструменти — три різні проблеми

ПромптингRAGFine-tuning
ВирішуєНечіткі чи неповні інструкціїБрак приватних чи змінюваних знаньНестабільну поведінку, формат чи стиль
Як працюєКращі інструкції й приклади в промптіПошук у ваших даних і додавання фрагментів у промптДонавчання моделі на прикладах «вхід → вихід»
Оновлення знаньЗмінити промптПереіндексувати документи — хвилиниПеренавчити — і знання все одно «розмиті»
Посилання / аудитНіТак — відповіді вказують на джерелаНі — знання «зашиті» у ваги
Які дані потрібніКілька прикладівДокументи, що у вас уже єСотні чи тисячі перевірених прикладів
Час до першого результатуГодиниВід днів до тижнівТижні, включно з підготовкою даних
Головний ризикПромпт стає довгим і крихкимПоганий пошук → упевнені хибні відповідіЗаплатити за навчання не того; складно оновлювати

Міф: «донавчимо на наших документах»

Донавчання на купі корпоративних документів рідко дає модель, яка надійно знає з них факти. Fine-tuning добре вчить патернам — як відповідати, який формат використовувати, яку мітку обрати — і погано вчить фактам, які можна знайти на вимогу. Він також не скаже, звідки взялася відповідь, а кожне оновлення документів означає перенавчання. Для знань RAG майже завжди кращий. Як ми його будуємо — на сторінці Розробка RAG.

Вирішіть за хвилину

RAG, fine-tuning чи промптинг?

Моделі потрібні знання, яких у неї немає — приватна, свіжа чи часто змінювана інформація?

Коли вистачає промптингу

  • Задача загальна (підсумувати, написати чернетку, витягти, класифікувати), і модель уже знає предметну область.
  • Потрібні знання вміщаються в кілька сторінок, які можна додати прямо в промпт — з кешуванням для економії.
  • Обсяг помірний, тож трохи довший промпт фінансово не важливий.
  • Ви ще не склали нормальний тестовий набір. (Зробіть це насамперед — неможливо покращити те, що не вимірюєш.)

Коли потрібен RAG

  • Відповіді залежать від внутрішніх документів, тікетів, даних продукту чи політик.
  • Інформація змінюється щотижня чи щодня.
  • Користувачам чи аудиторам треба бачити, звідки взялася відповідь.
  • Різні користувачі бачать різні дані — права доступу мають діяти й на відповіді.

Коли fine-tuning виправдовує витрати

  • Вузька задача виконується у великих обсягах, і менша донавчена модель може замінити більшу й дорожчу.
  • Вихід має відповідати суворому формату чи корпоративному стилю, який промптинг не тримає стабільно.
  • У вас є (або можна зібрати) сотні чи тисячі перевірених прикладів — ідеально, коли люди виправляють відповіді AI в продакшні.
  • Є базова лінія: добре запромптована модель, виміряна на тому самому наборі, щоб довести, що fine-tuning справді допоміг.
  1. 01

    Промптинг

    Чіткі інструкції + приклади + тестовий набір

  2. 02

    Додати RAG

    Коли бракує знань або вони змінюються

  3. 03

    Збирати виправлення

    Логувати реальні входи й виправлені людьми виходи

  4. 04

    Донавчити крок

    Лише там, де це виправдовують обсяг і дані

Розумна послідовність для більшості команд. Кожен крок обґрунтований вимірюваннями попереднього.

Приклад: асистент підтримки

SaaS-компанія хоче, щоб AI готував чернетки відповідей на тікети. Відповіді мають спиратися на актуальну документацію (RAG), дотримуватися тону й структури (промптинг) і позначати кожен тікет однією з 40 внутрішніх категорій. Класифікація виконується на кожному тікеті, і менша донавчена модель може робити її дешевше й стабільніше за велику загальну — коли назбирається достатньо міток, виправлених операторами (fine-tuning, пізніше). Три техніки — кожна на своєму місці. Схожий сценарій розбираємо в Приклад: копілот підтримки для B2B SaaS.

Часті питання

Читайте також

Безкоштовний інструментВибір: RAG чи fine-tuningДайте відповідь на чотири питання «так/ні» й отримайте рекомендацію — RAG, fine-tuning, довгий контекст чи промпт-інжиніринг — з наступним кроком для перевірки.ПослугаРозробка RAGРозробка RAG: AI-асистенти, що відповідають з ваших документів і даних — з посиланнями, правами доступу й виміряною точністю, у вашій хмарі.ГайдОцінювання LLM для не-ML командЯк оцінювати LLM-функцію без команди data science: тестовий набір, метрики, обережне використання LLM-суддя, оцінювання в CI та читання результатів.Гайд11 способів зменшити рахунок за LLMЯк зменшити витрати на LLM: кешування, маршрутизація моделей, коротший контекст, кращий пошук і бюджети — з перевіркою якості на тестах.ПорівнянняПорівняння векторних БДВекторні сховища для RAG: pgvector, Pinecone, Qdrant, Azure AI Search і OpenSearch — експлуатація, гібридний пошук, фільтри, масштаб, вартість.Приклад проєктуКопілот підтримки для B2B SaaSІлюстративний RAG-проєкт: копілот у Zendesk готує чернетки відповідей з посиланнями на статті й тікети — discovery, PoC, архітектура, висновки.

Потрібен другий погляд на ваш проєкт?

Розкажіть, що ви будуєте і де застрягли. Протягом одного робочого дня відповімо з найпрактичнішим наступним кроком — навіть якщо цей крок не з нами.

Обговорити проєкт