Nythrex

Приклад проєкту · RAG · Підтримка клієнтів

Копілот підтримки для B2B SaaS: чернетки, якими справді користуються.

«Fieldbook» (вигадана компанія) продає ПЗ для планування виїзних сервісних бригад. Її 35 операторів підтримки витрачають значну частину кожного тікета на пошук правильної відповіді в довідці й старих тікетах. Ось як ми провели б копілот підтримки від ідеї до щоденного використання — включно з тим, що зазвичай іде не так.

Автор: Nythrex EngineeringОновлено 2 хв читання

Ілюстративний сценарій. Це ілюстративний сценарій, який показує, як Nythrex підходить до такого типу проєктів. Це не опис конкретного клієнта: назви, цифри й терміни наведено як приклад.

Довідка ·тікети · release notesОчищення й PIIЕмбедингиAzure AI SearchНовий тікетГібридний пошук+ rerankLLM (регіон ЄС)Чернетка в Zendesk[1] [2] статті

Вихідна точка

35

операторів у двох часових поясах

~1 800

статей довідки, частина застаріла

3 роки

вирішених тікетів у Zendesk

4

продуктові лінійки з різною термінологією

Приклад цифр для ілюстративного сценарію.

Попередня спроба: універсальний плагін-чат-бот, «навчений» на довідці. Він відповідав упевнено, ні на що не посилався, і за кілька тижнів оператори перестали ним користуватися, бо не могли відрізнити хороші відповіді від поганих. Ця історія визначила бриф: чернетки з джерелами, для операторів, а не для клієнтів.

Discovery: два тижні

  1. 1

    Спостереження за операторами

    Реальні тікети показали, що відповідь часто є у вирішеному тікеті, а не в довідці — особливо для нестандартних випадків та інтеграцій.

  2. 2

    Тестовий набір

    Старші оператори обрали 150 свіжих тікетів з різних продуктових ліній і записали, що має містити хороша відповідь. Десять навмисно не мали відповіді в наявному контенті.

  3. 3

    Огляд даних

    У вирішених тікетах були імена клієнтів, телефони, а часом і паролі, вставлені самими клієнтами, — перед індексацією потрібне було очищення персональних даних.

  4. 4

    Критерії успіху

    Погоджено заздалегідь: більшість чернеток придатні з легкими правками, правильне посилання, відповідь менш ніж за 10 секунд і чесне «немає впевненої відповіді» на тікетах без відповіді.

Proof of concept: чотири тижні

Перша версія шукала лише по статтях довідки й погано відповідала на питання про інтеграції. Додавання очищених вирішених тікетів як другого джерела — з нижчим пріоритетом, ніж офіційні статті, — змінило картину сильніше за будь-яку правку промпту. Гібридний пошук був важливий, бо клієнти цитують точні коди помилок і назви тарифів, які чисто векторний пошук пропускає.

Лише статті, векторний пошук

48%

+ гібридний пошук за ключовими словами

58%

+ вирішені тікети як джерело

71%

+ reranker і правки промпту

79%

Ілюстративний приклад: частка чернеток із тестового набору, які старші оператори оцінили як «придатні з легкими правками», на кожній ітерації PoC.

Як ітерації зазвичай рухають цифри: зміни в пошуку домінують.

Архітектура

Інтерфейс оператора

  • Застосунок у панелі Zendesk
  • Вставити чернетку
  • Відкрити джерела
  • 👍 / 👎 + причина

Сервіс копілота

  • Підсумок тікета
  • Переформулювання запиту
  • Гібридний пошук
  • Reranking
  • Чернетка з посиланнями

Обмеження

  • Без автонадсилання
  • Приховування PII
  • Поріг упевненості
  • Перевірка тону й політик

Індексація

  • Синхронізація довідки
  • Вирішені тікети (очищені)
  • Release notes
  • Нічна переіндексація

Azure-тенант клієнта (ЄС)

  • Azure OpenAI
  • Azure AI Search
  • App Service
  • Key Vault
  • Log Analytics

Впровадження

Discovery

Тест-набір · огляд даних

2

Proof of concept

Рішення go

4

Продакшн-розробка

Застосунок Zendesk · обмеження

6

Пілот: 6 операторів

Щоденний фідбек

2

Усі оператори

Навчання · дашборди

2
0816 тижнів
Ілюстративний план. Кожна «брама» — рішення, а не формальність.

Як виглядає хороший результат

Більшість

чернеток використовують з легкими правками

Кожна

чернетка посилається на джерела

Швидше

онбординг нових операторів

↓

застарілих статей — виправлені власниками контенту

Якісні результати ілюстративного сценарію — не виміряні показники.

Висновки, що переносяться на інші проєкти

  • Оператори користуються чернетками, які можуть перевірити. Посилання дали для довіри більше, ніж будь-яка цифра точності.
  • Вирішені тікети — золота жила й ризик для приватності. Очищайте перед індексацією.
  • Копілот — це ще й аудит контенту. Статті, які він цитував, а оператори відхиляли, зазвичай були застарілими.
  • З'явився кандидат для fine-tuning: класифікація тікетів, де виправлення операторів безкоштовно збирають розмічений датасет. Див. RAG vs fine-tuning.

Часті питання

Читайте також

ПослугаРозробка RAGРозробка RAG: AI-асистенти, що відповідають з ваших документів і даних — з посиланнями, правами доступу й виміряною точністю, у вашій хмарі.ГайдAI-чатбот підтримки, за який не соромноAI-чатбот підтримки, якому довіряють: відповіді з джерел, чіткі межі, передача людині, безпечні дії, захист від зловживань і чесні метрики.ГайдRAG vs fine-tuning vs промптингRAG додає знання, fine-tuning змінює поведінку, промптинг — точка старту. Практичний гайд із вибору: дерево рішень, вартість, пастки й реальні приклади.ГайдОцінювання LLM для не-ML командЯк оцінювати LLM-функцію без команди data science: тестовий набір, метрики, обережне використання LLM-суддя, оцінювання в CI та читання результатів.Приклад проєктуОбробка документів для дистриб'ютораІлюстративний проєкт: дані з рахунків і ТТН, звірка із замовленнями й проведення в ERP — з перевіркою людиною там, де це важливо.

Потрібен другий погляд на ваш проєкт?

Розкажіть, що ви будуєте і де застрягли. Протягом одного робочого дня відповімо з найпрактичнішим наступним кроком — навіть якщо цей крок не з нами.

Обговорити проєкт