Інженерна культура · Метрики AI
Вимірюйте AI, а не людей, які ним користуються
Рада директорів хоче знати, чи працює бюджет на AI. Найшвидший графік — впровадження: хто користується інструментами, як часто, скільки токенів. Виглядає як прогрес. Для команди це виглядає як стеження, і поведінка тихо змінюється не в той бік. Ось що кажуть дані і що вимірювати натомість.
Команда Nythrex · 29.10.2026
Коротко
6 хвилин читання · Для CTO та інженерних керівників · 29 жовтня 2026
- Розробники хвилюються. В опитуванні Harness серед 700 практиків і менеджерів 54% розробників бояться оцінювання за даними про їхнє використання AI.
- Метрики використання викривляють поведінку. В опитуванні Adaptavist серед 1000 розробників 52% використовують AI більше, ніж потрібно, щоб відповідати очікуванням.
- Велика компанія вже розвернулася. У вересні Meta перестала враховувати використання AI в оцінюванні працівників.
- Краща одиниця — зміна: скільки AI коштував на кожну випущену роботу, за проєктами й командами.
Як розробники сприймають метрики AI
Те саме опитування Harness показало, що 55% розробників хочуть тримати дані для покращення окремо від даних для оцінювання, а 49% хочуть брати участь у визначенні AI-метрик, за якими їх оцінюють. Окреме опитування Adaptavist серед 1000 розробників у п’яти країнах додає поведінковий бік.
Метрика, що вдарила у відповідь
Meta зробила використання AI критерієм оцінювання й відстежувала його дашбордами та лічильниками токенів. Працівники відповіли тим, що накручували споживання токенів, щоб піднятися у внутрішніх рейтингах, — це тепер називають tokenmaxxing. 8 вересня, за внутрішнім листом, про який повідомило The Information, Meta оголосила, що використання AI більше не впливатиме на оцінювання; роботу оцінюватимуть за якістю, швидкістю й складністю.
Чому використання на людину — хибна одиниця
- Воно міряє вхід, а не результат. Токени й промпти нічого не кажуть про те, чи щось вийшло в реліз.
- Його накручують. Щойно використання стає ціллю, воно росте. Разом із рахунком.
- Воно руйнує довіру. Люди, які почуваються під наглядом, менше діляться, менше експериментують і швидше йдуть.
- Воно відповідає не на те питання. Рада питає, чи вартий AI грошей, а не хто написав найбільше промптів.
Питання в тому, чи вартий AI грошей, а не в тому, хто користувався ним найбільше.
Що вимірювати натомість
| Замість | Вимірюйте | Чому це працює |
|---|---|---|
| Токени на розробника | Вартість AI на випущену зміну, за проєктами | Прив’язує витрати до виконаної роботи |
| Рівень впровадження | Частку витрат на AI, що закінчилися злитою роботою | Показує марнотратство, нікого не звинувачуючи |
| Рейтинги | Сесії й запуски без результату | Вказує на процес, а не на людей |
| Промпти на день | Час доставки змін і частку невдалих змін | Міряє доставку, заради якої AI і купують |
- 1
Розділіть покращення й оцінювання
Напишіть прямо, що дані про витрати й використання AI — для покращення системи, а не для рев’ю. - 2
Агрегуйте за проєктами й командами
Показуйте AI на тому рівні, де ухвалюють рішення: які проєкти, які типи робіт. - 3
Дайте людям бачити власні дані
Розробники можуть вчитися на своїх цифрах, не бачачи колег за іменами. - 4
Визначайте метрики разом
Половина розробників хоче мати голос. Запитати нічого не коштує, а довіру купує.
Де тут Nythrex
Nythrex вимірює AI на рівні роботи: вартість кожної зміни від задачі до AI-сесії, коміту, pull request-у, CI і деплою, за проєктами й командами. Він не порівнює людей між собою і не оцінює продуктивність. Учасник бачить лише власну роботу й витрати. З машин розробників надходять лише метадані запитів, ніколи код чи промпти.
Джерела
Часті питання
Чи варто враховувати використання AI розробниками в оцінюванні?
Дані свідчать, що ні. 54% розробників в опитуванні Harness бояться такого оцінювання, 52% в опитуванні Adaptavist використовують AI більше, ніж потрібно, щоб відповідати очікуванням, а Meta у вересні 2026 року перестала враховувати використання AI в оцінюванні.
Що таке tokenmaxxing?
Tokenmaxxing — це накручування споживання AI-токенів, щоб виглядати продуктивним на дашбордах чи в рейтингах використання. Рахунок за AI росте, а робота кращою не стає.
Як вимірювати вплив AI без стеження?
Вимірюйте на рівні роботи: вартість AI на випущену зміну за проєктами й командами, частку витрат на AI, що закінчилися злитою роботою, і метрики доставки, як-от час доставки змін. Тримайте дані для покращення окремо від оцінювання.
Читайте також
- Після tokenmaxxing: чому витрати на токени — це вартість, а не показник продуктивностіУ 2026 році команди почали змагатися, хто з інженерів спалює більше AI-токенів. Потім закінчилися бюджети. Чому споживання токенів — це вхідна величина, а не результат, і що вимірювати натомість.Читати
- Місячний інженерний звіт, який з’їдає день, і чому йому ніхто не віритьТри з чотирьох інженерних менеджерів мусять звітувати про роботу команди, і менше половини вірять, що їхні метрики відображають реальну цінність. Проблема не в зусиллях, а в цифрах, які вручну зводять з п’яти інструментів без джерела за ними.Читати
- Безпека Nythrex: лише метадані, доступ на читання, шифруванняЯк Nythrex захищає дані: доступ до джерел лише на читання, код і промпти не зберігаються, токени зашифровано ключем в Azure Key Vault, ізоляція просторів.Читати
Перестаньте вгадувати.
Почніть бачити.
Без картки й без підписки: платні тарифи ще не запущені.