Что это такое
Шесть метрик AI-процесса — это шестерня «Метрики» в маховике данных. Они показывают, во-первых, текущее состояние процесса (где мы сейчас), во-вторых, динамику (куда движемся). Применяется на фазе развёртывания (DEPLOY, запуск процесса в бой) и далее непрерывно на эволюции (EVOLVE).
Метрики бывают двух типов. Опережающие (leading) меняются первыми, дают время на реакцию и годятся для оперативного управления. Запаздывающие (lagging) фиксируют результат пост-фактум и годятся для стратегических решений: «масштабируем или сворачиваем». Минимум 2 опережающих и 2 запаздывающих в дашборде. Только запаздывающие — реагируете поздно, ошибка уже стоила бюджета. Только опережающие — нет связи с бизнес-результатом.
В методике Oper8 это главное правило измерения AI-процессов: одна метрика лжёт всегда. Шесть в комбинации дают картину, на которой видно, реально ли процесс становится лучше, или мы оптимизировали важное в ущерб ещё более важному. Корневая метрика — стоимость результата. Три опережающих (доля вмешательств, время цикла, скорость маховика данных) — её драйверы. Их деградация видна за 2–4 недели до того, как стоимость результата начнёт расти. Это и есть фора, ради которой опережающие держат в дашборде.
Как делать
Дашборд строится из шести цифр в трёх временных горизонтах: день, неделя, квартал.
1. Стоимость результата (запаздывающая, ежемесячно)
Деньги на один результат: закрытое обращение, найм, согласованная заявка. Полная формула: четыре строки расходов в числителе и количество результатов в знаменателе. Подробнее в статье «Стоимость результата». Это корневая метрика дерева. Если падает три месяца подряд при стабильной контр-метрике, процесс зрел. Если стоит, значит что-то сломалось в одном из драйверов, смотрим опережающие.
2. Доля вмешательств (опережающая, ежедневно)
Процент решений AI, потребовавших вмешательства человека (Human Intervention Rate, HIR). Главная метрика автономии. HIR 80% и выше: AI работает на уровне Оператор или Коллаборатор (A1–A2). 30–80%: уровень Консультант (A3). 5–30%: Утверждающий или Наблюдатель (A4–A5). Динамика важнее абсолюта: если HIR медленно снижается (1–2% в неделю), маховик данных крутится. Если стоит на одном месте, где-то порвалось: либо лог решений не пополняется, либо новые примеры не доходят до обучения. Считается автоматически из лога решений.
3. Время цикла (опережающая, еженедельно)
Полный цикл от запроса до закрытого результата (Cycle Time). Прокси скорости обучения процесса: чем короче цикл, тем быстрее организация учится на каждом случае. Сократилось на 30% за квартал, значит прошлый цикл успел стать опытом до того, как пришёл следующий, и команда работает с осознанными изменениями, а не догоняет хвост.
4. Скорость маховика данных (опережающая, еженедельно)
Сколько примеров за неделю добавлено в обучающий набор и сколько из них реально улучшили метрики качества. Единственная метрика, по которой видно: вы строите AI-native процесс или просто включили AI в старый. Если маховик не крутится, вы на Deploy без Reshape, и долгосрочного эффекта не будет. Подробно в статье «Маховик данных».
5. Коэффициент активности (опережающая, еженедельно)
Продуктивное время / общее время процесса (Activity Ratio). Низкий коэффициент означает, что время уходит на ожидание, передачи между ролями, согласования. Если не растёт после внедрения AI, значит AI применили не к узкому месту. Типичный паттерн: AI ускорил обработку, но процесс по-прежнему стоит на согласовании юристом. Лечится не доработкой модели, а перепроектированием стыка ролей.
6. Доход на сотрудника (запаздывающая, ежеквартально)
Выручка компании / численность сотрудников (Revenue per Employee, RPE). Единственная метрика, которую сложно «нарисовать». Режим отказа: RPE вырос из-за сокращений штата, а не от AI. Проверка: числитель растёт, знаменатель стабилен или растёт медленнее, это здоровая динамика. Знаменатель падает быстрее числителя — это не AI-эффект, а оптимизация затрат, и через год возврата не будет.
Когда применяется
Дашборд из шести метрик запускается с первого месяца боевого режима. До этого (дискавери, дизайн, MVP-пилот) рано: данных нет, цифры будут шумом. На MVP достаточно трёх метрик: стоимость результата, доля вмешательств, плюс одна контр-метрика. Полную шестёрку запускают на масштабировании, когда процесс стабильно проходит через десятки случаев в день.
Сегментный сдвиг. В SMB и Mid-market на одном процессе обычно считают 4 метрики из 6: стоимость результата, доля вмешательств, время цикла, плюс одна контр-метрика (например, доля повторных обращений). Доход на сотрудника и активность приходят позже, когда AI работает в трёх и более процессах. В Enterprise дашборд с 6 метриками — это стандарт с первого квартала. Добавляется ещё разрез по сегментам клиентов или регионам, и в боевой панели появляется 18–24 цифры.
В страховой компании федерального масштаба мы запустили дашборд на первой линии обработки претензий с пятого месяца проекта. Сначала жили только на стоимости результата (упала с 230 ₽ до 110 ₽ за 4 месяца), но не видели, что доля вмешательств выросла с 28% до 41%. Когда добавили её в дашборд, стало видно: оператор обращался за помощью к супервайзеру в полтора раза чаще. Корень нашли в неделю: модель деградировала на новых типах претензий. Без опережающей метрики проблема бы вылезла через два месяца на росте стоимости результата и стоила бы 1.8 млн ₽ переработок.
Кто отвечает
Владелец процесса. На одной странице у одного человека все шесть цифр. Не «команда смотрит» и не «дашборд в Looker раз в неделю на встрече», а конкретный человек, который читает дашборд каждое утро и реагирует на отклонения. На уровне организации: руководитель AI-трансформации сводит дашборды процессов в общий и видит, где какой не двигается. Telegram-чат с автоматической рассылкой цифр в 9 утра — нормальный формат для оперативного управления. Красивая панель в Looker нужна для квартального обзора, не для ежедневной работы.
Типичные ошибки
Только запаздывающие метрики. «У нас в дашборде стоимость результата и доход на сотрудника». Это значит, что проблему вы видите через 4–8 недель после её появления. К этому моменту команда привыкла к плохому процессу, доверие к AI просело, пилот свернули. Лечение: рядом с каждой запаздывающей — минимум одна опережающая, которая зашевелится первой.
Закон Гудхарта — одна метрика без контр-метрики. Команда оптимизирует долю вмешательств, чтобы она падала быстрее. Для этого отключает проверку в спорных случаях. Доля падает, ошибки растут. Лечение: на каждую основную метрику обязательна контр-метрика. Стандартные пары:
- Доля вмешательств снижается, балансируется процентом ошибок в автоматическом режиме.
- Стоимость результата снижается, балансируется CSAT или долей повторных обращений.
- Время цикла снижается, балансируется полнотой решения (не закрыли быстро ценой недоделанного).
Если основная улучшается, а контр-метрика стабильна, это здоровая оптимизация. Если обе движутся в одну сторону, это Гудхарт: останавливаемся, пересобираем процесс.
Слишком много метрик в одном месте. Дашборд из 22 цифр никто не смотрит, каждый читает свои три. Через 3 месяца такой дашборд переезжает в ежемесячный отчёт «для борда», а оперативное управление идёт по двум метрикам в чате. Лечение: 6 цифр это потолок оперативного дашборда. Всё остальное уходит в детальные отчёты второго уровня для тех, кто разбирает причины отклонений.
