Когда вам нужно оценить, насколько человек хорош в работе с ИИ, на что вы смотрите? На качество промптов? На скорость генерации? На знание инструментов?
- Бенчмарк OpenAI GDPVal показывает, что лучшие модели обходят профессионалов с 14-летним стажем в 70% случаев — в 100 раз быстрее и менее чем за 1% стоимости. Сама генерация уже не проблема.
- Но в 30 процентах результатов, которые «выглядят правильно», ИИ ошибается, — всё ещё требуют человека, способного сказать «нет». Именно это, а не промптинг, определяет реальную ценность специалиста.
TL;DR
- Самый ценный навык работы с ИИ — не умение отбраковывать некачественные результаты и объяснять, почему они плохи.
- Каждая квалифицированная отбраковка (отклонение) создаёт полезное знание — ограничение, правило, зафиксированное чутьё (taste) — и это знание можно накапливать и масштабировать.
- Отклонение результата состоит из трёх навыков: выявление проблемы, формулирование ограничения и его фиксация для повторного использования.
- Компании, десятилетиями фиксировавшие экспертные суждения (Epic Systems, Bloomberg), получили конкурентное преимущество, которое невозможно воспроизвести подпиской на те же API.
- Стратегия борьбы с ИИ-халтурой — систематизация и автоматизация навыка отклонения через библиотеку правил.
Кому будет полезно
- Руководителям любого уровня: если вы хотите понять, где возникает реальное конкурентное преимущество в эпоху ИИ — и почему оно не в выборе вендора.
- Специалистам любого профиля: если вы работаете с ИИ ежедневно и хотите превратить своё экспертное чутьё из личного качества в масштабируемый актив.
- Предпринимателям и продакт-менеджерам: если ваш продукт на стыке ИИ и управления знаниями.
Пересказ
1. Ваш главный навык — умение сказать «нет»
Когда последний раз вы отклоняли результат, выданный ИИ? Не отказывались от использования ИИ — а именно говорили «нет» конкретному результату, требовали результат лучше. Если вы разбираетесь в своей предметной области, вы обнаружите, что отклоняете куда больше результатов, чем принимаете: неверная постановка вопроса, небрежные рассуждения, уверенно звучащий анализ, который не выдержит критики понимающих тему людей.
И дело не в промптинге. Не в дизайне воркфлоу, хотя это тоже полезно. И даже не в выборе модели. Можно формулировать промпты идеально — и всё равно говорить «нет» снова и снова, потому что предыдущее объяснение, возможно, подтянуло модель с 90% до 95%, но ваша планка качества выше.
Когда нужно оценить, насколько человек хорош в работе с ИИ, стоит смотреть не на его промпты, а на то, как часто он говорит «нет». Умение посмотреть на результат и сказать «это неправильно, и вот почему» — огромная часть того, что определяет качество интеллектуальной работы с ИИ.
Вы, скорее всего, не отслеживаете паттерны своих отклонений. Но паттерны есть. Если начать их фиксировать и искать способы масштабировать свои «нет», вы обнаружите, что экспертное чутьё — это масштабируемый актив.
Отклонение результатов — это не побочный продукт работы с ИИ, а её ключевой навык. Каждое квалифицированное «нет» уточняет границу между «выглядит правильно» и «действительно правильно».
2. Каждое «нет» создаёт знание, которого раньше не было
[02:52]
Что должно происходить в момент отклонения? Человек выявляет конкретный разрыв между «выглядит правильно» и «действительно корректно» — и формулирует ограничение, которого до этого момента в явном виде не существовало.
- Стратегический партнёр возвращает ИИ конкурентный анализ со словами: «Где здесь наши проприетарные данные о стоимости переключения клиентов? Любая фирма с доступом к той же модели получила бы такой же результат».
- Кредитный менеджер отклоняет прототип мониторинга соглашений: «Нельзя обрабатывать коэффициент покрытия долга так же, как требование минимального чистого капитала — у них совершенно разные триггеры мониторинга».
- Редактор выкидывает черновик: «Тезис похоронен в четвёртом абзаце — надо начинать с провокации».
Эти примеры намеренно взяты не из технологической сферы. Это касается всей интеллектуальной работы — всего, что мы делаем за компьютерами. Такие отклонения — не просто отказы, а события создания знаний. Но почти никто их не фиксирует. Они живут в лучшем случае в переписках между людьми, в худшем — только в чатах с ИИ. Завтра другая презентация вернётся с той же ошибкой, и стратегический партнёр снова скажет: «Наших проприетарных данных о стоимости переключения тут нет».
3. Генерация результатов стала обыденностью — узкое место теперь в другом
[04:58]
Рынок ИИ-навыков сосредоточен на генерации: промптинг, дизайн воркфлоу, выбор инструментов, мультимодельная оркестрация. Всё направлено на то, чтобы производить больше и быстрее. ИИ может очень быстро создать стратегическую презентацию, конкурентный анализ, спецификацию продукта или работающее приложение.
По данным бенчмарка OpenAI GDPVal — самого строгого на сегодня измерения ИИ на реальных задачах интеллектуальной работы — frontier-модели обходят или сравниваются с профессионалами со средним стажем 14 лет в 70% прямых сравнений. При этом делают это в 100 раз быстрее и менее чем за 1% стоимости. Задания создавались и оценивались самими профессионалами в двойном слепом формате — и модели всё равно выигрывали большинство сравнений.
Обычно эти данные читают либо как историю о мощи ИИ, либо как историю о конце профессий. Оба прочтения скучнее, чем реальный вопрос: если ИИ соответствует результатам лучших людей в 70% случаев на хорошо поставленных задачах — что с остальными случаями? Что происходит с оставшимися 30%, где ИИ откровенно промахивается? Ответ в обоих случаях один: кто-то должен посмотреть на результат и определить, что не так.
На практике это выглядит так: посмотреть на спецификацию продукта и сказать «это не передаёт бизнес-цель». Посмотреть на архитектуру приложения и сказать «на демо выглядит красиво, но в продакшене работать не будет, и вот почему». Посмотреть на анализ и сказать «технически верно, но нет вывода "и что?"». Для измерения этого навыка не существует хорошей метрики. Но именно он определяет, будет ли ИИ приносить пользу на практике.
4. Три измерения навыка отклонения
[07:24]
Отклонение — это не одно действие, а набор из трёх отдельных навыков, каждый из которых можно развивать.
Выявление — способность заметить, что что-то не так. Это продукт многолетней практики в своей области: младшие аналитики не поймают ошибки в регуляторных допущениях, кредитные менеджеры не заметят проблемы в логике соглашений, если не провели достаточно сделок. Человек, проверивший 2000 сделок и способный почувствовать, когда что-то не так, становится самым важным сотрудником — не вопреки ИИ, а благодаря ему. Именно поэтому опытные эксперты в предметной области становятся более ценными, а не менее ценными... по мере того как ИИ заливает каждую организацию потоком результатов.
Выявление — это навык, которое ИИ усиливает сильнее всего. Эксперт с сильным выявлением и ИИ-инструментами может оценивать в 10 раз больше результатов, чем раньше. Но это работает только внутри границ экспертизы. За пределами этих границ ИИ умножает уверенность, а не компетентность — и станет только хуже.
Формулирование — умение объяснить, почему что-то не так. Результат объяснения — ограничение, применимое в разных случаях. «Это неправильно» — это просто отказ. «Это неправильно, потому что вы обрабатываете все требования одинаково, а PRD нужно структурировать иначе» — это ограничение. Здесь разница между чутьём, запертым в голове одного человека, и чутьём, которое можно передать команде и масштабировать. Формулирование — это навык, которому можно научиться, но почти никто его не преподаёт. Именно формулирование превращает чутьё из личного качества в актив, который может использовать вся организация.
Примечательно, что сам бенчмарк GDPVal это иллюстрирует: каждое задание прошло пять раундов экспертного ревью, и каждый раунд включал отклонение — «это задание недостаточно репрезентативно» или «это задание недостаточно чёткое для оценки». Именно итеративное уточнение через отклонения сделало бенчмарк полезным.
Фиксация — практика сохранения ограничения на будущее. Именно здесь сейчас всё разваливается. Кто-то формулирует ограничение, оно оседает в переписке, а в следующем квартале другая команда совершает ту же ошибку — потому что ограничение нигде не было зафиксировано, и рассуждение приходится воссоздавать с нуля. Время сгорает на одной и той же борьбе с ИИ снова и снова.
Фреймворк Андрея Карпатого — «ИИ-системы улучшаются быстрее всего там, где успех можно верифицировать» — прямо об этом. Инфраструктура верификации не возникает из воздуха. Она строится на зафиксированных отклонениях: test suites с критериями приёмки, quality gates, бизнес-правила в системе.
5. От личного чутья к конкурентному преимуществу компании
[11:00]
Если начать систематически фиксировать отклонения как устойчивые, переиспользуемые ограничения, возникает самоулучшающаяся система. Масштабируется не эксперт — масштабируется закодированное экспертное суждение. И это начинает накапливаться по всей организации.
Консалтинговая фирма, фиксирующая отклонения партнёров по тысячам проектов, строит планку качества, которую конкурент не воспроизведёт, подписавшись на те же API. Медиакомпания может накапливать редакционное чутьё по тысячам материалов и помогать отдельным редакторам масштабировать свою работу. Компании, которые занимались этим — часто неформально — на протяжении многих лет, уже, как правило, доминируют на своих рынках.
ИИ ускоряет этот цикл: ИИ генерирует черновик, эксперт отклоняет, отклонение фиксируется, библиотека правил растёт — и планка качества улучшается с каждым циклом.
Epic Systems победила в здравоохранении не за счёт лучших технологий. Компания десятилетиями фиксировала клинические воркфлоу из тысяч больниц: команда выезжала на места, наблюдала за врачами, впитывала ограничения предметной области. Результат — система, обслуживающая более 300 миллионов записей пациентов, настолько встроенная в клинические операции, что клиенты не могут от нее отказаться. Конкурентное преимущество — не софт, а зафиксированное суждение о том, что софт должен делать правильно. Отклонение за отклонением, воркфлоу за воркфлоу, ошибка за ошибкой — в тысячах больниц.
Bloomberg сделал то же самое в финансовых данных. Когда вертикальная SaaS-компания по-настоящему владеет нишей — она делает свою версию того же самого.
6. Крупнейший пробел в экосистеме ИИ-инструментов
[13:42]
Почти никто не говорит о том, как масштабировать отклонения. Это не мелкое упущение — это крупнейший структурный пробел в экосистеме ИИ-инструментов. Все организации, использующие ИИ, генерируют много отклонений на уровне отдельных пользователей — и почти все они испаряются.
Правильное решение — не отдельный инструмент, не таблица, не база данных и не дашборд, потому что люди не будут переключать контекст, отрываясь от работы. Фиксация должна происходить там, где идёт работа — внутри разговора с ИИ, как побочный эффект уже выполняемого отклонения. Именно поэтому Nate B Jones создал несложное решение: MCP-сервер с базой данных, позволяющий логировать и фиксировать отклонения, не покидая чат-инструмент. Решение пока рассчитано как минимум на персональный уровень или уровень небольшой команды.
7. Библиотека правил как инструмент обучения
[15:08]
Если библиотека правил и ограничений доступна через MCP-сервер, появляется неожиданный бонус: младшие специалисты получают доступ к экспертному чутью старших. Они могут быстро проверить, соответствует ли результат планке качества, и начать осваивать накопленный контекст — способность формулировать, почему что-то не так, — который их старшие коллеги нарабатывали годами.
Это частично решает проблему, которая остро стоит сейчас: взаимодействие между младшими и старшими специалистами сократилось, а чутьё невозможно впитать на Zoom-звонках. А если никто не учится, как будет выполняться работа через 10 лет? Библиотека правил — это попытка запустить идею о том, что чутьё масштабируемо, что чутьё — это навык, которому можно научить, и что его могут освоить не только ИИ, но и люди. Но поскольку чутьё индивидуально для каждой команды и каждой компании, универсальную библиотеку дать невозможно — каждый должен построить свою.
8. Что делать: рекомендации по ролям
[17:10]
Вышеупомянутый фреймворк Карпатого имеет следствие: ценность ИИ в вашей организации заканчивается там же, где перестает использоваться экспертное чутьё ваших сотрудников. Там, где вы способны верифицировать качество, ИИ создаёт ценность. Там, где не способны — ИИ генерирует вполне реальный нарастающий риск: организация производит всё больше и больше, понимая всё меньше... до тех пор пока не теряет представление о том, что она делает и где проходит планка качества.
Речь не о том, что у людей не будет чутья — как раз наоборот. Мы хотим, чтобы у людей было отличное чутьё, и хотим дать им больше времени на новые виды ошибок. Потому что тем и задач, по которым нужно поддерживать высокую планку качества, становится больше.
Для топ-менеджеров: конкурентное преимущество — не выбор ИИ-вендора (ИИ-модели становятся ширпотребом). Это глубина и устойчивость зафиксированного экспертного чутья организации — библиотека правил, делающая ИИ-результаты надёжными в вашей области. Нужно спросить себя: как работают наши эксперты? Фиксируются ли их отклонения или испаряются? Зафиксированное экспертное суждение — это разновидность активов, и к нему пора относиться соответственно.
Для менеджеров команд: когда кто-то отклоняет результат ИИ, требуйте объяснения «почему». Команда, которая формулирует отклонения, строит общее понимание качества, которое переживает смену проектов, людей и инструментов. Команда, которая молча и индивидуально правит ИИ-результаты, на самом деле не растёт.
Для индивидуальных специалистов: самое ценное профессиональное развитие — не освоение очередного инструмента (инструменты будут меняться), а углубление способности замечать, когда что-то не работает, формулировать, что именно не так и как исправить, и участвовать в построении системы, где это чутьё может масштабироваться.
Для предпринимателей: стройте продукты, которые позволяют масштабировать чутьё. Но это не может быть отдельным окном или отдельным сайтом — люди не будут переключать контекст и инструменты. Решение должно быть бесшовным и не требовать дополнительного внимания.
Цитаты
- «Ваши отказы принимать результат ценнее ваших промптов»
- «Внутри границ экспертизы ИИ — мультипликатор силы. За пределами — он умножает уверенность, а не компетентность. И это хуже»
- «Ценность ИИ в вашей организации заканчивается там же, где перестает использоваться экспертное чутьё ваших сотрудников»
- «Конкурентное преимущество — не софт, а зафиксированное суждение о том, что софт должен делать правильно»
Примеры и кейсы
- Стратегический партнёр отклоняет конкурентный анализ: «Где наши проприетарные данные о стоимости переключения клиентов? Любая фирма с той же моделью получила бы такой же результат». Результат — разграничение между commodity-выводом и собственной аналитикой фирмы.
- Кредитный офицер отклоняет прототип мониторинга ковенантов: коэффициент покрытия долга и требование минимального чистого капитала имеют разные триггеры мониторинга. Результат — бизнес-логика, которую ни один документ с требованиями не зафиксирует.
- Редактор не принимает черновик: тезис похоронен в четвёртом абзаце, надо начинать с провокации. Результат — зафиксированный редакционный стандарт.
- Epic Systems десятилетиями отправляла команды в больницы наблюдать за врачами и впитывать ограничения клинических воркфлоу. Итог — система для 300+ миллионов пациентов, от которой клиентам невозможно отказаться.
- Bloomberg построил аналогичное конкурентное преимущество в финансовых данных через фиксацию доменной экспертизы.
Ошибки и грабли
- Молчаливое исправление вместо формулирования обратной связи. Когда команда тихо правит ИИ-результаты индивидуально, никакого роста не происходит — ограничения не фиксируются, поэтому ошибки повторяются.
- Применение ИИ за пределами экспертизы. ИИ — мультипликатор эффективности внутри вашей области знаний. За пределами области ИИ умножает уверенность, создавая нарастающий риск: организация производит всё больше, понимая всё меньше.
- Ставка на инструменты вместо чутья. Инструменты меняются быстро. Экспертное чутьё и умение формулировать ограничения — устойчивый актив, не привязанный к конкретному вендору.
- Хранение ограничений в переписке. Если ограничение живёт в email или Slack — оно фактически потеряно. В следующем квартале другая команда совершит ту же ошибку.
- Надежда на «осмос знаний». Младшие специалисты не впитают экспертное чутьё на Zoom-звонках. Без явной библиотеки правил разрыв между junior и senior будет только расти.
Что можно сделать уже сегодня
- Начать отслеживать паттерны: какие именно ошибки вы регулярно замечаете в ИИ-результатах.
- При каждом отклонении результат формулировать не просто «это не так», а в виде конкретного ограничения — почему не так и как должно быть.
- Выбрать способ фиксации ограничений: MCP-сервер, общий документ, база знаний. Главное, чтобы фиксация происходила в потоке работы, без переключения контекста.
- Провести аудит: фиксируются ли отклонения результатов экспертами в вашей организации? или теряются в переписке?
- Сделать библиотеку правил доступной для младших специалистов, чтобы они могли быстро проверять ИИ-результаты по зафиксированным стандартам.
- Когда член команды отклоняет результат ИИ, требовать объяснения «почему» и фиксировать его.
Заключение
Главная мысль проста: в мире, где генерация результатов стала дешевой, конкурентное преимущество переместилось к тем, кто умеет квалифицированно отклонять результаты ИИ. Три навыка — выявление ошибки, формулирование ограничения и его фиксация — образуют полный цикл: каждое «нет» улучшает планку качества для всех следующих результатов. Компании, которые десятилетиями фиксировали экспертные суждения, уже доказали, что это работает. ИИ просто ускоряет цикл.
Самый разумный первый шаг — перестать терять свои «нет». Начать записывать, почему вы отбраковываете ИИ-результаты, и сделать эти записи доступными для команды.
- Смотреть оригинальное видео от Nate B. Jones (YouTube)
- Подписывайтесь на наш телеграм-канал Кактус, чтобы не пропустить другие материалы о лучших практиках применения ИИ в командах и бизнесе.
