AI-ассистенты как способ передачи опыта сотрудников

Одно из главных достоинств генеративного ИИ в том, что ИИ очень гибко подстраивается под запросы пользователя. Однако то же самое ценное свойство приводит к негативным эффектам — в случае, если пользователь не очень хорошо разбирается в том, что пытается делать с ИИ.

Причина этого понятна: ИИ выглядит как очень умный и эрудированный собеседник. В результате такого восприятия люди теряют критическое мышление, начинают слишком полагаться на ИИ.

Избавиться от восприятия ИИ в качестве авторитета не помогает даже следующий факт: в области нашей экспертизы ответы ИИ отнюдь не кажутся нам глубокими, убедительными и даже корректными. Это аналог Gell-Mann amnesia effect, но только для ИИ вместо СМИ.

Какие проблемы вытекают из этого с точки зрения качества работы сотрудников?

1. Проблемы с ИИ на рабочем месте

1. Не имея достаточно опыта решения некоторого класса задач, люди не могут получать хорошие результаты с помощью обычных ИИ чатботов, поскольку в большинстве случаев они не относятся к ответам ИИ критически.
2. Более того, использование ИИ препятствует обучению новичков. То есть, люди, изначально не обладавшие опытом в решении задач, со временем так и не научатся решать их хорошо.
3. Если кто-то более опытный не задал для ИИ контекст и инструкции, то слова "новичков" уводят ИИ от того, что на самом деле нужно, и решение задачи проваливается. Другими словами, человек должен фокусировать ИИ на важном изначально, а не только критически оценивать результаты ИИ потом. А новички как раз не могут приоритизировать важное.

Последнее особенно заметно, когда речь не об узкой задаче, а о более широкой objective: например, когда начинающий продакт-менеджер пытается анализировать продуктовые метрики с помощью ИИ.

Итак, все 3 проблемы можно обобщить в следующем утверждении:

Из-за этой проблемы люди часто не видят смысла в использовании ИИ-чатботов за рамками простых задач типа саммаризации или улучшения текстов. И как следствие, выгода от инвестиций компании в ИИ сильно уменьшается.

Ниже в разделах 3-5 я рассмотрю типовое решение этой проблемы, а в следующей статье — более продвинутое решение.

2. Где обычно хранится опыт

Спойлер: обычно нигде.

Сила организации состоит в том, что в ней есть люди с разным опытом относительно каждого типа задач: новички, мидлы, синьоры.

• Самые опытные люди, конечно, перегружены, и не могут участвовать в решении всех задач того типа, где они уже являются экспертами. Более того, согласно Принципу Питера, они зачастую решают уже другие задачи — вне зоны своей экспертизы.
• Менее опытные могли бы решать эти задачи с помощью ИИ, но с их указаниями LLM с большой вероятностью будет галлюцинировать и уводить их в неверную сторону. А понять это без опытных коллег они не смогут.

Как традиционно решается проблема передачи опыта от одних сотрудников к другим? Если не отвлекать опытных сотрудников при появлении каждого новичка, то это делается с помощью базы знаний.

С помощью AI можно даже автоматически пополнять базе знаний без усилий от эксперта, а также наводить там порядок для последующего AI-driven поиска. Но это тема отдельной будущей статьи, которая частично затронута в этой моей статье про личную базу знаний.

Однако даже отлично организованная база знаний с умным поиском передает лишь общие знания. С ее помощью сложно передать навыки решения конкретных задач или инсайты, которые возникают у сотрудников в ходе решения.

Да, иногда люди напрягаются и добавляют в базу знаний конкретные инструкции (текст со скриншотами или видео). Но это тяжело и поэтому случается редко. А ИИ — точно плохой писатель инструкций, он не имеет для этого опыта выполнения задачи своими руками.

3. ИИ-ассистенты как способ накопления опыта

Напомню цель из раздела 1:

На стыке этой цели с описанной в разделе 2 проблемой передачи опыта возникает следующее решение:

Имеется ввиду, что тогда ИИ не будет слепо подчиняться указаниям новичков. Ведь новички часто дают ИИ глупые указания, запросы, не содержащие нужного контекста и не фокусирующие ИИ на том, что действительно важно. Контекст и фокус могут дать только сотрудники с опытом решения таких задач, и тогда ИИ создаст намного более качественный результат.

AI, снабженный контекстом и конкретными инструкциями (системными промптами), часто называют AI-ассистентом.

Например, областью экспертизы в отделе маркетинга является создание контента для соцсетей, создание long form-статей для корп. блога, организация бесплатных мероприятий (онлайн и оффлайн — это минимум две области). Прямая реклама продуктов/услуг компании разными способами — это еще несколько областей. В наиболее близкой мне работе продакт-менеджера я насчитал, например, 6 разных областей.

Таких областей может быть даже больше, чем опытных людей. И на каждую область в идеале нужен минимум один AI-ассистент.

В итоге, ассистентов должно быть много, и тогда с их помощью будут более эффективно решаться большинство повторяющихся задач, требующих от людей много времени.

4. Передача опыта через ИИ: ожидания и реальность

Необходимое компании количество ИИ-ассистентов уже давно можно создавать в таких системах как GPTs в ChatGPT. Причем на тарифном плане ChatGPT Team удобно: когда кто-то создает GPT-ассистента, он автоматически становится доступным всем остальным.

К сожалению, для России вариантов немного: даже ИИ-ассистенты Гигачат поставляются “как есть” — их нельзя создать или изменить под конкретную задачу.

• Поэтому более-менее зрелые в AI российские компании обычно используют решения на базе open source. Неплохие примеры — Open WebUI (где создение “модели” пользователем соответствует созданию ассистента) и Dify.ai (где можно создавать не только ассистентов, но и агентов, а также многошаговые workflows — см. ниже в разделе 5).
• В крупных компаниях часто применяют собственные самописные AI-платформы, но создание ИИ-ассистентов — далеко не первый функционал, который там реализуют.

Но проблема не только в российской специфике.

Вот что мешает создавать AI-ассистентов, способных решать нетривиальные задачи:

1. Есть проблема со многими задачами, решение которых имеет многошаговый характер. AI-ассистент не сможет гарантированно следовать длинной последовательности шагов, которая указана в системном промпте. Слова неопытных пользователей ассистента почти всегда нарушают эту последовательность (см. в начале статьи про излишнюю гибкость ИИ).
2. Более того, написание такого системного промпта, который будет вести пользователя по шагам, особенно с логическими разветвлениями, требует серьезного опыта в промпт-инжиниринге. Эксперты предметной области — т.е. потенциальные создатели GPTs — обычно не обладают таким опытом.
3. Многие задачи содержат элементы, которые требуют взаимодействия с системами и другими сотрудниками компании. Например, нужно внести всю информацию от ИИ в десяток полей формы или отправить созданное сообщение всем заинтересованным лицам. Копипейст информации из чатбота и обратно — тупая работа с возможными ошибками. По моему опыту, из-за этого теряется минимум половина ценности от ИИ.

5. Как помочь сотрудникам создавать AI-ассистентов

Итак, первый этап решения проблемы передачи опыта через ИИ — это просто предоставление сотрудникам доступа к ИИ-платформе, где можно легко создавать ИИ-ассистентов. Желательно, чтобы список всех ассистентов был доступен каждому сотруднику, которому он может понадобиться. Подход, при котором доступ дается «только по запросу», — не работает.

На втором этапе внедрения ИИ в компании стоит сосредоточиться на задачах типов 1 и 2 — на тех, которые требуют выполнения нетривиальной серии шагов, и где последовательность действий может зависеть от конкретных условий.

• Проще всего организовать это с помощью каталога ИИ-ассистентов и других инструментов, структурированного не только по тематическим областям, но и по практическим задачам. Нюанс: даже если использовать иерархическую структуру, а не просто поиск по тегам, все равно один и тот же ассистент или инструмент может быть размещён в нескольких разделах структуры.
• Наиболее продвинутые подходы к автоматизации многошаговых задач обычно требуют доработок ИИ-платформы или других ИТ-систем, поэтому я расскажу о них в другой более технической статье. Некоторые такие подходы включают визуальное отображение логики — как, например, эта no-code диаграмма из платформы Dify.ai:

Визуализируемые на диаграммах процессы коммуникации с пользователями чат-бота обычно называют workflows, а иногда «chatflows» (чтобы не путать с workflows для полных автоматизаций без участия пользователя). Внутри одного процесса могут жить несколько AI-ассистентов со своими системными промптами, а также вспомогательные операции без ИИ.

Работа с редакторами процессов, несмотря на их визуальный характер, может оказаться даже сложнее, чем создание ИИ-ассистентов на основе сложных промптов. Поэтому визуальные no-code редакторы — это отнюдь не лучшее решение для не-технических сотрудников.

Существует множество организационых приемов, позволяющих сотрудникам все-таки делиться экспертизой через простых ИИ-ассистентов. Я бы разделил их на три нижеследующие категории.

1. Шаблоны и технические средства для создателей ассистентов.

• Для их вдохновения, можно даже создать удобный каталог системных промптов. Для начала его можно наполнить наиболее релевантными и практичными промптами с общедоступных ресурсов. Однако он должен пополняться созданными в компании промптами — в идеале, в автоматическом режиме.
• А еще более полезен AI-ассистент для создания системных промптов. Такой мета-ассистент может получать на вход неструктурированный “brain dump” сотрудника. Мета-ассистент задаст уточняющие вопросы с сформирует готовый промпт, который достаточно снабдить файлами доп. контекста — и получится ассистент для решения конкретных задач на базе опыта этого сотрудника.

2. Обучение промптингу, а точнее — контекст-инжинирингу.

Совсем необязательно это должен быть формальный тренинг для всех опытных сотрудников, могущих стать авторами ассистентов. Главное, чтобы в компании было несколько человек — помимо вечно занятых топ-менеджеров — которые обучены принципам задания контекста для ИИ и немало практиковались в этом.

Тогда достаточно так или иначе замотивировать этих чемпионов делиться своими best praсtices и указывать другим на ошибки неверного использования ИИ.

3. Мотивация нужна, конечно, и для более широкого круга создателей ассистентов. Для них это непривычная и более сложная задача, чем написание текста в базу знаний.

• Простейший социальный мотиватор — это регулярные общие встречи на ~2 часа (мини-хакатоны). С каждой такой встречи каждый выйдет со своим готовым ассистентом. В идеале, за время встречи каждый успеет похвастаться своим ассистентом коллегам, а также протестирует минимум один чужой ассистент и даст по нему обратную связь.
• Важный мотиватор — люди должны делать ассистентов, в первую очередь, для облегчения своей работы. Если человек лишь в прошлом занимался такой работой, значит, он отнюдь не лучший автор ассистента — ни с точки зрения мотивации, ни с точки зрения актуальности его навыков.
• Cтоит также делать ассистенты не обезличенными, а показывать, кто их автор. Если платформа этого не показывает — значит нужно добавлять имя или фамилию прямо в название ассистента; например, "КиберНаташа — Дизайнер постов".

Как видим, облегчить задачу создания AI-ассистентов можно с помощью организационных мер, а также простых технических решений — типа мета-ассистента для создания системных промптов.

Что дальше?

Я думаю, что вышеуказанные меры все-таки НЕ решают большинство проблем с ИИ-ассистентами, способными решать сложные задачи.

В следующей статье вы узнаете основную причину этого утверждения, а также более продвинутый с технической точки зрения подход к решению проблемы сложности создания ИИ-ассистентов.