Клиентский ИИ представляет ваш бренд, поэтому работа над ним принципиально отличается от создания внутренних инструментов.
Различие между работоспособным и убедительным агентом скорее концептуальное, чем техническое: большинство промптов составляют как наборы инструкций, а не как проекты диалога.
Более удачный подход предлагают лингвистика и когнитивная психология: у разговоров есть структура, а промпты создают среду, направляющую внимание. Поведение агента закономерно зависит от того, что вы ставите в начало, что повторяете и чем завершаете промпт.
Ограничения помогают, но лишь тогда, когда они точны. Избыток пограничных случаев делает общение неестественным, а промпты — громоздкими. Чем меньше решений приходится принимать, тем проще сосредоточиться на самых важных.
Создание диалогового клиентского ИИ — непростая задача для бизнеса.
Даже компании, которые активно осваивают эту технологию, внедрили взаимодействие с ИИ на уровне отдельных сотрудников и, возможно, разработали собственные внутренние ИИ-инструменты, сталкиваются с совершенно иной задачей, когда делают ИИ посредником между бизнесом и внешним миром.
И это действительно повышение. Выходя к клиентам, ИИ превращается из старательного стажёра в полномочного сотрудника: надевает форму и становится представителем бренда в глазах клиентов.
Ставки высоки. Теперь каждая ошибка совершается публично и может быть записана.
Создаваемые нами продукты часто представляют собой мультиагентные системы со сложными взаимодействиями на уровне бизнеса. Однако эта логика может оказаться самой простой частью работы. Куда сложнее убедить пользователей, что они всё время общаются с одним агентом и что его ответы действительно ценны.
Поэтому мы снова и снова переписываем промпты.
Для создания некоторых агентов требуются сотни итераций промптов. Цель всегда одна: не отклоняться от задачи и говорить с пользователями понятным им языком.
Опыт совершенствования промптов побудил нас творчески подходить к поиску идей. Мы начали заимствовать подходы из других дисциплин. Разумеется, сработало не всё, а удачные решения редко находились с первой попытки. В результате этих экспериментов наша команда сформировала новую парадигму работы с промптами.
Разрыв между стабильно работающим и блестяще ведущим беседу агентом не только технический, но и концептуальный. Это разрыв между миром, в который вы поместили агента с помощью промпта, и реальным миром человеческого общения, где ему предстоит действовать.
Последнему присуща неоднозначность. Люди хорошо её чувствуют и при добросовестном общении совместно преодолевают благодаря тонким негласным правилам разговора. Неподготовленного агента видно сразу.
Чтобы не разрушать четвёртую стену — иллюзию Тьюринга, — можно обучить агентов искусству диалога с помощью идей из лингвистики и когнитивной психологии.
У лингвистики есть целый набор инструментов для изучения языка в действии. Один из них — конверсационный анализ, исследующий, как люди шаг за шагом выстраивают разговор и управляют им. Применив эту систему к промптингу, мы получаем понятийный аппарат, позволяющий рассматривать разговор не как обмен словами, а как обмен действиями.
Одни действия практические — например, получение или передача информации. Другие социальные — например, поддержание контакта или предотвращение разногласий. Такие ходы совершаются в рамках общей структуры и отдельных этапов диалога, каждому из которых соответствует ожидаемый набор действий. У диалогов есть начало и завершение, переходы между темами и даже подготовка к таким переходам — порой неловкие моменты, когда новое направление исподволь предлагается, обсуждается и согласуется между строк.
Недопонимание возникает постоянно, даже если у всех участников самые благие намерения. Люди владеют искусством диалога в разной степени, но важно понимать: у LLM, лежащей в основе вашего агента, изначально нет интуиции, которой обладает даже самый обычный собеседник.
Когнитивная психология дополняет лингвистический анализ. Она объясняет, как в действительности работают внимание, память и принятие решений: как люди оценивают информацию в начале и конце, как конкретные стимулы вызывают предсказуемое поведение и как ограничения снижают когнитивную нагрузку, предоставляя больше свободы.
Промпт — не нейтральный контейнер для инструкций. Это среда, направляющая внимание. Поэтому важно то, что находится в начале. Важно и то, что находится в конце. Важно и то, что повторяется. В списках люди обычно лучше запоминают начало и конец, чем середину. Психологи называют это эффектом последовательной позиции: эффектами первичности и недавности.
На практике мы наблюдаем нечто подобное и у LLM. Первые указания задают контекст: кто этот агент, какую роль он играет и с каким миром ожидает столкнуться. Заключительные указания часто воспринимаются как «последнее услышанное». Если поместить туда самые важные инструкции, вероятность их выполнения повысится.
Тщательно выбирая место для каждой инструкции в промпте, нужно также следить за общей формой границ, которые эти инструкции задают агенту.
Инструкции ограничивают агента: сокращают число конкурирующих вариантов, из которых ему приходится выбирать, и сужают общее пространство задачи. Промпт должен ограничивать задачу настолько, чтобы агент мог с ней справиться.
При постановке задач сотрудникам, особенно неопытным, психология рекомендует максимально устранять неоднозначность и тем самым снижать когнитивную нагрузку. Ограничения могут казаться помехой свободе, однако меньшее число решений позволяет сосредоточиться на оставшихся важных вопросах и творчески действовать в заданных рамках.
И наоборот, попытка избавить агента от необходимости принимать любые решения, описав каждый мыслимый пограничный случай списками примеров поведения, — верный способ получить неестественного собеседника и громоздкий промпт-Франкенштейн из условий «если — иначе», которым невозможно управлять.
(Да, few-shot-примеры, это о вас.)
Промпт с чёткими границами задаёт ясное направление, не перегружая задание и не парализуя агента. Часто для этого нужно предусмотреть меньше пограничных случаев или целей для агента — как в отношении того, что ему следует или не следует говорить, так и в отношении того, как это делать.
По нашему опыту, если для корректировки границ вам требуется few-shot-пример, значит, эти границы недостаточно точны. Вернитесь к основным инструкциям и доработайте их.
С точки зрения когнитивной психологии мы анализировали, где размещать различные инструкции в промпте, а также сколько инструкций требуется и насколько качественными они должны быть, чтобы оптимально ограничить пространство задачи агента.
Если вспомнить наши предыдущие наблюдения об искусстве диалога с точки зрения лингвистики, парадигму промптинга можно дополнить, включив ориентированные на диалог инструкции в общие границы задачи агента.
Для клиентского ИИ диалог всегда остаётся метазадачей — независимо от того, признаём мы это или нет. Намеренно уделяя внимание диалогу в промпте, мы направляем часть ресурсов — или «когнитивной нагрузки» — агента на осмысление разговора и реагирование на него, тем самым улучшая его навыки общения.
Обратная сторона такого подхода в том, что, скорее всего, придётся сократить основную задачу, чтобы общее пространство задачи оставалось управляемым и чётко ограниченным.
Поэтому для клиентского ИИ мы комплексно проектируем условия, способствующие более качественным диалогам и решениям. Мы стремимся создавать небольших агентов с чёткими границами, чья основная задача учитывает метазадачу диалога или включает её. Мы не составляем горы инструкций, которые затем приходится уточнять примерами. Мы создаём небольшой набор выверенных и настолько точных инструкций, что примеры становятся излишними.
Эта парадигма промптинга позволяет нам создавать агентов, которые не только придерживаются задачи, но и ведут диалог изящно и естественно.
Теперь, когда концептуальная основа изложена, в следующей статье мы перейдём к практике. Мы рассмотрим несколько ключевых закономерностей, выявленных методом проб и ошибок при применении этих принципов к реальным промптам. Любопытно, что поставщики передовых моделей начинают использовать похожие подходы в собственных рекомендациях по составлению промптов. Продолжение — в следующий раз.