Недавно ландшафт ИИ вновь изменился, когда OpenAI выпустила «Глубокое исследование».
Вскоре аналогичные решения представили Perplexity, xAI, Manus и другие компании. По своей сути «Глубокое исследование» — это поисковый агент, который принимает запрос пользователя и до 30 минут проводит в интернете сложное многоэтапное исследование, порой используя более 100 источников. За считаные минуты он формирует подробный исследовательский отчёт — человеку на такую работу обычно потребовалось бы несколько часов.
Мы считаем этот выпуск одним из важнейших событий в сфере ИИ со времён GPT-3.
В последующих беседах с клиентами особенно часто звучал один вопрос: «Когда мы сможем применять такое глубокое исследование к собственным данным?»
Многие из этих клиентов годами и даже десятилетиями тщательно создавали одни из крупнейших в мире частных баз знаний. Эти данные бесценны и обеспечивают компаниям конкурентное преимущество в своих отраслях.
Учитывая эту потребность, мы начали разрабатывать подход, который позволит любой компании создать возможности глубокого исследования с учётом её рынка, данных и контекста.
Мы называем это решение «Корпоративное глубокое исследование».
В «Корпоративном глубоком исследовании» мы применяем многие выводы, о которых рассказывали в подробном обзоре подходов RAG.
Итеративное улучшение пользовательского запроса ещё важнее для задач глубокого исследования, чем для классического RAG
Управление контекстом по-прежнему играет главную роль. Крайне важно, чтобы исследовательский агент хорошо понимал, что уже изучено и какие направления поиска оказались наиболее плодотворными. Интеллектуальное управление этим состоянием позволяет максимально эффективно задействовать рассуждения модели
Исследовательский агент — движущая сила «Корпоративного глубокого исследования».
Исследовательский агент видит вопрос пользователя, ранее выполненные запросы и полученную с их помощью полезную информацию. Затем с помощью рассуждений он преобразует отобранный поток данных в действия.
Для достижения цели исследовательскому агенту предоставляется доступ к множеству инструментов. Это могут быть инструменты веб-поиска и веб-операторы, распространённые в потребительских сервисах глубокого исследования, а также инструменты для взаимодействия с вашими частными источниками данных и конечными точками.
Это похоже на обычный ящик с инструментами: исследовательскому агенту нужно лишь выбрать подходящий инструмент для конкретной задачи. Иногда полезнее всего веб-поиск: например, вам нужно быстро изучить опубликованную сегодня научную работу, которая ещё не попала в базу знаний компании.
Однако в таких отраслях, как фармацевтика, финансы или право, рабочие процессы будут в значительной степени зависеть от внутренних баз знаний. Для работы с такими источниками мы можем тщательно настроить исследовательского агента с помощью сквозного обучения с подкреплением, чтобы он максимально эффективно ориентировался в ваших частных знаниях. Именно здесь особенно ярко раскрываются преимущества нашего «Корпоративного глубокого исследования».
Здесь и начинается самое интересное.
Интернет предлагает огромные объёмы информации, но полностью раскрыть потенциал систем ИИ позволяет непосредственное внедрение в них ваших уникальных знаний. Мы убеждены, что самые эффективные решения создаются за счёт интеграции ваших уникальных знаний и конкурентных преимуществ на каждом этапе процесса.
Совместно с организациями мы разрабатываем индивидуальные интеграционные решения, которые объединяют данные из разных источников — от структурированных баз данных Neo4j, PostgreSQL и Snowflake до облачных хранилищ и файловых систем, таких как S3 и SharePoint, — в единую экосистему. Такая интеграция помогает обогатить все компоненты системы вашими частными данными и внутренними процессами. Благодаря этому исследовательский агент может действовать так же, как ваши внутренние аналитики.
Эффективное использование данных часто поднимает важнейшие вопросы о правах и разрешениях на доступ. Владельцы данных обоснованно опасаются, что конфиденциальная информация может случайно попасть в ответы. Мы считаем, что конфиденциальность и безопасность данных должны закладываться в решения с самого начала. При индексировании внутренних данных важно фиксировать сведения об их владельцах и обеспечивать соблюдение прав доступа, чтобы конкретную информацию могли получать только авторизованные пользователи. Кроме того, надёжные механизмы удаления данных из индекса в соответствии с GDPR и другими нормативными требованиями необходимы для сохранения конфиденциальности и соблюдения законодательства. Такой уровень контроля и безопасности отличает наш подход от общедоступных инструментов глубокого исследования по всему интернету.
Веб-поиск остаётся основой корпоративных исследовательских процессов. Традиционный веб-скрейпинг давно служит надёжным способом извлечения структурированных данных из интернет-источников. Эти классические методы эффективны для сбора больших объёмов общедоступной информации.
Недавно появились агенты — веб-операторы, способные решать сложные задачи по поиску данных в интернете. К ним относятся Operator от OpenAI, Claude от Anthropic и Proxy от Convergence. Они предназначены для работы в сложной веб-среде, обработки запросов с множеством нюансов и получения данных, недоступных стандартным методам скрейпинга.
Иногда большие языковые модели — не лучший инструмент для анализа полученных данных. Поэтому для такого анализа исследовательскому агенту можно предоставить доступ к более специализированным инструментам, например среде программирования или даже вашим собственным инструментам. Этот многоуровневый подход — от классического скрейпинга до современных агентов-операторов и специализированных инструментов — обеспечивает полноту и гибкость корпоративных исследований независимо от сложности информационной среды.
У каждой компании есть своя культура, отраслевая специфика и сложившиеся методы работы, от которых зависит, как лучше воспринимать и применять полученные выводы. Готовые инструменты часто предлагают универсальные ответы, которые могут не учитывать уникальный контекст вашего бизнеса.
Индивидуальное решение для глубокого исследования позволяет представить результаты именно там и в том виде, где они нужны: интегрировать их в существующие аналитические инструменты или создать для них отдельный рабочий процесс.
Адаптировав результаты исследования к языку и процессам вашей компании, вы обеспечите не только их точность, но и органичную интеграцию в существующие механизмы принятия решений.
Мы видим будущее, в котором каждая компания использует индивидуальное решение для глубокого исследования в своих важнейших рабочих процессах.
Недавние выпуски, в том числе Responses API от OpenAI со встроенными возможностями веб-поиска и новый Agent SDK для создания систем агентного ИИ, свидетельствуют о стремлении лидеров отрасли развивать инструменты ИИ в этой области. Общедоступные инструменты, такие как «Глубокое исследование» OpenAI, превосходно справляются с общими вопросами, однако компаниям, стремящимся получить конкурентное преимущество, больше подойдёт индивидуальный подход, полностью задействующий их частные знания и уникальные сильные стороны.
Хотите узнать, как воплотить эту концепцию в вашей компании? Свяжитесь с нами удобным для вас способом.