Создание агента на базе искусственного интеллекта для Айтон

В Айтон нужно было решить две задачи. Первая задача заключалась в масштабировании запросов на поддержку, так как в среднем каждые 5 секунд от клиентов поступает вопрос, что составляет около 6,000 вопросов ежедневно и порядка 100,000 вопросов ежемесячно.

Половина из этих вопросов относится к организационным, а другая половина требует проработки и консультирования. Регулярно повторяющиеся вопросы создают нагрузку на консультантов, которые вынуждены отвечать на одни и те же вопросы от разных клиентов, что приводит к задержкам в ответах.

Вторая задача связана с обучением новых специалистов. Для того чтобы новый консультант мог эффективно решать задачи и консультировать клиентов, требуется значительное время на его обучение и погружение в тематику, что также создает дополнительные сложности.

Разработка и внедрение чат-бота для поддержки клиентов

Обучение специалистов в области консультирования может занимать до полугода, и многие из них не хотят оставаться на позиции консультанта, предпочитая развиваться в других направлениях. Это создает проблему для компаний, которые вынуждены начинать цикл обучения заново. Один из заказчиков обратился с целью снизить зависимость от консультантов и повысить скорость и качество обслуживания клиентов.

В современном мире очевидным решением является внедрение чат-бота, который работает круглосуточно, хорошо знает предметную область и может мгновенно отвечать на вопросы клиентов. Это позволяет разгрузить консультантов от рутинных задач и сосредоточиться на более сложных вопросах.

Процесс разработки чат-бота был разделен на два этапа. Первый этап — это proof of concept, или проверка гипотезы, чтобы убедиться в возможности создания бота, который будет отвечать так же качественно, как и консультант. На этом этапе были отложены некоторые функции, которые необходимы для полноценного продукта, такие как история диалога и работа с мультимедиа.

Основное внимание было уделено базовой функциональности — вопрос и ответ. Для этого был проведен анализ данных, включающий реальные диалоги службы поддержки и материалы базы знаний. Это позволило сформировать датасет для измерения качества работы бота.

Однако на этапе прототипа у заказчика не было возможности выделить экспертов для подготовки объемного датасета, что стало одной из сложностей в реализации проекта.

Создание и оценка вопросно-ответной системы

Для создания эффективной вопросно-ответной системы мы синтезировали синтетический датасет, используя большие языковые модели. Этот датасет был сформирован на основе структурированной базы знаний, разделённой на области и представленной в виде порядка двадцати уроков. По каждому уроку мы создали стратифицированный датасет, включающий несколько вопросов из каждой категории, что позволяет охватить все темы, по которым обращаются клиенты. В итоге мы получили набор из 110 пар вопросов и ответов по двадцати категориям.

Для реализации архитектуры нашего решения мы использовали подход, основанный на архитектуре Рак, которая хорошо проработана и позволяет строить сложные решения. Однако, в процессе разработки таких систем часто допускаются две фатальные ошибки: использование максимального количества подходов и практик без должной оценки их эффективности, а также оценка результата работы системы на глаз или экспертно, без создания надёжной инфраструктуры для оценки качества.

Мы решили создать наше решение на основе простой архитектуры, что позволяет легко контролировать и развивать систему, повышая её качество. Наш подход заключается в использовании классического Рак пайплайна, где пользователь задаёт вопрос, на основании которого ищутся материалы в базе знаний. Эти материалы сортируются по релевантности и передаются в большую языковую модель, которая формирует полноценный ответ в соответствии с заданными параметрами.

Для обеспечения качества системы мы внедрили возможность обратной связи от пользователей, что позволяет оценивать, насколько их устраивает полученный ответ. С нашим датасетом и архитектурой мы перешли к планомерному и измеряемому процессу оценки качества, в основе которого лежит система мониторинга. Она позволяет отслеживать взаимодействие пользователя с системой и работу языковой модели, что делает процесс прозрачным и управляемым.

Мы реализовали базовую версию нашего Рак пайплайна и провели эксперимент, запустив работу бота-агента. На этом этапе мы измеряем метрики, которые позволяют оценить качество системы. Существует стандартный набор метрик для Рак систем, который мы используем для анализа результатов и поиска возможностей для улучшения.

Оценка и улучшение прототипа

Процесс улучшения системы начинается с корректировки инструкций и системных промтов, а также с обновления датасета. Это включает добавление новых вопросов и корректировку ответов до тех пор, пока не будут достигнуты приемлемые метрики.

Для оценки качества системы используются стандартные метрики и специальные фреймворки, такие как Ragas, которые позволяют быстро их рассчитывать. Важно убедиться, что агент корректно собирает информацию и формирует ответы на основе фактов, не придумывая ничего лишнего.

Прототип был протестирован с использованием специального теста, аналогичного тому, который проходят новые специалисты после обучения. Бот успешно справился с тестом, что подтвердило его готовность к работе.

Бот интегрирован в Telegram, где он отвечает на вопросы клиентов или консультантов, предоставляя уверенность в ответах и указывая источники информации. Это позволяет пользователям лучше понимать, почему был дан тот или иной ответ, и проверять его корректность.

В процессе тестирования выявлены сценарии, важные для передачи реальным пользователям. Предметная область компании сложна и содержит множество терминов с несколькими значениями, что требует точного понимания контекста для качественного ответа.

Проблемы и решения в разработке автономного агента

В процессе разработки автономного агента стало очевидно, что такие аспекты, как учёт, себестоимость и другие финансовые показатели, сильно зависят от контекста. Без понимания контекста, в котором задаётся вопрос, невозможно дать корректный ответ. Клиенты часто не добавляют в свои вопросы историю предыдущих взаимодействий, что усложняет задачу для системы, которая должна учитывать весь контекст диалога.

Существуют сценарии, когда клиенты спрашивают о функциях, которых нет в системе. В таких случаях консультанты должны уметь корректно отвечать, что такой функции нет. Это требует от бота способности действовать как настоящий консультант, анализируя вопрос с учётом прошлого контекста и принимая решение о том, каким инструментом воспользоваться для поиска ответа.

Объём методических материалов, даже если он хорошо структурирован, не всегда покрывает все возможные запросы. Это связано с тем, что информация в них может быть представлена в сжатом виде и предназначена для людей. Поэтому возникла идея использовать альтернативные материалы, такие как видеозаписи обучений, в качестве дополнительного источника информации для агента.

Текущая архитектура прототипа агента не справляется с задачей обработки всех запросов, так как она слишком детерминирована и следует одному маршруту. Для решения этой проблемы необходимо, чтобы агент мог действовать автономно, анализируя контекст и выбирая подходящие инструменты для формирования ответа.

Для создания автономного агента требуется языковая модель, способная рассуждать и учитывать весь контекст диалога с клиентом. Однако контекст не может быть бесконечным, и его переполнение приводит к ухудшению качества ответов. Поэтому важна дисциплина контекстного инжиниринга, которая помогает управлять контекстом и поддерживать его в актуальном состоянии.

Реализация агентных архитектур и системных инструкций

Для эффективного управления контекстом в агентных системах необходимо реализовать базовые механики, которые включают в себя ограничение истории диалога. Это позволяет агенту не забывать информацию, но при этом не переполнять свой контекст. Одним из таких механизмов является саморизация, которая помогает поддерживать актуальность данных без избыточной нагрузки на систему.

Системная инструкция играет ключевую роль в агентных архитектурах, решая множество задач. Она задаёт поведение агента и позволяет реализовать функциональные составляющие, такие как понимание терминологии. Это особенно важно в контексте, где терминология может иметь несколько значений. Системный промт помогает формулировать уточняющие вопросы, что улучшает взаимодействие с пользователем.

Современные большие языковые модели обладают хорошим пониманием предметной области и могут эффективно работать без подключения специальных баз знаний. Это позволяет строить системы на параметрической памяти языковой модели, что упрощает реализацию и повышает эффективность. В системном промте также можно использовать базовые механики для обеспечения безопасности, ограничивая ответы агента только в контексте определённой области.

Инструменты, такие как поиск по базе знаний, становятся неотъемлемой частью агентной архитектуры. В отличие от детерминированных процессов, агент сам принимает решение о формулировке запроса и может повторять его, если результат не удовлетворяет. Это позволяет агенту адаптироваться к изменяющимся условиям и предоставлять более точные ответы.

Обработка изображений также интегрирована в агентные системы. Большие языковые модели способны эффективно работать с изображениями, что позволяет получать качественные результаты без необходимости в дополнительных разработках. В случаях, когда информация отсутствует в базе знаний, агент может использовать интернет для поиска и анализа данных, предоставляя пользователю актуальные ответы.

Процесс разработки и оценки агентной архитектуры

В процессе разработки агентной архитектуры важно учитывать множество факторов, таких как понимание терминологии, задавание уточняющих вопросов и понимание контекста, включая историю. История может накапливаться и переполняться, что требует особого внимания. Также необходимо учитывать понимание изображений и реализацию всех этих возможностей, которые строятся по принципу, аналогичному первому этапу разработки.

Для оценки качества агентной системы используется инфраструктура и система оценки, которая проходит через всю цепочку разработки. Сначала анализируются реальные диалоги в контексте непосредственной задачи. На основании результатов анализа подбираются нужные метрики для оценки результатов. После определения метрик формируется датасет вопросов-ответов, который валидируется экспертами команды заказчика, чтобы обеспечить его соответствие реальным диалогам и материалам базы знаний.

В процессе эксплуатации системы датасеты могут изменяться и наполняться с учётом реальных запросов клиентов. Специалисты и эксперты со стороны заказчика играют ключевую роль в этом процессе. Они помогают валидации и корректировке данных, что позволяет системе адаптироваться к изменяющимся условиям и требованиям.

Для агентной архитектуры, помимо основных метрик оценки, разрабатываются дополнительные метрики, которые позволяют оценить автономную работу агента. Это включает в себя оценку правильности выбора инструментов для ответа на запросы, таких как поиск в базе знаний, задавание уточняющих вопросов или поиск информации в интернете. Важно оценить, насколько агент правильно использует эти инструменты и выполняет необходимые операции.

В результате применения внушительного набора метрик удалось достичь хороших результатов. Агент работает как настоящий консультант, способен уточнять неоднозначные термины и корректно отвечать на вопросы. Он может использовать контекст, включая скриншоты, для более точного понимания запроса. Это позволяет агенту эффективно взаимодействовать с пользователями и предоставлять точные ответы.

Роль агентов в бизнес-процессах

Современные бизнес-процессы всё чаще интегрируют использование агентов, которые помогают синтезировать качественные ответы на основе данных из различных источников, включая базы знаний и интернет. Это позволяет предоставлять полные и точные ответы на запросы, даже если требуемая функция отсутствует в системе. В таких случаях агент может сообщить, что функциональность недоступна, и предложить альтернативные решения или обходные пути.

Агенты не только предоставляют информацию, но и предлагают различные способы решения задач, что делает их незаменимыми помощниками в бизнесе. Они могут давать ссылки на источники информации, что позволяет пользователям углубляться в тему и получать более детальные ответы. Это особенно полезно для консультантов, которые могут быстрее отвечать клиентам и обучаться, задавая дополнительные вопросы агенту.

Использование агентов позволяет консультантам быстрее получать ответы и обучаться, что разгружает более опытных специалистов от рутинных задач. Это способствует более эффективному использованию времени и ресурсов компании. В ближайшем будущем такие агенты станут доступны и для клиентов компании Айтон, что позволит им быть в числе первых, кто воспользуется новыми возможностями.

Инициативы по внедрению искусственного интеллекта

В настоящее время клиенты активно интересуются возможностями внедрения искусственного интеллекта в свои бизнес-процессы. Наши консультанты ощущают этот интерес, что является положительным сигналом для дальнейшего развития технологий в этой области.

Один из примеров такого интереса — Ольга, которая проявляет энтузиазм в отношении искусственного интеллекта. У неё есть реальная потребность в создании AI-помощника для своей системы 1С:УНФ. Она работает над созданием внешних агентов по разделам учёта для сотрудников, чтобы облегчить их работу.

Ольга стремится интегрировать помощника непосредственно в систему 1С, чтобы он, основываясь на учётной политике компании, помогал сотрудникам быстро ориентироваться в задачах. Это пример того, как AI может быть использован для повышения эффективности работы сотрудников.