Грабли внедрения ИИ-агентов: что обсудили эксперты на True Tech Friends

21 августа на стадионе «Свиблово» прошёл третий фестиваль True Tech Friends от МТС. Среди прочего там случилась дискуссия, которую стоит пересказать всем, кто сейчас думает о запуске ИИ-агентов в своей компании.

Кто участвовал в обсуждении

В дискуссии выступили:

• Ярослав Лосев - руководитель команды фронтенд-разработки «Яндекс Путешествий»
• Сергей Курбанов - руководитель исследований и разработок MWS
• Даниил Слюсарь - руководитель разработки PT Application Inspector в Positive Technologies

True Tech Friends - фестивальное ИТ-мероприятие от МТС, где выступления и дискуссии соседствуют со спортом и неформальным общением. В этот раз физические гонки совместили с «гонками алгоритмов» ИИ.

Ошибка номер один: автоматизация ради автоматизации

Самая распространённая проблема возникает ещё до технической реализации. Компании начинают автоматизировать процессы только потому, что это стало возможно.

Если задача занимает несколько минут и выполняется по чёткому алгоритму, языковая модель добавит лишний уровень сложности, а не уберёт его. Агенту нужно сформулировать задачу, найти контекст, выполнить действие и проверить результат. Человек в таком сценарии часто справляется быстрее.

Участники разобрали конкретный пример: разработчики потратили больше времени на создание автоматизированного сценария, чем ушло бы на выполнение той же задачи вручную.

Ещё один показательный кейс - финансовые расчёты. Вместо простого скрипта туда подключили генеративную модель без специализированного математического инструмента. Итог: дополнительный источник ошибок там, где всё должно работать однозначно.

Когда нужна модель, а когда хватит алгоритма

Генеративная модель хорошо работает с неструктурированной информацией, интерпретацией запросов и подготовкой вариантов решения. Там, где результат должен быть однозначным и воспроизводимым, лучше использовать прописанную логику.

Сергей Курбанов предложил не противопоставлять качество модели и качество архитектуры. В одних сценариях имеет смысл взять более сильную модель, в других - подключить специализированную или отдельный инструмент. Если часть задачи надёжно решается обычным алгоритмом, её лучше не передавать генеративной системе.

Такой подход позволяет собирать агентную систему из разных компонентов: один отвечает за интерпретацию запроса, другой работает со специализированными данными, третий выполняет конкретные операции.

Работающий код - ещё не готовое решение

Отдельная тема - проверка результата. ИИ может выдать работающий код, но это не значит, что он подойдёт для реальной системы.

Ярослав Лосев рассказал, что в «Яндекс Путешествиях» на собеседованиях просят кандидатов подробно объяснять собственный код и логику принятых решений. Специалист должен понимать работу каждой части программы, а не просто предъявить результат работы нейросети.

Код, который выполняется без ошибок, может оказаться неоптимальным, плохо вписываться в существующую архитектуру или создавать проблемы на следующем этапе.

Как следствие - требования к специалистам меняются. Теперь больше ценится умение поставить задачу, спроектировать решение и проверить результат. ИИ фактически повышает планку инженерного мышления, а не снижает её.

Полномочия агента и контроль над ними

Когда агент получает доступ к внешним инструментам и может самостоятельно выполнять действия, важно прописать не только цель, но и допустимые способы её достижения. Иначе агент выберет формально подходящий, но нежелательный вариант.

Один из рабочих подходов: модель может найти информацию и подготовить предложение, но натолкнётся на запрет изменения данных в корпоративной системе - на этом этапе подключается человек.

Отдельно обсудили ситуацию, когда сотрудники передают рабочие данные во внешние нейросети, несмотря на внутренние ограничения компании. При настройке корпоративного ИИ-контура важно учитывать не только качество модели, но и то, какие данные она получает, куда может обращаться и какие действия ей разрешены.

Модель - не главное

Ещё один вывод дискуссии: не стоит делать ставку только на выбор модели. Современные языковые модели уже во многом сопоставимы по возможностям, а различия между ними чаще связаны с контекстом, скоростью работы и отдельными характеристиками.

Важнее не сама модель, а то, какие знания и данные компания может ей предоставить.

Что это значит

Если ты сейчас проектируешь или запускаешь агентную систему, из этой дискуссии стоит взять три вещи.

Первое: перед внедрением задай себе вопрос - а зачем вообще здесь агент? Если задача решается скриптом за 5 минут, агент добавит сложности, а не уберёт её.

Второе: разграничь, что отдаёшь модели, а что - алгоритму. Финансовые расчёты, воспроизводимые операции, строгая логика - это к скриптам. Интерпретация, неструктурированный текст, вариативные сценарии - сюда подходит генеративная модель.

Третье: прописывай ограничения так же тщательно, как и цели. Агент с полномочиями без ограничений - это не автоматизация, а риск.

Источник: Habr, МТС, 24 августа - читать оригинал