AiConf

От чат-бота к агенту: как строить интерпретируемую автоматизацию поддержки с GPT

LLM

Программный комитет ещё не принял решения по этому докладу

Целевая аудитория

Доклад в первую очередь будет полезен DL‑специалистам в NLP, которые хотят понять, как «приземлять» LLM в реальных продуктах: не просто вызывать модель по API, а строить вокруг неё агентские системы с инструментами, памятью, планированием и контролем качества. Поговорим о том, как проектировать и собирать таких агентов в проде, какие архитектурные паттерны работают лучше всего, и как оптимизировать большие языковые модели и пайплайны, чтобы получать максимальный эффект при умеренных затратах на железо. Также затронем практики эффективного обучения, оценки и запуска SotA‑решений — без излишнего ухода в глубокие детали, чтобы доклад оставался доступным для аудитории разного уровня. Отдельно доклад будет крайне полезен продактам: речь пойдёт о том, как максимизировать бизнес‑профит от внедрения LLM именно через агентские сценарии (автоматизация процессов, ассистенты, оркестрация шагов и инструментов), как корректно и точно измерять позитивные изменения от внедрения (метрики, эксперименты, влияние на KPI), и с какими нетривиальными проблемами обычно сталкиваются при интеграции агентов и LLM в бизнес‑процессы (качество, стоимость, надежность, безопасность). При этом фокус будет на общих идеях и решениях, которые легко экстраполировать на разные домены, а не только на узкую специфику отдельных направлений вроде служб поддержки.

Тезисы

- Как в Яндексе строят и внедряют агентские системы на базе LLM для автоматизации различных процессов: оркестрация шагов, работа с инструментами и интеграция в прод‑контуры;

- Как вместо «классического RAG» реализовать контролируемый и интерпретируемый подход к автоматизации обращений в поддержку (в том числе и голосов), использующий преимущества агентского подхода;

- Какие ключевые уроки мы вынесли при переходе от простых LLM/RAG‑решений к надежным управляемым агентам: контроль поведения, измеримость эффекта, устойчивость и стоимость в продакшене.

Николай Пономаренко

Техплатформа Городских сервисов Яндекса

Прошел путь от стажера в Алисе до руководителя команды обучения и внедрения LLM для автоматизации поддержки Городских сервисов Яндекса. Любит забеги на 10 км и котиков.

Видео

Другие доклады секции

LLM