Как мы применяем LLM с RAG в экосистеме ML-моделей поддержки Лемана Тех
Доклад принят в программу конференции
Целевая аудитория
Тезисы
С ростом числа обращений в Service Desk (поддержку сотрудников) классические ML-решения перестали покрывать все сценарии. В этом докладе мы расскажем про эволюцию моделей машинного обучения в поддержке и как дополнили экосистему поддержки LLM с RAG для человекообразных ответов по Wiki и интеллектуальной эскалации к живым специалистам.
Разберем:
* архитектуру эволюции: от классических ML-моделей (бустинги) и других ML-алгоритмов до гибридной системы с LLM;
* стратегию внедрения: зачем RAG для работы с документацией и где классические алгоритмы остаются эффективнее;
* подводные камни: баланс между автоматизацией (статьи, шаблоны) и «очеловечиванием» ответов, контроль галлюцинаций;
* перспективы: интеграция с Problem&Quality Management и кастомизация LLM под домен.
В разработке более 20 лет. Увлекается ML DL.
Табличные данные, обработка данных на естественном языке, компьютерное зрение.
Последние 5 лет — DS в Лемана Тех.
Видео
Другие доклады секции
GenAI & Perception: генерация и распознавание текстов, музыки, изображений, видео и 3D
