AiConf

Open-source LLM в production: кейс автоматизации извлечения реквизитов из договоров

Продуктизация AI-решений

Программный комитет ещё не принял решения по этому докладу

Целевая аудитория

ML-инженеры, Data Scientists и технические руководители, работающие с обработкой документов и внедрением LLM-решений. Специалисты, которые хотят понять, как перейти от экспериментов с языковыми моделями к промышленным системам с измеримым качеством.

Тезисы

Мы покажем реальный путь от baseline (63% точности) до промышленного решения (>90% Precision, F1-score > 90%) для извлечения структурированных данных из юридических договоров. Расскажем, как выбирали между легковесными, полноразмерными и reasoning-моделями, почему остановились на Qwen3-30B-A3B, и какие инженерные решения (confidence-оценка, адаптивный чанкинг, типизация) позволили достичь бизнес-критичного качества в on-premise контуре.

3 года в ИТ. Начинал как QA-инженер, затем перешел в автоматизацию тестирования. Занимался оценкой качества AI-моделей (AI Evaluation), после чего переквалифицировался в Data Science. В настоящее время работаю над проектами, связанными c оценкой качества AI-систем.

Видео

Другие доклады секции

Продуктизация AI-решений