Как мы научили AI понимать, что реально происходит на полках супермаркета

AI-инструменты для жизни

Архитектурные паттерны

Программный комитет ещё не принял решения по этому докладу

Целевая аудитория

Data Scientists, ML Engineers и ML Tech Leads, работающие с production-ML и Computer Vision в реальных бизнес-проектах (ритейл, e-commerce, физические магазины).

Тезисы

В докладе разберём реальный production-кейс классификации товаров на полках супермаркета по фотографиям с потолочных камер. Камеры делают снимки раз в 30 минут, разметка редкая и шумная, товары визуально почти не отличаются друг от друга (например, десятки одинаковых упаковок сока с разными вкусами), а каталог насчитывает десятки тысяч SKU. Задача – понимать, что реально происходит на полках: отслеживать пустые места, измерять on-shelf availability и строить аналитику выкладки в условиях плохого освещения, бликов и перекрытий.

Мы покажем, как эволюционировал production-пайплайн за два года: от простого бейзлайна с эмбеддером и векторным поиском до гибридной системы с учётом пространственного контекста, трекингом между редкими кадрами и second-stage ранкингом кандидатов. Разберём, почему в реальном ритейле классификация быстро превращается в задачу ранкинга, как бороться с «миганием» предсказаний и как использовать историю полки как сильный источник сигнала.

Отдельно поговорим о том:
- как отличать визуально почти идентичные товары – одинаковые апельсины, вкусы и линейки
- как детектировать препятствия перед камерой (люди, тележки итп)
- историю фейлов: какие подходы мы попробовали – и они не сработали.

Артём Сметанин

Epoch8

Артём Сметанин – исследователь и инженер в области компьютерного зрения и машинного обучения.

Работает на стыке науки и промышленной разработки: занимается созданием систем, которые автоматизируют инженерные решения в Data Science – от выбора архитектур до сборки production-пайплайнов под реальные бизнес-задачи.

Руководитель и участник НИОКР-проектов в области интеллектуального управления ML-экспериментами, фреймворков для CV-задач, автоматизации выбора и комбинирования моделей.

Автор и соавтор научных публикаций в журналах и конференциях (Engineering Applications of Artificial Intelligence, Computer Optics, AIP Conference Proceedings и др.).

Соавтор патентов и программных продуктов в области AutoML и систем поддержки принятия решений для Data Science.

Регулярный участник международных и всероссийских конференций, включая RusAutoCon, Mathematical Modeling and Computational Physics, Конгресс молодых ученых ИТМО.