ML-анализ видео в Crowd, или Как решать задачу трекинга без явного таргета

AI-инструменты для жизни

Google Outlook Apple

Доклад принят в программу конференции

Мнение Программного комитета о докладе

Хорошая работа с данными может не просто улучшить качество классических алгоритмов, но и перебивать все известные SOTA-подходы. И на примере интересного домена со сложной задачей подсчета эффективности рекламы на видео-потоке мы в этом-то и убедимся!

Целевая аудитория

DS/ML-инженеры. Все, кто интересуются CV, VLM, трекингом объектов, покадровым анализом видео.

Тезисы

Скачать презентацию Все презентации конференции

Во многих областях разметки активно применяются генеративные модели ИИ. Однако в анализе видео такие модели пока уступают классическим алгоритмам компьютерного зрения — особенно когда у задачи нет явного целевого объекта для трекинга.

На примере кейса из Crowd(а) разберем устройство автоматизированного пайплайна для разметки видео и ключевые компоненты кастомного алгоритма трекинга. Кроме того, я рассмотрю «грабли», на которые мы наступили, и покажу, как нам удалось ускорить разметку видео с 7 часов до 30 минут.

Николай Курбатов

Яндекс

Магистр физики, окончил физический факультет СПбГУ.
Более пяти лет работает в области ML/DS и backend-разработки. Сейчас — руководитель группы CrowdCV в Яндексе.