Дарья Тихонович на AiConf 2024

Валидация в RecSys для корреляции с А/В: что работает в контентных рекомендациях

Рекомендательные системы и поиск

A/B-тестирование

Рекомендации / ML

Метрики

27 сентября, 17:00, Зал «Аудитория 1»

Google Outlook Apple

Доклад принят в программу конференции

Мнение Программного комитета о докладе

Вы обучили новую модель рекомендаций. Офлайн-метрики растут, а А/В-тест опять красный. Знакомо? Тогда этот доклад для вас. Дарья расскажет про причины возникновения этой проблемы и предложит подходы к решению, которые были протестированы в реальных сервисах экосистемы МТС.

Целевая аудитория

RecSys ML-инженеры и аналитики.

Тезисы

Проблема разрыва между офлайн-валидацией рекомендательных моделей и результатами А/В-тестов по продуктовым метрикам широко распространена в индустрии и значительно влияет на эффективность работы исследователей при разработке новых моделей.

В докладе будут освещены подходы, которые помогают построить офлайн-валидацию, коррелирующую с продуктовыми метриками. Также будут показаны результаты применения данных подходов в ходе разработки рекомендательных систем для реальных сервисов экосистемы МТС.

Дарья Тихонович

МТС Диджитал

Senior ML Engineer. Ведущий разработчик рекомендательных систем в нескольких сервисах экосистемы МТС. Лид разработки опенсорс-фреймфорка для рекомендательных систем RecTools. Лектор ITMO AI Talent Hub.

МТС Диджитал

МТС — одна из ведущих экосистемных компаний России. Предоставляет услуги мобильной и фиксированной связи, решения в области объединенных коммуникаций, интернета вещей, обработки данных, облачных вычислений и кибербезопасности. Штат IT-специалистов компании превышает 8 000 человек.