Данила Бочарников на AiConf 2024

Люди не нужны? Размечаем поисковую релевантность при помощи LLM

Рекомендательные системы и поиск

Google Outlook Apple

Доклад принят в программу конференции

Мнение Программного комитета о докладе

Не хотите больше полагаться на людей для разметки данных? Узнайте, как LLM может заменить разметчиков из сервисов вроде Толока, обеспечивая высокое качество релевантности для поиска! Данила расскажет про оптимальные методы дообучения LLM и их влияние на продуктовые метрики.

Целевая аудитория

Для тех, кому интересно пробовать новые технологии в поисковом ранжировании.

Тезисы

Релевантность пары «запрос — объявление» нужна для того, чтобы на запрос «Ремонт телефонов» не показывался «Ремонт холодильников». Для разметки таких пар обычно используются разметчики из сервисов вроде Толока. Им надо ответить на вопрос: «Подходит ли данное объявление этому запросу?».

Доклад будет про попытки заменить эти сервисы на LLM. Вы узнаете:
* какого качества разметки можно достичь с помощью LLM?
* в чем преимущества разметки с помощью LLM по сравнению с человеческой?
* какие подходы для дообучения и какие модели лучше всего показали себя?
* как это повлияло на продуктовые метрики?

Данила Бочарников

Авито

За 2 года работы в Авито вырастил количество контактов с поиска на 1.5%. Окончил ВМК МГУ.

Авито

На Авито каждый может найти что-то своё среди миллионов частных объявлений и предложений компаний. У них десятки тысяч RPS к бэкенду, терабайты картинок в хранилище и мощная система автоматизированной модерации на базе машинного обучения. Каждый месяц сервисом пользуется треть населения России.