AiConf

Трансформеры — мощный инструмент работы с последовательностями, который тем не менее требует хорошей «огранки» и «подгонки» под специфику.

Расскажу про то, как шаг за шагом нативный BERT4Rec превратился в WildBERT — инструмент, который играет одну и самых важных ролей в персонализации Wildberries. На Главной, в карточке товара, поиске и каталоге.

Про что поговорим:
* Large vocabulary bottleneck, negative sampling и logQ correction;
* выкатка в прод и бизнесовые требования, дихотомия офлайн- и онлайн-метрик;
* подход к маскированию при обучении, next basket prediction;
* формирование цепочки взаимодействий юзера — якорные товары, комбинированный фидбэк и учет OOV;
* ALBERT или DEBERTA;
* SparseAdam и ускорение обучения;
* квоты как инструмент оптимизации diversity;
* интеграция в единую инфраструктуру WBX, что позволило унифицировать процесс векторного доранжирования выдач на Главной, в поиске и каталоге;
* и многое другое!