AiConf

Transformer — одна из наиболее успешных архитектур, совершившая революцию в области обработки естественного языка, — не стоит на месте и активно развивается. Помимо адаптации к новым модальностям, ученые и инженеры придумывают подходы для улучшения качества и эффективности обучения и использования сетей на основе Transformer. Это могут быть новые функции активации, иные нормализации или даже замена привычного механизма внимания. Доклад посвящён хронологическому обзору развития Transformer и тому, как те или иные успешные решения позволили прийти от оригинальной версии к текущему состоянию, и какие разработки могут стать основой для будущих нейросетевых архитектур.