В этом докладе мы разберем, как мы можем обычные большие языковые модели (LLM) превратить в мультимодальные системы, способные работать с аудио. Мы вместе разберем разные способы подачи аудио на вход LLM, рассмотрим, как устроены и работают аудиокодеки и энкодеры, а также посмотрим, как их можно эффективно интегрировать с LLM. Ну и напоследок обсудим, как можно уменьшить время задержки при обработке аудио.

Тезисы:
* введение в мультимодальные языковые модели;
* архитектурные решения для обработки аудио;
* методы интеграции аудиомодальности в языковые модели;
* способы уменьшить задержку при обработке аудио.