AiConf

В этом докладе мы разберем, как мы можем обычные большие языковые модели (LLM) превратить в мультимодальные системы, способные работать с аудио. Мы вместе разберем разные способы подачи аудио на вход LLM, рассмотрим как устроены и работают аудиокодеки и энкодеры, а также посмотрим как их можно эффективно итегрировать с LLM. Ну и напоследок обсудим как можно уменьшить время задержки при обработке аудио.

Тезисы:
- Введение в мультимодальные языковые модели
- Архитектурные решения для обработки аудио
- Методы интеграции аудио-модальности в языковые модели
- Способы уменьшить задержку при обработке аудио