Федеративное обучение в условиях дефицита памяти на Edge-устройствах
Доклад принят в программу конференции
Целевая аудитория
Тезисы
Развертывание современных моделей машинного обучения, даже умеренного размера (~500 тыс. параметров), для федеративного обучения (FL) на массовых edge-устройствах, таких как Wi-Fi точки доступа или IoT-шлюзы, часто неосуществимо из-за экстремальных ограничений по ОЗУ (<256 МБ). Стандартные подходы требуют загрузки всей модели, что превышает доступные ресурсы.
В докладе представляется комплексный подход для решения этой проблемы, включающий выбор квантования для снижения статического размера модели, использование TensorFlow Federated (TFF) для динамической подгрузки слоев модели по требованию во время инференса и обучения, минимизируя пиковое потребление ОЗУ, и применение eBPF для эффективной подготовки данных из сетевого стека ядра ОС с низкими накладными расходами.
Разрабатывает сервисы для Wi-Fi-оборудования в ELTEX. Занимался разработкой системного ПО для мобильных сетей 5G. Любит изучать смежные технологии для поиска новых идей и решений.
Преподаватель курсов в СибГУТИ, обучал работе мобильных и проводных сетей в Nokia и Huawei.
Видео
Другие доклады секции
ML Edge — оптимизация обучения и инференса, дистилляция, квантизация, hardware и т.д.
