AiConf

Развертывание современных моделей машинного обучения, даже умеренного размера (~500 тыс. параметров), для федеративного обучения (FL) на массовых edge-устройствах, таких как Wi-Fi точки доступа или IoT-шлюзы, часто неосуществимо из-за экстремальных ограничений по ОЗУ (<256 МБ). Стандартные подходы требуют загрузки всей модели, что превышает доступные ресурсы.
В докладе представляется комплексный подход для решения этой проблемы, включающий выбор квантования для снижения статического размера модели, использование TensorFlow Federated (TFF) для динамической подгрузки слоев модели по требованию во время инференса и обучения, минимизируя пиковое потребление ОЗУ, и применение eBPF для эффективной подготовки данных из сетевого стека ядра ОС с низкими накладными расходами.