Enterprise GenAI API в Альфа-Банке: платформа вместо зоопарка интеграций
Программный комитет ещё не принял решения по этому докладу
Целевая аудитория
Тезисы
В крупных компаниях массовое внедрение GenAI быстро превращается в «зоопарк интеграций»: разные команды дублируют реализацию для подключения к моделям, логирование, обработку ошибок и проверки/маскирование чувствительных данных. Чтобы этого избежать, в Альфа-Банке мы разработали корпоративный GenAI API.
В докладе разберём, как устроена платформа доступа к GenAI в enterprise-среде:
• двухслойная архитектура: внешний корпоративный GenAI API и внутренний слой LLMOps для обслуживания моделей;
• управление доступом: RBAC для пользователей API - права доступа к endpoint’ам и моделям;
• лимитирование: по запросам (RPS/RPM) и по токенам (TPS/TPM);
• встраивание контент-контроля (чувствительная информация/запрещённый контент) в пайплайн;
• поддержка API в production: метрики, дашборды, алерты, логи и трассировка.
8 лет в IT. Прошла путь от iOS-разработчика до начальника отдела разработки платформы генеративного ИИ в Альфа-Банке. Ранее участвовала в проектировании архитектуры и внедрении Server-Driven UI в мобильных продуктах банка, а сейчас руководит командой, отвечающей за API для доступа к генеративным моделям. Вне работы любит активный отдых: зимой - сноуборд, летом - сапбординг.
https://www.linkedin.com/in/elena-yanovskaya/
Видео
Другие доклады секции
AI-инструменты для жизни
