Безопасность LLM: атаки, защита, тестирование
Привет, друзья!
Пару лет назад LLM стали доступны каждому, у кого есть гаджет. И теперь надо как-то жить с тем, что доступность высоких технологий делает наши системы ещё более уязвимыми. ИБ'шника к каждому не приставишь, а значит, о рисках нужно думать заранее. Сегодня будем разбираться, откуда ждать нападения, как защищаться и как позаботиться о безопасности LLM ещё до релиза.
Обзор уязвимостей LLM
.png "ML в промышленности")
Часть 1. Атака
Евгений Кокуйкин, руководитель AI-продуктов в Raft, рассказал, откуда ждать атак, какие угрозы актуальны и как с ними справляться. В статье рассмотрены реальные примеры угроз — от дипфейков до промпт-инъекций и утечек данных через мультимодальные модели.
Часть 2. Защита
Во второй части статьи — разбор методов манипуляции нейросетями, заставляющих модели выдавать запрещенную информацию, и рисков мультимодальных атак. Рассмотрены изменения в OWASP LLM Top 10, стратегии защиты, фильтрация промптов, управление доступом и механизмы предотвращения нежелательного контента.
Эмели Драль о непрерывном тестировании для адаптивных и безопасных LLM-систем
Эмели рассказала про failure cases LLM, дообученных на свой домен, ограничения на безопасность и надежность в продакшне. Рассмотрела стратегии повышения робастности, базирующиеся на концепциях LLM judge, а также непрерывном тестировании и мониторинге.
Программный комитет AiConf X 2025 открыл приём докладов!
AiConf X 2025 пройдет 26 сентября в Москве. Сейчас мы формируем программу и принимаем заявки на доклады. Если у вас есть экспертиза, интересные кейсы или свежие исследования, поделитесь ими с сообществом.
Вот, что важно будет обсудить:
- RecSys, поиск, таблицы — улучшение рекомендаций, новые методы информационного поиска, работа с табличными данными.
- Генеративный AI — генерация и распознавание текста, музыки, изображений, видео, perception.
- ML на Edge-устройствах — оптимизация обучения и инференса, дистилляция, квантизация, работа с железом.
- Automotive и робототехника — машинное обучение в транспорте, автономных системах промышленной автоматизации.
- Обработка данных и бенчмарки — методы работы с данными, оценка производительности моделей.
Программный комитет принимает доклады не только от специалистов IT-компаний и e-commerce, но и от экспертов, занятых в реальном секторе (промышленность, медицина, агро и другие отрасли). Подробнее о том, как Программный комитет работает со спикерами — по ссылке.
