AiConf

Мутационное тестирование как будущее агентского кодинга

LLM

Программный комитет ещё не принял решения по этому докладу

Целевая аудитория

- ML-специалисты, которые создают инструменты агентского кодинга, обучают модели для кодинга - Разрабочики, руководители разработки - Все, кто интересуется качеством кода - Все, кто пишут код с помощью ИИ-агентов.

Тезисы

- ИИ-агенты галлюцинируют
- Чтобы обеспечить качество, разработчику приходится читать сгенерированный код
- В итоге человек становится бутылочным горлышком технологии

Проблема? Да.

Но по крайней мере для одной области программирования, для написания юнит-тестов, есть решение: мутационное тестирование

Мутационное тестирование - это способ для агента получать объективную обратную связь о качестве сгенерированных тестов.

Еще недавно мутационное тестирование в продакшене было фантастикой, о которой многие могли только мечтать. Но в этой области произошло много прогресса в последние годы и сегодня почти все базовые проблемы уже решены.

Я считаю, что популярность мутационного тестирования в ближайшие годы вырастет на порядки за счет популяризации ИИ-агентов, пишущих код. И собираюсь рассказать, почему.

Евгений Блинов

The Mutating Company

Питонист, энтузиаст опенсорса

Видео

Другие доклады секции

LLM