Поймать и обезвредить: 14 Unit-тестов для RAG и решения через Knowledge Graphs
Программный комитет ещё не принял решения по этому докладу
Целевая аудитория
Тезисы
Векторный RAG лжет уверенно. Он путает, игнорирует даты документов и галлюцинирует там, где нужна строгая логика. Но как это отловить не "на глаз", а системно?
Вместо слайдов мы откроем IDE. За 40 минут мы прогоним 14 сценариев сбоя (RAG Failures) через тестовый стенд и покажем, как Knowledge Graphs (GraphRAG) решают то, что не под силу векторам.
Вы получите пошаговую инструкцию и готовый репозиторий, чтобы проверить свою систему:
Test Suite: Набор "неудобных" датасетов и Unit-тестов (Pytest + DeepEval), которые ломают классический поиск.
Logic Engine: Как внедрить детерминированную логику (Set Difference, Rule Checking) поверх графа для вопросов типа "Чего не хватает?" или "Совместимы ли компоненты?".
Temporal & Structural Fixes: Код для разрешения конфликтов версий документов и проблем инверсии связей.
Это практическое руководство: как превратить "магию" LLM в инженерную, тестируемую систему.
NLP Lead.
Архитектор ИИ.
CTO.
Видео
Другие доклады секции
AI-инструменты для жизни