Поймать и обезвредить: 14 Unit-тестов для RAG и решения через Knowledge Graphs

AI-инструменты для жизни

Фреймворки

Python

Поисковые системы

Архитектура данных, потоки данных, версионирование

Архитектуры / другое

Типовые ошибки

Базы знаний / wiki

Knowledge Ops

20 апреля, 17:00, «Зал 3. Аудитория 5»

Google Outlook Apple

Доклад принят в программу конференции

Целевая аудитория

Разработчики RAG-систем, AI-инженеры и техлиды, которым нужны не теоретические рассуждения, а конкретные инструменты для отладки, тестирования и исправления логических ошибок в LLM-приложениях.

Тезисы

Векторный RAG лжет уверенно. Он путает, игнорирует даты документов и галлюцинирует там, где нужна строгая логика. Но как это отловить не "на глаз", а системно?

Вместо слайдов мы откроем IDE. За 40 минут мы прогоним 14 сценариев сбоя (RAG Failures) через тестовый стенд и покажем, как Knowledge Graphs (GraphRAG) решают то, что не под силу векторам. Вы получите пошаговую инструкцию и готовый репозиторий, чтобы проверить свою систему: Test Suite: Набор "неудобных" датасетов и Unit-тестов (Pytest + DeepEval), которые ломают классический поиск. Logic Engine: Как внедрить детерминированную логику (Set Difference, Rule Checking) поверх графа для вопросов типа "Чего не хватает?" или "Совместимы ли компоненты?". Temporal & Structural Fixes: Код для разрешения конфликтов версий документов и проблем инверсии связей. Это практическое руководство: как превратить "магию" LLM в инженерную, тестируемую систему.

Андрей Носов

Raft

NLP Lead.
Архитектор ИИ.
CTO.