LLM-as-a-Judge стал стандартным инструментом оценки качества генераций языковых моделей, однако на практике он почти всегда опирается на закрытые API, что делает метрики дорогими, нестабильными и слабо воспроизводимыми. В докладе рассматривается задача оценки LLM как прикладная инженерная проблема и показывается, почему использование ChatGPT в роли Judge модели - лишь одна из возможных, но не обязательных опций.

Мы сравниваем несколько альтернативных подходов: локально развернутые открытые модели без дообучения, модели, дообученные на judge-генерациях ChatGPT, а также универсальную модель-оценщик, обученную на специально сконструированном датасете. В докладе демонстрируется, в каких сценариях локальный LLM-as-a-Judge даёт сопоставимое качество оценки, снижая стоимость и повышая воспроизводимость, и как выбрать подходящий вариант под реальные практические задачи.