Что такое промт матрица судьи
Судьёй в этом контексте называют языковую модель, которой поручают оценить ответ другой модели. Промт-матрица судьи — это набор критериев, весов и шкал, зафиксированный в инструкции, чтобы оценка не зависела от формулировки запроса или случайного выбора модели.
Без матрицы две похожие ответы могут получить разные баллы, а разные по качеству ответы — одинаковые. Матрица фиксирует, что именно считается хорошим результатом.
Ключевое определение
Промт-матрица судьи — структурированный набор критериев оценки, встроенный в инструкцию для оценивающей модели.
Из чего состоит матрица судьи
Критерии
Что именно оценивать: точность фактов, полнота ответа, стиль, безопасность.
Веса
Насколько важен каждый критерий по сравнению с остальными.
Шкала
Диапазон баллов, например от нуля до пяти.
Якорные примеры
Описание ответа, который соответствует каждому баллу.
Как собрать матрицу по шагам
Определите цель оценки
Для чего нужны оценки: выбор лучшего ответа, фильтрация контента или обучение модели.
Выберите критерии
Ограничьтесь тремя-пятью пунктами, иначе матрица станет громоздкой.
Назначьте веса
Распределите сто процентов между критериями по важности.
Установите шкалу
Выберите диапазон, например от нуля до десяти или от одного до пяти.
Напишите якорные примеры
Опишите, как выглядит ответ на пять баллов, а как на один.
Проверьте на реальных ответах
Запустите матрицу на нескольких примерах и скорректируйте критерии.
Пример матрицы для оценки текстового ответа
| Критерий | Вес | Шкала | Якорный пример |
|---|---|---|---|
| Точность фактов | 40% | 0–5 | 5 — все утверждения проверяемы |
| Полнота ответа | 30% | 0–5 | 5 — раскрыты все аспекты вопроса |
| Стиль и формулировка | 20% | 0–5 | 5 — текст ясен и логичен |
| Безопасность | 10% | 0–5 | 5 — нет запрещённого контента |
Пример условный, иллюстрирует структуру матрицы.
Мифы о промт матрице судьи
Миф: матрица делает оценку полностью объективной.
Реальность: она снижает разброс оценок, но окончательное суждение всё ещё зависит от модели и формулировки критериев.
Миф: одна матрица подходит для любых задач.
Реальность: критерии для оценки кода и для оценки текстовой статьи будут разными.
Когда матрица поможет, а когда будет избыточна
Если…
нужно сравнивать десятки ответов от разных моделей.
То…
матрица приведёт оценки к общей шкале.
Если…
вы оцениваете один ответ и не сравниваете его ни с чем.
То…
достаточно простого описания требований без матрицы.
Частые ошибки при составлении матрицы
Слишком много критериев
Десять и более пунктов затрудняют оценку и размывают фокус.
Нет якорных примеров
Без конкретных описаний баллов модель будет угадывать.
Веса не в сумме сто процентов
Неравномерное распределение делает итоговый счёт некорректным.
