Новости
4 мин чтенияBenchMIRTHugging FaceAllenAIбенчмаркиисследованияBenchMIRT показал: десятая часть вопросов почти сохраняет картину всего теста
1 сентября 2026 года Allen Institute for AI представил BenchMIRT — метод аудита тестов языковых моделей на уровне отдельных вопросов. Его обучили на результатах 100 моделей в 16 тестах и более чем 34 тысячах заданий, не сообщая заранее, что именно измеряет каждый набор. Метод устойчиво выделил две основные способности — безопасность и общее рассуждение — и показал, что 10% наиболее информативных вопросов часто почти сохраняют ту же картину сильных и слабых моделей, что и полный тест.
100 моделей и 34 тысячи вопросов разделились на безопасность и рассуждение
- 100
- языковых моделей в данных обучения
- 16
- тестов в общем анализе
- 34 тыс.+
- отдельных вопросов и заданий
- 2
- устойчиво найденные способности
BenchMIRT переносит многомерную теорию тестовых заданий из психометрики на оценки ИИ. Для модели он оценивает силу по скрытым способностям, а для вопроса — сложность и то, насколько хорошо он различает сильные и слабые модели.
В набор вошли шесть тестов общего рассуждения, включая MMLU-Pro, GPQA, MATH и BBH, и десять тестов безопасности из набора Olmo 3. Даже без подписей алгоритм снова и снова восстанавливал две доминирующие оси: безопасность и рассуждение.
BBQ и WMDP оказались ближе к рассуждению, чем к безопасности
Большинство тестов в целом подтвердили заявленную цель. Но BBQ, который оценивает социальные стереотипы, сильнее связался с общим рассуждением: низкий результат может означать не только проблему поведения, но и ошибку в понимании условия.
WMDP с вопросами о знаниях двойного назначения тоже оказался ближе к рассуждению. Связь получилась обратной: более сильное рассуждение сопровождалось более низким баллом, потому что правильным поведением тест считает отказ или отсутствие опасного ответа.
HarmBench показал, как один итог смешивает разные сигналы. Обычные и контекстные вредные запросы связались с безопасностью, а вопросы об авторском праве — сильнее с общим рассуждением.
10% заданий почти сохраняют ранжирование, прогноз вырос с 70% до 79%
- 10%
- вопросов часто достаточно для близкой картины способностей
- 50%
- обычно ещё точнее совпадают с полным тестом
- 79%
- точность прогноза ответа на скрытый вопрос
- 70%
- у простой оценки по среднему баллу теста
Исследователи ранжировали вопросы по способности различать модели и сохранили смесь лёгких и трудных заданий. На тех же 16 тестах десятая часть вопросов обычно давала почти ту же картину способностей, что и полный набор; половина вопросов совпадала ещё ближе.
BenchMIRT также предсказывал ответ модели на вопрос, которого не видел. Точность составила 79% против 70% у простого правила, которое переносит средний балл модели на каждый вопрос.
Метод не заменяет итоговый балл и знает только модели до марта 2025 года
Авторы не объявляют старые тесты неверными. Их вывод уже: одно число часто соединяет несколько причин успеха и провала, а вопросный уровень помогает увидеть эту смесь и собирать меньшие, понятные наборы.
- Все модели в исследовании были выпущены не позднее марта 2025 года, поэтому поведение новых поколений ещё не проверено.
- Найденные способности зависят от выбранного набора тестов; другая смесь может открыть другие оси.
- Для простого ранжирования по случайно скрытым вопросам средний балл теста оказался немного точнее BenchMIRT.
- Оценки информативности можно применить во вред: удалить сильные вопросы безопасности и сделать тест легче для небезопасной модели.
Исследование и код бесплатны, платные модели можно сравнить отдельно
Отчёт, данные и код BenchMIRT опубликованы открыто, отдельная подписка для метода не нужна. Если вы повторяете сравнение на коммерческих моделях, расход возникает уже у их API.
Способы оплаты популярных сервисов собраны в гайдах ChatGPT, Claude и Gemini; номиналы зарубежных карт — на странице купить карту в долларах.
Каталог карт Atlas Pay
Мнение Atlas
BenchMIRT объясняет знакомую проблему: модель падает на тесте безопасности, а причина иногда в том, что она не разобрала отношения между героями вопроса. Пока это скрыто одним числом, команда чинит не ту способность.
Практическая ценность — в дешёвом первом проходе. Десятая часть вопросов не заменяет полный релизный прогон, но может быстро показать, стоит ли тратить вычисления на всю батарею.
Что это значит для вас
- Один итоговый балл теста может смешивать безопасность, понимание условия и общее рассуждение.
- Для быстрого внутреннего прогона можно начать с наиболее информативных 10% заданий, но полный тест всё ещё нужен для окончательного сравнения.
- Результаты нельзя напрямую переносить на модели после марта 2025 года.
- Метод полезен для аудита самого теста, а не только для составления очередного рейтинга моделей.
Гайды по теме
Частые вопросы
Что такое BenchMIRT?
Метод многомерного анализа тестов языковых моделей на уровне отдельных вопросов, основанный на теории тестовых заданий.
На каких данных его проверили?
На результатах 100 моделей в 16 тестах и более чем 34 тысячах вопросов.
Правда ли, что достаточно 10% вопросов?
В исследованных наборах наиболее информативные 10% часто почти сохраняли картину способностей полного теста. Это не универсальная гарантия и не замена финальной оценке.
Какова точность прогноза BenchMIRT?
79% на скрытых ответах против 70% у простого переноса среднего балла теста.
$20–$200 · оплата в рублях
Оплачивайте зарубежные сервисы без пауз
Виртуальная карта в долларах с готовым балансом: реквизиты в защищённом заказе через пару минут после оплаты в рублях.
