lm-evaluation-harness — Выполнение теста

Описание

lm-evaluation-harness - это инструментарий оценки языковой модели. Разработчики организуют задачи оценки в коде и запускают воспроизводимые тесты моделей.

Основные функции

Выполнение теста: оценка модели в соответствии с конфигурацией задачи
Обзор результатов: Сравнение показателей выпуска с параметрами

Сценарии использования

Разработчики и исследователи, подходящие для сравнения моделей и выбора вариантов кандидатов, могут использовать открытые результаты в качестве отправной точки для дальнейшего тестирования.

Начало работы

Сначала известны миссии оценки, данные, версии моделей и определения индикаторов. Выберите сравнение размеров, связанных с фактическим приложением, а затем валидируйте их с собственной выборкой; и запишите настройки тестирования, чтобы избежать единого полного разделения.

Что следует проверить

Условия для разных списков могут быть разными.Открытые баллы не гарантируют, что модель будет выполнять одно и то же в каждой из актуальных задач.

Цены и доступность

Требования к учетной записи, цены, ограничения на экспорт файлов и доступность по регионам могут меняться. Перед использованием проверьте действующие официальные условия. Этот каталог не гарантирует конкретный бесплатный лимит или цену.

Источники

Официальный сайт и информация о продукте