lm-evaluation-harness — 実行をテストして下さい

ツール紹介

lm-evaluation-harnessは、言語モデルの評価ツールキットです。開発者は、コードの評価タスクを整理し、再現可能なモデルテストを実行します。

モデルを比較し、候補の選択に適した開発者や研究者は、試験開始点としてオープンな結果を使うことができます。

評価ミッション、データ、モデルバージョン、インジケータの定義は最初に知られています。実際のアプリケーションに関連する寸法を比較し、独自のサンプルでそれらを検証します。単一の合計の分割を避けるためにテスト設定を記録します。

異なるリストの条件は異なる場合があります。オープンスコアは、モデルが実際のタスクのそれぞれで同じことを実行することを保証しません。

アカウントの要件、料金、ファイルの書き出し制限、利用可能な地域は変更される場合があります。利用前に公式サイトの最新条件を確認してください。本サイトは特定の無料利用枠や料金を保証しません。