lm-evaluation-harness

Présentation

Les développeurs organisent des tâches d'évaluation en code et exécutent des tests reproductibles.

Fonctionnalités principales

• Exécution des essais: évaluation du modèle selon la configuration des tâches
• Examen des résultats : Comparer les indicateurs de sortie avec les paramètres

Cas d’utilisation

Les concepteurs et les chercheurs qui peuvent comparer les modèles et choisir les options de candidats pourraient utiliser les résultats ouverts comme point de départ pour d'autres tests.

Premiers pas

Les missions d'évaluation, les données, les versions de modèles et les définitions d'indicateurs sont d'abord connues. Sélectionnez pour comparer les dimensions associées à l'application réelle et ensuite validez-les avec votre propre échantillon; et enregistrez les paramètres de test pour éviter une seule division totale.

Points à vérifier

Les conditions pour différentes listes peuvent être différentes. Les scores ouverts ne garantissent pas que le modèle effectuera la même chose dans chacune des tâches réelles.

Tarifs et disponibilité

Les conditions de compte, les tarifs, les limites d’exportation de fichiers et la disponibilité régionale peuvent évoluer. Vérifiez les conditions officielles en vigueur avant utilisation. Cet annuaire ne garantit aucun quota gratuit ni tarif précis.

Références

Site officiel et informations sur le produit