lm-evaluation-harness

Presentazione

lm-evaluation-harness è un toolkit di valutazione del modello di lingua. Gli sviluppatori organizzano le attività di valutazione in codice ed eseguono test riproducibili.

Funzioni principali

• Esecuzione del test: Valutazione del modello secondo la configurazione dell'attività
• Risultato recensione: Confronta gli indicatori di output con le impostazioni

Casi d’uso

Sviluppatori e ricercatori adatti per confrontare i modelli e selezionare le opzioni dei candidati potrebbero utilizzare risultati aperti come punto di partenza per ulteriori test.

Come iniziare

Le missioni di valutazione, i dati, le versioni dei modelli e le definizioni degli indicatori sono conosciute per la prima volta. Selezionare per confrontare le dimensioni associate all'applicazione effettiva e quindi convalidarle con il proprio campione; e registrare le impostazioni di prova per evitare una sola divisione totale.

Aspetti da verificare

Le condizioni per diverse liste possono essere diverse. I punteggi aperti non garantiscono che il modello eseguirà lo stesso in ciascuno dei compiti reali.

Prezzi e disponibilità

Requisiti dell’account, prezzi, limiti di esportazione dei file e disponibilità geografica possono cambiare. Verifica le condizioni ufficiali aggiornate prima dell’uso. Questa directory non garantisce una quota gratuita né un prezzo specifico.

Riferimenti

Sito ufficiale e informazioni sul prodotto