lm-evaluation-harness

Apresentação

lm-avaliation-harness é um kit de ferramentas de avaliação de modelos de linguagem.Os desenvolvedores organizam tarefas de avaliação em códigos e executam testes de modelos reprodutíveis.

Principais recursos

• Execução do teste: Avaliação do modelo de acordo com a configuração da tarefa
• Revisão do resultado: Compare indicadores de saída com configurações

Casos de uso

Desenvolvedores e pesquisadores adequados para comparar modelos e selecionar opções de candidatos poderiam usar resultados abertos como ponto de partida para testes adicionais.

Primeiros passos

As missões de avaliação, dados, versões de modelos e definições de indicadores são conhecidas primeiramente. Selecione para comparar as dimensões associadas com a aplicação real e depois valide-as com sua própria amostra; e registre as configurações de teste para evitar uma única divisão total.

Pontos a verificar

As condições para diferentes listas podem ser diferentes. As pontuações abertas não garantem que o modelo irá executar o mesmo em cada uma das tarefas reais.

Preços e disponibilidade

Os requisitos de conta, preços, limites de exportação de arquivos e disponibilidade regional podem mudar. Confira os termos oficiais atuais antes de usar o serviço. Este diretório não garante uma cota gratuita nem um preço específico.

Referências

Site oficial e informações do produto