lm-evaluation-harness

Descripción

lm-evaluation-harness es un toolkit de evaluación de modelos de lenguaje. Los desarrolladores organizan tareas de evaluación en código y realizan pruebas de modelo reproducibles.

Funciones principales

• Ejecución de pruebas: Evaluación de modelos según configuración de tareas
• Examen de resultados: Comparar indicadores de salida con ajustes

Usos recomendados

Desarrolladores e investigadores adecuados para comparar modelos y seleccionar opciones de candidatos podrían utilizar resultados abiertos como punto de partida para nuevas pruebas.

Primeros pasos

Las misiones de evaluación, los datos, las versiones modelo y las definiciones de indicadores son conocidos por primera vez. Seleccione para comparar las dimensiones asociadas con la aplicación real y luego validarlos con su propia muestra; y registre los ajustes de prueba para evitar una sola división total.

Aspectos a comprobar

Las condiciones para diferentes listas pueden ser diferentes. Las puntuaciones abiertas no garantizan que el modelo realice lo mismo en cada una de las tareas reales.

Precios y disponibilidad

Los requisitos de cuenta, los precios, los límites de exportación de archivos y la disponibilidad regional pueden cambiar. Consulte las condiciones oficiales vigentes antes de utilizar el servicio. Este directorio no garantiza una cuota gratuita ni un precio concreto.

Referencias

Sitio oficial e información del producto