Evaluación
Selección del punto de control de Samsara
El punto de control seleccionado de 80,000 pasos terminó dos episodios por delante del candidato de 34,000 pasos. Los cinco resultados de la misma evaluación de 2,000 episodios.
El checkpoint de Samsara seleccionado a los 80,000 pasos completó 1,897 episodios de LIBERO. El checkpoint de 34,000 pasos completó 1,895. La diferencia fue de solo dos éxitos entre 2,000 intentos.
Evaluamos a cinco candidatos en las mismas cuarenta tareas y cincuenta estados iniciales por tarea, y luego seleccionamos la puntuación más alta.
| Actualizaciones de formación | Episodios exitosos | Tasa de éxito |
|---|---|---|
| 20,000 | 1,862 / 2,000 | 93.10% |
| 34,000 | 1,895 / 2,000 | 94.75% |
| 40,000 | 1,878 / 2,000 | 93.90% |
| 60,000 | 1,889 / 2,000 | 94.45% |
| 80,000 | 1,897 / 2,000 | 94.85% |
Los puntajes no mejoraron de manera constante con el entrenamiento. Una ventaja de 0.10 puntos sobre el candidato de 34,000 escalones es demasiado pequeña para que esta racha de un solo cabeza de serie establezca una mejora fiable. El informe de Samsara incluye el desglose de la suite y la configuración del entrenamiento.
Comparar las mismas tareas y estados iniciales revela más que los totales. El modelo seleccionado acertó en 68 inicios donde falló el de 34,000 pasos; el anterior acertó en 66 donde falló el seleccionado. La ventaja de dos episodios incluye 134 resultados distintos.
La selección cambia la pregunta
Estos episodios ayudaron a elegir el modelo, por lo que la puntuación del 94.85% es un resultado del desarrollo. La confirmación arreglaría el punto de control y el procedimiento de evaluación antes de usar ejemplos reservados, y luego se repetiría en otras semillas.
El mismo problema se aplica al diagnóstico del reflex-1. Sus puntuaciones del 95.0% en Banking77 y del 92.2% en Emotion procedían de subconjuntos de 500 ejemplos inspeccionados durante el desarrollo, en familias de tareas incluidas en la formación. Estos resultados describen el desempeño de tareas conocidas. Las preguntas de una nueva solicitud necesitan su propia evaluación.