Évaluation
Sélection du point de contrôle de Samsara
Le point de contrôle de 80,000 étapes sélectionné a terminé deux épisodes devant le candidat de 34,000 étapes. Les cinq résultats proviennent de la même évaluation de 2,000 épisodes.
Le checkpoint de Samsara sélectionné à 80,000 étapes a réussi 1,897 épisodes de LIBERO. Celui de 34,000 étapes en a réussi 1,895. Deux succès les séparent sur 2,000 essais.
Nous avons évalué cinq candidats pour les mêmes quarante tâches et cinquante états initiaux par tâche, puis avons sélectionné le score le plus élevé.
| Mises à jour sur | Des épisodes réussis | Taux de réussite |
|---|---|---|
| 20,000 | 1,862 / 2,000 | 93.10% |
| 34,000 | 1,895 / 2,000 | 94.75% |
| 40,000 | 1,878 / 2,000 | 93.90% |
| 60,000 | 1,889 / 2,000 | 94.45% |
| 80,000 | 1,897 / 2,000 | 94.85% |
Les scores ne se sont pas améliorés régulièrement au fil de l'entraînement. Une avance de 0.10 point sur le candidat de 34,000 étapes est trop faible pour que cette série à tête de série unique puisse établir une amélioration fiable. Le rapport Samsara inclut la répartition de la suite et la configuration de la entraînement.
Comparer les mêmes tâches et états initiaux révèle plus que les totaux. Le modèle retenu a réussi sur 68 départs où celui à 34,000 étapes avait échoué ; le précédent a réussi sur 66 où le modèle retenu avait échoué. L'avance de deux épisodes recouvre 134 résultats différents.
La sélection modifie la question
Ces épisodes ont aidé à choisir le modèle, de sorte que le score de 94.85% est un résultat de développement . La confirmation corrigerait le point de contrôle et la procédure d'évaluation avant d'utiliser des exemples réservés, puis répéterait sur d'autres graines.
Le même problème s'applique au diagnostic du reflex-1. Ses scores Banking77 de 95.0% et Emotion de 92.2% sont issus de 500 sous-ensembles d'exemples inspectés au cours du développement, sur des familles de tâches incluses dans la entraînement. Ces résultats décrivent l'exécution de tâches familières. Les questions d'une nouvelle candidature nécessitent leur propre évaluation.