Reflex-1

Présentation

De nombreuses décisions des agents se terminent par un choix : quelle file d'attente reçoit une demande, quel outil correspond à une tâche ou quelle action suivre. Reflex-1 note les choix fournis par votre application en une seule passe. Elle renvoie une distribution de probabilité que l'application peut utiliser pour prendre cette décision.

Cette recherche s’inscrit dans la voie des modèles de décision explorée par Jev, avec une architecture et une procédure d’entraînement supervisé distinctes. Un encodeur de contexte de 28 couches et un encodeur de candidats de six couches alimentent une tête de calcul des scores commune. Le checkpoint actuel met à jour l’ensemble des 420,778,370 paramètres.

Le téléchargement public par défaut fournit le dernier checkpoint affiné. Sa fiche présente les résultats d’évaluation et les mesures CPU actuels. Les études et enregistrements datés ci-dessous conservent l’identité de leurs checkpoints d’origine.

Résultats actuels

La version du 5 octobre a terminé 21/30 épisodes natifs de navigateur MiniWoB++ avec un contrôleur fixe. Elle a obtenu 92.93% sur 495 exemples Banking77. Il s’agit de sous-ensembles réservés de familles de tâches présentes dans l’entraînement, et non de scores sur les benchmarks complets.

Sur un CPU Intel Xeon Platinum 8558, l’inférence Banking77 a pris 375.2 ms en médiane et 452.1 ms au p95 avec quatre threads de calcul. Le pic de mémoire du processus était de 2.17 GiB, chargement, préchauffage et inférence inclus.

L’évaluation complète reste inachevée. BoolQ, RACE et le diagnostic public JevBench ont régressé par rapport au checkpoint précédent ; Dino natif a atteint l’objectif de 60 secondes dans 0/16 essais. La latence GPU actuelle n’a pas été mesurée. L’évaluation publiée précise le checkpoint, les conditions et les points restant à évaluer.

Comment ça marche

Les réponses candidates sont fournies avec chaque demande. Le modèle prend en charge 1 à 255 choix par question, dans les limites de ses jetons, et plusieurs questions peuvent partager un état compressé. Une application de support peut fournir ses propres files d'attente ; un agent peut fournir des descriptions des outils dont il dispose. Les nouveaux types de décisions nécessitent leurs propres tests de précision.

Le modèle note les options proposées ; l'application construit les arguments de l'outil et décide quelles actions sont autorisées. Le texte de l'état est plafonné à 512 jetons contextuels et peut être encore raccourci en fonction du budget de la demande. Chaque choix accepte jusqu'à 512 jetons d'option. Vérifiez state_truncated quand le contexte a peut-être été raccourci.

Exemples

Les exemples et comparaisons de qualité des décisions ci-dessous utilisent le snapshot du 3 octobre. Les mesures de vitesse et de ressources sont identifiées séparément. Chaque enregistrement conserve sa fin observée, y compris en cas d’échec.

Chromium Dino

Cet enregistrement utilise le jeu original chrome://dino de Chromium. Reflex-1 reçoit la géométrie des obstacles visibles et choisit de courir, sauter ou se baisser. Des événements clavier natifs exécutent ces choix, tandis que le jeu continue pendant l’inférence. La vidéo montre les images réelles du navigateur à vitesse normale.

Reflex-1 · Chromium original43.6 s · VIDÉO SILENCIEUSE

Les deux essais se sont terminés par une collision après 42.31 secondes et 30.41 secondes ; aucun n’a atteint la limite de 60 secondes. Le plus long apparaît en premier. Les parcours aléatoires sont indépendants et ne permettent pas de comparaison appariée des modèles. Le second essai est conservé intégralement ci-dessous.

Voir la deuxième tentative de Dino

Reflex-1 · Chromium original31.8 s · VIDÉO SILENCIEUSE

ViZDoom

Il s’agit du scénario Defend the Center de ViZDoom natif, en difficulté 5. Reflex-1 choisit ses actions à partir des limites des objets visibles, de la santé et des munitions. Ce contrôleur utilise un état structuré et ne déduit pas les actions des pixels. L’enregistrement conserve l’exemple désigné à l’avance, avec une seule vue Reflex-1.

Reflex-1 · ViZDoom natif36.5 s · VIDÉO SILENCIEUSE

Sur les 32 épisodes réservés, cette version a obtenu en moyenne 18.88 ennemis éliminés et 22.47 secondes de survie. Tous les épisodes se sont terminés avant la limite de 45 secondes. Le graphique conserve tous les modèles externes évalués et le nombre complet d’épisodes.

Tâches dans le navigateur

Ce sont des sites WebGym synthétiques, distribués avec Laya Browser et hébergés localement. Les états ont été capturés dans Chromium réel, et le vérificateur d’origine détermine la réussite. Reflex-1 choisit les actions et les cibles ; un auxiliaire Qwen3-1.7B commun fournit les textes et les valeurs des listes déroulantes. Le résultat évalue ce système complet.

Reflex-1 · WebGym synthétique30.1 s · 4× · VIDÉO SILENCIEUSE

Reflex-1 · WebGym synthétique8.1 s · 4× · VIDÉO SILENCIEUSE

La réservation au restaurant réussit ; l’achat échoue. Les deux utilisent la même graine de tâche définie à l’avance et conservent leur dénouement. La lecture à 4× le temps réel reprend les états capturés et conserve l’arrêt sur l’écran final. Ce sont des résultats de développement sur sites synthétiques, et non des scores MiniWoB++, WebArena ou sur sites réels.

Reflex-1 a terminé 13/35 tâches, contre 17/35 pour Laya Browser. Les dénominateurs conservent tous les essais, échecs et erreurs de requête. Un essai pilote ultérieur dans l’environnement officiel MiniWoB++ a terminé 0/30 tâches avec cette version ; les résultats synthétiques ne prouvent donc pas une réussite sur ce benchmark.

Qualité des décisions

Typed Decisions couvre l’assistance client, les factures, les alertes de sécurité et les traces d’agents. L’évaluation conserve les groupes d’états d’origine et soumet aux modèles les cinq mêmes jugements via une interface de choix commune. Reflex-1 a répondu correctement à 1,508/2,000 jugements (75.4%).

Sur la cohorte CLINC réservée, Reflex-1 a correctement traité 3,680/4,490 requêtes d’intention ou hors périmètre (82.0%). Pour les outils inconnus, il a obtenu 72/87, sous le meilleur résultat externe de 82/87. Les points forts et les écarts restants figurent ci-dessous.

Ces adaptations utilisent une interface de choix commune et des cohortes déclarées ; elles ne constituent pas des soumissions aux classements officiels. Les modèles externes ont été évalués tels que distribués, sans l’entraînement spécialisé de Reflex-1. Les figures conservent les intervalles d’incertitude, budgets de tokens et nombres de troncatures d’origine.

Vitesse et ressources

Les mesures de cette section concernent le checkpoint du 2 octobre. Celles du checkpoint actuel figurent dans la fiche de modèle liée ci-dessus.

Latence des requêtes H200

Nous avons rejoué 120 requêtes distinctes deux fois par modèle sur une carte NVIDIA H200 partagée. Ils provenaient de cinq environnements de jeu et de navigateur. Chaque modèle a reçu les mêmes entrées, avec une demande en vol à la fois.

La médiane de reflex-1 était de 27.5 ms et son p95 de 30.5 ms. Il était plus rapide qu’OpenJev en FP32 et que Laya lors de la mesure séparée en FP32. La configuration native de Laya utilisait autocast BF16 et obtenait une médiane légèrement inférieure. La machine partagée et la taille de l’échantillon limitent les conclusions possibles lorsque les résultats sont proches.

Le minuteur inclut la tokenisation, la notation des modèles, la normalisation des sorties et le HTTP en boucle. Cela exclut le chargement et trois demandes de préchauffage. Les caches de réponses et d' options ont été désactivés. Nous n'avons pas mesuré le débit de service simultané au cours de cette période. OpenJev est ici le point de contrôle public de DeBerta ; il ne s'agit pas du service Jev hébergé.

LATENCE DU CPU M4

Le test du CPU a utilisé un MacBook Air M4, FP32 et un lot de taille 1. Chaque modèle utilisait un thread intra-op PyTorch, un thread inter-op et une limite de thread BLAS d'un. Chaque tâche comportait 24 cas distincts, chacun répété deux fois. L'ordre des modèles était équilibré sur huit blocs d'exécution.

Banking77 demande de choisir parmi 77 intentions. La médiane de reflex-1 était de 345.2 ms, contre 1,332.6 ms pour OpenJev lors de la même mesure. Sur les cinq tâches, les médianes de reflex-1 allaient de 256.2 à 463.4 ms.

Laya a été plus rapide sur plusieurs tâches à choix restreint. Son budget d'origine Banking77 a tronqué les options, de sorte que son calendrier couvre un ensemble réduit de candidats. Kev a utilisé des noyaux de référence CPU avec des adaptateurs non fusionnés. L'activité en arrière-plan des ordinateurs portables a contribué à l'augmentation des latences de queue.

Ce test mesure le temps entre la construction de la requête et la sortie normalisée, avec le modèle déjà chargé. Les tests CPU et GPU utilisent des requêtes différentes ; leurs durées ne permettent donc pas de calculer directement le gain de vitesse du GPU par rapport au CPU.

Précision sur les tâches connues

reflex-1 a obtenu 95.0% sur Banking77 et 92.2% sur Emotion. Il a dominé les points de contrôle comparés sur les deux points, a égalé le meilleur score sur AG News et SST-5, et a obtenu un score légèrement inférieur à OpenJev sur BoolQ.

Il s'agissait de 500 exemples de diagnostics par tâche. Les familles de tâches ont été incluses dans la entraînement, et nous avions inspecté les sous-ensembles pendant le développement. Les budgets de entraînement et l'exposition antérieure diffèrent selon les modèles. La précision a été mesurée séparément de la latence, sur d'autres exemples.

Le point de contrôle général n'a effectué aucun des 80 essais avec notre contrôleur de navigateur personnalisé. Le résultat révèle un écart important entre la classification des tâches familières et le contrôle autonome. Le transfert vers des questions inconnues et l'étalonnage des probabilités restent des problèmes d'évaluation ouverts.

Formation et stockage

Le modèle publié comporte 420,778,370 paramètres après la fusion des adaptateurs. ModernBERT code l'état et les questions ; un encodeur MiniLM figé représente les choix. La tête partagée combine leurs représentations.

La principale série d'adaptation a mis à jour 9,036,290 paramètres en 6,000 étapes, en utilisant 290,657 enregistrements provenant de huit familles de tâches. Il a fallu 75 minutes et 7 secondes sur un H200, y compris les écrans de développement et les sauvegardes aux points de contrôle. La entraînement préalable au modèle de base, la préparation des données, l'ajustement des projections et les expériences antérieures constituent des coûts supplémentaires.

Le modèle FP32 extrait occupe environ 1.69 GB sur disque. La mesure séparée des ressources CPU a relevé un RSS maximal du processus de 1.50 GiB, comprenant les allocations du framework, les tokeniseurs, le chargement, le préchauffage et l’inférence. L’utilisation de mémoire GPU n’a pas encore été mesurée.

Accès au modèle

La version publique de Hugging Face contient les poids FP32 de 1.68 GB, à la fois des tokeniseurs, et une implémentation autonome de Transformers sous Apache 2.0. Aucun compte, clé API ou accès à GitHub n'est requis. Utilisez Python 3.12 :

python -m pip install "torch==2.8.0" "transformers==5.17.0" "safetensors==0.8.0"

import torch
from transformers import AutoModel

torch.set_num_threads(1)
model = AutoModel.from_pretrained("gai-labs/reflex-1", trust_remote_code=True)

decision = model.predict(
    state="The customer was charged twice for one card payment.",
    question="Choose the matching issue.",
    options=["duplicate charge", "lost card", "unknown fee", "cash withdrawal"],
)[0]
print(decision.choice)

Chargez le modèle une fois et réutilisez-le. La fiche modèle documente l'inférence par lots, les questions multiples, le chargement hors ligne et les hachages de publication. Le référentiel de développement reste privé ; le package public inclut le code nécessaire à l'inférence.

L'entraînement initial utilisait RACE et SciQ, dont les conditions comportent des restrictions non commerciales. La fiche du modèle documente leur usage et les révisions fixes. L'examen de provenance ne détermine pas l'application de ces conditions aux poids entraînés.

Enregistrements et reproductibilité

Utilisez la révision fixe du Hub du 3 octobre pour reproduire ces enregistrements. Les graphiques conservent les résultats mesurés, y compris les pertes de capacités antérieures. Chaque vidéo précise l'environnement, le format d'entrée et la vitesse de lecture.

La version actuelle dispose d’une évaluation distincte accessible depuis sa fiche de modèle. Ces enregistrements et études conservent leurs résultats d’origine.