Pourquoi nous créons des modèles locaux

Nous voulons qu'un développeur puisse tester un modèle sur son propre travail, choisir sa version et décider de la destination de ses entrées. L'inférence locale leur donne cette option lorsque le modèle est adapté à leur matériel.

le reflex-1 fonctionne sur le CPU d'un ordinateur portable. Sa principale exécution d'adaptation a entraîné 9.04M de paramètres dans un modèle de service de 421M de paramètres. Cela permet d' étudier les tâches de décision sans mettre à jour l'ensemble du réseau. Le rapport donne les résultats en termes de précision et de chronométrage, y compris en cas de défaillance du point de contrôle.

Samsara pose une question différente : quelles performances de manipulation pouvons-nous obtenir avec une politique de 217M de paramètres ? Son résultat LIBERO Object de 99.6% est prometteur. Le rapport d'entraînement enregistre également les huit H200 utilisés pour la course. La taille du modèle à elle seule sous-estimerait ce coût.

Nous voulons que le logiciel utilisé pour ces modèles laisse les décisions contrôlables. Un opérateur doit être en mesure de voir quel modèle a été exécuté, ce qu'il a sélectionné et quelle action a suivi. Ils devraient être en mesure de tester un produit de remplacement avant de l'utiliser.