re1
Mémoire spatiale pour l'IA physique. Revenez à une observation, inspectez sa vidéo source et reconstituez le lieu pour la simulation.
En cours de développement. Des aperçus techniques sont disponibles.
re1/De l'observation à la réutilisation
Expérience capturée
Vidéo · identité de la caméra · heureTrouvez le moment, récupérez les intervalles probables et inspectez la vidéo source
Retrouver le lieuRevisiter un environnement et inspecter ses objets
Ce qu'il fait
Revoir une observation
Récupérez des moments vidéo, vérifiez les extraits sources et identifiez les parties d'un enregistrement qui ont été inspectées.
Reconstruire un lieu
Revenez dans un environnement capturé, explorez un autre point de vue et inspectez chaque objet.
Préparer une simulation
Utilisez les environnements capturés en simulation pour poursuivre l'examen et les essais.
re1 est le système de mémoire spatiale que nous développons pour l'IA physique. Il conserve les observations disponibles après la session d'origine : une requête peut revenir à un moment donné, un chercheur peut inspecter la source et une reconstruction peut être réutilisée pour la simulation.
L'expérience enregistrée doit rester utile quand une expérience change. Une nouvelle question peut nécessiter une observation passée ; un nouvel essai peut exiger le même environnement. re1 remet ces enregistrements et ces lieux à portée de main.
Une mémoire qui conserve ses sources
re1/Mémoire spatiale
Chercher un enregistrement. Vérifier la réponse. Revisiter le lieu.
01 / Retrouver
Trouvez l'observation dont vous avez besoin.
Une recherche de machines manipulant des colis en intérieur retrouve des vidéos d'entrepôt et de bras robotisé. Ouvrez un résultat pour examiner la source.
Requête → observations enregistréesCapture de produitsMachines manipulant des colis à l'intérieur
RechercherOuvrirInspectezRésultats de recherche réels. Ouvrez l'image pour inspecter l'interface d'origine. 02 / Examiner
Suivez une réponse jusqu'à sa source.
La réponse capturée cite 0:12–0:20 de la vidéo de l'entrepôt. Le lecteur peut ouvrir cet intervalle et confronter la description aux images.
Réponse → intervalle inspectéCapture de produitsRéponse enregistrée · extrait
La zone d’emballage et de tri fonctionne normalement, avec plusieurs convoyeurs et bras robotisés en état de marche comme prévu.
Intervalle source0:12–0:20
0:12–0:20Vidéo source inspectée
Extrait d’une réponse enregistrée. La citation porte sur l’intervalle indiqué. 03 / Revoir
Gardez une place disponible après la capture.
Parcourez un environnement capturé depuis un autre point de vue et inspectez ses objets. Les scènes préparées restent disponibles pour la suite du travail.
Capture → scène persistanteCapture de produits
Un lieu à revisiterScène achevée
Une image de la reconstruction terminée présentée dans la vidéo sur cette page.
Capturé dans la version de recherche de re1.
Décrivez un événement, trouvez un enregistrement correspondant et vérifiez ce qui s'est passé. Les questions sur le mouvement et l'ordre des événements renvoient à la vidéo source, avec des repères temporels pour contrôler la réponse.
La démonstration recherche des machines manipulant des colis, ouvre une vidéo correspondante et pose une question. La réponse indique l'intervalle décrit. Un intervalle vérifié étaye une affirmation sur cet intervalle, pas sur l'ensemble de l'enregistrement.
Réponse enregistrée · extrait
La zone d’emballage et de tri fonctionne normalement, avec plusieurs convoyeurs et bras robotisés en état de marche comme prévu.
Intervalle source0:12–0:20
De la capture à la scène simulée
Revenez dans un lieu capturé et examinez-le depuis un autre point de vue. La scène reste disponible après l'enregistrement ; ses objets peuvent être inspectés individuellement et ses fichiers utilisés en simulation.
La vidéo ci-dessus parcourt une scène achevée. Les manques et zones incomplètes visibles font partie du résultat. La lecture montre l'expérience de visualisation, pas le temps nécessaire à la préparation de l'environnement.
Une scène destinée à des expériences physiques exige plus qu'une image convaincante. L'échelle, les contacts et les propriétés des matériaux doivent être validés pour la tâche.
Un travail qui se poursuit
Les enregistrements et scènes préparées restent disponibles d'une session à l'autre. Les chercheurs peuvent revenir aux preuves ou réutiliser un environnement à mesure que l'expérience évolue. L'objectif est de limiter les préparations répétées et de faciliter l'utilisation des observations passées.
Les ressources nécessaires dépendent de la capture et du travail demandé. Nous n'avons pas publié de latence ni de configuration matérielle pour le système complet.
Direction de la recherche
À terme, nous visons une mémoire qui améliore l'apprentissage d'un agent à partir de son expérience. La version actuelle couvre la recherche vidéo et les environnements capturés. Relier cette mémoire à l'apprentissage des politiques reste un axe de recherche actif.
Pour un aperçu technique ou une collaboration de recherche, envoyez une capture représentative, la question à laquelle vous devez répondre et l'artefact que votre expérience doit utiliser. Nous nous intéressons particulièrement à la mémoire vidéo, à la reconstruction de scènes et aux flux de travail d'apprentissage automatique.
Autres systèmes
Également ici : Colony