re1は、私たちが物理AI向けに構築している空間記憶システムです。これにより、元のセッションの後も観測データを利用できるようになります。つまり、クエリをある瞬間に戻したり、研究者がソースを調べたり、再構成をシミュレーションに再利用したりできます。

実験が変わっても、記録した経験は使い続けられるべきです。新たな問いには以前の観測が、新たな試行には同じ環境が必要になるかもしれません。re1 はそれらの記録と場所を再び利用できるようにします。

ソースを保持するメモリ

re1/空間メモリ

re1 の研究プレビューで収録。

出来事を説明し、一致する録画を見つけ、何が起きたかを確認します。動きや順序についての質問は元の映像に結び付き、時刻の参照から回答を検証できます。

下のプレビューでは、荷物を扱う機械を検索し、一致する映像を開いて質問します。回答は記述した時間区間を示します。確認した区間から裏付けられるのはその区間の内容であり、録画全体の出来事ではありません。

出力 → ソース間隔を指定して応答

記録された回答の抜粋

梱包・仕分け区域は円滑に稼働しており、複数のコンベヤーとロボットアームが想定どおりに動作しています。

参照した区間0:12–0:20

答えをたどって録音に戻ってください。 収録した回答は、記述を倉庫映像の 0:12–0:20 に結び付けています。その区間を説明するもので、録画全体の安全性を確定するものではありません。

キャプチャからシミュレートされたシーンまで

収録した場所へ戻り、別の視点から調べます。録画セッション後もシーンは残り、個々の物体を調べたり、環境の成果物をシミュレーションに利用したりできます。

上の映像は完成済みシーンの中を移動します。見える欠落や未完成の領域も結果の一部です。再生は閲覧体験を示しており、環境の準備に要する時間を示すものではありません。

物理実験に使うには、見た目のリアルさだけでは不十分です。スケール、接触時の挙動、材質の特性をタスクに応じて検証する必要があります。

録画と準備したシーンはセッションをまたいで残ります。実験の進展に応じ、以前の証拠を見直したり環境を再利用したりできます。準備の繰り返しを減らし、過去の観測を使いやすくすることが目的です。

必要なリソースは収録内容と作業によって変わります。システム全体の遅延やハードウェア要件はまだ公表していません。

長期的には、エージェントが経験から学ぶ力を高める記憶を目指しています。現在のプレビューは映像の想起と収録環境を対象としています。この記憶をポリシー学習につなげる研究を進めています。

テクニカルプレビューや共同研究の場合は、代表的なキャプチャ、回答が必要な質問、実験に必要なアーティファクトを送信してください。特に、ビデオメモリ、シーン再構築、ロボット学習ワークフローに関心があります。