[システム](https://www.goodailabs.com/ja/products/) # re1 物理 AI 用の空間メモリ。観測所に戻り、そのソースビデオを調べ、シミュレーションを行う場所を再構築します。 開発中です。テクニカルプレビューが可能です。 [テクニカルプレビューをリクエストする ↗](mailto:research@goodailabs.com?subject=re1+technical+preview) [アナウンスを読む ↗](https://www.goodailabs.com/ja/blog/re1-video-memory/) re1/観察から再利用まで キャプチャされたエクスペリエンス ビデオ・カメラ・アイデンティティ・時間 01/リコール その瞬間を見つけ、予想されるインターバルを取得し、ソースビデオを調べる 引用と報道何を見たか、いつ、どこで確認すべきか 02/リコンストラクト 場所を再訪する環境に戻り、そこにある物体を調べる シーンアーティファクトシミュレーションに使う収録済み環境 機能 ## それが何をするか - ### 観察結果を再検討する ビデオモーメントを検索したり、ソースクリップを確認したり、録画のどの部分が検査されたかを確認したりできます。 - ### 場所を再構築 収録した環境に戻り、別の視点や個々の物体を調べられます。 - ### シミュレーションの準備 収録した環境をシミュレーションに引き継ぎ、さらに調査・検証できます。 re1は、私たちが物理AI向けに構築している空間記憶システムです。これにより、 元のセッションの後も観測データを利用できるようになります。つまり、クエリをある瞬間に戻したり、 研究者がソースを調べたり、再構成をシミュレーションに再利用したりできます。 実験が変わっても、記録した経験は使い続けられるべきです。新たな問いには以前の観測が、新たな試行には同じ環境が必要になるかもしれません。re1 はそれらの記録と場所を再び利用できるようにします。 re1 · シーン再構築18 秒 · サイレントビデオ [「再建された場所を調べろ」(MP4) を見る](https://www.goodailabs.com/media/re1/reconstruction.mp4). 再建された場所を調べてください。 re1 ビューアー内で完成したシーンを移動した録画です。カメラは俯瞰から路上の高さへ移動します。 公開は完成した再構成を視覚化したものであり、処理時間ではありません。 ## ソースを保持するメモリ re1/空間メモリ ### 録画を探す。回答を確かめる。場所を再訪する。 - 01 / 検索 #### 必要な観察結果を見つけてください。 屋内で荷物を扱う機械を検索すると、倉庫とロボットアームの映像が見つかります。候補を開いて元の記録を確認できます。 クエリ → 記録された観測値製品キャプチャ 屋内で荷物を処理する機械 [屋内で荷物を処理する機械のre1検索結果。フレーム検証済みの倉庫とロボットアームが一致します。](https://www.goodailabs.com/media/re1/search-results.webp) 検索→開く→検査 実際の検索結果。画像を開いて、元のインターフェースを確認します。 - 02 / 検証 #### 回答をたどって出典に戻ってください。 この回答は倉庫映像の 0:12–0:20 を引用しています。読者はその区間を開いて、記述と映像を照合できます。 回答 → 検査間隔製品キャプチャ 記録された回答の抜粋 梱包・仕分け区域は円滑に稼働しており、複数のコンベヤーとロボットアームが想定どおりに動作しています。 参照した区間0:12–0:20 0:12–0:20確認した元の映像 記録された回答の抜粋です。引用は明記した区間に対応します。 - 03 / 見直す #### 捕獲後も空き場所を確保してください。 収録した環境を別の視点から移動し、物体を調べます。準備済みのシーンは後の作業でも利用できます。 キャプチャ → 永続シーン製品キャプチャ [re1 ビューアーに表示された完成済みシーン。](https://www.goodailabs.com/media/re1/reconstruction-poster.webp) 再び訪れられる場所完成済みシーン このページのビデオには、完成した再構築のフレームが映っています。 re1 の研究プレビューで収録。 出来事を説明し、一致する録画を見つけ、何が起きたかを確認します。動きや順序についての質問は元の映像に結び付き、時刻の参照から回答を検証できます。 下のプレビューでは、荷物を扱う機械を検索し、一致する映像を開いて質問します。回答は記述した時間区間を示します。確認した区間から裏付けられるのはその区間の内容であり、録画全体の出来事ではありません。 入力 → 一致した録音 [屋内で荷物を扱う機械のre1検索結果:倉庫クリップとロボットアームクリップにはフレーム検証済み、未確認のクリップは以下のとおりです。](https://www.goodailabs.com/media/re1/search-results.webp) クエリーは検査可能なクリップのセットになります。 「屋内で荷物を処理する機械」の場合、キャプチャされた検索では倉庫とロボットアームのクリップが返されます。未確認の候補はマッチの下に表示されたままになります。 このキャプチャは、検索段階でのフレーム検証を示しています。質問ワークフローはソースビデオの間隔をチェックします。 出力 → ソース間隔を指定して応答 記録された回答の抜粋 梱包・仕分け区域は円滑に稼働しており、複数のコンベヤーとロボットアームが想定どおりに動作しています。 参照した区間0:12–0:20 答えをたどって録音に戻ってください。 収録した回答は、記述を倉庫映像の 0:12–0:20 に結び付けています。その区間を説明するもので、録画全体の安全性を確定するものではありません。 ## キャプチャからシミュレートされたシーンまで 収録した場所へ戻り、別の視点から調べます。録画セッション後もシーンは残り、個々の物体を調べたり、環境の成果物をシミュレーションに利用したりできます。 上の映像は完成済みシーンの中を移動します。見える欠落や未完成の領域も結果の一部です。再生は閲覧体験を示しており、環境の準備に要する時間を示すものではありません。 物理実験に使うには、見た目のリアルさだけでは不十分です。スケール、接触時の挙動、材質の特性をタスクに応じて検証する必要があります。 ## 次の作業へ引き継ぐ 録画と準備したシーンはセッションをまたいで残ります。実験の進展に応じ、以前の証拠を見直したり環境を再利用したりできます。準備の繰り返しを減らし、過去の観測を使いやすくすることが目的です。 必要なリソースは収録内容と作業によって変わります。システム全体の遅延やハードウェア要件はまだ公表していません。 ## 研究の方向性 長期的には、エージェントが経験から学ぶ力を高める記憶を目指しています。現在のプレビューは映像の想起と収録環境を対象としています。この記憶をポリシー学習につなげる研究を進めています。 テクニカルプレビューや共同研究の場合は、代表的なキャプチャ、 回答が必要な質問、実験に必要なアーティファクトを送信してください。 特に、ビデオメモリ、シーン再構築、 ロボット学習ワークフローに関心があります。 [研究室に連絡してください](mailto:research@goodailabs.com?subject=re1%20technical%20preview)。 ## その他のシステム こちらもこちら：[Colony](https://www.goodailabs.com/ja/products/colony/)