繁
聯絡
選單

系統

re1

物理 AI 的空間記憶。返回觀測點,檢查其源影片並重建模擬地點。

正在開發中。提供技術預覽。

re1/從觀察到重用

捕捉到的經驗

影片·攝像機身份·時間
01/召回

找出時機檢索可能的時間間隔並檢查源影片

引文和報道看到了什麼、何時以及在哪裡進行驗證
02/重建

重訪地點回到環境中,檢查其中的物體

場景偽像供模擬使用的已採集環境

它能做什麼

  • 重溫觀察結果

    檢索影片片段,驗證源片段並檢視檢查了錄音的哪些部分。

  • 重建一個地方

    回到已採集的環境,探索不同視角,檢查單個物體。

  • 準備模擬

    將採集的環境用於模擬工作,繼續檢查和測試。

re1 是我們為物理 AI 構建的空間記憶系統。它可以在原始會話之後保持 觀測結果可用:查詢可以返回到 某個時刻,研究人員可以檢查來源,重建可以重複用於 模擬。

實驗發生變化時,記錄的經驗仍應有用。新問題可能需要早先的觀測;新試驗可能需要同一個環境。re1 讓這些記錄和地點再次可用。

re1 · 場景重建18 秒 無聲影片
檢查重建的地方。 在 re1 檢視器中穿行於已完成場景的錄影。鏡頭從俯視移動到街道高度。 揭示的是已完成重建的視覺化,而不是其處理時間。

一種保留其原始碼的儲存器

re1/空間記憶

搜尋錄影。核查答案。重訪地點。

  1. 01 / 檢索

    找到你需要的觀察結果。

    搜尋“室內處理包裹的機器”會返回倉庫和機械臂錄影。開啟匹配項即可檢視原始記錄。

    查詢 → 記錄的觀測值產品捕獲

    在室內處理包裹的機器

    re1 搜尋結果顯示了在室內搬運包裹的機器,包括經過框架驗證的倉庫和機器人手臂匹配項。
    搜尋開啟檢查
    實際搜尋結果。開啟影象以檢查原始介面。
  2. 02 / 檢查

    關注答案返回其來源。

    截圖中的答案引用了倉庫錄影的 0:12–0:20。讀者可以開啟該區間,對照影片核查描述。

    回答 → 檢查間隔產品捕獲

    記錄的回答 · 節錄

    包裝和分揀區域運轉順暢,多條輸送帶和機械手臂按預期工作。

    原始區間0:12–0:20

    0:12–0:20已檢查的原始影片

    記錄回答的節錄。引用對應所標明的時間區間。
  3. 03 / 回看

    捕獲後留出一個空閒的地方。

    從新的視角探索已採集的環境,檢視其中的物體。準備好的場景可供後續工作繼續使用。

    捕獲 → 持久場景產品捕獲
    re1 檢視器中已完成場景的截圖。

    可以重訪的地點已完成的場景

    本頁影片中顯示的已完成重建的畫面。

錄製於 re1 研究預覽版。

描述一個事件,找到匹配的錄影,再檢查實際發生的情況。關於運動和先後順序的問題可以關聯到原始影片,時間引用讓答案便於核查。

下方預覽搜尋處理包裹的機器,開啟匹配片段並提出問題。答案標明其描述的時間區間。經過檢查的區間只能支援關於該區間的陳述,不能說明整段錄影中發生的一切。

輸出 → 用源間隔回答

記錄的回答 · 節錄

包裝和分揀區域運轉順暢,多條輸送帶和機械手臂按預期工作。

原始區間0:12–0:20

按照答案返回錄音。 截圖中的回答將描述關聯到倉庫影片的 0:12–0:20。它描述該區間,不能證明整段錄影中的安全狀況。

從捕捉到模擬場景

回到採集過的地點,從不同視角檢查場景。錄影結束後,場景仍然保留;研究人員可以檢視單個物體,並將環境檔案用於模擬工作。

上方錄影穿行於已完成的場景。可見的空缺和不完整區域也是結果的一部分。播放展示的是檢視體驗,不是準備環境所需的時間。

將場景用於物理實驗,需要驗證的不只是影象是否逼真。尺度、接觸行為和材料屬性都需要針對具體任務驗證。

可延續的工作

錄影和準備好的場景可以跨會話保留。隨著實驗推進,研究人員可以回到先前的證據或複用環境,以減少重複準備,讓已有觀測更容易被使用。

資源需求取決於採集內容和所執行的工作。我們尚未公佈全系統的延遲或硬體要求。

研究方向

我們的長遠目標是讓記憶改善智慧體從經驗中學習的能力。當前預覽涵蓋影片回溯和已採集的環境。將這類記憶用於策略學習仍是正在探索的研究方向。

如需進行技術預覽或研究合作,請傳送一份有代表性的截圖、 您需要回答的問題以及實驗需要消耗的工件。 我們對影片記憶體、場景重建和 機器人學習工作流程特別感興趣。

聯絡 實驗室。

其他系統

也在這裡:Colony