简
联系
菜单

系统

re1

物理 AI 的空间记忆。返回观测点,检查其源视频并重建仿真地点。

正在开发中。提供技术预览。

re1/从观察到重用

捕捉到的经验

视频·摄像机身份·时间
01/召回

找出时机检索可能的时间间隔并检查源视频

引文和报道看到了什么、何时以及在哪里进行验证
02/重建

重访地点回到环境中,检查其中的物体

场景伪像供仿真使用的已采集环境

它能做什么

  • 重温观察结果

    检索视频片段,验证源片段并查看检查了录音的哪些部分。

  • 重建一个地方

    回到已采集的环境,探索不同视角,检查单个物体。

  • 准备模拟

    将采集的环境用于仿真工作,继续检查和测试。

re1 是我们为物理 AI 构建的空间记忆系统。它可以在原始会话之后保持 观测结果可用:查询可以返回到 某个时刻,研究人员可以检查来源,重建可以重复用于 模拟。

实验发生变化时,记录的经验仍应有用。新问题可能需要早先的观测;新试验可能需要同一个环境。re1 让这些记录和地点再次可用。

re1 · 场景重建18 秒 无声视频
检查重建的地方。 在 re1 查看器中穿行于已完成场景的录像。镜头从俯视移动到街道高度。 揭示的是已完成重建的可视化,而不是其处理时间。

一种保留其源代码的存储器

re1/空间记忆

搜索录像。核查答案。重访地点。

  1. 01 / 检索

    找到你需要的观察结果。

    搜索“室内处理包裹的机器”会返回仓库和机械臂录像。打开匹配项即可查看原始记录。

    查询 → 记录的观测值产品捕获

    在室内处理包裹的机器

    re1 搜索结果显示了在室内搬运包裹的机器,包括经过框架验证的仓库和机器人手臂匹配项。
    搜索打开检查
    实际搜索结果。打开图像以检查原始界面。
  2. 02 / 检查

    关注答案返回其来源。

    截图中的答案引用了仓库录像的 0:12–0:20。读者可以打开该区间,对照视频核查描述。

    回答 → 检查间隔产品捕获

    记录的回答 · 摘录

    包装和分拣区域运转顺畅,多条传送带和机械臂按预期工作。

    原始区间0:12–0:20

    0:12–0:20已检查的原始视频

    记录回答的摘录。引用对应所标明的时间区间。
  3. 03 / 回看

    捕获后留出一个空闲的地方。

    从新的视角探索已采集的环境,查看其中的物体。准备好的场景可供后续工作继续使用。

    捕获 → 持久场景产品捕获
    re1 查看器中已完成场景的截图。

    可以重访的地点已完成的场景

    本页视频中显示的已完成重建的画面。

录制于 re1 研究预览版。

描述一个事件,找到匹配的录像,再检查实际发生的情况。关于运动和先后顺序的问题可以关联到原始视频,时间引用让答案便于核查。

下方预览搜索处理包裹的机器,打开匹配片段并提出问题。答案标明其描述的时间区间。经过检查的区间只能支持关于该区间的陈述,不能说明整段录像中发生的一切。

输出 → 用源间隔回答

记录的回答 · 摘录

包装和分拣区域运转顺畅,多条传送带和机械臂按预期工作。

原始区间0:12–0:20

按照答案返回录音。 截图中的回答将描述关联到仓库视频的 0:12–0:20。它描述该区间,不能证明整段录像中的安全状况。

从捕捉到模拟场景

回到采集过的地点,从不同视角检查场景。录像结束后,场景仍然保留;研究人员可以查看单个物体,并将环境文件用于仿真工作。

上方录像穿行于已完成的场景。可见的空缺和不完整区域也是结果的一部分。播放展示的是查看体验,不是准备环境所需的时间。

将场景用于物理实验,需要验证的不只是图像是否逼真。尺度、接触行为和材料属性都需要针对具体任务验证。

可延续的工作

录像和准备好的场景可以跨会话保留。随着实验推进,研究人员可以回到先前的证据或复用环境,以减少重复准备,让已有观测更容易被使用。

资源需求取决于采集内容和所执行的工作。我们尚未公布全系统的延迟或硬件要求。

研究方向

我们的长远目标是让记忆改善智能体从经验中学习的能力。当前预览涵盖视频回溯和已采集的环境。将这类记忆用于策略学习仍是正在探索的研究方向。

如需进行技术预览或研究合作,请发送一份有代表性的截图、 您需要回答的问题以及实验需要消耗的工件。 我们对视频内存、场景重建和 机器人学习工作流程特别感兴趣。

联系 实验室。

其他系统

也在这里:Colony