[系统](https://www.goodailabs.com/zh-cn/products/) # re1 物理 AI 的空间记忆。返回观测点,检查其源视频并重建仿真地点。 正在开发中。提供技术预览。 [申请技术预览 ↗](mailto:research@goodailabs.com?subject=re1+technical+preview) [阅读公告 ↗](https://www.goodailabs.com/zh-cn/blog/re1-video-memory/) re1/从观察到重用 捕捉到的经验 视频·摄像机身份·时间 01/召回 找出时机检索可能的时间间隔并检查源视频 引文和报道看到了什么、何时以及在哪里进行验证 02/重建 重访地点回到环境中,检查其中的物体 场景伪像供仿真使用的已采集环境 能力 ## 它能做什么 - ### 重温观察结果 检索视频片段,验证源片段并查看检查了录音的哪些部分。 - ### 重建一个地方 回到已采集的环境,探索不同视角,检查单个物体。 - ### 准备模拟 将采集的环境用于仿真工作,继续检查和测试。 re1 是我们为物理 AI 构建的空间记忆系统。它可以在原始会话之后保持 观测结果可用:查询可以返回到 某个时刻,研究人员可以检查来源,重建可以重复用于 模拟。 实验发生变化时,记录的经验仍应有用。新问题可能需要早先的观测;新试验可能需要同一个环境。re1 让这些记录和地点再次可用。 re1 · 场景重建18 秒 · 无声视频 [观看 “检查重建的地方” (MP4)](https://www.goodailabs.com/media/re1/reconstruction.mp4). 检查重建的地方。 在 re1 查看器中穿行于已完成场景的录像。镜头从俯视移动到街道高度。 揭示的是已完成重建的可视化,而不是其处理时间。 ## 一种保留其源代码的存储器 re1/空间记忆 ### 搜索录像。核查答案。重访地点。 - 01 / 检索 #### 找到你需要的观察结果。 搜索“室内处理包裹的机器”会返回仓库和机械臂录像。打开匹配项即可查看原始记录。 查询 → 记录的观测值产品捕获 在室内处理包裹的机器 [re1 搜索结果显示了在室内搬运包裹的机器,包括经过框架验证的仓库和机器人手臂匹配项。](https://www.goodailabs.com/media/re1/search-results.webp) 搜索→打开→检查 实际搜索结果。打开图像以检查原始界面。 - 02 / 检查 #### 关注答案返回其来源。 截图中的答案引用了仓库录像的 0:12–0:20。读者可以打开该区间,对照视频核查描述。 回答 → 检查间隔产品捕获 记录的回答 · 摘录 包装和分拣区域运转顺畅,多条传送带和机械臂按预期工作。 原始区间0:12–0:20 0:12–0:20已检查的原始视频 记录回答的摘录。引用对应所标明的时间区间。 - 03 / 回看 #### 捕获后留出一个空闲的地方。 从新的视角探索已采集的环境,查看其中的物体。准备好的场景可供后续工作继续使用。 捕获 → 持久场景产品捕获 [re1 查看器中已完成场景的截图。](https://www.goodailabs.com/media/re1/reconstruction-poster.webp) 可以重访的地点已完成的场景 本页视频中显示的已完成重建的画面。 录制于 re1 研究预览版。 描述一个事件,找到匹配的录像,再检查实际发生的情况。关于运动和先后顺序的问题可以关联到原始视频,时间引用让答案便于核查。 下方预览搜索处理包裹的机器,打开匹配片段并提出问题。答案标明其描述的时间区间。经过检查的区间只能支持关于该区间的陈述,不能说明整段录像中发生的一切。 输入 → 匹配的录音 [re1 在室内搬运包裹的机器搜索结果:仓库和机械臂夹标记为已通过框架验证;未经证实的片段如下所列。](https://www.goodailabs.com/media/re1/search-results.webp) 查询会变成一组可检查的片段。 对于 “在室内搬运包裹的机器”,捕获的搜索会返回仓库和机器人手臂的夹子。未经确认的候选人仍然可以在比赛下方看见。 此截图显示了搜索阶段的帧验证;问题工作流程会检查源视频间隔。 输出 → 用源间隔回答 记录的回答 · 摘录 包装和分拣区域运转顺畅,多条传送带和机械臂按预期工作。 原始区间0:12–0:20 按照答案返回录音。 截图中的回答将描述关联到仓库视频的 0:12–0:20。它描述该区间,不能证明整段录像中的安全状况。 ## 从捕捉到模拟场景 回到采集过的地点,从不同视角检查场景。录像结束后,场景仍然保留;研究人员可以查看单个物体,并将环境文件用于仿真工作。 上方录像穿行于已完成的场景。可见的空缺和不完整区域也是结果的一部分。播放展示的是查看体验,不是准备环境所需的时间。 将场景用于物理实验,需要验证的不只是图像是否逼真。尺度、接触行为和材料属性都需要针对具体任务验证。 ## 可延续的工作 录像和准备好的场景可以跨会话保留。随着实验推进,研究人员可以回到先前的证据或复用环境,以减少重复准备,让已有观测更容易被使用。 资源需求取决于采集内容和所执行的工作。我们尚未公布全系统的延迟或硬件要求。 ## 研究方向 我们的长远目标是让记忆改善智能体从经验中学习的能力。当前预览涵盖视频回溯和已采集的环境。将这类记忆用于策略学习仍是正在探索的研究方向。 如需进行技术预览或研究合作,请发送一份有代表性的截图、 您需要回答的问题以及实验需要消耗的工件。 我们对视频内存、场景重建和 机器人学习工作流程特别感兴趣。 [联系 实验室](mailto:research@goodailabs.com?subject=re1%20technical%20preview)。 ## 其他系统 也在这里:[Colony](https://www.goodailabs.com/zh-cn/products/colony/)