简
联系
菜单

系统

Colony

在对话中持续工作的个人智能体。为他们提供项目、工具和内存。他们可以在你控制的计算机上编写代码、使用你的 Mac、构建小应用程序并恢复原定工作。

可应要求提供技术预览。

Colony/跨对话开展工作

01/分配

要处理的项目描述结果、继续执行任务或设定时间表

02/工作

代理根据您授予的访问权限使用您的工具:文件、代码和关联的应用程序

03/继续

下次再次有用项目内存、可重复使用的技能和包含存储数据的应用程序

它能做什么

  • 让它继续工作

    分配目标、设置提醒或安排定期任务。查看进度并暂停同一工作空间中的工作。

  • 在你的工具中工作

    使用您授予的访问权限读取和更改文件、运行命令、研究 Web 和操作 Mac 应用程序。

  • 记住并重复使用

    在对话中保留项目知识和个人偏好。将已完成的工作转化为可以复习的技能。

  • 建造你需要的东西

    根据简报创建跟踪器、仪表板或小型应用程序,其中包含存储的数据和预定更新。

在 Colony 中,当工作 从一个对话转移到下一个对话时,代理会保留自己的身份、工具和记忆。给它一个项目和它 需要的文件;稍后再进行更正或执行新任务。之前的工作 仍然存在。

Colony 支持工程项目和个人任务:提醒、 电脑辅助和小型应用程序,可使有用信息保持最新状态。你运行环境并 选择它使用的模型。

分配工作,然后继续对话

请求可以成为一个持续的目标,并有明确的结果需要努力。 不同的任务在各自的对话中运行,因此缓慢的实验并 不能阻碍其他所有工作。对于定期作业,设置间 隔;对于提醒,设置时间。关闭浏览器后 ,计划的工作可以继续,而 Colony 及其所需的连接仍在主机上 运行。

选择如何获得结果。例行报告可以与任务同步, 出现在对话中,或者在你要求被告知时打断。 在实时语音对话中,可以说出中断的报告。 否则,它将通过开放接口或已配置的渠道出现;当您返回时, 未送达的通知仍然可用。您可以检查、 暂停或停止工作。

浏览器工作区将对话、文件、代理、应用程序和 活动汇集在一起。语音可以在您配置的浏览器或音频 端点中使用语音模型。消息集成需要自己的设置; 当前的 Zulip 连接支持对话和主动 交付后台结果。

使用您已经拥有的计算机和工具

代理可以检查存储库、编辑文件、运行命令、搜索网络 和调用联网工具。技能添加了可重复使用的指令,而 MCP 连接增加了对外部服务的访问权限。

在 Mac 上,Colony 可以通过无障碍 树读取应用程序窗口、选择控件、键入、使用剪贴板和捕获屏幕。 这些操作需要相应的 macOS 权限。桌面 控制目前是特定于 macOS 的;Linux 安装中仍然有 其文件、终端、网络和联网工具。

当工作受益于不同的角色时,可以创建多个代理。他们 可以在工作空间的许可下共享工作空间和交换消息。 有限的工作流程为命名代理分配相关步骤,并将 生成的工件向前传递。对于实验来说,这可能意味着准备 输入、运行作业、审查其输出和撰写报告。

开发一款满足经常性需求的应用程序

Colony/从任务到保存的工作

一个正在运行的应用程序,已保存以供下一个任务使用。

  1. 01 / 构建

    在一个真实的项目中工作。

    代理使用项目的文件和允许的工具来制作应用程序。在这段录制的会议中,Colony 构建了一个科学计算器,并提交了六个文件,其中插入了 450 行。

    录制的应用程序提交e790c966 个文件·450 行插入
    • ui/index.html接口
    • ui/styles.css款式
    • ui/app.js逻辑和图形
    • data/latest.json应用程序数据
    • manifest.json定义
    • .gitignore排除项

    保存的应用程序可供下次对话使用。

    已录制的提交 e790c96。保存的项目包含接口、逻辑、应用程序数据和定义。
  2. 02 / 核对

    检查实际保存了什么。

    我们重新打开了应用程序并检查了 sqrt (9),它返回了 3。图像是保存的应用程序本身,因此可以在会话记录的同时检查结果。

    重新打开的应用程序/实际捕获

    保存的科学计算器,使用 sqrt (9) 进行检查,返回 3

    sqrt(9)3

    实际应用程序捕获。一项算术检查证明了这个保存的工件,而不是穷尽无遗的正确性。
  3. 03 / 继续

    首先在某个地方提出下一个请求。

    应用程序文件、数据和变更历史记录保留在工作空间中。以后的对话可以检查或更改同一个项目。代理内存和可重复使用的技能为持续工作提供了支持。

    保留的项目e790c966 个文件·450 行插入
    • ui/index.html接口
    • ui/styles.css款式
    • ui/app.js逻辑和图形
    • data/latest.json应用程序数据
    • manifest.json定义
    • .gitignore排除项
    下一个请求相同的文件、数据和历史记录
    相同的文件、应用程序数据和版本历史记录仍可供以后使用。

基于录制的计算器会话和重新打开的应用程序。此示例不衡量一般编码的可靠性。

让 Colony 根据简报构建一款小型应用:实验追踪器、 阅读清单、仪表盘、清单或提醒。该应用程序有自己的页面、 存储的数据和用于更改的对话。计划刷新可以在输入停止工作时 更新其数据和报告。

应用程序创建和计划维护使用不同的工具权限。 维护任务可以刷新应用程序的数据并读取其源代码;它不能 运行任意 shell 命令或重写应用程序的界面。当前 预览版提供您安装的 Colony 中的这些应用程序。仍在计划 为独立客户提供公共托管。

Colony · 录制的会话和保存的神器

录制的应用程序提交

科学计算器,
另存为六个文件。

该应用程序、其数据和变更历史记录仍可供下次请求使用。

提交
e790c96
记录的更改
6 个文件·450 行插入

已保存的应用程序

  • ui/index.html接口
  • ui/styles.css款式
  • ui/app.js计算器和图表
  • data/latest.json应用程序数据
  • manifest.json应用程序定义
  • .gitignore文件排除

已在重新打开的应用程序中检查 sqrt(9)3

检查原始会话和应用程序捕获

01/录制的构建会话

Colony 应用程序构建会话录制的摘录,该会话显示了文件提交情况及其科学计算器报告。

02/已保存的应用程序

实际保存的计算器应用程序已重新打开并使用 sqrt (9) 进行检查,返回 3。
对话后仍保留的应用程序。 保存的计算器项目的记录。原始会话和应用程序截图可在上面找到;已使用 sqrt (9) = 3 检查了重新打开的应用程序。 之前的界面截图,裁剪为该应用程序可以正常工作。此示例不衡量一般编码的可靠性。

你可以检查的内存

每个代理都有自己的笔记,以及与项目 成员共享的笔记。这些是包含作者和时间信息的 Markdown 文件。 代理可以使用普通工具搜索、读取、追加和更正它们。 共同的回忆留在项目中;智能体自己的笔记会 贯穿其工作空间。

随着票据的增长,限定合并期将它们合并为不断变化的 摘要。在重写之前,会为操作员存档源文件。 整合使用配置的模型,因此维护内存除了代理的前台工作外,还有自己的 推理成本。

会话历史记录与这些注释是分开的。搜索会读取存储的 脚本,而不仅仅是当前加载的用于推理的消息。 压缩可以缩短下一个模型请求的时间,而之前的工作 仍然可供检索。

保留证据,控制环境

通过 后续的模型调用发送大型构建日志和实验输出的成本很高。Colony 将超大工具结果存储 为完整的、内容寻址的工件,并为模型提供预览以及检索相关部分的 说明。

舞台当前的行为
保存结果超过 8,000 字节的输出将写入由 SHA-256 哈希标识的会话所属工件。
第一个模型视图最多 4,000 字节的前导内容,外加输出 ID、大小和检索指令。
进一步检查搜索匹配行或请求限定字节范围。结果包括行或字节位置。
保留来源完整的输出在会话的生命周期内仍然可用。相同的输出共享一个工件。

阈值描述的是当前的实施情况,而不是可衡量的代币 储蓄。检索会增加工具调用,有些任务需要全部输出。 如果保存工件失败,Colony 会以内联方式返回完整结果。

代理的稳定指令和工具定义也可以在一个回合内保持 一致的顺序,因此兼容的提供商可以重复使用其 提示前缀。使用记录包括提示、完成和 提供商报告的缓存令牌。实际节省的费用取决于终端、 工作量以及代理需要重新访问多少证据。

上下文检查器显示最新 回合发送的指令块,包括其大小和哈希值。将这些哈希值与 上一回合进行比较有助于确定 停止重复使用缓存时提示的哪一部分发生了变化。

将有用的工作带到下一个任务中

后台任务完成后,Colony 可以从其 录制的程序中草拟技能。在提案成为已安装 技能之前,您可以对其进行审查。源任务和模型随之记录,因此可重复使用的 过程具有可供您检查的历史记录。

Colony 会监视在 相同的输入上重复成功的前台操作。当模式再次出现时,它可以分配一个简短的任务来创建 可重复使用的脚本、安装技能或在工作空间 内存中记录程序。生成的工具可以检查并在以后的工作中使用。

这些机制会更改文件和程序,而不是模型权重。 技能绘制和内存整合都需要模型调用。工作是 有限的;后台任务无法递归地生成更多的重复 任务。

我们的研究兴趣是智能体可以在下一次任务 中积累多少有用的经验。脚本、程序和可检查的存储器为我们提供了 具体的测试对象:哪些可以重复使用,哪些会过时,以及它们在相同的模型和计算预算下 是否可以改善完成情况。

查看代理的实际所作所为

对话会保留消息、工具通话和结果。目标完成 使用单独的模型判断,根据执行 记录和工作空间工件审查标准。代理撰写的摘要被标记为 未经证实的索赔。即使 法官作出积极的裁决,缺少必需的文件也无法完成。

法官仍然可以犯错误。测试和其他独立验收 检查仍然是审查重要工作的一部分。在实时 对话中,Colony 可以要求人类做出决定并等待答案。 后台工作可能会将决策请求留待审查。权限 决定了每个代理可以访问哪些工具和工作空间。我们尚未 发布任务成功比较基准。

奔跑的 Colony

一项本地服务包括 API 和浏览器接口。它在 CPU 上运行; 配置的模型服务器和工具进程有自己的资源 需求。空闲会话工作人员会停止,直到更多输入到达,而 他们保存的状态仍保留在磁盘上。

连接现有的托管模型或单独运行的本地服务器。 对于隔离部署,模型、工具及其依赖关系必须在该环境中 全部可用。除非禁用更新,否则已安装的版本 会自动检查发行版;隔离安装需要 自己的更新流程。

技术预览

我们正在为使用持久 剂构建的人以及研究内存、工具使用和扩展任务的研究人员开放技术预览。 为代理提供一份持续的工作,为其提供所需的工具和检查其工作的 方法。我们想衡量下一 项任务会延续什么、它需要多少背景以及在哪些方面还 需要人工干预。

规格

  • 接口浏览器工作区、语音、命令行、终端接口和 API。
  • 平台苹果芯片上的 macOS;x86_64 和 ARM64 上的 Linux。
  • 模型连接您运行的模型服务器或托管终端节点。当前版本未捆绑模型。
  • 州本地文件:会话流、目标记录、工作空间工件和限定范围的 Markdown 内存。
  • 工具配置权限下的文件、终端、Web、Mac 桌面工具、已安装的技能和 MCP 连接。
  • 可用性后台工作在主机以及所需的型号和工具连接保持可用时运行。
  • 获取方式私人开发建筑。联系实验室获取技术预览。

其他系统

也在这里:re1