繁
聯絡
選單

系統

Colony

在對話中持續工作的個人智慧體。為他們提供專案、工具和記憶體。他們可以在你控制的計算機上編寫程式碼、使用你的 Mac、構建小應用程式並恢復原定工作。

可應要求提供技術預覽。

Colony/跨對話開展工作

01/分配

要處理的專案描述結果、繼續執行任務或設定時間表

02/工作

代理根據您授予的訪問許可權使用您的工具:檔案、程式碼和關聯的應用程式

03/繼續

下次再次有用專案記憶體、可重複使用的技能和包含儲存資料的應用程式

它能做什麼

  • 讓它繼續工作

    分配目標、設定提醒或安排定期任務。檢視進度並暫停同一工作空間中的工作。

  • 在你的工具中工作

    使用您授予的訪問許可權讀取和更改檔案、執行命令、研究 Web 和操作 Mac 應用程式。

  • 記住並重復使用

    在對話中保留專案知識和個人偏好。將已完成的工作轉化為可以複習的技能。

  • 建造你需要的東西

    根據簡報建立跟蹤器、儀表板或小型應用程式,其中包含儲存的資料和預定更新。

在 Colony 中,當工作 從一個對話轉移到下一個對話時,代理會保留自己的身份、工具和記憶。給它一個專案和它 需要的檔案;稍後再進行更正或執行新任務。之前的工作 仍然存在。

Colony 支援工程專案和個人任務:提醒、 電腦輔助和小型應用程式,可使有用資訊保持最新狀態。你執行環境並 選擇它使用的模型。

分配工作,然後繼續對話

請求可以成為一個持續的目標,並有明確的結果需要努力。 不同的任務在各自的對話中執行,因此緩慢的實驗並 不能阻礙其他所有工作。對於定期作業,設定間 隔;對於提醒,設定時間。關閉瀏覽器後 ,計劃的工作可以繼續,而 Colony 及其所需的連線仍在主機上 執行。

選擇如何獲得結果。例行報告可以與任務同步, 出現在對話中,或者在你要求被告知時打斷。 在實時語音對話中,可以說出中斷的報告。 否則,它將透過開放介面或已配置的渠道出現;當您返回時, 未送達的通知仍然可用。您可以檢查、 暫停或停止工作。

瀏覽器工作區將對話、檔案、代理、應用程式和 活動彙集在一起。語音可以在您配置的瀏覽器或音訊 端點中使用語音模型。訊息整合需要自己的設定; 當前的 Zulip 連線支援對話和主動 交付後臺結果。

使用您已經擁有的計算機和工具

代理可以檢查儲存庫、編輯檔案、執行命令、搜尋網路 和呼叫聯網工具。技能新增了可重複使用的指令,而 MCP 連線增加了對外部服務的訪問許可權。

在 Mac 上,Colony 可以透過無障礙 樹讀取應用程式視窗、選擇控制元件、鍵入、使用剪貼簿和捕獲螢幕。 這些操作需要相應的 macOS 許可權。桌面 控制目前是特定於 macOS 的;Linux 安裝中仍然有 其檔案、終端、網路和聯網工具。

當工作受益於不同的角色時,可以建立多個代理。他們 可以在工作空間的許可下共享工作空間和交換訊息。 有限的工作流程為命名代理分配相關步驟,並將 生成的工件向前傳遞。對於實驗來說,這可能意味著準備 輸入、執行作業、審查其輸出和撰寫報告。

開發一款滿足經常性需求的應用程式

Colony/從任務到儲存的工作

一個正在執行的應用程式,已儲存以供下一個任務使用。

  1. 01 / 構建

    在一個真實的專案中工作。

    代理使用專案的檔案和允許的工具來製作應用程式。在這段錄製的會議中,Colony 構建了一個科學計算器,並提交了六個檔案,其中插入了 450 行。

    錄製的應用程式提交e790c966 個檔案·450 行插入
    • ui/index.html介面
    • ui/styles.css款式
    • ui/app.js邏輯和圖形
    • data/latest.json應用程式資料
    • manifest.json定義
    • .gitignore排除項

    儲存的應用程式可供下次對話使用。

    已錄製的提交 e790c96。儲存的專案包含介面、邏輯、應用程式資料和定義。
  2. 02 / 核對

    檢查實際儲存了什麼。

    我們重新開啟了應用程式並檢查了 sqrt (9),它返回了 3。影象是儲存的應用程式本身,因此可以在會話記錄的同時檢查結果。

    重新開啟的應用程式/實際捕獲

    儲存的科學計算器,使用 sqrt (9) 進行檢查,返回 3

    sqrt(9)3

    實際應用程式捕獲。一項算術檢查證明了這個儲存的工件,而不是窮盡無遺的正確性。
  3. 03 / 繼續

    首先在某個地方提出下一個請求。

    應用程式檔案、資料和變更歷史記錄保留在工作空間中。以後的對話可以檢查或更改同一個專案。代理記憶體和可重複使用的技能為持續工作提供了支援。

    保留的專案e790c966 個檔案·450 行插入
    • ui/index.html介面
    • ui/styles.css款式
    • ui/app.js邏輯和圖形
    • data/latest.json應用程式資料
    • manifest.json定義
    • .gitignore排除項
    下一個請求相同的檔案、資料和歷史記錄
    相同的檔案、應用程式資料和版本歷史記錄仍可供以後使用。

基於錄製的計算器會話和重新開啟的應用程式。此示例不衡量一般編碼的可靠性。

讓 Colony 根據簡報構建一款小型應用:實驗追蹤器、 閱讀清單、儀表盤、清單或提醒。該應用程式有自己的頁面、 儲存的資料和用於更改的對話。計劃重新整理可以在輸入停止工作時 更新其資料和報告。

應用程式建立和計劃維護使用不同的工具許可權。 維護任務可以重新整理應用程式的資料並讀取其原始碼;它不能 執行任意 shell 命令或重寫應用程式的介面。當前 預覽版提供您安裝的 Colony 中的這些應用程式。仍在計劃 為獨立客戶提供公共託管。

Colony · 錄製的會話和儲存的神器

錄製的應用程式提交

科學計算器,
另存為六個檔案。

該應用程式、其資料和變更歷史記錄仍可供下次請求使用。

提交
e790c96
記錄的更改
6 個檔案·450 行插入

已儲存的應用程式

  • ui/index.html介面
  • ui/styles.css款式
  • ui/app.js計算器和圖表
  • data/latest.json應用程式資料
  • manifest.json應用程式定義
  • .gitignore檔案排除

已在重新開啟的應用程式中檢查 sqrt(9)3

檢查原始會話和應用程式捕獲

01/錄製的構建會話

Colony 應用程式構建會話錄製的摘錄,該會話顯示了檔案提交情況及其科學計算器報告。

02/已儲存的應用程式

實際儲存的計算器應用程式已重新開啟並使用 sqrt (9) 進行檢查,返回 3。
對話後仍保留的應用程式。 儲存的計算器專案的記錄。原始會話和應用程式截圖可在上面找到;已使用 sqrt (9) = 3 檢查了重新開啟的應用程式。 之前的介面截圖,裁剪為該應用程式可以正常工作。此示例不衡量一般編碼的可靠性。

你可以檢查的記憶體

每個代理都有自己的筆記,以及與專案 成員共享的筆記。這些是包含作者和時間資訊的 Markdown 檔案。 代理可以使用普通工具搜尋、讀取、追加和更正它們。 共同的回憶留在專案中;智慧體自己的筆記會 貫穿其工作空間。

隨著票據的增長,限定合併期將它們合併為不斷變化的 摘要。在重寫之前,會為操作員存檔原始檔。 整合使用配置的模型,因此維護記憶體除了代理的前臺工作外,還有自己的 推理成本。

會話歷史記錄與這些註釋是分開的。搜尋會讀取儲存的 指令碼,而不僅僅是當前載入的用於推理的訊息。 壓縮可以縮短下一個模型請求的時間,而之前的工作 仍然可供檢索。

保留證據,控制環境

透過 後續的模型呼叫傳送大型構建日誌和實驗輸出的成本很高。Colony 將超大工具結果儲存 為完整的、內容定址的工件,併為模型提供預覽以及檢索相關部分的 說明。

舞臺當前的行為
儲存結果超過 8,000 位元組的輸出將寫入由 SHA-256 雜湊標識的會話所屬工件。
第一個模型檢視最多 4,000 位元組的前導內容,外加輸出 ID、大小和檢索指令。
進一步檢查搜尋匹配行或請求限定位元組範圍。結果包括行或位元組位置。
保留來源完整的輸出在會話的生命週期內仍然可用。相同的輸出共享一個工件。

閾值描述的是當前的實施情況,而不是可衡量的代幣 儲蓄。檢索會增加工具呼叫,有些任務需要全部輸出。 如果儲存工件失敗,Colony 會以內聯方式返回完整結果。

代理的穩定指令和工具定義也可以在一個回合內保持 一致的順序,因此相容的提供商可以重複使用其 提示字首。使用記錄包括提示、完成和 提供商報告的快取令牌。實際節省的費用取決於終端、 工作量以及代理需要重新訪問多少證據。

上下文檢查器顯示最新 回合傳送的指令塊,包括其大小和雜湊值。將這些雜湊值與 上一回合進行比較有助於確定 停止重複使用快取時提示的哪一部分發生了變化。

將有用的工作帶到下一個任務中

後臺任務完成後,Colony 可以從其 錄製的程式中草擬技能。在提案成為已安裝 技能之前,您可以對其進行審查。源任務和模型隨之記錄,因此可重複使用的 過程具有可供您檢查的歷史記錄。

Colony 會監視在 相同的輸入上重複成功的前臺操作。當模式再次出現時,它可以分配一個簡短的任務來建立 可重複使用的指令碼、安裝技能或在工作空間 記憶體中記錄程式。生成的工具可以檢查並在以後的工作中使用。

這些機制會更改檔案和程式,而不是模型權重。 技能繪製和記憶體整合都需要模型呼叫。工作是 有限的;後臺任務無法遞迴地生成更多的重複 任務。

我們的研究興趣是智慧體可以在下一次任務 中積累多少有用的經驗。指令碼、程式和可檢查的儲存器為我們提供了 具體的測試物件:哪些可以重複使用,哪些會過時,以及它們在相同的模型和計算預算下 是否可以改善完成情況。

檢視代理的實際所作所為

對話會保留訊息、工具通話和結果。目標完成 使用單獨的模型判斷,根據執行 記錄和工作空間工件審查標準。代理撰寫的摘要被標記為 未經證實的索賠。即使 法官作出積極的裁決,缺少必需的檔案也無法完成。

法官仍然可以犯錯誤。測試和其他獨立驗收 檢查仍然是審查重要工作的一部分。在實時 對話中,Colony 可以要求人類做出決定並等待答案。 後臺工作可能會將決策請求留待審查。許可權 決定了每個代理可以訪問哪些工具和工作空間。我們尚未 釋出任務成功比較基準。

奔跑的 Colony

一項本地服務包括 API 和瀏覽器介面。它在 CPU 上執行; 配置的模型伺服器和工具程序有自己的資源 需求。空閒會話工作人員會停止,直到更多輸入到達,而 他們儲存的狀態仍保留在磁碟上。

連線現有的託管模型或單獨執行的本地伺服器。 對於隔離部署,模型、工具及其依賴關係必須在該環境中 全部可用。除非禁用更新,否則已安裝的版本 會自動檢查發行版;隔離安裝需要 自己的更新流程。

技術預覽

我們正在為使用持久 劑構建的人以及研究記憶體、工具使用和擴充套件任務的研究人員開放技術預覽。 為代理提供一份持續的工作,為其提供所需的工具和檢查其工作的 方法。我們想衡量下一 項任務會延續什麼、它需要多少背景以及在哪些方面還 需要人工干預。

規格

  • 介面瀏覽器工作區、語音、命令列、終端介面和 API。
  • 平臺蘋果晶片上的 macOS;x86_64 和 ARM64 上的 Linux。
  • 模型連線您執行的模型伺服器或託管終端節點。當前版本未捆綁模型。
  • 州本地檔案:會話流、目標記錄、工作空間工件和限定範圍的 Markdown 記憶體。
  • 工具配置許可權下的檔案、終端、Web、Mac 桌面工具、已安裝的技能和 MCP 連線。
  • 可用性後臺工作在主機以及所需的型號和工具連線保持可用時執行。
  • 獲取方式私人開發建築。聯絡實驗室獲取技術預覽。

其他系統

也在這裡:re1