它能做什麼
讓它繼續工作
分配目標、設定提醒或安排定期任務。檢視進度並暫停同一工作空間中的工作。
在你的工具中工作
使用您授予的訪問許可權讀取和更改檔案、執行命令、研究 Web 和操作 Mac 應用程式。
記住並重復使用
在對話中保留專案知識和個人偏好。將已完成的工作轉化為可以複習的技能。
建造你需要的東西
根據簡報建立跟蹤器、儀表板或小型應用程式,其中包含儲存的資料和預定更新。
在 Colony 中,當工作 從一個對話轉移到下一個對話時,代理會保留自己的身份、工具和記憶。給它一個專案和它 需要的檔案;稍後再進行更正或執行新任務。之前的工作 仍然存在。
Colony 支援工程專案和個人任務:提醒、 電腦輔助和小型應用程式,可使有用資訊保持最新狀態。你執行環境並 選擇它使用的模型。
分配工作,然後繼續對話
請求可以成為一個持續的目標,並有明確的結果需要努力。 不同的任務在各自的對話中執行,因此緩慢的實驗並 不能阻礙其他所有工作。對於定期作業,設定間 隔;對於提醒,設定時間。關閉瀏覽器後 ,計劃的工作可以繼續,而 Colony 及其所需的連線仍在主機上 執行。
選擇如何獲得結果。例行報告可以與任務同步, 出現在對話中,或者在你要求被告知時打斷。 在實時語音對話中,可以說出中斷的報告。 否則,它將透過開放介面或已配置的渠道出現;當您返回時, 未送達的通知仍然可用。您可以檢查、 暫停或停止工作。
瀏覽器工作區將對話、檔案、代理、應用程式和 活動彙集在一起。語音可以在您配置的瀏覽器或音訊 端點中使用語音模型。訊息整合需要自己的設定; 當前的 Zulip 連線支援對話和主動 交付後臺結果。
使用您已經擁有的計算機和工具
代理可以檢查儲存庫、編輯檔案、執行命令、搜尋網路 和呼叫聯網工具。技能新增了可重複使用的指令,而 MCP 連線增加了對外部服務的訪問許可權。
在 Mac 上,Colony 可以透過無障礙 樹讀取應用程式視窗、選擇控制元件、鍵入、使用剪貼簿和捕獲螢幕。 這些操作需要相應的 macOS 許可權。桌面 控制目前是特定於 macOS 的;Linux 安裝中仍然有 其檔案、終端、網路和聯網工具。
當工作受益於不同的角色時,可以建立多個代理。他們 可以在工作空間的許可下共享工作空間和交換訊息。 有限的工作流程為命名代理分配相關步驟,並將 生成的工件向前傳遞。對於實驗來說,這可能意味著準備 輸入、執行作業、審查其輸出和撰寫報告。
開發一款滿足經常性需求的應用程式
Colony/從任務到儲存的工作
一個正在執行的應用程式,已儲存以供下一個任務使用。
01 / 構建
在一個真實的專案中工作。
代理使用專案的檔案和允許的工具來製作應用程式。在這段錄製的會議中,Colony 構建了一個科學計算器,並提交了六個檔案,其中插入了 450 行。
錄製的應用程式提交e790c966 個檔案·450 行插入ui/index.html介面ui/styles.css款式ui/app.js邏輯和圖形data/latest.json應用程式資料manifest.json定義.gitignore排除項
儲存的應用程式可供下次對話使用。
已錄製的提交 e790c96。儲存的專案包含介面、邏輯、應用程式資料和定義。 02 / 核對
檢查實際儲存了什麼。
我們重新開啟了應用程式並檢查了 sqrt (9),它返回了 3。影象是儲存的應用程式本身,因此可以在會話記錄的同時檢查結果。
實際應用程式捕獲。一項算術檢查證明了這個儲存的工件,而不是窮盡無遺的正確性。 03 / 繼續
首先在某個地方提出下一個請求。
應用程式檔案、資料和變更歷史記錄保留在工作空間中。以後的對話可以檢查或更改同一個專案。代理記憶體和可重複使用的技能為持續工作提供了支援。
保留的專案e790c966 個檔案·450 行插入ui/index.html介面ui/styles.css款式ui/app.js邏輯和圖形data/latest.json應用程式資料manifest.json定義.gitignore排除項
下一個請求相同的檔案、資料和歷史記錄相同的檔案、應用程式資料和版本歷史記錄仍可供以後使用。
基於錄製的計算器會話和重新開啟的應用程式。此示例不衡量一般編碼的可靠性。
讓 Colony 根據簡報構建一款小型應用:實驗追蹤器、 閱讀清單、儀表盤、清單或提醒。該應用程式有自己的頁面、 儲存的資料和用於更改的對話。計劃重新整理可以在輸入停止工作時 更新其資料和報告。
應用程式建立和計劃維護使用不同的工具許可權。 維護任務可以重新整理應用程式的資料並讀取其原始碼;它不能 執行任意 shell 命令或重寫應用程式的介面。當前 預覽版提供您安裝的 Colony 中的這些應用程式。仍在計劃 為獨立客戶提供公共託管。
錄製的應用程式提交
科學計算器,
另存為六個檔案。
該應用程式、其資料和變更歷史記錄仍可供下次請求使用。
- 提交
e790c96- 記錄的更改
- 6 個檔案·450 行插入
已儲存的應用程式
ui/index.html介面ui/styles.css款式ui/app.js計算器和圖表data/latest.json應用程式資料manifest.json應用程式定義.gitignore檔案排除
已在重新開啟的應用程式中檢查 sqrt(9)3
你可以檢查的記憶體
每個代理都有自己的筆記,以及與專案 成員共享的筆記。這些是包含作者和時間資訊的 Markdown 檔案。 代理可以使用普通工具搜尋、讀取、追加和更正它們。 共同的回憶留在專案中;智慧體自己的筆記會 貫穿其工作空間。
隨著票據的增長,限定合併期將它們合併為不斷變化的 摘要。在重寫之前,會為操作員存檔原始檔。 整合使用配置的模型,因此維護記憶體除了代理的前臺工作外,還有自己的 推理成本。
會話歷史記錄與這些註釋是分開的。搜尋會讀取儲存的 指令碼,而不僅僅是當前載入的用於推理的訊息。 壓縮可以縮短下一個模型請求的時間,而之前的工作 仍然可供檢索。
保留證據,控制環境
透過 後續的模型呼叫傳送大型構建日誌和實驗輸出的成本很高。Colony 將超大工具結果儲存 為完整的、內容定址的工件,併為模型提供預覽以及檢索相關部分的 說明。
| 舞臺 | 當前的行為 |
|---|---|
| 儲存結果 | 超過 8,000 位元組的輸出將寫入由 SHA-256 雜湊標識的會話所屬工件。 |
| 第一個模型檢視 | 最多 4,000 位元組的前導內容,外加輸出 ID、大小和檢索指令。 |
| 進一步檢查 | 搜尋匹配行或請求限定位元組範圍。結果包括行或位元組位置。 |
| 保留來源 | 完整的輸出在會話的生命週期內仍然可用。相同的輸出共享一個工件。 |
閾值描述的是當前的實施情況,而不是可衡量的代幣 儲蓄。檢索會增加工具呼叫,有些任務需要全部輸出。 如果儲存工件失敗,Colony 會以內聯方式返回完整結果。
代理的穩定指令和工具定義也可以在一個回合內保持 一致的順序,因此相容的提供商可以重複使用其 提示字首。使用記錄包括提示、完成和 提供商報告的快取令牌。實際節省的費用取決於終端、 工作量以及代理需要重新訪問多少證據。
上下文檢查器顯示最新 回合傳送的指令塊,包括其大小和雜湊值。將這些雜湊值與 上一回合進行比較有助於確定 停止重複使用快取時提示的哪一部分發生了變化。
將有用的工作帶到下一個任務中
後臺任務完成後,Colony 可以從其 錄製的程式中草擬技能。在提案成為已安裝 技能之前,您可以對其進行審查。源任務和模型隨之記錄,因此可重複使用的 過程具有可供您檢查的歷史記錄。
Colony 會監視在 相同的輸入上重複成功的前臺操作。當模式再次出現時,它可以分配一個簡短的任務來建立 可重複使用的指令碼、安裝技能或在工作空間 記憶體中記錄程式。生成的工具可以檢查並在以後的工作中使用。
這些機制會更改檔案和程式,而不是模型權重。 技能繪製和記憶體整合都需要模型呼叫。工作是 有限的;後臺任務無法遞迴地生成更多的重複 任務。
我們的研究興趣是智慧體可以在下一次任務 中積累多少有用的經驗。指令碼、程式和可檢查的儲存器為我們提供了 具體的測試物件:哪些可以重複使用,哪些會過時,以及它們在相同的模型和計算預算下 是否可以改善完成情況。
檢視代理的實際所作所為
對話會保留訊息、工具通話和結果。目標完成 使用單獨的模型判斷,根據執行 記錄和工作空間工件審查標準。代理撰寫的摘要被標記為 未經證實的索賠。即使 法官作出積極的裁決,缺少必需的檔案也無法完成。
法官仍然可以犯錯誤。測試和其他獨立驗收 檢查仍然是審查重要工作的一部分。在實時 對話中,Colony 可以要求人類做出決定並等待答案。 後臺工作可能會將決策請求留待審查。許可權 決定了每個代理可以訪問哪些工具和工作空間。我們尚未 釋出任務成功比較基準。
奔跑的 Colony
一項本地服務包括 API 和瀏覽器介面。它在 CPU 上執行; 配置的模型伺服器和工具程序有自己的資源 需求。空閒會話工作人員會停止,直到更多輸入到達,而 他們儲存的狀態仍保留在磁碟上。
連線現有的託管模型或單獨執行的本地伺服器。 對於隔離部署,模型、工具及其依賴關係必須在該環境中 全部可用。除非禁用更新,否則已安裝的版本 會自動檢查發行版;隔離安裝需要 自己的更新流程。
技術預覽
我們正在為使用持久 劑構建的人以及研究記憶體、工具使用和擴充套件任務的研究人員開放技術預覽。 為代理提供一份持續的工作,為其提供所需的工具和檢查其工作的 方法。我們想衡量下一 項任務會延續什麼、它需要多少背景以及在哪些方面還 需要人工干預。
規格
- 介面瀏覽器工作區、語音、命令列、終端介面和 API。
- 平臺蘋果晶片上的 macOS;x86_64 和 ARM64 上的 Linux。
- 模型連線您執行的模型伺服器或託管終端節點。當前版本未捆綁模型。
- 州本地檔案:會話流、目標記錄、工作空間工件和限定範圍的 Markdown 記憶體。
- 工具配置許可權下的檔案、終端、Web、Mac 桌面工具、已安裝的技能和 MCP 連線。
- 可用性後臺工作在主機以及所需的型號和工具連線保持可用時執行。
- 獲取方式私人開發建築。聯絡實驗室獲取技術預覽。
其他系統
也在這裡:re1

