[系統](https://www.goodailabs.com/zh-tw/products/) # Colony 在對話中持續工作的個人智慧體。為他們提供專案、工具和記憶體。他們可以在你控制的計算機上編寫程式碼、使用你的 Mac、構建小應用程式並恢復原定工作。 可應要求提供技術預覽。 [申請技術預覽 ↗](mailto:research@goodailabs.com?subject=Colony+technical+preview) [閱讀公告 ↗](https://www.goodailabs.com/zh-tw/blog/colony-runtime-and-model-budget/) Colony/跨對話開展工作 01/分配 要處理的專案描述結果、繼續執行任務或設定時間表 02/工作 代理根據您授予的訪問許可權使用您的工具:檔案、程式碼和關聯的應用程式 03/繼續 下次再次有用專案記憶體、可重複使用的技能和包含儲存資料的應用程式 能力 ## 它能做什麼 - ### 讓它繼續工作 分配目標、設定提醒或安排定期任務。檢視進度並暫停同一工作空間中的工作。 - ### 在你的工具中工作 使用您授予的訪問許可權讀取和更改檔案、執行命令、研究 Web 和操作 Mac 應用程式。 - ### 記住並重復使用 在對話中保留專案知識和個人偏好。將已完成的工作轉化為可以複習的技能。 - ### 建造你需要的東西 根據簡報建立跟蹤器、儀表板或小型應用程式,其中包含儲存的資料和預定更新。 在 Colony 中,當工作 從一個對話轉移到下一個對話時,代理會保留自己的身份、工具和記憶。給它一個專案和它 需要的檔案;稍後再進行更正或執行新任務。之前的工作 仍然存在。 Colony 支援工程專案和個人任務:提醒、 電腦輔助和小型應用程式,可使有用資訊保持最新狀態。你執行環境並 選擇它使用的模型。 ## 分配工作,然後繼續對話 請求可以成為一個持續的目標,並有明確的結果需要努力。 不同的任務在各自的對話中執行,因此緩慢的實驗並 不能阻礙其他所有工作。對於定期作業,設定間 隔;對於提醒,設定時間。關閉瀏覽器後 ,計劃的工作可以繼續,而 Colony 及其所需的連線仍在主機上 執行。 選擇如何獲得結果。例行報告可以與任務同步, 出現在對話中,或者在你要求被告知時打斷。 在實時語音對話中,可以說出中斷的報告。 否則,它將透過開放介面或已配置的渠道出現;當您返回時, 未送達的通知仍然可用。您可以檢查、 暫停或停止工作。 瀏覽器工作區將對話、檔案、代理、應用程式和 活動彙集在一起。語音可以在您配置的瀏覽器或音訊 端點中使用語音模型。訊息整合需要自己的設定; 當前的 Zulip 連線支援對話和主動 交付後臺結果。 ## 使用您已經擁有的計算機和工具 代理可以檢查儲存庫、編輯檔案、執行命令、搜尋網路 和呼叫聯網工具。技能新增了可重複使用的指令,而 MCP 連線增加了對外部服務的訪問許可權。 在 Mac 上,Colony 可以透過無障礙 樹讀取應用程式視窗、選擇控制元件、鍵入、使用剪貼簿和捕獲螢幕。 這些操作需要相應的 macOS 許可權。桌面 控制目前是特定於 macOS 的;Linux 安裝中仍然有 其檔案、終端、網路和聯網工具。 當工作受益於不同的角色時,可以建立多個代理。他們 可以在工作空間的許可下共享工作空間和交換訊息。 有限的工作流程為命名代理分配相關步驟,並將 生成的工件向前傳遞。對於實驗來說,這可能意味著準備 輸入、執行作業、審查其輸出和撰寫報告。 ## 開發一款滿足經常性需求的應用程式 Colony/從任務到儲存的工作 ### 一個正在執行的應用程式,已儲存以供下一個任務使用。 - 01 / 構建 #### 在一個真實的專案中工作。 代理使用專案的檔案和允許的工具來製作應用程式。在這段錄製的會議中,Colony 構建了一個科學計算器,並提交了六個檔案,其中插入了 450 行。 錄製的應用程式提交e790c966 個檔案·450 行插入 - ui/index.html介面 - ui/styles.css款式 - ui/app.js邏輯和圖形 - data/latest.json應用程式資料 - manifest.json定義 - .gitignore排除項 儲存的應用程式可供下次對話使用。 已錄製的提交 e790c96。儲存的專案包含介面、邏輯、應用程式資料和定義。 - 02 / 核對 #### 檢查實際儲存了什麼。 我們重新開啟了應用程式並檢查了 sqrt (9),它返回了 3。影象是儲存的應用程式本身,因此可以在會話記錄的同時檢查結果。 重新開啟的應用程式/實際捕獲 [儲存的科學計算器,使用 sqrt (9) 進行檢查,返回 3](https://www.goodailabs.com/media/colony/calculator.webp) sqrt(9)→3 實際應用程式捕獲。一項算術檢查證明了這個儲存的工件,而不是窮盡無遺的正確性。 - 03 / 繼續 #### 首先在某個地方提出下一個請求。 應用程式檔案、資料和變更歷史記錄保留在工作空間中。以後的對話可以檢查或更改同一個專案。代理記憶體和可重複使用的技能為持續工作提供了支援。 保留的專案e790c966 個檔案·450 行插入 - ui/index.html介面 - ui/styles.css款式 - ui/app.js邏輯和圖形 - data/latest.json應用程式資料 - manifest.json定義 - .gitignore排除項 下一個請求↓相同的檔案、資料和歷史記錄 相同的檔案、應用程式資料和版本歷史記錄仍可供以後使用。 基於錄製的計算器會話和重新開啟的應用程式。此示例不衡量一般編碼的可靠性。 讓 Colony 根據簡報構建一款小型應用:實驗追蹤器、 閱讀清單、儀表盤、清單或提醒。該應用程式有自己的頁面、 儲存的資料和用於更改的對話。計劃重新整理可以在輸入停止工作時 更新其資料和報告。 應用程式建立和計劃維護使用不同的工具許可權。 維護任務可以重新整理應用程式的資料並讀取其原始碼;它不能 執行任意 shell 命令或重寫應用程式的介面。當前 預覽版提供您安裝的 Colony 中的這些應用程式。仍在計劃 為獨立客戶提供公共託管。 Colony · 錄製的會話和儲存的神器 錄製的應用程式提交 ## 科學計算器, 另存為六個檔案。 該應用程式、其資料和變更歷史記錄仍可供下次請求使用。 提交 e790c96 記錄的更改 6 個檔案·450 行插入 已儲存的應用程式 - ui/index.html介面 - ui/styles.css款式 - ui/app.js計算器和圖表 - data/latest.json應用程式資料 - manifest.json應用程式定義 - .gitignore檔案排除 已在重新開啟的應用程式中檢查 sqrt(9)→3 檢查原始會話和應用程式捕獲 01/錄製的構建會話 [Colony 應用程式構建會話錄製的摘錄,該會話顯示了檔案提交情況及其科學計算器報告。](https://www.goodailabs.com/media/colony/app-session.webp) 02/已儲存的應用程式 [實際儲存的計算器應用程式已重新開啟並使用 sqrt (9) 進行檢查,返回 3。](https://www.goodailabs.com/media/colony/calculator.webp) 對話後仍保留的應用程式。 儲存的計算器專案的記錄。原始會話和應用程式截圖可在上面找到;已使用 sqrt (9) = 3 檢查了重新開啟的應用程式。 之前的介面截圖,裁剪為該應用程式可以正常工作。此示例不衡量一般編碼的可靠性。 ## 你可以檢查的記憶體 每個代理都有自己的筆記,以及與專案 成員共享的筆記。這些是包含作者和時間資訊的 Markdown 檔案。 代理可以使用普通工具搜尋、讀取、追加和更正它們。 共同的回憶留在專案中;智慧體自己的筆記會 貫穿其工作空間。 隨著票據的增長,限定合併期將它們合併為不斷變化的 摘要。在重寫之前,會為操作員存檔原始檔。 整合使用配置的模型,因此維護記憶體除了代理的前臺工作外,還有自己的 推理成本。 會話歷史記錄與這些註釋是分開的。搜尋會讀取儲存的 指令碼,而不僅僅是當前載入的用於推理的訊息。 壓縮可以縮短下一個模型請求的時間,而之前的工作 仍然可供檢索。 ## 保留證據,控制環境 透過 後續的模型呼叫傳送大型構建日誌和實驗輸出的成本很高。Colony 將超大工具結果儲存 為完整的、內容定址的工件,併為模型提供預覽以及檢索相關部分的 說明。 舞臺 | 當前的行為 | 儲存結果 | 超過 8,000 位元組的輸出將寫入由 SHA-256 雜湊標識的會話所屬工件。 | 第一個模型檢視 | 最多 4,000 位元組的前導內容,外加輸出 ID、大小和檢索指令。 | 進一步檢查 | 搜尋匹配行或請求限定位元組範圍。結果包括行或位元組位置。 | 保留來源 | 完整的輸出在會話的生命週期內仍然可用。相同的輸出共享一個工件。 | 閾值描述的是當前的實施情況,而不是可衡量的代幣 儲蓄。檢索會增加工具呼叫,有些任務需要全部輸出。 如果儲存工件失敗,Colony 會以內聯方式返回完整結果。 代理的穩定指令和工具定義也可以在一個回合內保持 一致的順序,因此相容的提供商可以重複使用其 提示字首。使用記錄包括提示、完成和 提供商報告的快取令牌。實際節省的費用取決於終端、 工作量以及代理需要重新訪問多少證據。 上下文檢查器顯示最新 回合傳送的指令塊,包括其大小和雜湊值。將這些雜湊值與 上一回合進行比較有助於確定 停止重複使用快取時提示的哪一部分發生了變化。 ## 將有用的工作帶到下一個任務中 後臺任務完成後,Colony 可以從其 錄製的程式中草擬技能。在提案成為已安裝 技能之前,您可以對其進行審查。源任務和模型隨之記錄,因此可重複使用的 過程具有可供您檢查的歷史記錄。 Colony 會監視在 相同的輸入上重複成功的前臺操作。當模式再次出現時,它可以分配一個簡短的任務來建立 可重複使用的指令碼、安裝技能或在工作空間 記憶體中記錄程式。生成的工具可以檢查並在以後的工作中使用。 這些機制會更改檔案和程式,而不是模型權重。 技能繪製和記憶體整合都需要模型呼叫。工作是 有限的;後臺任務無法遞迴地生成更多的重複 任務。 我們的研究興趣是智慧體可以在下一次任務 中積累多少有用的經驗。指令碼、程式和可檢查的儲存器為我們提供了 具體的測試物件:哪些可以重複使用,哪些會過時,以及它們在相同的模型和計算預算下 是否可以改善完成情況。 ## 檢視代理的實際所作所為 對話會保留訊息、工具通話和結果。目標完成 使用單獨的模型判斷,根據執行 記錄和工作空間工件審查標準。代理撰寫的摘要被標記為 未經證實的索賠。即使 法官作出積極的裁決,缺少必需的檔案也無法完成。 法官仍然可以犯錯誤。測試和其他獨立驗收 檢查仍然是審查重要工作的一部分。在實時 對話中,Colony 可以要求人類做出決定並等待答案。 後臺工作可能會將決策請求留待審查。許可權 決定了每個代理可以訪問哪些工具和工作空間。我們尚未 釋出任務成功比較基準。 ## 奔跑的 Colony 一項本地服務包括 API 和瀏覽器介面。它在 CPU 上執行; 配置的模型伺服器和工具程序有自己的資源 需求。空閒會話工作人員會停止,直到更多輸入到達,而 他們儲存的狀態仍保留在磁碟上。 連線現有的託管模型或單獨執行的本地伺服器。 對於隔離部署,模型、工具及其依賴關係必須在該環境中 全部可用。除非禁用更新,否則已安裝的版本 會自動檢查發行版;隔離安裝需要 自己的更新流程。 ## 技術預覽 我們正在為使用持久 劑構建的人以及研究記憶體、工具使用和擴充套件任務的研究人員開放技術預覽。 為代理提供一份持續的工作,為其提供所需的工具和檢查其工作的 方法。我們想衡量下一 項任務會延續什麼、它需要多少背景以及在哪些方面還 需要人工干預。 規格 ## 規格 - 介面瀏覽器工作區、語音、命令列、終端介面和 API。 - 平臺蘋果晶片上的 macOS;x86_64 和 ARM64 上的 Linux。 - 模型連線您執行的模型伺服器或託管終端節點。當前版本未捆綁模型。 - 州本地檔案:會話流、目標記錄、工作空間工件和限定範圍的 Markdown 記憶體。 - 工具配置許可權下的檔案、終端、Web、Mac 桌面工具、已安裝的技能和 MCP 連線。 - 可用性後臺工作在主機以及所需的型號和工具連線保持可用時執行。 - 獲取方式私人開發建築。聯絡實驗室獲取技術預覽。 ## 其他系統 也在這裡:[re1](https://www.goodailabs.com/zh-tw/products/re1/)