Reflex-1

概覽

許多代理決策都以一個選擇告終：哪個佇列接收請求， 哪個工具適合任務，或者接下來要執行哪個操作。Reflex-1在一次正向傳遞 中對您的應用程式提供的選擇進行評分。它返回 機率分佈，應用程式可以使用該分佈來做出決定。

本研究沿著 Jev 探索的決策模型方向，採用不同的架構與監督訓練流程。28 層上下文編碼器和六層候選編碼器連接至共用評分頭。目前的檢查點更新了全部 420,778,370 個參數。

預設公開下載的是最新微調檢查點。其模型卡包含目前的評估結果與 CPU 測量。下方註明日期的研究與錄影保留其原始檢查點識別資訊。

目前結果

10 月 5 日發布的模型使用固定控制器，完成了 21/30 個原生 MiniWoB++ 瀏覽器回合。在 495 個 Banking77 樣本上的準確率為 92.93%。這些是訓練中已涉及之任務類別的保留子集，並非完整基準成績。

在 Intel Xeon Platinum 8558 CPU 上，使用四個運算執行緒時，Banking77 推論的中位延遲為 375.2 ms，p95 為 452.1 ms。包含載入、暖機與推論，程序記憶體峰值為 2.17 GiB。

完整評估尚未完成。BoolQ、RACE 與公開 JevBench 診斷的表現較上一檢查點下降；原生 Dino 在 0/16 次嘗試中達到 60 秒目標。目前 GPU 延遲尚未測量。已發布的評估記錄了檢查點、測試條件與尚未完成的項目。

它是如何運作的

每個請求都提供候選答案。該模型在其代幣限制範圍內支援每個問題 1—255 個 選項，並且多個問題可以 共享一個壓縮狀態。支援應用程式可以提供自己的佇列； 代理可以提供其可用工具的描述。新的決策 型別需要自己的準確性測試。

模型對提供的選項進行評分；應用程式構造工具引數 並決定允許哪些操作。狀態文字的上限為 512 個 上下文令牌生成器令牌，並且可以透過請求預算進一步縮短。 每個選項最多可接受 512 個期權代幣生成器代幣。檢查state_truncated 何時可能縮短了上下文。

示例

下方範例與決策品質比較使用 10 月 3 日的快照。速度與資源測量另行標註。每段錄影保留實際結局，包括失敗。

Chromium Dino

本錄屏使用 Chromium 原版 chrome://dino 遊戲。Reflex-1 接收當前可見障礙物的幾何資訊，選擇奔跑、跳躍或下蹲。原生鍵盤事件執行這些選擇，推理期間遊戲時鐘持續執行。影片以正常速度展示真實瀏覽器畫面。

Reflex-1 · 原版 Chromium43.6 秒 · 無聲影片

該快照的兩次嘗試分別在 42.31 秒和 30.41 秒後發生碰撞，均未達到 60 秒上限。較長的一次先展示。兩次使用獨立隨機賽道，不能據此進行配對模型比較。下方保留完整的第二次嘗試。

觀看第二次 Dino 嘗試

Reflex-1 · 原版 Chromium31.8 秒 · 無聲影片

ViZDoom

遊戲為原生 ViZDoom 的 Defend the Center 場景，難度為 5。Reflex-1 根據可見物件邊界、生命值與彈藥量選擇動作。這是結構化狀態控制器，並非從畫素推斷動作。下方保留最初預先指定的示例，僅展示 Reflex-1 視角。

Reflex-1 · 原生 ViZDoom36.5 秒 · 無聲影片

在全部 32 個預留回合中，該快照平均擊殺 18.88 個敵人，存活 22.47 秒。所有回合都在 45 秒上限前結束。圖表保留全部外部對比模型與完整回合計數。

瀏覽器工作流

這些是隨 Laya Browser 分發、在本地託管的合成 WebGym 站點。瀏覽器狀態在真實 Chromium 中捕獲，成功與否由原始任務檢查器判定。Reflex-1 選擇動作與目標，共用的 Qwen3-1.7B 輔助模型提供輸入文字和下拉框值。結果衡量的是這一完整系統。

Reflex-1 · 合成 WebGym30.1 秒 · 4× · 無聲影片

Reflex-1 · 合成 WebGym8.1 秒 · 4× · 無聲影片

餐廳任務成功，購物任務失敗。兩者使用同一預先指定的任務種子，保留錄製結局。影片按原始實際時間的 4× 速度回放瀏覽器狀態，並保留終止畫面的停留時間。這些是合成站點上的開發結果，不是 MiniWoB++、WebArena 或真實網站得分。

本研究中 Reflex-1 完成 13/35 項任務，Laya Browser 完成 17/35。分母保留所有嘗試、失敗與模型請求錯誤。之後在官方 MiniWoB++ 環境進行的小規模試驗中，該快照完成 0/30 項任務，因此不能把合成站點結果視為該基準上的成功。

決策質量

Typed Decisions 涵蓋客戶支援、發票處理、安全告警和智慧體執行軌跡。評估保留原始狀態分組，透過統一選項介面要求各模型完成相同的五項判斷。Reflex-1 正確完成 1,508/2,000 項判斷（75.4%）。

在預留的 CLINC 請求集中，Reflex-1 正確處理 3,680/4,490 個意圖與範圍外請求（82.0%）。陌生工具選擇為 72/87，低於外部模型的最佳結果 82/87。下方同時展示優勢與差距。

這些是使用已宣告評估群體的統一選項適配，並非官方排行榜提交。外部模型按原發布版本評估，未接受 Reflex-1 的任務專項訓練。圖表保留原始不確定性區間、詞元預算和截斷計數。

速度與資源

本節測量對應 10 月 2 日的檢查點。目前檢查點的測量可在上方連結的模型卡中查看。

H200 請求延遲

我們在共享的 NVIDIA H200 上為每個型號重播了 120 個不同的請求。 它們來自五個遊戲和瀏覽器環境。每個模型都收到 相同的輸入，一次只能發出一個請求。

reflex-1 的延遲中位數為 27.5 ms，p95 為 30.5 ms。它快於 FP32 下的 OpenJev，也快於另一次 FP32 回放中的 Laya。Laya 原生配置使用 BF16 autocast，中位數略低。由於使用共享機器且樣本有限，不能對接近的結果作過度推斷。

計時器包括標記化、模型評分、輸出標準化和環 回 HTTP。它不包括載入和三個預熱請求。答案和 選項快取已禁用。在這次執行中，我們沒有測量併發服務 吞吐量。這裡的 OpenJev 是 DeBerta 的公共檢查點； 它不是託管的 Jev 服務。

M4 CPU 延遲

CPU 測試使用了 MacBook Air M4、FP32 和批次大小 1。每個模型使用 一個 PyTorch 操作內執行緒、一個操作間執行緒和一個 BLAS 執行緒限制。 每項任務有 24 個不同的案例，每個案例重複 兩次。模型順序在八個執行塊中進行了平衡。

Banking77 要求模型從 77 種意圖中選擇。reflex-1 的延遲中位數為 345.2 ms，同一次測試中 OpenJev 為 1,332.6 ms。五項任務中，reflex-1 的中位數在 256.2 至 463.4 ms 之間。

Laya 完成了幾項小選擇的任務，速度更快。其原生Banking77預算截斷了期權，因此其時機涵蓋了縮減的候選組合。 Kev 使用了帶有未合併介面卡的 CPU 參考核心。後臺 膝上型電腦活動導致尾部延遲擴大。

本測試在模型已載入的條件下，計時從構建請求到返回規範化輸出的全過程。CPU 和 GPU 測試使用不同的請求，不能根據這些時間直接計算 CPU 到 GPU 的加速比。

熟悉任務的準確率

reflex-1在Banking77的得分為95.0%，在Emotion上得分為92.2%。它在兩個 檢查點的比較中均處於領先地位，在AG News和SST-5 上並列最佳分數，在BoolQ上的得分 略低於OpenJev。SST-5

這些是每項任務的 500 個診斷示例。任務系列已包含 在訓練中，我們在開發過程中檢查了子集。不同模型的訓練 預算和先前的曝光量有所不同。在更多示例中，精度與延遲是 分開測量的。

通用檢查點使用我們的定製 瀏覽器控制器完成了 80 次試驗中的 0 次。結果暴露了熟悉任務 分類和自主控制之間的巨大差距。轉到不熟悉的問題 ，機率校準仍然是未解決的評估問題。

訓練和儲存

合併介面卡後，服務模型有 420,778,370 個引數。 ModernBERT對狀態和問題進行編碼；凍結的 MiniLM 編碼器代表選擇。 共同的頭像組合了他們的表現形式。

主要改編執行使用了來自八個任務系列的290,657條記錄，在6,000個步驟中更新了9,036,290個引數。 在一個 H200 上花了 75 分 7 秒，包括開發螢幕和檢查點儲存。基礎模型 預訓練、資料準備、投影擬合和早期實驗 是額外的成本。

解壓後的 FP32 模型在磁碟上約佔 1.69 GB。單獨的 CPU 資源回放測得峰值程序 RSS 為 1.50 GiB，涵蓋框架分配、分詞器、載入、預熱和推理。GPU 記憶體佔用尚未測量。

模型訪問許可權

Hugging Face 的公開 版本包含 1.68 GB 的 FP32 權重、兩個代幣生成器和 Apache 2.0 下的自成 一體 Transformers 實現。無需賬戶、API 金鑰或 GitHub 訪問許可權。使用 Python 3.12：

python -m pip install "torch==2.8.0" "transformers==5.17.0" "safetensors==0.8.0"

import torch
from transformers import AutoModel

torch.set_num_threads(1)
model = AutoModel.from_pretrained("gai-labs/reflex-1", trust_remote_code=True)

decision = model.predict(
    state="The customer was charged twice for one card payment.",
    question="Choose the matching issue.",
    options=["duplicate charge", "lost card", "unknown fee", "cash withdrawal"],
)[0]
print(decision.choice)

載入模型一次即可重複使用。模型卡記錄了批次推理、 多個問題、離線載入和釋出雜湊值。開發 倉庫保持私有狀態；公共包包含推理 所需的程式碼。

原始訓練使用了 RACE 和 SciQ，其來源條款包含非商業使用限制。模型卡記錄了使用情況和固定版本。來源審查並未確定這些條款如何適用於訓練後的權重。

錄屏與復現

使用 Hub 上十月 3 日的固定版本復現這些錄影。上方圖表保留了測得的結果，包括原有能力的退化。每段錄影均說明環境、輸入格式和播放速度。

目前版本的模型卡連結至獨立評估。這些錄影與研究保留其原始結果。