Reflex-1

概览

许多代理决策都以一个选择告终：哪个队列接收请求， 哪个工具适合任务，或者接下来要执行哪个操作。Reflex-1在一次正向传递 中对您的应用程序提供的选择进行评分。它返回 概率分布，应用程序可以使用该分布来做出决定。

本研究沿着 Jev 探索的决策模型方向，采用不同的架构和监督训练流程。28 层上下文编码器和六层候选编码器连接到共享评分头。当前检查点更新了全部 420,778,370 个参数。

默认公开下载的是最新微调检查点。其模型卡包含当前评估结果和 CPU 测量。下方注明日期的研究和录像保留其原始检查点标识。

当前结果

10 月 5 日发布的模型使用固定控制器，完成了 21/30 个原生 MiniWoB++ 浏览器回合。在 495 个 Banking77 样本上的准确率为 92.93%。这些是训练中已涉及的任务类别的预留子集，并非完整基准成绩。

在 Intel Xeon Platinum 8558 CPU 上，使用四个计算线程时，Banking77 推理的中位延迟为 375.2 ms，p95 为 452.1 ms。包括加载、预热和推理在内，峰值进程内存为 2.17 GiB。

完整评估尚未完成。BoolQ、RACE 和公开 JevBench 诊断的表现较上一检查点下降；原生 Dino 在 0/16 次尝试中达到 60 秒目标。当前 GPU 延迟尚未测量。已发布的评估记录了检查点、测试条件和剩余缺口。

它是如何运作的

每个请求都提供候选答案。该模型在其代币限制范围内支持每个问题 1—255 个 选项，并且多个问题可以 共享一个压缩状态。支持应用程序可以提供自己的队列； 代理可以提供其可用工具的描述。新的决策 类型需要自己的准确性测试。

模型对提供的选项进行评分；应用程序构造工具参数 并决定允许哪些操作。状态文本的上限为 512 个 上下文令牌生成器令牌，并且可以通过请求预算进一步缩短。 每个选项最多可接受 512 个期权代币生成器代币。检查state_truncated 何时可能缩短了上下文。

示例

下方示例和决策质量对比使用 10 月 3 日的快照。速度与资源测量另行标注。每段录像保留实际结局，包括失败。

Chromium Dino

本录屏使用 Chromium 原版 chrome://dino 游戏。Reflex-1 接收当前可见障碍物的几何信息，选择奔跑、跳跃或下蹲。原生键盘事件执行这些选择，推理期间游戏时钟持续运行。视频以正常速度展示真实浏览器画面。

Reflex-1 · 原版 Chromium43.6 秒 · 无声视频

该快照的两次尝试分别在 42.31 秒和 30.41 秒后发生碰撞，均未达到 60 秒上限。较长的一次先展示。两次使用独立随机赛道，不能据此进行配对模型比较。下方保留完整的第二次尝试。

观看第二次 Dino 尝试

Reflex-1 · 原版 Chromium31.8 秒 · 无声视频

ViZDoom

游戏为原生 ViZDoom 的 Defend the Center 场景，难度为 5。Reflex-1 根据可见对象边界、生命值与弹药量选择动作。这是结构化状态控制器，并非从像素推断动作。下方保留最初预先指定的示例，仅展示 Reflex-1 视角。

Reflex-1 · 原生 ViZDoom36.5 秒 · 无声视频

在全部 32 个预留回合中，该快照平均击杀 18.88 个敌人，存活 22.47 秒。所有回合都在 45 秒上限前结束。图表保留全部外部对比模型与完整回合计数。

浏览器工作流

这些是随 Laya Browser 分发、在本地托管的合成 WebGym 站点。浏览器状态在真实 Chromium 中捕获，成功与否由原始任务检查器判定。Reflex-1 选择动作与目标，共用的 Qwen3-1.7B 辅助模型提供输入文本和下拉框值。结果衡量的是这一完整系统。

Reflex-1 · 合成 WebGym30.1 秒 · 4× · 无声视频

Reflex-1 · 合成 WebGym8.1 秒 · 4× · 无声视频

餐厅任务成功，购物任务失败。两者使用同一预先指定的任务种子，保留录制结局。视频按原始实际时间的 4× 速度回放浏览器状态，并保留终止画面的停留时间。这些是合成站点上的开发结果，不是 MiniWoB++、WebArena 或真实网站得分。

本研究中 Reflex-1 完成 13/35 项任务，Laya Browser 完成 17/35。分母保留所有尝试、失败与模型请求错误。之后在官方 MiniWoB++ 环境进行的小规模试验中，该快照完成 0/30 项任务，因此不能把合成站点结果视为该基准上的成功。

决策质量

Typed Decisions 涵盖客户支持、发票处理、安全告警和智能体执行轨迹。评估保留原始状态分组，通过统一选项接口要求各模型完成相同的五项判断。Reflex-1 正确完成 1,508/2,000 项判断（75.4%）。

在预留的 CLINC 请求集中，Reflex-1 正确处理 3,680/4,490 个意图与范围外请求（82.0%）。陌生工具选择为 72/87，低于外部模型的最佳结果 82/87。下方同时展示优势与差距。

这些是使用已声明评估群体的统一选项适配，并非官方排行榜提交。外部模型按原发布版本评估，未接受 Reflex-1 的任务专项训练。图表保留原始不确定性区间、词元预算和截断计数。

速度与资源

本节测量对应 10 月 2 日的检查点。当前检查点的测量可在上方链接的模型卡中查看。

H200 请求延迟

我们在共享的 NVIDIA H200 上为每个型号重播了 120 个不同的请求。 它们来自五个游戏和浏览器环境。每个模型都收到 相同的输入，一次只能发出一个请求。

reflex-1 的延迟中位数为 27.5 ms，p95 为 30.5 ms。它快于 FP32 下的 OpenJev，也快于另一次 FP32 回放中的 Laya。Laya 原生配置使用 BF16 autocast，中位数略低。由于使用共享机器且样本有限，不能对接近的结果作过度推断。

计时器包括标记化、模型评分、输出标准化和环 回 HTTP。它不包括加载和三个预热请求。答案和 选项缓存已禁用。在这次运行中，我们没有测量并发服务 吞吐量。这里的 OpenJev 是 DeBerta 的公共检查点； 它不是托管的 Jev 服务。

M4 CPU 延迟

CPU 测试使用了 MacBook Air M4、FP32 和批量大小 1。每个模型使用 一个 PyTorch 操作内线程、一个操作间线程和一个 BLAS 线程限制。 每项任务有 24 个不同的案例，每个案例重复 两次。模型顺序在八个执行块中进行了平衡。

Banking77 要求模型从 77 种意图中选择。reflex-1 的延迟中位数为 345.2 ms，同一次测试中 OpenJev 为 1,332.6 ms。五项任务中，reflex-1 的中位数在 256.2 至 463.4 ms 之间。

Laya 完成了几项小选择的任务，速度更快。其原生Banking77预算截断了期权，因此其时机涵盖了缩减的候选组合。 Kev 使用了带有未合并适配器的 CPU 参考内核。后台 笔记本电脑活动导致尾部延迟扩大。

本测试在模型已加载的条件下，计时从构建请求到返回规范化输出的全过程。CPU 和 GPU 测试使用不同的请求，不能根据这些时间直接计算 CPU 到 GPU 的加速比。

熟悉任务的准确率

reflex-1在Banking77的得分为95.0%，在Emotion上得分为92.2%。它在两个 检查点的比较中均处于领先地位，在AG News和SST-5 上并列最佳分数，在BoolQ上的得分 略低于OpenJev。SST-5

这些是每项任务的 500 个诊断示例。任务系列已包含 在训练中，我们在开发过程中检查了子集。不同模型的训练 预算和先前的曝光量有所不同。在更多示例中，精度与延迟是 分开测量的。

通用检查点使用我们的定制 浏览器控制器完成了 80 次试验中的 0 次。结果暴露了熟悉任务 分类和自主控制之间的巨大差距。转到不熟悉的问题 ，概率校准仍然是未解决的评估问题。

训练和存储

合并适配器后，服务模型有 420,778,370 个参数。 ModernBERT对状态和问题进行编码；冻结的 MiniLM 编码器代表选择。 共同的头像组合了他们的表现形式。

主要改编运行使用了来自八个任务系列的290,657条记录，在6,000个步骤中更新了9,036,290个参数。 在一个 H200 上花了 75 分 7 秒，包括开发屏幕和检查点保存。基础模型 预训练、数据准备、投影拟合和早期实验 是额外的成本。

解压后的 FP32 模型在磁盘上约占 1.69 GB。单独的 CPU 资源回放测得峰值进程 RSS 为 1.50 GiB，涵盖框架分配、分词器、加载、预热和推理。GPU 内存占用尚未测量。

模型访问权限

Hugging Face 的公开 版本包含 1.68 GB 的 FP32 权重、两个代币生成器和 Apache 2.0 下的自成 一体 Transformers 实现。无需账户、API 密钥或 GitHub 访问权限。使用 Python 3.12：

python -m pip install "torch==2.8.0" "transformers==5.17.0" "safetensors==0.8.0"

import torch
from transformers import AutoModel

torch.set_num_threads(1)
model = AutoModel.from_pretrained("gai-labs/reflex-1", trust_remote_code=True)

decision = model.predict(
    state="The customer was charged twice for one card payment.",
    question="Choose the matching issue.",
    options=["duplicate charge", "lost card", "unknown fee", "cash withdrawal"],
)[0]
print(decision.choice)

加载模型一次即可重复使用。模型卡记录了批量推理、 多个问题、离线加载和发布哈希值。开发 仓库保持私有状态；公共包包含推理 所需的代码。

原始训练使用了 RACE 和 SciQ，其来源条款包含非商业使用限制。模型卡记录了使用情况和固定版本。来源审查并未确定这些条款如何适用于训练后的权重。

录屏与复现

使用 Hub 上十月 3 日的固定版本复现这些录像。上方图表保留了测得的结果，包括原有能力的退化。每段录像均说明环境、输入格式和播放速度。

当前版本的模型卡链接到单独的评估。这些录像和研究保留其原始结果。