在 421M 模型中调整 9M参数

reflex-1 的主要适配训练更新了 9,036,290 个参数。合并适配器后，推理模型共有 420,778,370 个参数。训练更新的参数约占推理模型的 2.15%。

大多数参数来自预训练编码器。ModernBERT 表示状态与问题；冻结的 MiniLM 表示候选答案。经过拟合的投影连接两者的表示。主要训练运行更新了秩为 16 的适配器和一个共享决策头。

冻结的权重仍参与推理。即使适应不更新它们，它们也会占用内存 并执行计算。

测得的跑步次数

我们使用了来自八个任务系列的290,657条记录，进行了6,000次更新。 在一台NVIDIA H200上的循环历时75分7秒，包括 开发屏幕和检查点保存。

该时间不包括基础模型的预训练、下载、数据准备、 投影拟合和早期实验。这次运行产生的检查点Banking77的 检查点的准确率为95.0%，熟悉的任务诊断中的Emotion准确率为92.2%。 性能报告 涵盖了所有五项任务和比较的检查点。

合并后

提取的 FP32 模型在磁盘上占用大约 1.69 GB 的空间。服务仍然需要 内存来激活和框架分配。 因此，适配器分数描述的是适配任务，而不是运行时 所需的完整模型的部分。