為地方決策服務編制預算

reflex-1 的 27.5 ms H200 中位數包括代幣化、評分、輸出標準化和環回 HTTP。 首先，模型已載入完畢， 請求正在執行。具有佇列、冷啟動或下游工具 呼叫的服務將具有不同的響應時間。

M4 CPU結果用於衡量單獨工作負載下的程序內請求：Banking77的中位數為345.2 ms。它的時機還不包括載入。 基準測試報告提供了兩種協議。

從選擇到行動

reflex-1 返回的機率高於應用程式提供的選擇。 應用程式將選擇對映到工具並檢查 其執行許可權。使用所選 答案和結果操作記錄模型版本和可用選擇。這使您可以區分路由錯誤 和在正確選擇後失敗的工具。

輸入和日誌需要與 應用程式的其餘部分相同的訪問控制。僅靠本地推理並不能確定其工具或 檢索服務將資料傳送到何處。

部署時要衡量什麼

測量目標硬體上的啟動時間和駐留記憶體。然後 測量預期併發下的請求延遲，包括排隊 時間和下游工作。將模型設定和輸入大小與 結果一起記錄。

當前的reflex-1報告涵蓋了常駐推理和模型儲存。 峰值記憶體和完整的應用延遲需要這些 額外的測量。