ローカルモデルを構築する理由

開発者が自分の作業でモデルをテストし、バージョンを選択し、 その入力内容をどこに送るかを決定できるようにしたいと考えています。モデルがハードウェアに適合する場合、 ローカル推論によってその選択肢が得られます。

reflex-1はラップトップのCPU上で動作します。その主な適応テストでは、 421Mパラメーターのサービングモデル内で9.04Mのパラメーターをトレーニングしました。これにより 、ネットワーク全体を更新しなくても意思決定タスクを検討することができます。 レポートには、チェックポイントが失敗した箇所を含め、 精度とタイミングの結果が表示されます。

Samsara は別の質問をします。 217Mパラメータのポリシーからどれだけの操作パフォーマンスを得ることができるかということです。その99.6%のLIBEROオブジェクトの結果は有望です 。トレーニングレポートには、 ランニングに使用された8台のH200も記録されています。モデルサイズだけでも、 そのコストは過小評価されます。

これらのモデルに関連するソフトウェアで、意思決定を検証できるようにしたいと考えています。 オペレーターは、どのモデルが実行され、何が選択され、 どのアクションが実行されたかを確認できる必要があります。 使用前に交換品をテストできるはずです。