Reflex-1 ご紹介

1 つのパスでさまざまな決定が可能

Reflex-1 は、候補からの選択を行うパラメータ数 421M のモデルです。状態を表すテキスト、質問、回答候補を与えると、一度の順伝播で各候補をスコアリングします。候補はリクエストごとに変更できます。

同じインターフェースで、サポート依頼の振り分け、ツール選択、行動選択を行えます。28 層のコンテキストエンコーダーと六層の候補エンコーダーを共通のスコアリングヘッドに接続しています。選択肢の提示と結果の実行はアプリケーションが担います。

録画による実例

上の Dino の録画と以下の例は、デフォルトの公開重みとは異なる10 月 3 日のスナップショットを使用しています。実行条件と結果は動画の説明に記載しています。

Reflex-1 · ネイティブ ViZDoom36.5 秒 · サイレントビデオ

Reflex-1 · 合成 WebGym30.1 秒 · 4× · サイレントビデオ

すべての録画と比較を見る。

CPU 推論

現在のチェックポイントを Intel Xeon Platinum 8558 CPU 上で FP32、同時リクエスト数一件として測定しました。各スレッド設定では、新規プロセス二つで 120 入力に対して合計 480 回呼び出しています。トークン化と推論を計時に含めています。

プロセスのピークメモリは、読み込み、ウォームアップ、推論を含めて 2.17 GiB でした。PyTorch の演算内スレッドを一つまたは四つ、演算間スレッドを一つとし、BLAS も演算内スレッド数に合わせました。実行時の補助スレッドを含む OS スレッド総数は、それぞれ二つと十一でした。

現在の測定と評価。共有ホストの評価ランタイムで測定し、読み込み、ウォームアップ、リクエスト間キャッシュを除外しています。研究ページには以前の M4 と H200 の測定値をチェックポイントの日付とともに掲載しています。

Reflex-1 を試す

重み、トークナイザー、推論コードは Hugging Face で公開しています。アカウントや API キーは不要です。依存パッケージをインストールすると、次のコードを実行できます。

import torch
from transformers import AutoModel

torch.set_num_threads(1)
model = AutoModel.from_pretrained("gai-labs/reflex-1", trust_remote_code=True)

decision = model.predict(
    state="The customer was charged twice for one card payment.",
    question="Choose the matching issue.",
    options=["duplicate charge", "lost card", "unknown fee", "cash withdrawal"],
)[0]
print(decision.choice)

インストール方法、実行時の制限、学習データの利用条件を含むライセンス情報は、モデルカードをご覧ください。