記事の理解を助けるための画像
Googleは11月11日、新たな意思決定モデル「Gemini Decision 1」を公開した。モデルIDは「gemini-decision-1」で、新設したGemini Decisions APIを通じて提供する。最大の特徴は、互いに独立した質問を最大1000件、1回のフォワードパスで処理できる点だ。料金は入力100万トークン当たり0.10ドルで、出力トークンには課金しない。
応答150～250ミリ秒、AI Studioには無料枠
試作段階の開発者はGoogle AI Studioの無料枠を利用できる。Google CloudのGeminiでも近く対応する予定で、OpenRouterとVercel AI Gatewayからも利用できる。
Googleによると、リクエストから応答までの時間は150～250ミリ秒で、モデルの演算部分だけをみた中央値は50～100ミリ秒。同社が公開したベンチマーク一式で比較した場合、Decisions API経由のGemini Decision 1は、Interactions API経由のGemini 3.5 Flash-Liteより5倍近く安いとしている。
競合モデルの入力料金では、Jev 1.14が100万トークン当たり0.042ドル、GPT-6 Lunaはキャッシュされていない入力100万トークン当たり0.10ドルとなっている。
説明文の生成ではなく「選択」に特化
Googleの説明では、Gemini Decision 1は最大16Kトークンのコンテキストを扱い、1つの多肢選択式質問につき最大255の選択肢を受け付ける。また、1回のリクエストに含まれる全質問で26万2144トークンのコンテキストウィンドウを共有する。
一方、説明を求めるタスクや任意のデータを抽出する用途には対応しない。各質問は個別に評価されるため、ある質問への回答によって次の質問内容が変わるような処理では、別のAPI呼び出しが必要になる。
Google公表値では7試験中5試験で首位
Googleは、エージェントのルーティング、推論、ランキング、マルチモーダル理解を対象としたベンチマークで高い性能を示し、予測の確信度と実際の正答率のずれを示す「キャリブレーションエラー」も最も低かったとしている。発売時に示した7試験のうち5試験で首位だった。
JevBenchではGemini Decision 1が92.2%、GPT-6 Lunaが90.9%、Jev 1.14が90.0%。キャリブレーションエラーはGemini Decision 1が0.0250、Jevが0.0494だった。
ただし、Google自身が公表した試験でも競合が上回った項目がある。Mind2Web MultimodalではJevが86.8%、Gemini Decision 1が86.2%。When2CallでもJevの82.0%に対し、Gemini Decision 1は79.9%だった。オーディオ評価のMMAUでは71.8%でGemini 3.5 Flash-Liteの67.7%を上回り、Video-MMEでも69.1%と比較モデルの63.3%を上回った。
独立評価では18モデル中9位、コスト面でも競合に及ばず
Googleとは別にArtificial Analysisが実施した「Decision Index v2.1」では、Gemini Decision 1は発売時点で対象となった18の意思決定モデル中9位、総合スコア66だった。一方、同指数の知識・推論評価では意思決定モデル中トップとなった。
その他の評価では競合モデルが優位だった。指数の30%を占めるAA-Paperclipの通過率はDrex Max v1.1が63%、Gemini Decision 1が33%。10%を占めるWhen2CallをArtificial Analysisが独自に再測定した結果は、それぞれ95.3と80.5だった。AA-SymmetryでもMammoth 27Bが88.2、Gemini Decision 1は70.5だった。
実測コストでもGoogleのモデルが最安というわけではない。Artificial Analysisが指数全体を基準に算出した100万タスク当たりのコストは、Gemini Decision 1が345ドル、Drex Max v1.1が103ドル、Jev 1.14が156ドルだった。Gemini Decision 1の1タスク当たりの処理時間は211ミリ秒と測定された。Googleが強調する大量の独立質問を一括処理する能力と低い入力単価が、実際の利用環境でどこまで優位性につながるかは、用途ごとの評価が必要になりそうだ。
コメント
コメントを投稿