最強モデルの全件利用は、最良の投資とは限らない

FrugalGPTは、複数の商用LLMに二桁規模の価格差がある状況を整理し、プロンプト適応、近似、カスケードという費用削減策を検討しました。学習したカスケードは、実験した自然言語課題で最良の単体モデルに並びながら最大98%の費用削減、または同じ費用でGPT-4を4正解率ポイント上回る条件を報告しました。[1]

重要なのは最大値ではなく、すべての依頼に同じ能力が必要ではないという設計原理です。分類、定型抽出、簡単な書式変換は小型モデルで足りても、曖昧な判断や複数制約の調整は高性能モデルが必要かもしれません。業務を一つの平均難易度で扱わず、入力ごとに必要品質と失敗影響を推定します。

振り分け単位は部署名ではなく、入力と失敗影響が同じ業務群にします。各群で小型と大型の両方を同じ標本へ通し、正答とレビュー後の確定結果を比較します。小型の品質差とその不確実性が事前に定めた許容差内であり、かつ誤りを後から検出できることを確認した群だけを安価な既定経路へ移すことで、公開課題の削減幅を自社へそのまま移す誤りを避けられます。[1]

Hybrid LLMは、質問の難しさと希望品質から小型・大型のどちらか一方へ送るルーターを提案しました。実験では回答品質を落とさず、大型モデルの呼び出しを最大40%減らしました。[2] 一回だけ呼ぶ方式は、複数モデルを順に試すカスケードより遅延と重複費用を抑えやすい設計です。

一方カスケードは、安価なモデルの回答と確信を見て、必要なときだけ上位へ進めます。初回回答を再利用できる利点がありますが、確信推定が誤れば難しい案件を止めてしまい、何度も呼べば遅延も増えます。どちらを選ぶかは、回答の自動採点可能性、許容遅延、再試行費用、失敗を後から発見できるかで決まります。

ルーターとカスケードは、同じ品質下限のもとで比較します。一回振り分けの誤配、段階昇格の追加待ち時間、重複呼び出し、初回回答の再利用を同じ台帳へ置きます。低確信案件が多くカスケードの昇格が常態化するなら、節約設計ではなく経路の複雑化になっているため、単一の安全側モデルへ戻す判断も必要です。[2]

RouteLLMは人の選好データから強いモデルと弱いモデルの振り分けを学習し、公開ベンチマークで品質を損なわず費用を2分の1未満へ下げる結果を示しました。学習に含まれないモデル対への一般化も報告しています。[3]

それでも、学習時の選好が自社の正確性、語調、法務要件を表すとは限りません。新商品、繁忙期、入力言語、プロンプト変更で難易度分布が動けば、以前の閾値はずれます。ルーターの正解を別のLLM採点だけで作ると、採点器の好みを最適化する危険もあるため、人手で校正した業務標本が必要です。

品質低下には、入力分布の変化だけでなく、採点器の好みや候補モデルの版変更という代替説明があります。固定した人手校正標本と直近の実入力標本を並行して流し、前者だけ悪化すればモデル側、後者だけ悪化すれば分布変化を疑います。どちらでも説明できない誤配が増えた区分は、自動ルーティングを止めて再校正します。[3]

三つの研究は、特定の課題・候補・価格条件で振り分けが品質と費用の境界を動かせることを示しますが、公開結果を自社の期待値にはできません。[1] [2] [3] 自社では同じ依頼を候補モデルの両方へ通し、選ばれた経路だけでなく、選ばれなかった経路の結果と評価版も保存します。

小型モデルが失敗し大型モデルが成功したのに小型へ送った案件は、非選択経路との比較で確認できる危険側誤配です。両方が失敗した案件は、少なくともルーター単独では解けない案件として、前処理、候補集合、評価条件を別に調べます。両方が合格して大型へ送った案件は、価格と遅延の条件を照合してから過剰配候補とします。三者を一つの率へ潰しません。

品質側の再校正は、危険側誤配が増えた業務群、候補モデルの版が変わった業務群、正解基準が変わった業務群だけを対象にします。価格変更はルーター品質の悪化ではないため、品質ラベルや閾値を自動で変えません。原因が複数なら、品質比較を固定して一つずつ切り分け、原因別の試験版を付けます。

料金や課金単位が変わると、同じ経路でも費用曲線は変わりますが、それだけで回答品質の証拠は変わりません。価格版を品質評価版から分離し、固定したルーティング結果へ新旧の価格を適用します。品質試験をやり直す場合も、価格差と品質差を別の列で報告し、基準日をそろえ、旧価格版の判断も保持します。

経済台帳には、価格版、モデル呼出し、昇格、重複呼出し、再試行、レビュー、待ち時間を案件ごとに記録します。価格だけを差し替えた再計算と、経路自体を変えた再計算を別のシナリオにします。後者で品質下限を破る案件が出たら、節約額で埋め合わせず経路案を棄却し、棄却理由、シナリオ名、前提を保存します。

採否は、品質台帳で許された経路の中から、経済台帳の総コストを比較して決めます。価格改定で安全側モデルが高くなっても、品質根拠なしに閾値を緩めません。反対に品質改善が確認されても価格版が古ければ節約を確定しません。二つの版と承認者がそろった時点だけを有効な判断とし、失効日、次回の見直し条件、期限、判断番号も付けます。

• QUALITY：両候補の結果と正解基準を、価格から独立して固定する
• MISROUTE：危険側誤配・両方失敗・過剰配を別々に数える
• PRICE：課金版と呼出し・昇格・再試行・レビューを再計算する
• APPROVE：品質版と価格版を別承認し、有効な組合せを指定する

比較実験では、同じ入力を小型、大型、振り分けの各経路へ通します。正答、重大誤答、確認時間、再試行、遅延、入力・出力トークン、ルーター自体の費用を記録します。小型へ誤配した案件と、大型へ過剰配した案件を分け、前者の損失が大きい領域では安全側の閾値を使います。

運用では低確信、対象外言語、高影響カテゴリ、検証不能な回答を上位モデルまたは人へ送ります。モデル価格や版が変わったら、過去の費用曲線を再計算します。成功条件は大型モデル比の削減額だけでなく、品質下限を守り、総処理時間と修正費まで含めて価値が残ることです。部署や季節で入力構成が変わるため、全体平均だけでなく区分別の誤配率も監視します。

運用責任を、業務品質の所有者、費用・遅延の所有者、ルーター変更の所有者へ分けます。品質所有者が定めた下限を破った場合は、費用削減が残っていても安全側経路へ戻します。復旧には、誤配した実案件を含む標本で品質下限、確認時間、再試行を再測定し、価格改定だけを理由に閾値を緩めない手続きが必要です。

• 品質制約：業務群ごとに正答と検証可能性の下限、重大誤答の上限を先に固定する
• 費用範囲：モデル料金だけでなく、ルーター、再試行、レビュー、待ち時間を含める
• 昇格規則：低確信、対象外入力、高影響、検証不能を大型モデルまたは人へ送る
• ロールバック：品質下限を破る区分は、原因確定を待たず安全側の単一経路へ戻す