長文AIは公称上限で承認しない――位置・根拠・費用で実効長を決める

Liuらは、関連情報の位置を長い入力の先頭から末尾まで動かす評価を行い、多くのモデルで先頭または末尾にある場合より、中間にある場合の性能が低くなる傾向を示しました。[1] 入力が拒否されないことと、情報が等しく利用されることは別です。

この結果は、すべてのモデル、長さ、課題で中間位置が必ず悪いという法則ではありません。評価には複数文書質問応答と検索的な課題が含まれ、モデルや指示形式によって差があります。[1] したがって、公称長の比較ではなく自社文書の配置で再現するかを確認します。

実効コンテキスト長は、必要根拠の位置を変えても品質下限を守れる範囲と定義します。契約条項、障害履歴、研究報告など、業務で重要な根拠を先頭・中間・末尾へ移し、回答だけでなく引用位置も照合します。品質下限は評価担当だけで決めず、業務責任者と文書所有者が、見落とせない項目と人確認へ戻す条件を先に合意します。

位置差が出なかった場合も、長文能力が十分とは即断しません。問題が簡単すぎる、答えの語が質問と一致する、根拠を使わず常識で答えられるという代替説明があります。根拠文を差し替える反実仮想例を加え、入力を実際に読まないと正解できないことを確かめます。

• 位置：同じ根拠を先頭・中間・末尾へ置き、性能差を見る
• 長さ：短い基準から実務上限まで段階的に増やす
• 出典：答えに使った箇所を文書内位置まで照合する
• 下限：最悪位置の品質が基準を割れば利用範囲を縮める

LongBenchは、単一文書・複数文書の質問応答、要約、few-shot学習など異なる長文課題をまとめ、入力長が増えたときの能力を一つの検索課題へ潰せないことを示しました。[2] 文字列を一つ見つける試験だけでは、複数根拠を統合する失敗を見逃します。

針を一つ探す試験は、実装不良や極端な位置劣化を見つける入口として有用です。ただし実務では、例外条項と定義、現在値と変更履歴、本文と表注のように、離れた情報を結ぶ必要があります。入口試験に合格しても、結合問題を別に置きます。

問題集合は、単一根拠、複数根拠、矛盾根拠、根拠なしに分けます。根拠なしで回答を作らないかも長文能力の一部です。正答率だけでなく、引用の完全性、矛盾の指摘、棄権、不要情報に引かれた誤答を分類します。

要約課題では、含まれた事実だけでなく落とされた事実を評価します。長文の大半を正しく縮約しても、例外条件や停止条項を一つ落とせば業務上は失敗です。重要項目の包含を必須条件にし、自然さの平均点で欠落を相殺させません。

Gaoらは、単純なneedle-in-a-haystackやperplexityだけでなく、長文の下流課題を用いて学習設計を評価しました。[3] その研究は特定のモデル学習レシピを扱うもので、どの商用モデルにも同じ有効長を保証しません。自社試験も巨大なベンチマークから始めず、単一根拠、複数根拠、矛盾、根拠なしを、位置・長さ・類似ノイズ・版競合と交差させた最小集合から始めます。

実務試験では、根拠そのものを変えず、無関係だが似た文、古い版、別顧客の記述を追加します。入力長の増加とともに何が壊れたかを、検索失敗、根拠混同、計算誤り、指示逸脱へ分けます。長さだけを原因とせず、文書構造との交互作用を残します。

古い版と現行版が同じ入力にある場合、単に後ろの記述を選ぶ設計は危険です。発効日、適用範囲、文書所有者を根拠として比較できるかを確認します。矛盾を解けないときは、もっともらしい統合ではなく保留と確認要求を期待動作にします。

不要情報の追加で答えが変わったら、入力長だけを縮める前に、どの文が影響したかを調べます。語彙の近さ、権威らしい表現、直近位置など誘因を記録し、検索順位や文書メタデータの改善で解ける失敗と、モデル推論の限界を分けます。

• 類似ノイズ：語彙は近いが対象が異なる文書を加える
• 版競合：現行版と旧版を同時に置き、適用根拠を問う
• 根拠欠落：答えがない入力で棄権できるかを見る
• 複数根拠：離れた記述を結んだ引用が完全か確認する

長い入力には、検索漏れを減らす可能性がある一方、注意の希釈、推論時間、利用料金、機密情報の露出面を増やす費用があります。研究結果はモデル能力を示しても、自社で全文投入が最適という意思決定までは示しません。[1] [2] [3]

同じ評価集合で、全文投入、構造単位の分割、検索後の限定投入を比較します。全文投入が平均では勝っても、最悪位置や機密文書の露出で下限を割るなら既定にしません。反対に検索漏れが重大なら、検索結果に加えて目次や隣接節を渡す折衷を試します。

比較時は、回答品質だけでなく入力トークン、応答時間、失敗時の調査時間、引用確認時間を含めます。安価な方式が確認工数を増やす場合、推論費だけの比較は誤ります。業務一件あたりの総確認費を同じ承認票へ記録し、品質と費用の担当者が別々の表を見て結論を出さないようにします。

判定は費用と品質を一つの平均点へ混ぜません。まず重大根拠の包含、引用可能性、棄権、機密露出を必須ゲートとして確認し、通過した方式だけを総確認費で比べます。すべて不合格なら、自動化範囲を広げず、人確認または回答保留へ戻します。

方式の選択は文書群で分けられます。短い規程は全文、巨大な履歴は検索、相互参照が多い案件は構造分割というように、単一の標準へ寄せません。ルーターの誤配分も評価対象にし、どの条件で別方式へ切り替えたかをログへ残します。

モデル更新やシステムプロンプト変更は、平均得点を保ちながら特定位置の利用を悪化させる可能性があります。受入時に使った根拠位置、長さ、ノイズ、文書型を保存し、同じ組合せを更新前後で再実行します。

評価集合へ実際の失敗を追加するときは、顧客情報を除去し、失敗の構造を保ちます。単に長い例を増やすのではなく、中間の例外条項、別版との競合、表題と本文の不一致など、再発を防ぐ条件をタグにします。

位置別の差が見つかった場合、重要文を先頭へ移す方法は回避策として検証できますが、それだけで未試験の配置や文書型まで保証できません。それが業務上常に可能かを確認し、不可なら分割や検索へ切り替えます。回避策も同じ回帰試験で監視します。

回帰試験の合格率が上がっても、本番分布が変われば保護範囲はずれます。長い入力が増えた部門、文書形式が変わった業務、失敗が集中した利用者群を確認し、試験集合の比率を更新します。変更理由と削除した例も版履歴に残します。

採用単位はモデル名ではなく、文書型、問題型、長さ、配置、運用方式の組合せです。一枚の承認票で、品質下限を満たす範囲だけを自動回答にし、その外側は検索の絞り直し、人による確認、または回答保留へ送ります。業務責任者が範囲を承認し、評価担当が試験集合、文書所有者が版と重要項目、セキュリティ担当が露出条件を確認します。

運用開始後は、入力長の分布と失敗位置を定期的に確認します。平均入力が短いから安全とせず、重大案件が長い側へ偏る可能性を見ます。最長例だけでなく、事業影響を重み付けした最悪条件を監視します。

長文能力の宣伝値は候補選定には使えますが、承認証拠にはしません。自社の問題で位置を動かし、複数根拠と根拠なしを試し、代替方式と総費用を比べて初めて、使える長さが決まります。

停止条件は、最悪位置の品質低下、重大根拠の欠落、引用不能、確認時間の急増です。停止後は入力を短くするだけでなく、影響回答を特定し、人が再確認します。再開には原因別の対策と同じ失敗集合での再合格を要求します。

「品質低下」や「急増」は運用時に解釈しません。受入時の基準値、停止閾値、観測窓、対象範囲、判定責任者を承認票へ記入します。たとえば確認時間なら、承認時の同一問題型を基準に、どの期間の何件でどこまで増えたら停止するかを先に定めます。数値はこの記事から借りず、自社試験から設定します。

次の項目を一枚に複写し、公称上限ではなく実測した利用境界を承認します。利用者にも入力できる長さと信頼できる長さの違いを示し、範囲外の自動処理を暗黙に許可しません。

• 対象：文書型／問題型／機密区分／運用方式／合格した最大長／最悪位置の成績
• 必須ゲート：重大項目の包含／引用の完全性／矛盾検知／棄権／機密露出――各基準値・下限・責任者
• 方式選択：ゲートを通過した全文・分割・検索の総確認費――入力費、応答時間、調査時間、引用確認時間
• 範囲外ルート：文書型×問題型ごとに、検索の絞り直し／人確認／回答保留のいずれへ送るか
• 未検証条件：未試験の長さ・配置・版競合・利用部門と、その間の自動処理禁止
• 停止・再開：停止信号／閾値／観測窓／影響範囲／判定者／再開に必要な対策と再試験