AIの同意を審査の証拠から外す
LLMは利用者の立場や押し返しに合わせて答えを変えることがあり、満足度ではそれを見抜けません。投資・事業案件の審査では、AIの同意を独立した検証に数えず、反論は人が根拠から検証し直す規則と、導入時とモデル変更時に根拠に応じて正しく更新するかを測るプローブを組み合わせます。
記事を読むRESEARCH TOPIC / EVALUATION-MEASUREMENT
評価・測定
指標、ベンチマーク、品質保証と代理指標の限界を扱う。
GROUNDING MAP
この領域で扱う問いと根拠
29本の研究ノートを、共通する意思決定領域からたどれます。各記事は結論、出典、観測結果、限界を明示しています。
関連する研究ノート
29 ARTICLES
聞き取りでは約90%減。余力は増えたのか
匿名企業で、毎月のインターネット調査をAIを組み込んだRPAで自動化した。関係者への聞き取りでは作業時間が約90%減った一方、数か月後に新しい仕事へ使われたと説明できたのは、減ったと推定された時間の10〜20%だった。実際に空いた時間と、その使い道をどう測るかを考えます。
記事を読む
AI導入後の業務は、どこまで再設計すべきか
一部工程の時間短縮を全体成果と見なさず、ボトルネック、例外、専門家への引継ぎ、余力の再配分まで含めて業務フローを組み替えます。
記事を読む
生成AIの本番移行を決めるパイロット比較設計
従来手順とAI支援手順を同じ条件で比べ、確認・修正を含む人の時間、確定品質、未完了案件を記録します。本番移行・保留・再試験・停止を決める比較票を提示します。
記事を読む
ナッジは効くのかではなく、どこまで縮むのか
メタ分析の訂正、出版バイアス再解析、行政ナッジの大規模試験から、基準率、絶対差、異質性、費用を事前に置く判断へ変えます。
記事を読む
AI作品というラベルは、作品そのものを評価しているか
同じ作品でもAI生成と示すと評価が変わる実験から、内容のブラインド評価と、来歴・権利・制作過程の適格性審査を分けます。
記事を読む
おすすめの目的を、滞在時間だけにしない
推薦方式が露出と利用を変えても態度効果は一様でない証拠から、情報多様性、信頼性、時間利用、福祉を分けたランキング評価を作ります。
記事を読む
AIを何人集めても、独立した知恵にはならない
複数LLMの討議を票数で信頼せず、初期回答の多様性、同調、問題逸脱、正答保持、単純投票との差から上乗せ価値を判定します。
記事を読む
LLMの知識を直すと、別の能力まで壊れるのか
知識編集の対象正答だけで成功とせず、言い換え、局所性、一般能力、連続編集後の忘却を測り、RAGや再学習へ切り替える境界を作ります。
記事を読む
AIが忘れたと、どう証明するのか
削除APIの完了を忘却の証拠にせず、再学習モデルを基準に、対象記憶、保持効用、漏えい、連続削除を多面的に検証します。
記事を読む
多言語AIの平均点は、言語間の不公平を隠す
翻訳ベンチマークの総合点だけで展開せず、文化依存項目、母語話者評価、言語別の最悪性能、救済経路から提供範囲を決めます。
記事を読む
AIが書いたコードは、速さと安全を分けて審査する
生成コードの生産性を安全性へ読み替えず、脆弱性、利用者の安全認識、静的・動的検査、独立レビューを高影響コードの採用門にします。
記事を読む
答えない能力を、LLMの品質に含める
正答率だけで推測を促さず、意味的不確実性、答えられない問い、誤答と棄権の損失から、回答・確認・停止の境界を設計します。
記事を読む
そのベンチマーク得点は、未見能力を測っているか
公開テスト集合の学習混入を、データ重複、補完挙動、例の順序、公開時点から多面的に調べ、疑わしい得点を意思決定から隔離します。
記事を読む
LLMを審査員にするとき、誰が審査員を監査するのか
LLM評価者の人との一致率だけを信じず、回答順序、冗長性、自己選好、難例を反転させる監査から、人評価へ戻す境界を作ります。
記事を読む
長文AIは公称上限で承認しない――位置・根拠・費用で実効長を決める
長文AIの導入責任者が、位置・問題型・ノイズを変え、全文・分割・検索の最悪品質と総確認費から自動化できる範囲を決める方法を示します。
記事を読む
会話AIによる訂正は、訂正後の記憶と行動まで測る
個別化された訂正対話の可能性と、LLM自身の認識限界、警告後も残る影響、効果減衰を統合し、一次根拠に固定した訂正手順を示します。
記事を読む
AIの思考過程は、監査証跡ではなく調査仮説である
Chain-of-Thoughtの流暢さを内部判断の再現とみなさず、回答精度、因果的な忠実性、隠れた手掛かり、実行ログを分けた監査設計を示します。
記事を読む
AI文章検出器は、不利益判断の単独証拠にできない
AI文章検出器と生成時透かしを分け、言い換え耐性、未知モデル、集団別偽陽性、本人の版履歴と異議申立てまで含む証拠手順を設計します。
記事を読む
説明を増やしても、AIへの依存は正しくならない
AIの説明、確信度表示、判断順序、利用者制御は、正しい助言の採用と誤った助言の棄却を本当に両立できるのか。行動実験から条件を整理します。
記事を読む
AIコーチの効果は、支援終了後の行動で測る
会話が続いたことと、現実の行動が持続したことは別です。会話型コーチのメタ分析と実地RCTから、短期反応を行動変容と誤認しない評価設計を整理します。
記事を読む
KPIはなぜ壊れるのか：Goodhartの法則を運用に落とす
指標が目標になると現場が悪くなる、で話を終えません。測りやすい仕事への偏り、ゲーミング、実際の改善を分け、壊れにくい運用を設計します。
記事を読む
データ品質の欠陥は、どこで意思決定の誤りに変わるのか
データ品質を正確さだけで捉えず、意味、代理指標、現場の修正経路まで追うことで、数字が判断ミスへ変わる場所を特定します。
記事を読む
公開ベンチマーク一位でも、本番品質は決まらない
単一ベンチマークの順位だけでは、本番の品質、安定性、費用、安全性を判断できません。多面的評価、人とLLMの採点、プロンプト感度の研究から評価設計を組み直します。
記事を読む
RAGは、生成AIの事実性をどこまで改善できるのか
検索で根拠を渡せば誤りが消える、とは限りません。検索漏れ、根拠との不一致、長い文脈での見落としを分け、RAGを業務で検証する方法を整理します。
記事を読む
AIコーディングは、いつ開発を速め、いつ遅くするのか
AIコーディングの平均効果だけでは投資判断できない。実験室、企業、成熟OSSの研究を比較し、速度を左右する仕事・人・測定の条件を整理します。
記事を読む
生成AIは学習を深めるのか、支援中の成績を上げるだけか
生成AIを使って解けたことと、AIなしでも解けることは同じではありません。メタ分析と教育実験から、支援中の成績、独力の再現、長期保持を分ける学習設計を考えます。
記事を読む
生成AIの助言で、専門家の判断は良くなるのか
医師を対象にした無作為化試験と臨床研究の統合結果から、生成AIの助言が判断を改善する条件と、アクセスだけでは効果が出ない理由を整理します。
記事を読む
生成AIのROIは、導入前の設計で決まる
研究が示す生産性向上を、そのまま事業価値と見なさない。時間、品質、正答、利用コストを業務単位で接続するROI設計を考えます。
記事を読む