AI の性能を比較するとき、最初に目へ入りやすいのは正答率、F1、PR-AUC、KL ダイバージェンスのような評価値である。これらの数値には、異なるモデルを同じ尺度へ置き、改善前後の差を定量化できる利点がある。一方、評価値を正確に計算できることと、その評価値が知りたい性質を正確に表していることは別の条件である。正答率が 80% だと正確に測定できても、その 80% が「問題構造を理解する能力」「既知の解法を実行する能力」「途中の誤りを修正する能力」のどれをどこまで表しているかは、正答率だけからは決まらない。
この区別を数理的に表すため、評価したい能力や内部状態をベクトル \(\mathbf{z}=(z_1,z_2,\ldots,z_k)\) とする。各成分 \(z_i\) は、数学的構造を発見する能力、与えられた構造を実行する能力、事実から逸脱した生成を識別できる内部信号、モデルの挙動を成立させる内部計算など、評価対象を構成する要素を表す。実験で直接得られるのは、この \(\mathbf{z}\) そのものではない。観測条件 \(c\) の下で取得した観測値 \(r\) と、それを評価関数へ通して得た指標 \(m\) である。
\[
r=O(\mathbf{z};c)
\]
\[
m=\phi(r;c)=\phi(O(\mathbf{z};c))
\]
\(O\) は評価対象から観測値を取り出す観測方法、\(c\) はデータセット、プロンプト、観測主体、介入方法などの条件、\(\phi\) は観測値を得点へ変換する評価関数である。この式では、モデルが持つ性質 \(\mathbf{z}\) から評価値 \(m\) までの間に、少なくとも観測と得点化という二つの変換が入る。第一に、どの条件で何を観測するかによって \(r\) が決まる。第二に、その観測値のどの差を重視して得点へ変換するかによって \(m\) が決まる。同じモデルを対象にしても、観測条件や評価関数が異なれば、得られる評価値も変わり得る。
直接観測しにくい性質と測定値の対応を検証する考え方は、心理測定では構成概念妥当性として整理されてきた[1]。計算機システムでも、理論上知りたい概念と実際に取得できる測定値を区別し、両者を結ぶ測定モデルを明示する必要性が論じられている[2]。AI のベンチマークでも同じ構造があり、「正答率」「忠実度」「幻覚検出性能」という名前が評価対象そのものを意味するのではなく、特定の観測条件と評価関数によって得られた測定値として読む必要がある。
本来知りたい性質を、潜在状態 \(\mathbf{z}\) から定まる量 \(q=\psi(\mathbf{z})\) とする。二つの候補 \(i\) と \(j\) を比較するとき、本来の評価対象について \(q_i>q_j\) であれば、比較指標として使う評価値にも \(m_i>m_j\) という順序が求められる。
\[
q_i>q_j
\quad\Longrightarrow\quad
m_i>m_j
\]
この条件が成立すれば、評価値 \(m\) を使って候補を選ぶことが、本来の評価対象 \(q\) に沿った選択へつながる。反対に、二つの差の符号が逆になる
\[
(m_i-m_j)(q_i-q_j)<0
\]
という条件では、評価値が候補の順序を反転させている。これは数値に多少の誤差が含まれる場合とは性質が異なる。例えば本来の性能が \(q_i=0.8\)、\(q_j=0.7\) なのに、評価値が \(m_i=0.6\)、\(m_j=0.9\) なら、評価値を最大化する選択は本来より性能の低い \(j\) を選ぶ。測定値の誤差が候補ごとに異なる方向へ働き、本来の差を上回った結果、評価手続きそのものが選択を誤らせる。
既稿では、AI が本来の正しさそのものより、与えられた評価基準を通過する方向へ最適化される場合を扱った[3]。そこで焦点になったのは、本来の目的と最適化対象として使われる代理指標のずれである。さらに測定側へ一段戻ると、その代理指標自体が評価対象の差をどこまで保存しているかという問いが生じる。評価値を生む観測系まで分解すると、モデルの能力、観測方法、評価関数、そこから導く判断を別々に検証できる。
1. 正答率は複数の能力を一つの数字へ射影する
数学問題の最終正答率には、正解へ到達するまでの異なる処理が一つの結果として集約される。問題文から中心構造を見つけ、使うべき定理や表現を選び、計算や証明を実行し、途中で生じた誤りを修正した結果として、最後に正答か不正答かが決まる。正答率は最終結果を比較するには適しているが、その値だけでは、どの処理が正答へ寄与し、どこが不正解の制約になったかを分離できない。
1.1 一つの評価値では能力構成を一意に復元できない
この圧縮を単純な線形モデルで表す。モデルが持つ複数の能力を \(\mathbf{z}\)、ベンチマークが各能力を評価値へ反映する重みを \(\mathbf{w}\)、その他の測定誤差を \(\varepsilon\) とすると、評価値 \(m\) を次のように書ける。
\[
m=\mathbf{w}^{\mathsf T}\mathbf{z}+\varepsilon
\]
例えば能力を二つだけ考え、第 1 成分を問題構造の発見能力、第 2 成分を与えられた構造の実行能力とする。モデル A が
\[
\mathbf{z}_A=(0.9,0.4)
\]
モデル B が
\[
\mathbf{z}_B=(0.4,0.9)
\]
という能力構成を持つとする。二つの能力を同じ重みで反映する簡単な評価として、
\[
\mathbf{w}=(0.5,0.5)
\]
を置けば、二つのモデルの評価値はどちらも \(0.65\) になる。
\[
m_A
=
0.5\times0.9+0.5\times0.4
=
0.65
\]
\[
m_B
=
0.5\times0.4+0.5\times0.9
=
0.65
\]
観測された評価値については \(m_A=m_B\) だが、能力ベクトルは \(\mathbf{z}_A\neq\mathbf{z}_B\) である。モデル A は構造発見に高い値を持ち、モデル B は実行に高い値を持つ。この違いは一つの評価値へ射影した時点で消える。
一般に、\(k\) 次元の能力ベクトル \(\mathbf{z}\in\mathbb{R}^k\) を一つの実数 \(m\in\mathbb{R}\) へ写すと、多数の異なる \(\mathbf{z}\) が同じ \(m\) を取り得る。例えば誤差を省いて
\[
m=\mathbf{w}^{\mathsf T}\mathbf{z}
\]
とした場合、ある評価値 \(m_0\) を生む能力ベクトルは、
\[
\left\{
\mathbf{z}
\mid
\mathbf{w}^{\mathsf T}\mathbf{z}=m_0
\right\}
\]
という集合になる。能力が二次元なら直線、三次元なら平面、その先では超平面に相当し、一つの評価値に対して複数の能力構成が対応する。評価値から能力ベクトルを逆算するには追加の観測が必要になる。
| 観測 | 直接分かること | 追加観測が必要なこと |
|---|---|---|
| 最終正答率 | 指定された問題集合と採点条件で、最終的に何問正解したかが分かる。 | 構造発見、解法選択、実行、検証のどこが正答や失敗を決めたかを分けるには別の評価が必要になる。 |
| 同じ正答率を持つ 2 モデル | そのベンチマーク上では最終成功率が同程度であることが分かる。 | 同じ内部能力を持つことは導けず、異なる能力構成が同じ正答率へ射影されている可能性が残る。 |
| 介入後の正答率 | 特定の情報や条件を追加したとき、最終性能がどこまで変化するかが分かる。 | 介入前後を比較することで、通常評価へ混ざっていた能力要素の一部を分離できる。 |
この構造から、評価の粒度と診断の粒度の関係が決まる。最終正答率という一つの出力だけを観測すれば、「解けた」「解けなかった」という結果は測れる。一方、改善方法を決めるには、失敗を生んだ中間要因まで分ける必要がある。構造を発見できなかったモデルと、構造は分かっていたが実行に失敗したモデルでは、同じ不正解でも必要な改善が異なるからである。
1.2 Mathematical Primitive は解法を成立させる中心構造を分離する
この能力分解を数学推論へ適用したのが、Xing らの The Missing Primitive である[4]。同研究は、問題固有の解法を成立させる中心構造を Mathematical Primitive と定義する。対象となるのは、単に「帰納法を使う」「ある定理を適用する」といった一般的な手順名ではなく、なぜその問題がその方法によって解けるのかを規定する不変量、定理の適用条件、表現変換、帰着、再定式化などである。
例えば同じ「帰納法を使う」という方針でも、何を帰納変数にするか、帰納段階で保存される関係は何か、どの表現へ変換すると再帰構造が現れるかによって、実際に問題を解けるかどうかが変わる。手続きの名称だけでは実行可能な解法にならず、問題固有の構造まで特定されて初めて、その後の推論を拘束できる。Mathematical Primitive は、この「解法の名前」と「解法を成立させる構造」の間を評価対象として切り出す。
最終結果以外を評価する研究には既に系譜がある。Let’s Verify Step by Step は、最終回答だけへ報酬を与える結果監督と、途中の推論段階を評価する過程監督を比較した[5]。ProcessBench は、数学推論のどの段階で最初の誤りが生じたかを識別する課題を評価対象にしている[6]。これらは推論過程を観測対象へ広げることで、最終正答率へ圧縮されていた途中経過を取り出す。
The Missing Primitive が追加した軸は、途中の各推論ステップとは別に、解法全体を成立させる構造を評価することである。問題を解く処理を単純化すると、
\[
\text{問題}
\longrightarrow
\text{中心構造の発見}
\longrightarrow
\text{構造に基づく実行}
\longrightarrow
\text{最終回答}
\]
という段階へ分けられる。通常の正答率は右端の最終回答を観測するため、中心構造の発見に失敗した場合と、中心構造を利用した後の実行に失敗した場合が同じ不正解へ入る。Mathematical Primitive を独立した観測対象に置くことで、この二つを別の事象として測定できる。
この分離には直接的な帰結がある。中心構造を自力で発見できるかを測り、さらに正しい中心構造を外部から与えた状態で解けるかを測れば、「構造を発見できなかったために解けなかった問題」と「構造を与えても解けなかった問題」を区別できる。最終正答率という一つの測定値から能力構成を推測する代わりに、観測条件を増やして潜在能力を分解する設計になる。
2. 数学推論は構造発見と実行へ分けられる
The Missing Primitive は、数学問題に正解できたかという最終結果を、その結果へ至るまでの異なる能力へ分解して評価する[4]。問題を \(x\)、その問題の解法を成立させる中心構造を \(p\)、完全な解答を \(y\)、モデルを \(\pi\) とすると、同じモデルに対して入力条件と要求する出力を変えることで、Discovery、Generation、Digestion、Execution という四つの評価を構成する。
2.1 四つの評価は異なる条件付き能力を測る
| 評価軸 | 写像 | 入力条件 | 測っていること |
|---|---|---|---|
| Discovery | \(\pi(x)\rightarrow\hat p\) | 問題 \(x\) だけを与える。 | 解法を成立させる中心構造 \(p\) を、解答を見る前に独力で特定できるかを測る。 |
| Generation | \(\pi(x)\rightarrow\hat y\) | 問題 \(x\) だけを与える。 | 通常の問題解答条件で、最終的に正しい解答 \(y\) へ到達できるかを測る。 |
| Digestion | \(\pi(x,y)\rightarrow\hat p\) | 問題 \(x\) と正しい解答 \(y\) を与える。 | 完成した解答を読んだ後、その解答を成立させている中心構造 \(p\) を抽出できるかを測る。 |
| Execution | \(\pi(x,p)\rightarrow\hat y\) | 問題 \(x\) と正しい中心構造 \(p\) を与える。 | 必要な構造が既に分かっている状態で、その構造を使って正しい解答 \(y\) を構成できるかを測る。 |
四つの評価で重要なのは、同じ問題と同じモデルを使いながら、モデルへ渡す情報を変えている点にある。Generation では問題だけを与えるため、中心構造の発見から実際の解答生成までをモデル自身が担う。Execution では正しい \(p\) を外部から与えるため、中心構造を探索する負担を取り除いた状態で、その後の推論を評価できる。Discovery と Execution を組み合わせれば、通常の Generation で生じた失敗を「構造へ到達できなかった失敗」と「構造を与えても解けなかった失敗」へ分けられる。
Digestion はさらに別の能力を測る。正しい解答 \(y\) を読んだ後なら中心構造 \(p\) を説明できるモデルでも、問題 \(x\) だけから同じ構造を発見できるとは限らない。したがって、
\[
\pi(x,y)\rightarrow\hat p
\]
が成功することと、
\[
\pi(x)\rightarrow\hat p
\]
が成功することは別の条件である。解答を見れば理解できることと、解答を見る前に必要な構造へ到達できることを分離できるため、事後的な説明能力をそのまま問題解決時の構造発見能力として扱わずに済む。
2.2 Prim は最終回答ではなく中心構造そのものを採点する
同研究の Prim ベンチマークは、Humanity’s Last Exam の数学、テキストのみ、自由回答部分を基礎としている。HLE-Verified の Gold と Revision から 200 問を抽出し、数学について大学院レベルの訓練を受けた 3 人の専門家が確認した上で、Primitive を一意かつ明確に定義することが難しい 18 問を除外し、182 問を評価対象としている[4]。
Primitive の採点も文字列一致には還元されない。例えば参照解答に「対称性を利用する」と書かれている場合、モデルが単に「対称性」と出力しただけで十分とは限らない。その問題でどの対象がどの変換に対して不変なのか、その不変性がどのように探索空間や計算を縮約し、解法を成立させるのかまで特定できて初めて、問題固有の中心構造を捉えたと判断できる。評価対象を手法名ではなく、手法が成立する条件と仕組みに置いている。
この採点設計には、能力分解を成立させる上で必要な理由がある。Primitive を「帰納法」「場合分け」「変数変換」のような一般的なラベルとして採点すると、同じ手法名を使う多数の問題が同じ \(p\) に畳み込まれる。その場合、Discovery は問題固有の構造を発見したかではなく、適切そうな手法名を推測したかを測ることになる。Prim は \(p\) の粒度を問題固有の構造まで下げることで、Discovery と Execution の分離を実際の解法構造へ対応させている。
2.3 同じ Generation でも能力構成は大きく異なる
四つの評価を並べると、一つの最終正答率からは見えなかったモデル間差が現れる。Qwen3.6-27B の Generation は 52.75%、GPT-5.4-mini は 50.55% であり、通常の正答率だけなら両者の差は 2.20 ポイントである。一方、Discovery は Qwen3.6-27B が 24.73%、GPT-5.4-mini が 59.34% で、差は 34.61 ポイントに広がる[4]。
| モデル | Discovery | Generation | Digestion | Execution |
|---|---|---|---|---|
| GPT-5.4-mini | 59.34% | 50.55% | 97.80% | 71.98% |
| Qwen3.6-27B | 24.73% | 52.75% | 92.31% | 78.57% |
この表では、Generation の大小関係と Discovery の大小関係が一致していない。Qwen3.6-27B は Generation では GPT-5.4-mini を 2.20 ポイント上回るが、Discovery では 34.61 ポイント下回る。一方、正しい Primitive を与えた Execution では Qwen3.6-27B が 78.57%、GPT-5.4-mini が 71.98% となり、Qwen3.6-27B が 6.59 ポイント上回る。
この組み合わせから、Qwen3.6-27B の通常正答率だけを見て「数学的構造の発見能力も同程度に高い」と解釈すると、Discovery の実測値と一致しないことが分かる。Qwen3.6-27B は正しい構造を与えられた後の Execution では高い性能を示す一方、その構造へ問題だけから到達する Discovery が低い。GPT-5.4-mini は逆に Discovery が高く、Execution では Qwen3.6-27B を下回る。ほぼ同じ Generation が、異なる Discovery と Execution の組み合わせから成立している。
Digestion が両モデルとも 90% を超えている点も、能力分解を読む上で重要である。Qwen3.6-27B は Discovery が 24.73% である一方、正しい解答を与えた後の Digestion は 92.31% に達する。中心構造を理解する能力が全面的に欠けているなら、この大きな差は説明しにくい。完成した解答の中に構造が現れていれば抽出できるが、問題だけからその構造を探索する段階で失敗しやすいという能力構成の方が観測結果と整合する。
2.4 問題単位の同時分布から失敗原因を分ける
モデル全体の平均値だけでなく、問題ごとの成否を組み合わせると失敗の種類をさらに分解できる。問題 \(x\) に対して、Primitive の発見成功を
\[
D(x)\in\{0,1\}
\]
通常条件での正答を
\[
G(x)\in\{0,1\}
\]
正しい Primitive を与えた条件での正答を
\[
E(x)\in\{0,1\}
\]
とする。通常の正答率は、
\[
A_{\mathrm{gen}}
=
\mathbb{E}[G]
\]
として \(G\) の平均だけを見る。一方、\((D,G,E)\) の同時分布を使えば、同じ \(G=0\) の問題を異なる失敗型へ分けられる。
| 状態 | 観測されたこと | 失敗原因の読み方 |
|---|---|---|
| \(D^{+}G^{+}\) | 中心構造を発見し、通常条件でも正解した。 | 構造発見から実行まで一連の処理が成功している。 |
| \(D^{-}G^{-}E^{+}\) | 通常条件では構造を発見できず不正解だったが、正しい構造を与えると正解した。 | 利用可能な実行能力は存在し、中心構造への到達が性能を制約している。 |
| \(D^{-}G^{-}E^{-}\) | 構造を発見できず、正しい構造を与えても不正解だった。 | 構造発見だけでなく、その後の知識、計算、推論実行にも制約が残っている。 |
| \(D^{+}G^{-}\) | 中心構造は特定できたが、通常条件で最終正解へ到達できなかった。 | 構造発見後の実行過程に失敗要因が存在する。 |
とりわけ \(D^{-}G^{-}E^{+}\) は、最終正答率だけでは識別できない失敗である。通常評価では単なる不正解として数えられるが、正しい Primitive を与える介入によって正解へ変わるため、モデル内部にはその問題を処理できる実行能力が残っている。失敗を直接生んでいるのは、実行能力全体の欠如より前にある、中心構造への到達である。
論文では、Generation の失敗の 83.6% が Discovery の失敗を含んでいた[4]。この割合は、数学推論の失敗の大部分がすべて Discovery だけで説明できることを意味する値ではない。Discovery に失敗した後、正しい Primitive を与えても解けない \(E^{-}\) の問題も含まれる。観測から直接言えるのは、通常の不正解の多くで、最終回答へ到達する以前に中心構造の発見が既に失敗しているということである。
一方、\(D^{-}E^{+}\) の問題では、Discovery を外部から補うだけで結果が変わる。この条件では、
\[
D=0,\qquad G=0,\qquad E=1
\]
という組み合わせが、「自力で構造へ到達する能力」と「与えられた構造を利用する能力」の差を直接表す。Generation の一値だけでは観測できなかった能力差が、入力条件を変えた反事実的な比較によって現れる。
既稿では、AI の科学的発見について、証拠を提示された後に特徴を認識できる能力と、広い探索空間からその証拠へ自力で到達する能力を分けた[7]。数学推論でも同じ構造が成立する。完成した解答や正しい Primitive が与えられた後に情報を利用できることと、問題だけから利用すべき構造へ到達できることは異なる。評価条件を分けることで、この二つを同じ「推論能力」という一語へ畳み込まずに測定できる。
3. 正しい構造を与える介入で潜在していた能力を分離する
Discovery、Generation、Execution を別々に測ると、最終正答率へ混ざっていた能力構成を分解できる。しかし、能力を分けて観測するだけでは、どの能力が通常条件での失敗を直接制約しているかまでは確定しない。Discovery が低いモデルでも、実行能力まで低いとは限らないからである。The Missing Primitive はこの点を、同じモデルと同じ問題を保ったまま、正しい Primitive を外部から与える介入によって検証している[4]。
3.1 Primitive の有無だけを変えて実行能力を観測する
通常条件では問題 \(x\) だけをモデルへ与え、中心構造の発見から最終解答の生成までをモデル自身に任せる。このときの正答率を \(A_{\mathrm{gen}}\) とする。
\[
A_{\mathrm{gen}}
=
\mathbb{E}[G(x)]
\]
一方、Execution では同じ問題 \(x\) に対して正しい Primitive \(p^\ast\) を追加し、その構造を使って正解 \(y^\ast\) へ到達できるかを測る。正答率を \(A_{\mathrm{exec}}\) とすると、
\[
A_{\mathrm{exec}}
=
\mathbb{E}
\left[
\mathbf{1}
\left\{
\pi(x,p^\ast)=y^\ast
\right\}
\right]
\]
と書ける。ここで \(\mathbf{1}\{\cdot\}\) は、条件が成立したとき 1、成立しないとき 0 を取る指示関数である。つまり \(A_{\mathrm{exec}}\) は、正しい中心構造が既に与えられている条件で、モデルが最終解答まで実行できた割合を表す。
二つの差を、
\[
\Delta_{\mathrm{primitive}}
=
A_{\mathrm{exec}}
–
A_{\mathrm{gen}}
\]
と置く。この値は、モデルの重みや問題そのものを変えず、中心構造 \(p^\ast\) を外部から与えたことによってどれだけ正答率が上がったかを表す。差が大きいほど、通常条件では中心構造への到達が性能を制約していた問題が多いと読める。
論文では評価した 12 モデルすべてで \(\Delta_{\mathrm{primitive}}>0\) となり、改善幅は 17.58～29.67 ポイントだった[4]。Qwen3.5-4B では Generation が 26.37%、Execution が 56.04% で、差は 29.67 ポイントに達した。
| 評価条件 | モデルへ与える情報 | Qwen3.5-4B の正答率 | 読み取れること |
|---|---|---|---|
| Generation | 問題 \(x\) だけを与える。 | 26.37% | 中心構造の発見から解答実行までを含む通常条件での最終性能を表す。 |
| Execution | 問題 \(x\) と正しい Primitive \(p^\ast\) を与える。 | 56.04% | 中心構造の探索を外部から補った後に利用できる実行能力を表す。 |
| 差分 | 入力条件の差は Primitive の有無にある。 | +29.67 ポイント | 通常条件では利用されていなかった実行能力が、構造情報の追加によって表面化した。 |
この介入で変えているのはモデルの学習済みパラメータではない。同じモデルが同じ問題を処理するとき、中心構造 \(p^\ast\) の有無だけを変えている。Generation ではモデル自身が Primitive を見つける必要があり、Execution ではその探索部分だけを外部から補う。この条件差によって、通常正答率へ混ざっていた「構造を発見する能力」と「構造を使って解答を構成する能力」を分離できる。
因果関係は二段階で読める。第一に、正しい Primitive を与えると、モデルは解法空間の中から使うべき構造を探索する必要がなくなる。第二に、その探索負荷を除いた状態で正答率が大きく上がるなら、通常条件での失敗の一部は、実行能力そのものより前段にある構造発見によって生じていたと判断できる。低い Generation を一括して「数学能力不足」と解釈するより、どの処理が性能の律速段階になっているかを具体的に特定できる。
3.2 与える構造情報の質によって性能差は大きく変わる
Primitive を与えれば常に同じ効果が得られるわけではない。論文は、モデル自身が生成した Primitive、教師モデルが生成した手順計画、教師モデルが生成した Primitive、専門家確認済みの Gold Primitive を比較している[4]。この比較によって、「何らかの中間情報を追加した効果」と「問題固有の正しい中心構造を追加した効果」を分けられる。
Qwen3.6-27B では、通常の Generation が 52.75% だった。自己生成した Primitive を使うと 41.21% まで下がり、教師モデルによる手順計画では 56.04%、教師 Primitive では 64.84%、Gold Primitive では 78.57% まで上がった[4]。
| 条件 | 正答率 | 通常 Generation との差 | 評価上の意味 |
|---|---|---|---|
| 通常 Generation | 52.75% | 基準 | 構造発見から実行までをモデル自身に任せた性能である。 |
| 自己生成 Primitive | 41.21% | -11.54 ポイント | 誤った中心構造を自分で生成すると、その構造が後続推論を誤った方向へ拘束し得る。 |
| 教師の手順計画 | 56.04% | +3.29 ポイント | 一般的な手順情報には一定の効果があるが、改善幅は限定される。 |
| 教師 Primitive | 64.84% | +12.09 ポイント | 問題固有の中心構造を比較的高品質に与えると、実行性能が大きく上がる。 |
| Gold Primitive | 78.57% | +25.82 ポイント | 専門家確認済みの正しい中心構造を与えた条件で、潜在していた実行能力を最も強く引き出せる。 |
この結果では、中間情報を追加したこと自体より、その情報が問題固有の正しい構造をどこまで捉えているかが性能差を決めている。自己生成 Primitive は通常条件より 11.54 ポイント低く、誤った構造を明示的に置くことで、かえって後続推論が制約されている。一方、教師の手順計画では 3.29 ポイントの改善にとどまり、Gold Primitive では 25.82 ポイント改善している。
ここには二段階の作用がある。まず Primitive は後続推論の探索範囲を狭める。次に、その狭め方が正しければ関連する解法へ集中でき、誤っていれば有効な解法を探索対象から外してしまう。したがって Primitive は単なる追加説明ではなく、後続推論の条件を変える制約として働く。質の高い Primitive が Execution を改善し、誤った Primitive が Generation より性能を下げるという対称的な結果は、この役割と整合する。
3.3 介入による診断は学習後の修復可能性とも対応する
介入による能力分解が有効な診断であるなら、同じ Generation 失敗の中でも、その診断結果によって後続学習の修復率が変わるはずである。論文はこの点について、Discovery に失敗した問題を、正しい Primitive を与えれば解ける \(D^{-}E^{+}\) と、与えても解けない \(D^{-}E^{-}\) に分けて比較している[4]。
Qwen3.5 の 27B、9B、4B について、Discovery に失敗した 294 件から \(D^{-}E^{+}\) と \(D^{-}E^{-}\) を 147 件ずつ揃え、教師あり微調整と On-Policy Self-Distillation の後で修復率を測定した。教師あり微調整では \(D^{-}E^{+}\) が 20.4%、\(D^{-}E^{-}\) が 6.8% だった。On-Policy Self-Distillation では、それぞれ 21.1% と 8.2% だった[4]。
| 失敗型 | 正しい Primitive を与えたとき | SFT 後の修復率 | On-Policy Self-Distillation 後の修復率 |
|---|---|---|---|
| \(D^{-}E^{+}\) | 解ける。 | 20.4% | 21.1% |
| \(D^{-}E^{-}\) | 解けない。 | 6.8% | 8.2% |
SFT では修復率が約 3.0 倍、On-Policy Self-Distillation では約 2.6 倍異なる。どちらも通常条件では Discovery に失敗した問題だが、正しい Primitive を与えたときに解けるかどうかで、その後の学習による修復可能性が大きく違う。
\(D^{-}E^{+}\) では、モデルは必要な構造へ自力で到達できていない一方、その構造を利用する能力は既に持っている。学習によって修復すべき対象は主に、問題から中心構造へ到達する写像
\[
x\longrightarrow p
\]
にある。これに対して \(D^{-}E^{-}\) では、正しい \(p\) を外部から与えても解答 \(y\) へ到達できないため、
\[
(x,p)\longrightarrow y
\]
の側にも制約が残る。必要な修復範囲が広い分、同じ学習手法を適用したときの改善率も低くなるという関係が観測されている。
3.4 評価値を分解すると性能比較から原因診断へ進める
最終正答率には、モデル全体の性能を一つの数字で比較できるという役割がある。しかし、改善対象を決めるには、同じ不正解を生む異なる原因を分ける必要がある。Primitive を使った介入は、通常条件で失敗した問題を少なくとも二種類へ分類できる。
| 失敗型 | 観測結果 | 直接の制約 | 改善対象の読み方 |
|---|---|---|---|
| \(D^{-}E^{+}\) | 自力では構造を発見できないが、正しい構造を与えると解ける。 | 中心構造への到達が通常性能を制約している。 | 問題から Primitive を発見する能力を改善する余地が大きい。 |
| \(D^{-}E^{-}\) | 構造を発見できず、正しい構造を与えても解けない。 | 構造発見に加えて、知識、計算、推論実行にも制約が残る。 | Primitive 発見だけを改善しても十分ではなく、後続の実行能力まで対象にする必要がある。 |
この分類によって、評価値の役割が性能の記述から原因の診断へ変わる。Generation だけなら、どちらも同じ \(G=0\) として数えられる。Execution を追加すると、同じ失敗集合が \(E=1\) と \(E=0\) に分かれ、学習後の修復率にも差が現れる。観測条件を増やすことで、最終結果へ圧縮されていた因果構造の一部を復元できる。
数理的には、通常評価で観測していたのは、
\[
m_{\mathrm{gen}}
=
\phi
\left(
O(\mathbf{z};c_{\mathrm{gen}})
\right)
\]
という一つの条件での測定値だった。Primitive を与える介入では、潜在能力 \(\mathbf{z}\) を維持したまま観測条件を \(c_{\mathrm{exec}}\) へ変え、
\[
m_{\mathrm{exec}}
=
\phi
\left(
O(\mathbf{z};c_{\mathrm{exec}})
\right)
\]
を追加する。二つの測定値の差から、どの能力が条件によって表面化し、どの能力が依然として制約として残るかを読む。評価対象を増やすのではなく、同じ対象に対する観測条件を制御することで、潜在能力の構成を推定する方法である。
The Missing Primitive の結果から得られる帰結は、正しい中間構造を与えれば正答率が上がるという事実だけに留まらない。介入によって通常の失敗を原因別に分解し、その分類が後続学習の修復可能性とも対応したことで、評価結果と改善方針を接続できる。最終正答率が「どれだけ解けたか」を示す指標なら、Discovery と Execution の差は「なぜ解けなかったか」を診断する指標として機能する。
4. 幻覚の信号は観測するモデルによって変わる
数学推論では、同じモデルに与える情報を変えることで、構造発見と実行を分離した。幻覚検出では、評価条件の別の成分である観測主体を変えると、同じ生成文から取り出せる内部信号が変化する。Gupta と Buscaldi は、生成文全体を「幻覚あり」「幻覚なし」の二値で分類するのではなく、幻覚がどの位置から始まり、その後どこまで継続するかをトークン単位の系列ラベリングとして検出した[8]。
4.1 幻覚検出を生成主体と観測主体へ分ける
生成モデルを \(g\)、入力を \(X\)、生成された長さ \(T\) のトークン列を
\[
Y=(y_1,\ldots,y_T)
\]
とすると、生成処理は、
\[
Y=G_g(X)
\]
と書ける。ここで \(G_g\) は生成モデル \(g\) が入力 \(X\) から応答 \(Y\) を生成する写像である。
幻覚検出では、この生成系列 \(Y\) を別のモデルへ入力し、そのモデル内部で各トークン位置に対応して生じる隠れ状態を観測できる。観測モデルを \(o\) とすると、内部状態列を、
\[
H^{(o)}
=
O_o(X,Y)
=
\left(
h^{(o)}_1,\ldots,h^{(o)}_T
\right)
\]
と表せる。\(h^{(o)}_t\) は観測モデル \(o\) が生成系列の位置 \(t\) を処理したときの内部表現である。同じ生成文 \(Y\) を入力しても、観測モデルが異なれば、モデル内部で形成される表現 \(H^{(o)}\) も異なる。
検出器 \(f_\theta\) は、この内部状態列から各トークンのラベルを推定する。
\[
\hat Z
=
f_\theta
\left(
H^{(o)}
\right)
\]
各位置 \(t\) の正解ラベルは、
\[
z_t
\in
\{
O,
\mathrm{B\text{-}HALL},
\mathrm{I\text{-}HALL}
\}
\]
で表される。\(O\) は幻覚区間の外側、B-HALL は幻覚が始まる位置、I-HALL は既に始まった幻覚が継続している位置である。文章全体に一つのラベルを付ける方法と異なり、この形式では「幻覚を含むか」に加えて、「どの位置で意味的な逸脱が始まったか」を観測対象にできる。
| 要素 | 役割 | 固定または変更する条件 |
|---|---|---|
| 生成モデル \(g\) | 評価対象となる応答 \(Y\) を生成する。 | 自己観測と外部観測を比較するときは同じ生成モデルを使う。 |
| 生成系列 \(Y\) | 幻覚開始位置を含む評価対象そのものになる。 | 比較時には同じ生成系列を観測モデルへ入力する。 |
| 観測モデル \(o\) | 生成系列を読み、その内部状態 \(H^{(o)}\) を作る。 | 自己観測と外部観測で変更する主要条件になる。 |
| 検出器 \(f_\theta\) | 内部状態から B-HALL などのラベルを推定する。 | MLP、BiLSTM、CRF 系など複数の構成を比較する。 |
この分解によって、「生成したモデル自身が最も自分の幻覚を検出しやすい」という仮定を独立に検証できる。生成主体 \(g\) と観測主体 \(o\) を同一にした場合と、別モデルにした場合を比較すれば、幻覚に関する情報が生成モデル固有の内部状態に最も明瞭に現れるのか、それとも別モデルが同じ文章を処理した内部状態にも利用可能な信号が形成されるのかを測定できる。
4.2 自己観測と外部観測は異なる測定条件になる
生成モデル自身の内部状態を使う自己観測では、生成モデルと観測モデルが一致する。
\[
o=g
\]
このときの検出性能を \(R(g,g)\) と書く。一方、生成モデル \(g\) の応答を別モデル \(o\) に読ませ、その内部状態から幻覚を検出する外部観測では、
\[
o\neq g
\]
となり、性能を \(R(o,g)\) と書ける。
幻覚開始を表す B-HALL は出現頻度が低いため、単純な正解率では多数派の \(O\) を予測するだけでも高い値が得られる。そこで論文は、少数クラスの検出性能を評価しやすい PR-AUC を主要な指標の一つとして使っている[8]。観測モデル \(o\) の内部状態を使った性能を形式化すると、
\[
R(o,g)
=
\operatorname{AUPRC}
\left(
f_\theta(H^{(o)}),
Z
\right)
\]
と表せる。ここで \(Z\) は正解ラベル列である。生成系列 \(Y\) と正解ラベル \(Z\) を固定し、観測モデル \(o\) だけを変えれば、性能差は観測系の違いとして比較できる。
生成モデル自身の内部状態が幻覚に関する情報を最も明瞭に保持するなら、
\[
R(g,g)
\ge
R(o,g)
\]
という関係を期待できる。しかし、Mistral-7B が生成した RAGTruth の応答を対象とした比較では、この関係は分類器によって変わった[8]。
| 分類器 | Mistral 自己観測 | SmolLM2 外部観測 | 高い方 |
|---|---|---|---|
| MLP | 0.172 | 0.130 | 自己観測が 0.042 高い。 |
| BiLSTM | 0.205 | 0.193 | 自己観測が 0.012 高い。 |
| BiLSTM-CRF | 0.172 | 0.227 | 外部観測が 0.055 高い。 |
| BiLSTM-Attn-CRF | 0.221 | 0.242 | 外部観測が 0.021 高い。 |
| BERT-CRF | 0.043 | 0.079 | 外部観測が 0.036 高い。 |
BiLSTM-CRF では、
\[
R(\mathrm{Mistral},\mathrm{Mistral})
=
0.172
<
0.227
=
R(\mathrm{SmolLM2},\mathrm{Mistral})
\]
となる。BiLSTM-Attn-CRF でも、
\[
0.221
<
0.242
\]
であり、外部観測の方が高い。一方、MLP では \(0.172>0.130\)、BiLSTM では \(0.205>0.193\) となり、自己観測の方が高い。観測モデルだけで性能の大小が決まるのではなく、内部状態をどの検出器で読み出すかとの組み合わせによって結果が変化している。
この結果から直接確認できるのは、生成主体と観測主体の同一性が高い検出性能を保証していないことである。より小さい SmolLM2-1.7B でも、特定の系列分類器を組み合わせると、Mistral-7B が自分自身を観測した内部状態より、幻覚開始を識別しやすい内部表現を形成した。少なくともこの比較では、モデル規模の大小と観測性能の大小は一致していない。
4.3 外部観測で性能が変わる理由は観測写像の違いにある
同じ生成系列 \(Y\) を二つの観測モデル \(o_1\) と \(o_2\) に与えた場合、入力文字列そのものは変わらない。しかし、それぞれのモデルが生成する内部状態は、
\[
H^{(o_1)}
=
O_{o_1}(X,Y)
\]
\[
H^{(o_2)}
=
O_{o_2}(X,Y)
\]
となり、一般には、
\[
O_{o_1}(X,Y)
\neq
O_{o_2}(X,Y)
\]
である。語彙表現、注意機構、層構成、学習履歴、表現空間が異なれば、同じ文章を処理したときに内部で強調される特徴も変わる。その結果、幻覚開始位置と相関する情報が、ある観測モデルでは分類器から読み出しやすく、別のモデルでは読み出しにくい状態で符号化される可能性がある。
ここでは二段階の因果関係がある。第一に、観測モデル \(o\) を変えることで、同じ生成系列から作られる内部状態 \(H^{(o)}\) が変わる。第二に、その内部状態に含まれる幻覚関連情報の配置や分離可能性が変わることで、同じ種類の検出課題でも PR-AUC が変化する。評価対象である生成系列を固定していても、観測写像 \(O_o\) が異なれば測定値 \(R(o,g)\) も変わる。
この構造は、従来の幻覚検出研究を観測方法の違いとして整理すると見やすい。SelfCheckGPT は同じ質問に対する複数生成の一貫性から事実性を外部的に推定する[9]。RAGTruth は RAG 応答中の幻覚区間を人手で注釈し、どの位置で生成が根拠から逸脱したかを評価可能にした[10]。MIND はモデル内部状態を使ったリアルタイムの幻覚検出を扱い[11]、ICR Probe は単一層の状態だけでなく、層をまたいだ内部状態の変化を利用している[12]。
| 方法 | 主に観測するもの | 観測単位 | 測定上の特徴 |
|---|---|---|---|
| SelfCheckGPT | 同じモデルによる複数生成間の整合性 | 文や応答 | モデル内部状態を直接使わず、出力間の一致度から事実性を推定する。 |
| RAGTruth | 生成文と根拠情報の対応 | 語や区間 | 人手注釈された幻覚区間を正解ラベルとして利用できる。 |
| MIND・ICR Probe | 生成モデル内部の隠れ状態 | トークンや層 | 外部出力だけでなく、内部表現に現れる幻覚関連信号を利用する。 |
| External Observers | 同じ生成文を読んだ別モデルの内部状態 | トークン | 生成主体と観測主体を分離し、どのモデルから信号を読むか自体を評価条件にする。 |
External Observers の追加点は、内部状態を使うというだけではなく、内部状態を誰から取得するかを独立変数にしたことである。生成モデル自身の内部に幻覚の「真の信号」が一つ存在し、それを読み出せばよいという前提から離れ、同じ生成結果を別モデルへ再入力したときに形成される表現も観測候補として扱っている。
4.4 観測された優位性の適用範囲は限定される
外部観測の結果は、実験条件を保持したまま読む必要がある。中心となる Mistral-7B の RAGTruth テスト集合では、11,914 トークンのうち B-HALL は 57 トークンで、全体の 0.48% だった[8]。幻覚開始は極端な少数クラスであり、数十件の判定変化でも 適合率、再現率、PR-AUC が大きく動き得る。
さらに、自己観測と外部観測の主要比較は Mistral-7B と SmolLM2-1.7B という一つの観測モデルと生成モデルの組み合わせ、RAGTruth という一つのデータセット、単一の乱数シードの条件で行われている[8]。分類器によっても自己観測と外部観測の優劣が入れ替わるため、観測された結果は「小さいモデルほど他モデルの幻覚を見抜きやすい」という一般則を支えるものではない。
| 制約条件 | 実験条件 | 結果から直接言える範囲 |
|---|---|---|
| 少数クラス | B-HALL は 57 / 11,914 トークン、0.48% である。 | 特定テスト集合における幻覚開始検出性能として読む必要がある。 |
| モデルの組み合わせ | Mistral-7B と SmolLM2-1.7B の比較が中心である。 | 外部観測モデル一般やモデル規模一般へ直接拡張する根拠にはならない。 |
| 分類器依存性 | MLP と BiLSTM では自己観測、CRF 系の一部では外部観測が高い。 | 観測モデルだけでなく、読み出し方法との組み合わせが性能を決める。 |
| 反復性 | 主要比較は単一の乱数シードである。 | 観測された差の分散や再現性には追加検証が必要になる。 |
論文自身も外部観測の優位を一般法則としてではなく、制御された条件で得られた予備的な証拠として位置付けている[8]。適用範囲をこの条件内へ限定すると、研究から得られる意味はむしろ明確になる。外部観測が常に優れていることではなく、同一の生成対象に対して観測主体を変えるだけで、評価可能な信号の強さが変わり得ることが実証された。
4.5 評価値は対象と観測系の組み合わせから生じる
数学推論の Primitive 介入では、同じモデルの潜在能力を保ちながら入力条件を変えた。幻覚検出では、同じ生成系列を保ちながら観測モデルを変える。この二つを共通の測定モデルへ戻すと、観測条件 \(c\) の中に誰が観測したかという変数 \(o\) が入る。
\[
m
=
\phi
\left(
O_o(\mathbf{z};c)
\right)
\]
生成系列 \(Y\) を固定しても、
\[
O_{o_1}(X,Y)
\neq
O_{o_2}(X,Y)
\]
なら、得られる内部表現が変わり、その内部表現を使った評価値も変化する。ここで観測されている PR-AUC は、生成文だけの性質ではなく、生成文、観測モデル、内部状態の取り出し方、分類器を組み合わせた測定系の性能である。
この区別を保持すると、「Mistral の幻覚検出性能は 0.221」のような読み方より条件を正確に表現できる。0.221 は、Mistral-7B の RAGTruth 生成に対して Mistral 自身の内部状態を観測し、BiLSTM-Attn-CRF で B-HALL を検出した条件の PR-AUC である。同じ生成に SmolLM2 の内部状態を使えば 0.242 となり、分類器を MLP に変えれば大小関係は逆になる[8]。
この研究から得られる測定論上の帰結は、モデル内部を観測すれば生成主体の性質を直接読めるという単純な対応を置けないことである。内部状態も観測系を通して得られる測定値であり、その可読性は誰の内部状態を使うか、どの分類器で読み出すかによって変わる。評価対象を固定したまま観測主体を変える比較によって、測定値の中に観測系の影響がどの程度含まれているかを検証できる。
5. 内部機構を測る介入は計算条件そのものを変える
幻覚検出では、同じ生成文を固定しても、どのモデルの内部状態を観測するかによって検出性能が変わった。内部機構の評価では、さらに一段深い問題が生じる。観測のためにモデル内部へ介入すると、その介入自体がモデルの計算条件を変えるからである。Geng らの Are We Recovering Mechanisms? は、機構解釈可能性で候補回路を評価するときに使われる忠実度（faithfulness）が、本来選びたい候補を正しい順序で評価できるかを検証している[13]。
5.1 回路の忠実度は介入後のモデルから測定される
機構解釈可能性では、モデル内部の一部の接続や構成要素を候補回路 \(S\) として残し、それ以外の経路を除去または置換した状態でモデルを実行する方法が使われる。除外部分には、別入力から得た活性値、平均活性値、ゼロなどを与える。残した回路だけで元モデルの出力をどこまで再現できるかを測り、元モデルとの差が小さい回路ほど高い忠実度を持つと評価する。ACDC は、この種の介入を利用して不要と判断した接続を順に除き、モデル内部の回路を自動的に抽出する手法の一つである[14]。
ここで重要なのは、候補回路 \(S\) をそのまま観察しているわけではない点にある。実際に評価しているのは、\(S\) 以外の部分へ特定の介入 \(a\) を加えたモデルである。候補回路の出力分布を \(p_{S,a}(\cdot|x)\)、元モデルの出力分布を \(p_M(\cdot|x)\)、検証用入力集合を \(V\) とすると、KL ダイバージェンスを使った忠実度は、介入条件を明示して次のように書ける。
\[
F^{\mathrm{KL}}_a(S)
=
–
\mathbb{E}_{x\in V}
\left[
D_{\mathrm{KL}}
\left(
p_M(\cdot|x)
\parallel
p_{S,a}(\cdot|x)
\right)
\right]
\]
KL ダイバージェンス \(D_{\mathrm{KL}}\) は、二つの確率分布がどの程度異なるかを測る。元モデルと介入後の候補回路の出力分布が近いほど値は小さくなるため、ここでは負号を付け、値が高いほど忠実という向きへそろえている[13]。
式の中で評価値を決めているのは候補回路 \(S\) だけではない。介入方法 \(a\) も \(p_{S,a}\) を通じて忠実度へ入る。したがって、
\[
F_a(S)
\]
は回路 \(S\) に固有の不変な属性ではなく、「回路 \(S\) を介入 \(a\) の下で測定した値」と読む方が正確である。同じ回路でも、除外した信号を別入力の活性値へ置き換えるか、平均値へ置き換えるか、ゼロへ置き換えるかによって、残された回路が受け取る入力条件は変わる。
| 要素 | 評価時の役割 | 値が変わる要因 |
|---|---|---|
| 候補回路 \(S\) | 元モデルの計算を説明する候補として残す接続や構成要素を表す。 | どの接続や構成要素を回路へ含めるかによって変わる。 |
| 介入 \(a\) | 回路外の信号をどの値へ置き換えるかを定める。 | 再サンプリング、平均値、ゼロなどの選択によって変わる。 |
| 忠実度 \(F_a(S)\) | 介入後の候補回路が元モデルの出力分布をどこまで再現するかを測る。 | 候補回路と介入方法の両方に依存する。 |
| 行動基準 \(Q(S)\) | 候補回路が独立した評価条件で元モデルの実際の挙動をどこまで再現するかを測る。 | 候補回路が説明対象のモデル挙動を保持している程度によって変わる。 |
5.2 忠実度と行動再現性の順位が一致するとは限らない
忠実度が候補回路を選ぶための評価指標として機能するには、忠実度の高い回路ほど、本来説明したいモデル挙動もよく再現する必要がある。Geng らはこの条件を検証するため、介入時の忠実度とは独立した行動基準 \(Q(S)\) を置いた[13]。
テスト入力集合を \(T\)、入力 \(x\) に対して比較する位置の集合を \(I_x\)、候補回路の予測を \(\hat y_S(x,i)\)、元モデルの予測を \(\hat y_M(x,i)\) とすると、行動基準は次の形で書ける。
\[
Q(S)
=
\mathbb{E}_{x\in T}
\left[
\frac{1}{|I_x|}
\sum_{i\in I_x}
\mathbf{1}
\left\{
\hat y_S(x,i)
=
\hat y_M(x,i)
\right\}
\right]
\]
\(\mathbf{1}\{\cdot\}\) は、候補回路と元モデルの予測が一致すれば 1、一致しなければ 0 を取る。この \(Q(S)\) が測っているのは外部世界の正解率ではなく、説明対象である元モデルの挙動を候補回路がどこまで再現するかである。元モデル自身が誤答する入力でも、その誤答がモデル固有の計算結果であれば、候補回路が同じ挙動を再現できるかが評価対象になる。
ここで、同じ大きさを持つ二つの候補回路 B と W を考える。独立した行動基準では B の方が元モデルをよく再現し、
\[
Q(B)>Q(W)
\]
であるとする。一方、介入下の忠実度が、
\[
F_a(W)>F_a(B)
\]
を返せば、忠実度に従って候補を選ぶ評価手続きは W を選ぶ。論文はこの順位反転を、
\[
\Delta Q
=
Q(B)-Q(W)
>
0
\]
\[
\Delta F
=
F_a(W)-F_a(B)
>
0
\]
という二つの正の差として捉えている[13]。行動再現性では B が優れ、忠実度では W が優れるため、評価値と評価対象の順序が逆になっている。
| 比較 | 候補 B | 候補 W | 選択結果 |
|---|---|---|---|
| 行動基準 \(Q\) | 高い。 | 低い。 | 元モデルの挙動を再現するという基準では B を選ぶ。 |
| 忠実度 \(F_a\) | 低い。 | 高い。 | 忠実度を最大化する評価では W を選ぶ。 |
| 両者の関係 | \(Q(B)>Q(W)\) | \(F_a(W)>F_a(B)\) | 評価指標と行動基準の候補順位が反転する。 |
この条件は、評価値が少しずれているだけの状態より重大である。例えば B と W の忠実度が一律に同じ量だけ変化するなら、候補の順位は保たれる。しかし B と W への介入影響が異なり、大小関係まで逆転すると、忠実度を最適化するほど行動基準では劣る候補を選ぶ可能性が生じる。
5.3 評価目的が誤順位を作ると探索を改善しても解決しない
この違いは、自動回路発見の失敗原因を考える上で重要である。候補回路集合を \(\mathcal{S}_K\) とし、すべて同じ大きさ \(K\) にそろえる。忠実度を最大化する候補を、
\[
S^\ast_{F,a}
\in
\operatorname*{arg\,max}_{S\in\mathcal{S}_K}
F_a(S)
\]
行動基準を最大化する候補を、
\[
S^\ast_Q
\in
\operatorname*{arg\,max}_{S\in\mathcal{S}_K}
Q(S)
\]
とする。二つが同じ候補なら、少なくともこの候補集合の中では忠実度による選択と行動基準による選択が一致している。一方、
\[
Q(S^\ast_{F,a})
<
Q(S^\ast_Q)
\]
なら、忠実度を完全に最適化しても、行動基準では最良の候補を選べない。
この場合、原因を探索アルゴリズムだけへ帰すことはできない。探索器が忠実度 \(F_a\) を完全に最大化できたとしても、目的関数そのものが W を B より高く評価していれば、探索の精度を上げるほど W を確実に選ぶからである。探索失敗と評価目的の失敗は異なる。
Geng らはこの点を、既知の候補同士を直接比較することで検証している。さらに EAP、EAP-IG、ACDC、Edge-SP が実際に出力した候補回路についても、通常の再サンプリング介入を用いた人手参照課題で候補間の KL 誤順位を調べた[13]。
| 回路発見手法 | 候補間の KL 誤順位率 | 意味 |
|---|---|---|
| EAP | 20.0% | 比較した候補対の 5 分の 1 で、忠実度と行動基準の順位が一致しなかった。 |
| EAP-IG | 30.4% | 比較した候補対の約 3 割で誤順位が生じた。 |
| ACDC | 41.2% | 比較した候補対の 4 割を超えて誤順位が生じた。 |
| Edge-SP | 9.4% | 他の三手法より低いが、誤順位は残った。 |
この実験では候補回路そのものは既に得られている。問われているのは「良い回路を探索できたか」ではなく、「手元にある候補のうち、どちらを高く評価するか」である。その段階でも 9.4～41.2% の誤順位が観測されたため、回路発見の性能を改善するには探索器と評価器を別々に検証する必要がある。
5.4 回路外の信号を置換すると残した回路の入力条件も変わる
忠実度が介入方法へ依存する問題は、先行研究でも確認されている。Miller らは、回路忠実度の測定値が回路外をどの値へ置換するかという方法論的選択に対して高い感度を持つことを示した[15]。uit de Bos と Garriga-Alonso は、既存回路と元モデルの挙動差が大きくなる入力を探索する adversarial circuit evaluation を提案している[16]。InterpBench は真の回路が既知となる半合成 Transformer を用意し、回路発見法が既知の構造を回収できるかを直接評価できるようにしている[17]。因果抽象化の研究も、内部介入と高水準の説明モデルがどの条件で対応するかを形式化している[18]。
Geng らは、忠実度が候補を誤順位付けする一因として計算文脈の歪みを調べている[13]。回路外の接続を除去したとき、その信号が単に消えるだけなら、残された回路は元モデルと同じ条件で動き続けるように見える。しかし実際のニューラルネットワークでは、残された構成要素への入力は複数の経路から作られている。ある経路を別入力の活性値、平均値、ゼロへ置き換えると、その下流にある回路構成要素も元モデル実行時とは異なる入力を受け取る。
元モデルにおいて、回路内のある構成要素へ入る信号を単純化して、
\[
u
=
u_{\mathrm{in}}
+
u_{\mathrm{out}}
\]
とする。\(u_{\mathrm{in}}\) は候補回路内から届く信号、\(u_{\mathrm{out}}\) は候補回路外から届く信号である。介入 \(a\) によって回路外の信号を \(\tilde u_{\mathrm{out}}^{(a)}\) へ置き換えると、評価時の入力は、
\[
u^{(a)}
=
u_{\mathrm{in}}
+
\tilde u_{\mathrm{out}}^{(a)}
\]
となる。一般に、
\[
\tilde u_{\mathrm{out}}^{(a)}
\neq
u_{\mathrm{out}}
\]
であるため、
\[
u^{(a)}
\neq
u
\]
となる。候補回路の構成要素自体を残していても、その構成要素が処理する入力分布は元モデルと同一ではなくなる。
この変化は二段階で忠実度へ影響する。第一に、回路外への介入が回路内構成要素の入力条件を変える。第二に、その入力条件の変化に対する感度が候補回路ごとに異なると、介入後の出力差は「どの回路が元モデルの機構をよく保持しているか」だけでなく、「どの回路がその介入による文脈変化へ耐えやすいか」も反映する。忠実度 \(F_a(S)\) に、本来比較したい回路構造と介入条件の相互作用が混ざる。
| 段階 | 起きること | 評価への影響 |
|---|---|---|
| 元モデル | 回路内外の信号が通常の計算文脈で統合される。 | 説明対象となる元のモデル挙動が生成される。 |
| 回路外への介入 | 除外した経路の信号が再サンプリング値、平均値、ゼロなどへ置換される。 | 回路内の構成要素が受け取る入力条件まで変化する。 |
| 忠実度の測定 | 介入後の候補回路と元モデルの出力を比較する。 | 回路の説明力に加えて、介入による計算文脈の歪みが評価値へ入る。 |
| 候補比較 | 候補ごとに文脈変化への感度が異なる。 | 忠実度と行動基準の順位が逆転する場合が生じる。 |
5.5 元の計算文脈を戻すと誤順位の大部分が修復される
計算文脈の歪みが誤順位の主要因なら、候補回路そのものを変更せず、元モデル実行時の文脈だけを一部復元すると順位が戻るはずである。Geng らはこの予測を、部分的な計算文脈の復元によって検証した[13]。
この実験で変更するのは候補回路の構造ではない。通常の介入では置換されていた回路外からの信号の一部について、元モデルを通常実行したときの値を戻す。概念的には、
\[
\tilde u_{\mathrm{out}}^{(a)}
\]
をそのまま使う状態から、元の
\[
u_{\mathrm{out}}
\]
へ一部近づける操作に相当する。これによって、残された回路構成要素が受け取る入力を元モデルの計算文脈へ近づける。
選択した 100 件の持続的な KL 誤順位について部分的な計算文脈の復元を行うと、96 件で検証用集合とホールドアウト集合の両方において順位が修復された[13]。内訳は Human 系が 50 件中 50 件、InterpBench 系が 50 件中 46 件である。
| 評価群 | 対象とした誤順位 | 文脈復元後に修復 | 修復率 |
|---|---|---|---|
| Human 系 | 50 件 | 50 件 | 100% |
| InterpBench 系 | 50 件 | 46 件 | 92% |
| 合計 | 100 件 | 96 件 | 96% |
この結果では、候補回路 B と W の構造も、独立した行動基準 \(Q(B)\) と \(Q(W)\) の大小関係も変更していない。変更したのは忠実度を測るときの計算文脈である。それだけで 100 件中 96 件の誤順位が修復されたため、少なくともこの選択された誤順位集合では、候補回路そのものの差だけではなく、介入が作った入力条件の歪みが順位反転へ大きく寄与していたと読める。
同時に、この 96% をすべての回路評価へそのまま一般化することもできない。100 件は持続的な誤順位から選択された集合であり、研究全体のあらゆる候補対を無作為抽出した割合ではない。実験が直接示すのは、選択された誤順位について、元の計算文脈を一部回復させる操作が順位を高い割合で修復したという因果的な対応である。
5.6 内部へ近づくほど測定が直接的になるとは限らない
機構解釈可能性では、モデルの外部出力だけを見るより内部接続へ介入する方が、モデルの仕組みを直接観察しているように見える。しかし、介入による測定では、観測のための操作が対象の計算条件へ入る。評価値は、
\[
F_a(S)
=
\phi
\left(
O(S;a)
\right)
\]
という形になり、候補回路 \(S\) と介入 \(a\) の組み合わせから生じる。
この構造では、内部へ介入したという事実だけで評価値が機構そのものへ近づくわけではない。回路外の信号を置換した結果、残された回路が元モデルとは異なる入力条件で動けば、そこで観測した挙動は元のモデル計算と介入後の計算が混ざったものになる。さらに候補ごとに介入への感度が違えば、その混合の程度も候補ごとに変わり、順位反転まで生じる。
第 4 章では、同じ生成文 \(Y\) に対して観測モデル \(o\) を変えると内部表現が変わり、幻覚検出性能も変化した。ここでは同じ候補回路 \(S\) に対して介入 \(a\) を変えると計算文脈が変わり、忠実度も変化する。両者に共通するのは、測定値が評価対象だけの関数ではなく、対象へ接触する観測条件の関数でもあることである。
Are We Recovering Mechanisms? が示した中心的な帰結は、ある忠実度指標の値が高いことと、真の機構を回収したことを同一視できるという主張ではない。むしろ、同じ大きさの候補回路を比較する限定された条件でさえ、介入下の忠実度と独立した行動基準の順位が一致しない場合があり、その誤順位の多くが計算文脈の復元によって修復されたことである[13]。内部機構を評価するときには、候補回路だけでなく、その回路を観測可能にするために加えた介入まで測定系の一部として扱う必要がある。
6. 三つの問題は順位保存の条件として統一できる
数学推論、幻覚検出、機構解釈可能性では、評価対象も実験方法も異なる。しかし、三つの研究を測定系として書き直すと、共通する問題が見える。いずれも、評価したい性質そのものを直接読むのではなく、特定の条件で対象を観測し、その観測結果を指標へ変換している。そして観測条件が変わると、同じ対象から得られる評価値も変わる。
候補 \(i\) について、本来評価したい量を \(q_i\)、実際に得られる評価値を \(m_i\)、観測条件を \(c\) とする。評価値を単純化して、
\[
m_i
=
g(q_i)
+
b_i(c)
+
\varepsilon_i
\]
と表す。\(g(q_i)\) は、本来の性質 \(q_i\) が評価値へ反映された成分である。\(b_i(c)\) は、データセット、入力情報、観測モデル、介入方法などの条件 \(c\) によって生じる系統的なずれを表す。\(\varepsilon_i\) は、そのほかの測定誤差や偶然変動である。
この式で区別する必要があるのは、\(b_i(c)\) がすべての候補へ同じ量だけ加わるとは限らない点である。候補ごとに観測条件への感度が異なれば、条件の変更によって候補間の差そのものが変わる。第 5 章の回路評価では、同じ介入を加えても候補回路ごとに計算文脈の歪み方が異なったため、忠実度の順位まで反転した[13]。
6.1 比較指標には本来の順位を保存する条件が必要になる
候補 \(i\) の本来の評価対象が候補 \(j\) より高く、
\[
q_i>q_j
\]
であるとする。本来の性質が評価値へ単調に反映されるなら、
\[
g(q_i)>g(q_j)
\]
となる。評価指標を候補選択へ使うには、最終的な測定値についても、
\[
m_i>m_j
\]
という順序が維持される必要がある。
二つの候補の評価値の差を展開すると、
\[
m_i-m_j
=
g(q_i)-g(q_j)
+
b_i(c)-b_j(c)
+
\varepsilon_i-\varepsilon_j
\]
となる。最初の項、
\[
g(q_i)-g(q_j)
\]
は本来評価したい差を表す。一方、後ろの二つは観測条件とその他の誤差によって生じる差である。本来は \(i\) が優れていても、
\[
b_j(c)-b_i(c)
+
\varepsilon_j-\varepsilon_i
>
g(q_i)-g(q_j)
\]
となれば、観測条件による差が本来の差を上回る。その結果、
\[
m_j>m_i
\]
となり、評価値の順位が反転する。
順位反転は、次の一つの条件でまとめられる。
\[
(m_i-m_j)(q_i-q_j)<0
\]
\(q_i-q_j\) と \(m_i-m_j\) の符号が反対なら、本来の評価対象と実際の評価値が逆の候補を高く評価している。絶対的な測定誤差が多少存在しても順序が保たれる場合と、候補選択そのものが逆転する場合を、この条件によって区別できる。
6.2 三つの研究では観測条件の異なる成分が変化している
三つの研究を同じ式へ置くと、それぞれが観測条件 \(c\) の異なる部分を操作していることが分かる。数学推論では、正しい Primitive を入力へ追加する。幻覚検出では、同じ生成文を処理する観測モデルを変える。機構解釈可能性では、候補回路以外の信号をどのように置換するかという介入方法を変える。
| 研究 | 本来知りたい性質 | 変更する観測条件 | 評価値に現れる変化 | 測定上の論点 |
|---|---|---|---|---|
| Mathematical Primitive | 構造発見と、その構造を利用する実行能力の構成を知りたい。 | 問題だけを与える条件と、正しい Primitive を追加する条件を比較する。 | Generation と Execution の差によって、通常正答率の中に隠れていた能力差が現れる。 | 一つの最終正答率が複数の能力を同じ結果へ圧縮している。 |
| External Observers | 幻覚開始位置を識別するために利用できる内部信号を知りたい。 | 同じ生成文について、自己観測と別モデルによる外部観測を比較する。 | 観測モデルと分類器の組み合わせによって PR-AUC が変化する。 | 同じ生成対象でも、どの観測写像を使うかによって信号の可読性が変わる。 |
| Recovery Gaps | 元モデルの挙動をよく再現する内部回路を特定したい。 | 回路外の信号へ再サンプリング、平均値、ゼロなどの介入を加える。 | 介入下の忠実度と独立した行動基準の候補順位が逆転する場合がある。 | 測定のための介入が回路内部の計算条件まで変化させる。 |
第 2・3 章の Mathematical Primitive では、通常条件の Generation が一つの合成指標として働いていた。問題だけを入力する条件では、中心構造を発見する Discovery と、その構造を使って解く Execution が連続して成功した場合に初めて正答へ到達する。正しい Primitive を外部から与えることで Discovery の負担を除くと、同じモデルでも Execution の性能が 17.58～29.67 ポイント高くなった[4]。ここでは観測条件を変えることで、単一の正答率へ圧縮されていた能力構成を分離している。
第 4 章の External Observers では、評価対象となる生成文を固定したまま観測主体を変更した。Mistral-7B の同じ生成に対して、Mistral 自身の内部状態を見る場合と SmolLM2-1.7B の内部状態を見る場合で、B-HALL の PR-AUC が変化した[8]。この場合、評価対象 \(Y\) を固定しても、観測写像 \(O_o\) が異なるため、評価関数へ渡される内部表現が変わる。
第 5 章の Recovery Gaps では、候補回路を固定しても、回路外へ加える介入によって残された回路の入力条件まで変化した。そこで観測された忠実度は候補回路 \(S\) だけの関数ではなく、介入 \(a\) を含む \(F_a(S)\) になった。実際、回路の行動再現性では B が W より高いのに、介入下の忠実度では W が B より高く評価される候補対が観測された[13]。
6.3 共通式では観測条件も評価値の生成過程へ入る
三つの研究を、導入で置いた共通式へ戻す。
\[
\boxed{
m
=
\phi
\left(
O(\mathbf{z};c)
\right)
}
\]
\(\mathbf{z}\) は評価対象が持つ潜在的な能力や内部構造、\(O\) はそこから観測値を作る操作、\(c\) はその観測を行う条件、\(\phi\) は観測値を指標へ変換する評価関数である。
Mathematical Primitive では、
\[
c
=
c_{\mathrm{generation}}
\]
と、
\[
c
=
c_{\mathrm{execution}}
\]
を切り替える。前者では問題だけ、後者では問題と正しい Primitive を与えるため、同じモデルの潜在能力 \(\mathbf{z}\) から異なる評価値が得られる。
External Observers では観測主体 \(o\) を条件へ明示的に含め、
\[
m
=
\phi
\left(
O_o(\mathbf{z};c)
\right)
\]
と書ける。同じ生成文でも \(o\) が変われば内部状態が変わり、その内部状態を分類した PR-AUC も変化する。
Recovery Gaps では介入 \(a\) が条件へ入り、
\[
m
=
\phi
\left(
O_a(\mathbf{z};c)
\right)
\]
となる。候補回路の構造が同じでも、介入によって計算文脈が変われば観測される忠実度も変わる。
三つを統一すると、評価値 \(m\) を対象 \(\mathbf{z}\) の単純な別名として読むことはできない。より正確には、評価値は対象と観測条件の組み合わせから生成される。
\[
\mathbf{z}
\longrightarrow
O(\mathbf{z};c)
\longrightarrow
m
\]
ここでは \(c\) が単なる実験上の付帯情報ではなく、測定値を決める変数として式の中に入る。どの入力情報を与えたか、誰が観測したか、どの介入を行ったかを省いて評価値だけを比較すると、対象の差と測定条件の差を区別できなくなる。
6.4 絶対値のずれより候補ごとの差のずれが選択を壊す
観測条件によって評価値が変わること自体は、直ちに評価の失敗を意味しない。例えばすべての候補について、ある測定条件が評価値へ一律に \(0.1\) を加えるとする。
\[
m_i’
=
m_i+0.1
\]
\[
m_j’
=
m_j+0.1
\]
この場合、
\[
m_i-m_j
=
m_i’-m_j’
\]
なので候補間の差は変わらない。絶対値には偏りがあっても、比較順位は保存される。ランキングや候補選択だけを目的にするなら、この種の共通ずれは結果へ影響しない場合がある。
選択を壊すのは、候補ごとに異なるずれである。条件 \(c\) の影響を候補別に、
\[
b_i(c)\neq b_j(c)
\]
とすると、観測後の差は、
\[
m_i-m_j
=
g(q_i)-g(q_j)
+
\left[
b_i(c)-b_j(c)
\right]
+
\left[
\varepsilon_i-\varepsilon_j
\right]
\]
となる。本来の差より条件依存の差が大きくなれば、順位反転が発生する。Recovery Gaps で問題になったのはまさにこの形であり、介入による計算文脈の歪みがすべての回路へ同じように作用するのではなく、候補ごとに異なる影響を与えたために誤順位が生じた[13]。
| ずれの種類 | 数理的な形 | 候補比較への影響 |
|---|---|---|
| 候補共通のずれ | \(b_i(c)=b_j(c)\) | 絶対値は変化しても、候補間の差と順位は保存される。 |
| 候補ごとに異なるずれ | \(b_i(c)\neq b_j(c)\) | 候補間の差が拡大、縮小し、条件によっては順位まで反転する。 |
| 順位反転 | \((m_i-m_j)(q_i-q_j)<0\) | 評価値を最大化すると、本来の評価対象では劣る候補を選ぶ。 |
この区別によって、評価指標を見るときに確認すべき対象も変わる。「測定値は真値からどれだけずれているか」という絶対誤差だけでなく、「そのずれが候補ごとに異なることで、本来の差や順位を変えていないか」を確認する必要がある。比較や選択に使う評価器では、順位保存そのものが独立した評価対象になる。
6.5 三研究が示すのは測定値と評価対象の対応関係である
三つの研究が同じ種類の実験をしているわけではない。Mathematical Primitive は、通常正答率を分解することで潜在能力の構成を診断する。External Observers は、観測主体を変えることで内部信号の可読性が観測系へ依存することを示す。Recovery Gaps は、評価のための介入が計算文脈を変え、候補の順位まで反転させる場合を直接測定する。
共通しているのは、評価値と評価対象の間にある対応関係を実験的に動かしている点である。
\[
\text{評価対象}
\longrightarrow
\text{観測条件}
\longrightarrow
\text{観測値}
\longrightarrow
\text{評価指標}
\longrightarrow
\text{判断}
\]
Mathematical Primitive では、観測条件を変えると「解けない」という同じ結果の中から、構造発見に制約された失敗と実行にも制約がある失敗を分離できた[4]。External Observers では、同じ生成を別モデルに観測させるだけで、幻覚開始を識別する PR-AUC が変化した[8]。Recovery Gaps では、同じ候補回路でも測定時の計算文脈を変えると忠実度の順位が修復された[13]。
この対応関係を明示すると、評価値の解釈範囲を具体的に定められる。Generation は数学能力全体の直接値ではなく、特定の問題集合と入力条件において最終正解へ到達した割合である。PR-AUC は生成文そのものに固有の値ではなく、観測モデルと分類器を含む測定系の性能である。回路の忠実度も回路だけの属性ではなく、介入方法を含む条件付きの評価値である。
三つの問題を順位保存の条件として統一すると、評価器へ求める条件も明確になる。評価値の絶対値が安定しているだけでは十分ではなく、本来比較したい性質の差をどの条件で保存できるかを検証する必要がある。とりわけ候補選択へ使う指標では、
\[
q_i>q_j
\quad\Longrightarrow\quad
m_i>m_j
\]
という関係がどの範囲で成立し、どの条件で、
\[
(m_i-m_j)(q_i-q_j)<0
\]
へ崩れるのかを測ることが、評価指標そのものの性能評価になる。
7. 評価対象だけでなく測定系も監査する
三つの研究を共通の測定モデルへ置くと、評価対象そのものに加えて、評価値を生み出す測定条件も監査対象になる。測定条件を、
\[
c=(d,o,f,a)
\]
と分解する。\(d\) は評価に使うデータ、\(o\) は観測主体、\(f\) は観測した内部状態などを判定へ変換する読み出し器、\(a\) は対象へ加える介入である。読み出し結果を得点へ変換する評価関数を \(\phi\) とし、評価対象の潜在状態を \(\mathbf{z}\) とすると、評価値は、
\[
m
=
\phi
\left(
O(\mathbf{z};d,o,f,a)
\right)
\]
と書ける。この表記では、同じモデルや同じ回路を評価しても、データ、観測主体、読み出し器、介入方法、得点計算のいずれかを変えれば、評価値が変化し得ることを明示できる。
7.1 対象を比較するときと測定系を評価するときでは固定する変数が異なる
二つのモデルや回路を比較したい場合には、評価対象 \(\mathbf{z}\) の差を観測したい。そのため、可能な限り \(d,o,f,a,\phi\) を固定し、測定条件の差が評価値へ混ざることを避ける。例えば二つのモデルを異なるデータセットで評価すれば、得点差がモデル能力によるものかデータの難易度によるものかを分離しにくくなる。
一方、評価方法そのものの妥当性を調べる場合には、逆の設計が必要になる。評価対象 \(\mathbf{z}\) をできる限り固定したまま、\(d,o,f,a,\phi\) のうち一つを変える。これによって、評価値が測定条件へどの程度依存しているかを観測できる。
| 目的 | 固定するもの | 変えるもの | 読み取ること |
|---|---|---|---|
| 評価対象を比較する | データ、観測主体、読み出し器、介入方法、評価関数を可能な限り固定する。 | モデル能力や回路構造などの評価対象 \(\mathbf{z}\) を変える。 | 評価対象そのものの差が評価値へどの程度現れるかを見る。 |
| 測定系を監査する | モデル、生成系列、候補回路などの評価対象を可能な限り固定する。 | データ、観測主体、読み出し器、介入方法、評価関数の一部を変える。 | 評価値が測定条件へどの程度依存し、順位が安定しているかを見る。 |
第 4 章の External Observers は後者の設計に近い。同じ Mistral-7B の生成系列を使い、観測主体を Mistral 自身から SmolLM2 へ変えたことで、観測主体 \(o\) への感度を測った[8]。第 5 章の Recovery Gaps では候補回路を固定し、介入条件を変えることで、忠実度が介入 \(a\) にどの程度依存するかを調べた[13]。
7.2 観測主体と介入方法への感度を別々に測る
観測主体だけを \(o_1\) から \(o_2\) へ変え、それ以外の条件を固定したときの評価値の差を、
\[
\Delta_o
=
m(\mathbf{z};d,o_1,f,a,\phi)
–
m(\mathbf{z};d,o_2,f,a,\phi)
\]
と置ける。簡略化すれば、
\[
\Delta_o
=
m(\mathbf{z};o_1)
–
m(\mathbf{z};o_2)
\]
である。External Observers では、この差に相当するものが自己観測と外部観測の PR-AUC の差として現れた。BiLSTM-CRF では Mistral 自己観測が 0.172、SmolLM2 外部観測が 0.227 だったため、自己観測を第 1 項に置けば、
\[
\Delta_o
=
0.172-0.227
=
-0.055
\]
となる[8]。同じ生成文と正解ラベルを使っていても、観測主体を変えるだけで測定性能が変化している。
介入方法についても同じ考え方を使える。二つの介入 \(a_1\) と \(a_2\) に対する感度を、
\[
\Delta_a
=
m(\mathbf{z};d,o,f,a_1,\phi)
–
m(\mathbf{z};d,o,f,a_2,\phi)
\]
とする。回路評価では、回路外の信号を再サンプリング値へ置き換えるか、平均値やゼロへ置き換えるかによって、同じ候補回路でも忠実度が変わる。さらに元モデルの計算文脈を一部戻すと、選択された 100 件の持続的誤順位のうち 96 件で順位が修復された[13]。これは \(\Delta_a\) が絶対値だけでなく候補間の大小関係へも影響した例である。
感度が存在すること自体は評価失敗を意味しない。例えば観測モデルごとに異なる内部表現を作る以上、自己観測と外部観測の値が完全に一致する必然性はない。必要なのは、その差が評価対象の定義と整合しているか、測定条件を変えたときにどの性質まで保存されるかを確認することである。
7.3 絶対値の安定性と順位の安定性を分けて監査する
評価値の監査では、値そのものがどの程度変動するかと、候補の順位がどの程度変動するかを分ける必要がある。前者は絶対値の安定性、後者は比較判断の安定性に相当する。
候補 \(i\) と \(j\) の本来の評価対象を \(q_i,q_j\)、実測値を \(m_i,m_j\) とすると、順位が一致している条件は、
\[
(m_i-m_j)(q_i-q_j)>0
\]
である。反対に、
\[
(m_i-m_j)(q_i-q_j)<0
\]
なら順位が逆転している。候補対を多数用意できる場合、この事象が発生する割合を、
\[
R_{\mathrm{mis}}
=
P
\left[
(m_i-m_j)(q_i-q_j)<0
\right]
\]
と定義できる。
\(R_{\mathrm{mis}}\) は、評価器を候補選択へ使ったとき、どの程度の頻度で本来の評価対象と逆の判断を返すかを表す。Geng らの候補間誤順位率は、この考え方を回路評価へ具体化したものと読める[13]。通常の再サンプリング条件における人手参照課題では、EAP が 20.0%、EAP-IG が 30.4%、ACDC が 41.2%、Edge-SP が 9.4% の KL 誤順位率を示した。
| 監査指標 | 確認すること | 値が大きい場合の意味 |
|---|---|---|
| 観測主体感度 \(\Delta_o\) | 観測主体を変えたときに同じ対象の評価値がどの程度変わるかを確認する。 | 評価値が観測対象だけでなく、誰が観測するかへ強く依存している。 |
| 介入感度 \(\Delta_a\) | 介入方法を変えたときに評価値がどの程度変わるかを確認する。 | 評価値へ介入による計算条件の変化が大きく混ざっている。 |
| 誤順位率 \(R_{\mathrm{mis}}\) | 評価指標と本来の評価対象で候補順位が逆転する割合を確認する。 | 評価指標を候補選択へ使ったとき、本来の目的と逆の選択をする危険が高い。 |
この三つは異なる情報を持つ。例えば \(\Delta_o\) が大きくても、すべての候補に同じ方向の変化が生じて順位が保存されるなら、候補選択への影響は限定される。一方、平均的な評価値の変化が小さくても、候補ごとに異なる方向へ変動すれば \(R_{\mathrm{mis}}\) は高くなり得る。評価器をランキングや自動選択へ使う場合には、平均スコアの安定性だけでなく順位の安定性まで測る必要がある。
7.4 データと評価関数も測定条件として分離する
観測主体と介入方法に加えて、データ \(d\) と評価関数 \(\phi\) も測定系の一部である。例えば幻覚検出では、B-HALL が 11,914 トークン中 57 件しかない条件で単純正解率を使うと、多数派である幻覚外トークンを予測するだけで高い値が得られる。そのため、研究では少数クラスの検出性能を反映しやすい PR-AUC を利用している[8]。
この場合、データ分布 \(d\) が極端に不均衡であるため、評価関数 \(\phi\) の選択が結果の意味を左右する。正解率と PR-AUC は同じ予測結果を入力にしても異なる性質を測る。正解率は全トークンに対する正答割合を強く反映し、PR-AUC は少数クラスをどの程度精度よく順位付けできるかを反映する。どちらが正しいという関係ではなく、何を知りたいかによって必要な \(\phi\) が変わる。
数学推論でも、最終回答だけを採点する Generation と、中心構造そのものを採点する Discovery では、同じモデルと問題を対象にしていても評価関数が異なる[4]。モデルの性能が変わったのではなく、評価対象として切り出した構成概念が異なる。そのため、複数の指標を並べるときには、値の大小だけでなく、それぞれの \(\phi\) が何を正解としているかを明示する必要がある。
7.5 測定系の監査は検証契約を一段深くする
既稿「AI の『正しい』を決める検証契約」では、AI の出力を受理する条件として、検証対象、検証単位、判定規則、保証範囲を分けた[19]。この考え方を今回の三研究へ重ねると、判定規則へ入力される測定値自体にも同じ分解が必要になる。
例えば「PR-AUC が高ければ幻覚検出器として採用する」という判定規則を置いても、その PR-AUC がどのデータ、どの観測主体、どの分類器から得られたかを省けば、別条件でも同じ性能が成立するとは限らない。同様に「忠実度が高い回路を採用する」という規則も、どの介入方法で計算した忠実度なのかを固定しなければ、異なる介入条件で候補順位が変わる可能性が残る。
検証契約を測定系まで広げると、少なくとも次の対応を明示する必要がある。
| 監査対象 | 確認すること | 今回の研究で観測された失敗 | 保証範囲への反映 |
|---|---|---|---|
| 評価対象 | 一つの得点へ異なる能力や内部状態が混ざっていないかを確認する。 | Generation が Discovery と Execution の異なる能力構成を同じ最終正答率へ圧縮する。 | Generation から主張できる範囲を最終解答性能までに限定し、構造発見能力は別に評価する。 |
| データ \(d\) | 評価対象の分布、難易度、クラス比率が指標へどの程度影響するかを確認する。 | 幻覚開始 B-HALL が 0.48% の少数クラスであり、評価指標の選択へ強く影響する。 | 報告値を対象データセットとクラス分布に結び付けて解釈する。 |
| 観測主体 \(o\) | 同じ対象でも観測モデルによって信号の可読性が変わるかを確認する。 | Mistral の自己観測と SmolLM2 の外部観測で PR-AUC の大小関係が分類器ごとに変わる。 | 特定の観測モデルと生成モデル、および分類器の組み合わせで得た性能として範囲を固定する。 |
| 読み出し器 \(f\) | 観測した内部状態などを、どの分類器や判定器でラベルへ変換するかを確認する。 | 同じ観測主体でも MLP、BiLSTM、CRF 系の違いによって PR-AUC の大小関係が変わる。 | 観測主体と読み出し器の組み合わせで得た性能として保証範囲を固定する。 |
| 介入方法 \(a\) | 測定操作が対象の計算条件を変え、候補順位へ影響していないかを確認する。 | 介入下の忠実度と元モデル挙動の再現順位が逆転し、計算文脈の復元で多数が修復される。 | 忠実度を介入方法と切り離した回路固有値として扱わず、条件付き評価値として報告する。 |
| 評価関数 \(\phi\) | 得点がどの誤差や差を重視し、どの性質を捨てるかを確認する。 | 同じ対象でも Generation、Discovery、PR-AUC、KL 忠実度では評価対象となる性質が異なる。 | 評価関数が直接保証する性質だけを結論へ使う。 |
| 反復性 | 乱数シードや標本の違いに対して結果がどの程度再現するかを確認する。 | External Observers の主要比較は単一の乱数シードであり、差の分散は十分に確定していない。 | 観測された差を予備的証拠として扱い、一般的な優位性へ拡張しない。 |
7.6 保証範囲は評価値ではなく測定条件との組で定まる
評価器を監査する目的は、すべての条件で同じ値を返す指標を作ることではない。対象のどの性質を、どの条件で、どの程度安定して測れるかを確定することにある。
例えば External Observers の BiLSTM-Attn-CRF で得られた PR-AUC 0.242 は、
\[
m
=
0.242
\]
という値だけで完結しない。より正確には、
\[
m
=
\phi_{\mathrm{AUPRC}}
\left(
O
\left(
\mathbf{z};
d_{\mathrm{RAGTruth}},
o_{\mathrm{SmolLM2}},
f_{\mathrm{BiLSTM\text{-}Attn\text{-}CRF}},
a_0
\right)
\right)
\]
という特定条件で得られた測定値である。そこへ単一の乱数シード、57 件の B-HALL という標本条件も加わる。この条件を保持すれば、0.242 という値から言える範囲も明確になる。
回路忠実度についても、
\[
F(S)
\]
とだけ書くより、
\[
F_a(S)
\]
と介入条件を明示した方が測定の構造を正確に表す。第 5 章で見たように、介入 \(a\) が変われば残された回路の計算文脈も変わり、忠実度の大小関係まで変わり得るからである。
評価対象だけでなく測定系まで監査すると、評価値を信用するか疑うかという二択から離れられる。必要なのは、評価値がどの条件で何を保存するかを確認することである。数学推論では、Generation、Discovery、Execution を分けることで能力構成を診断できる。幻覚検出では、観測主体と分類器を条件として固定することで PR-AUC の意味を限定できる。機構解釈可能性では、介入方法と順位保存を検証することで、忠実度を候補選択へ使える範囲を判断できる。
三つの研究が示しているのは、モデルの性能を測る物差しにも、データ、観測主体、読み出し器、介入、評価関数という内部構造があることである。その構造を明示し、感度と順位保存を測ることで、評価器そのものを検証対象へ含められる。
8. 数値は測定条件と保証範囲を含めて読む
評価値から導ける結論は、その数値がどの条件で生成されたかによって決まる。既稿「正しい数字から間違った結論は作れる」では、数値そのものが一次情報と一致していても、測定対象、母集団、期間、比較条件を入れ替えることで、元資料が保証していない結論を作れることを扱った[20]。今回の三研究では、同じ問題が AI 評価の内部にも現れる。正答率、PR-AUC、忠実度はいずれも正確に計算できるが、その値だけからモデルの能力や内部機構を一意に読み取ることはできない。
8.1 正答率はどの能力が成功したかまでは示さない
Qwen3.6-27B の Generation が 52.75% だったという数値から直接分かるのは、Prim の指定された問題集合と採点条件において、通常の問題入力から最終正解へ到達した割合である[4]。この値には、中心構造の発見、解法の実行、途中計算、最終回答の生成が連続して含まれている。
同じモデルの Discovery は 24.73% だった[4]。したがって、
\[
A_{\mathrm{gen}}
=
52.75\%
\]
という値から、
\[
A_{\mathrm{discovery}}
\approx
52.75\%
\]
のような対応を置くことはできない。実測値では両者に 28.02 ポイントの差がある。Generation は最終的な成功率を測り、Discovery は問題だけから中心構造へ到達できた割合を測るため、同じモデルを対象にしていても構成概念が異なる。
さらに Execution は 78.57% だった[4]。正しい Primitive を与えた条件では、通常 Generation より 25.82 ポイント高い。ここから読めるのは、通常条件で不正解だった問題の一部について、モデル内部に利用可能な実行能力が存在していたということである。Generation の低さをそのまま「解法を実行する能力の低さ」と読めば、この差を失う。
| 評価値 | 直接測っていること | その値だけでは確定しないこと |
|---|---|---|
| Generation 52.75% | 通常条件で最終解答へ正しく到達した割合を測る。 | 中心構造をどの程度発見できたか、失敗が Discovery と Execution のどちらで生じたかは確定しない。 |
| Discovery 24.73% | 問題だけから中心構造を特定できた割合を測る。 | 正しい構造を与えられた後に解答を実行できるかは確定しない。 |
| Execution 78.57% | 正しい Primitive を与えた条件で正答できた割合を測る。 | 問題だけからその Primitive へ自力で到達できるかは確定しない。 |
同じ「数学推論性能」という上位概念に属していても、三つの値が測っている条件付き能力は異なる。数値を読むときには、値そのものより先に、その値がどの写像を評価しているかを固定する必要がある。
8.2 PR-AUC は生成モデルだけの属性ではない
幻覚検出でも、PR-AUC 0.242 という値だけを取り出すと測定条件が消える。この 0.242 は、Mistral-7B が生成した RAGTruth の同じテスト集合を SmolLM2-1.7B が観測し、その内部状態を BiLSTM-Attn-CRF へ入力して B-HALL の開始位置を判定した条件で得られた値である[8]。
同じ生成系列に対して Mistral 自身の内部状態を使うと、同じ BiLSTM-Attn-CRF でも PR-AUC は 0.221 になる[8]。観測対象となる生成文は同じでも、観測モデルを変えるだけで値が変わる。
\[
R(\mathrm{SmolLM2},\mathrm{Mistral})
=
0.242
\]
\[
R(\mathrm{Mistral},\mathrm{Mistral})
=
0.221
\]
一方、分類器を MLP へ変えると、Mistral 自己観測が 0.172、SmolLM2 外部観測が 0.130 となり、大小関係は逆転する[8]。評価値は生成モデルだけで決まらず、観測モデルと読み出し方法の組み合わせにも依存している。
データ条件も値の意味を制約する。主要比較で使われた Mistral の RAGTruth テスト集合では、11,914 トークン中 B-HALL は 57 トークンで、割合は 0.48% だった[8]。さらに主要な自己観測と外部観測の比較は単一の乱数シードである。0.242 という値は、この少数クラス分布と実験条件の中で得られた測定結果であり、外部観測一般の性能を表す定数ではない。
| 条件 | 値 | 値の意味を限定する要素 |
|---|---|---|
| SmolLM2 外部観測 + BiLSTM-Attn-CRF | PR-AUC 0.242 | Mistral-7B の RAGTruth 生成、SmolLM2-1.7B の内部状態、B-HALL 検出、単一の乱数シードという条件に対応する。 |
| Mistral 自己観測 + BiLSTM-Attn-CRF | PR-AUC 0.221 | 生成系列を固定し、観測主体だけを Mistral 自身へ変えた条件に対応する。 |
| SmolLM2 外部観測 + MLP | PR-AUC 0.130 | 観測主体は同じでも、内部状態の読み出し方法を変えると性能が大きく変わる。 |
同じ幻覚検出という名前の下でも、\(d\)、\(o\)、\(f\)、\(a\)、\(\phi\) が変われば測定値は変わる。PR-AUC をモデル固有の性能として扱うより、特定の観測系全体の性能として読む方が実験設計と一致する。
8.3 忠実度は回路だけでなく介入方法にも依存する
機構解釈可能性では、測定条件がさらに直接的に評価対象へ作用する。候補回路の忠実度は、回路外の信号を再サンプリング値、平均値、ゼロなどへ置き換えた状態で測定される。そのため忠実度は、
\[
F(S)
\]
という回路固有の値より、介入条件を含めた、
\[
F_a(S)
\]
として表す方が測定構造を正確に反映する。
Geng らの実験では、実際の回路発見手法が出力した候補について、通常の再サンプリング条件で KL 忠実度と行動基準の候補順位が一致しない例が観測された。人手参照課題における候補間の KL 誤順位率は、EAP で 20.0%、EAP-IG で 30.4%、ACDC で 41.2%、Edge-SP で 9.4% だった[13]。
さらに、選択した 100 件の持続的誤順位へ部分的な計算文脈の復元を適用すると、96 件で検証用集合とホールドアウト集合の両方の順位が修復された[13]。候補回路そのものも、独立した行動基準 \(Q\) の大小関係も変えていない。変更したのは、忠実度を測定するときに回路へ入る計算文脈である。
この結果は、忠実度の値へ介入条件が実質的に含まれていることを示す。回路 B と W の本来の行動再現性を、
\[
Q(B)>Q(W)
\]
とする。ある介入 \(a_1\) では、
\[
F_{a_1}(W)>F_{a_1}(B)
\]
となり、順位が逆転する。一方、計算文脈を回復した介入 \(a_2\) では、
\[
F_{a_2}(B)>F_{a_2}(W)
\]
へ戻る場合がある。同じ候補回路の比較でも \(a\) が変われば判断が変化するため、「忠実度が高い」という表現には介入条件まで含める必要がある。
8.4 三つの数値は同じ測定モデルで読める
三研究を共通式へ戻すと、AI の評価値は、
\[
m
=
\phi
\left(
O(\mathbf{z};c)
\right)
\]
で表せる。\(\mathbf{z}\) は本来知りたい能力や内部構造、\(O\) はそれを観測可能な量へ変換する操作、\(c\) は測定条件、\(\phi\) は最終的な得点計算である。
この式で重要なのは、\(m\) が \(\mathbf{z}\) の別名ではないことである。評価値へ至るまでに、少なくとも二つの変換が入る。
\[
\mathbf{z}
\longrightarrow
O(\mathbf{z};c)
\longrightarrow
m
\]
最初の変換では、何を入力し、誰が観測し、どの読み出し器を使い、どの介入を加えるかによって観測値が決まる。二つ目の変換では、その観測値を正答率、PR-AUC、KL ダイバージェンスなどのどの指標へ集約するかが決まる。評価値をモデルの性質そのものとして読むと、この二段階が省略される。
| 研究 | 報告される代表値 | 値へ含まれる主要条件 | 保証できる範囲 |
|---|---|---|---|
| Mathematical Primitive | Generation、Discovery、Execution の正答率 | 問題集合、入力として与える情報、各評価軸の採点規則が含まれる。 | 各条件で定義された能力の成功割合までを直接保証する。 |
| External Observers | PR-AUC | 生成モデル、観測モデル、データ、少数クラス分布、分類器、乱数シードが含まれる。 | 指定された観測系で幻覚開始を識別する性能までを直接保証する。 |
| Recovery Gaps | KL 忠実度、誤順位率 | 候補回路、介入方法、検証入力、忠実度指標が含まれる。 | 指定された介入条件で候補をどの程度再現・順位付けできるかまでを直接保証する。 |
8.5 評価値から主張できる範囲を条件付き命題として固定する
数値を解釈するときには、「値がいくつだったか」だけでなく、「どの条件ならその値から何を主張できるか」を条件付き命題として書くと保証範囲が明確になる。
数学推論なら、
\[
c=c_{\mathrm{generation}}
\quad\Longrightarrow\quad
m=52.75\%
\]
という関係から直接言えるのは、Qwen3.6-27B がその Generation 条件で 52.75% 正答したことである。Discovery や Execution まで同じ値だという主張は別の測定を必要とする。
幻覚検出なら、
\[
c=
(
d_{\mathrm{RAGTruth}},
o_{\mathrm{SmolLM2}},
f_{\mathrm{BiLSTM\text{-}Attn\text{-}CRF}},
a_0,
\phi_{\mathrm{AUPRC}}
)
\]
という条件に対して、
\[
m_{\mathrm{AUPRC}}
=
0.242
\]
が対応する。ここで \(a_0\) は対象へ追加の介入を行わない条件を表す。観測モデル、読み出し器、データ分布を変えた条件でも 0.242 が成立するという保証は、この測定からは得られない。
回路評価なら、
\[
m
=
F_a(S)
\]
と表し、介入 \(a\) を値の定義へ含める。忠実度を候補回路 \(S\) だけの性質として報告すると、介入を変えたときの順位変化を説明できない。条件付きの値として記述すれば、どの範囲で候補比較に使えるかを検証できる。
評価値と保証範囲の関係は、次の形にまとめられる。
\[
\boxed{
\text{評価値}
+
\text{評価対象}
+
\text{測定条件}
+
\text{保証範囲}
}
\]
この四つを一組として扱えば、数値を過小評価する必要も、過大評価する必要もない。値そのものは有効な測定結果であり、その意味を決めるのが評価対象と測定条件である。
8.6 AI を測る物差しも評価対象になる
三つの研究は、AI の性能を一つの指標では測れないという一般論だけを示したものではない。それぞれが、測定条件を実際に変えることで、評価値と評価対象の対応がどこで変化するかを示している。
数学推論では、問題だけを与える条件から正しい Primitive を与える条件へ変えると、Generation の失敗の中から利用可能な Execution 能力が現れた。さらに \(D^{-}E^{+}\) と \(D^{-}E^{-}\) では学習後の修復率も異なり、評価の分解が改善可能性の診断へつながった[4]。
幻覚検出では、生成系列を固定したまま観測主体を変えることで、幻覚開始に関する内部信号の可読性が変化した。しかも外部観測と自己観測の大小関係は分類器によっても変わり、評価値が観測モデルと読み出し方法の組み合わせから生じることが確認された[8]。
機構解釈可能性では、候補回路を固定しても、測定のための介入が回路内部の計算条件を変えた。その結果、忠実度と独立した行動基準の候補順位が逆転し、元の計算文脈を一部戻すだけで選択した誤順位の 96% が修復された[13]。
三つを並べると、測定条件は単なる実験手順ではなく、評価値を構成する変数である。何を入力したか、誰の内部状態を読んだか、どの読み出し器を使ったか、どの介入を加えたかによって、同じモデルや同じ回路から異なる測定値が得られる。
既稿「正しい数字から間違った結論は作れる」で扱ったのは、正しい数値へ誤った意味を割り当てることで結論がずれる構造だった[20]。今回の三研究を重ねると、その手前にもう一つの段階がある。数値へ意味を割り当てる前に、その数値を作った観測系が本来知りたい性質をどの条件で保存しているかを確認する必要がある。
AI の評価で監査すべき対象は、モデルだけでは完結しない。モデルを観測する物差しにも、データ、観測主体、読み出し器、介入、評価関数という構造がある。評価値が何を測ったかに加えて、どの条件でその値が成立し、候補の差や順位をどこまで保存できたかまで確認すると、数値から主張できる範囲を固定できる。
良い評価は、あらゆる能力を一つの数字へ集約する評価ではない。どの対象を、どの条件で測り、その条件の範囲内で何を比較できるかが明示された評価である。AI を測る物差しそのものを監査対象へ含めることで、評価値をモデルの性質そのものと取り違えず、測定結果として正確に読める。
参考文献
- Cronbach, L. J., Meehl, P. E., Construct Validity in Psychological Tests (1955-07). https://pubmed.ncbi.nlm.nih.gov/13245896/
- Jacobs, A. Z., Wallach, H., Measurement and Fairness (2021-03-01). https://doi.org/10.1145/3442188.3445901
- id774, AI は正しさではなく、評価の通り方を学ぶことがある（2026-09-05）. https://blog.id774.net/entry/2026/09/05/5490/
- Xing, S. et al., The Missing Primitive: Diagnosing and Repairing Mathematical Reasoning in Large Language Models (2026-10-01). https://arxiv.org/abs/2610.02191v1
- Lightman, H. et al., Let’s Verify Step by Step (2023-05-31). https://arxiv.org/abs/2305.20050
- Zheng, C. et al., ProcessBench: Identifying Process Errors in Mathematical Reasoning (2024-12-09). https://arxiv.org/abs/2412.06559
- id774, AI の科学的発見は証拠へ到達できるかで変わる（2026-09-26）. https://blog.id774.net/entry/2026/09/26/5732/
- Gupta, K., Buscaldi, D., External Observers May See More Clearly: Cross-Model Span-Level Hallucination Detection in Large Language Models via Hidden State Probing (2026-10-01). https://arxiv.org/abs/2610.02066v1
- Manakul, P., Liusie, A., Gales, M., SelfCheckGPT: Zero-Resource Black-Box Hallucination Detection for Generative Large Language Models (2023-12). https://aclanthology.org/2023.emnlp-main.557/
- Niu, C. et al., RAGTruth: A Hallucination Corpus for Developing Trustworthy Retrieval-Augmented Language Models (2024-08). https://aclanthology.org/2024.acl-long.585/
- Su, W. et al., Unsupervised Real-Time Hallucination Detection based on the Internal States of Large Language Models (2024-08). https://aclanthology.org/2024.findings-acl.854/
- Zhang, Z. et al., ICR Probe: Tracking Hidden State Dynamics for Reliable Hallucination Detection in LLMs (2025-07). https://aclanthology.org/2025.acl-long.880/
- Geng, C. et al., Are We Recovering Mechanisms? Objective-Level Recovery Gaps in Mechanistic Interpretability (2026-10-01). https://arxiv.org/abs/2610.02098v1
- Conmy, A., Mavor-Parker, A., Lynch, A., Heimersheim, S., Garriga-Alonso, A., Towards Automated Circuit Discovery for Mechanistic Interpretability (2023). https://proceedings.neurips.cc/paper_files/paper/2023/hash/34e1dbe95d34d7ebaf99b9bcaeb5b2be-Abstract-Conference.html
- Miller, J., Chughtai, B., Saunders, W., Transformer Circuit Faithfulness Metrics are not Robust (2024-07-11). https://arxiv.org/abs/2407.08734
- uit de Bos, N., Garriga-Alonso, A., Adversarial Circuit Evaluation (2024-07-21). https://arxiv.org/abs/2407.15166
- Gupta, R., Arcuschin, I., Kwa, T., Garriga-Alonso, A., InterpBench: Semi-Synthetic Transformers for Evaluating Mechanistic Interpretability Techniques (2024). https://proceedings.neurips.cc/paper_files/paper/2024/hash/a8f7d43ae092d9a5295775eb17f3f4f7-Abstract-Datasets_and_Benchmarks_Track.html
- Geiger, A. et al., Causal Abstraction: A Theoretical Foundation for Mechanistic Interpretability (2025). https://www.jmlr.org/beta/papers/v26/23-0058.html
- id774, AI の「正しい」を決める検証契約（2026-09-24）. https://blog.id774.net/entry/2026/09/24/5642/
- id774, 正しい数字から間違った結論は作れる（2026-09-23）. https://blog.id774.net/entry/2026/09/23/5721/