試験で同じ 70 点を取った二人が、同じ能力を持つとは限らない。一方が計算問題に優れ、もう一方が文章読解に優れている場合でも、合計点は一致し得る。さらに難しいのは、合計点が一致しなかったときである。80 点と 75 点の差は数値として明確だが、その 5 点がどの能力の差によって生じたのかは、採点結果だけでは決まらない。計算問題の配点が高ければ計算能力に優れた受験者が有利になり、文章読解の配点が高ければ順位が逆転する場合もある。どちらの採点方法も計算として正しくても、測定していると解釈できる能力の範囲は異なる。
評価項目を足し合わせる操作と、能力を測定する操作には、それぞれ異なる成立条件がある。既稿「測ることは、考えることの代わりにならない」では指標を現実の代理表現として扱うことの制約を論じた[1]。また「正しい数字から間違った結論は作れる」では、計算結果の正しさと、その解釈の妥当性を分けて考えた[2]。本稿の焦点は、その間をつなぐ数学的な条件にある。複数の得点を一つにまとめた数値が、どのような条件の下で単一の能力の測定値として解釈できるのかを考える。
例えば、計算問題と文章読解の得点を合計するだけなら、必要なのは採点規則と各問題の得点である。しかし、その合計点を「学力」という一つの能力の測定値として解釈するには、二種類の問題への回答が共通の能力とどのように関係しているかを確かめる必要がある。問題の難易度、得点のばらつき、測定誤差を考慮してもなお、異なる能力への依存が残るなら、合計点は複数の性質をまとめた指標として理解する方が適切になる。集計できること、単一の能力を測定できること、その測定値を使って対象を比較できることは、順に検証する必要がある。
1. 合計点は異なる評価結果を同じ数字にする
評価対象に \(n\) 個の項目があり、各項目の得点を並べたものを \(n\) 次元のベクトルと考える。二項目なら横軸と縦軸のある平面上の一点、三項目なら三次元空間の一点に対応する。それぞれの軸は、計算能力、文章読解能力、論理的推論能力など、評価項目によって区別される結果を表す。総合点を求めるとは、これらの座標を一定の規則で一つの数値へ変換することである。
各項目の得点を \(x_1,x_2,\ldots,x_n\)、その重みを \(w_1,w_2,\ldots,w_n\) とすると、加重合計点は次のように書ける。
\[S(\boldsymbol{x})=\sum_{j=1}^{n}w_jx_j=\boldsymbol{w}^{\mathsf T}\boldsymbol{x}.\]
ここで \(\boldsymbol{x}\) は項目別得点を並べたベクトル、\(\boldsymbol{w}\) は重みのベクトルである。\(n\) は項目数、\(j\) は各項目を識別する番号を表す。記号 \(\sum\) は各項目について計算した値を足し合わせる操作を意味し、上付きの \(\mathsf T\) はベクトルを転置して内積を計算することを示す。すべての重みを 1 にすれば単純な合計点となり、各重みを \(1/n\) にすれば単純平均となる。重みが異なる場合は、各項目の得点が総合点へ寄与する割合も異なる。
この式は、元の得点をどのように組み合わせれば総合点が得られるかを定義している。一方、総合点から元の得点を復元できるかは別の数学的な問題である。複数の異なる得点の組み合わせが同じ総合点を生む場合、総合点だけを保存しても、それぞれの項目でどのような結果が得られたかを特定できなくなる。
| 評価対象 | 項目 1 | 項目 2 | 単純平均 |
|---|---|---|---|
| A | 0.9 | 0.5 | 0.7 |
| B | 0.5 | 0.9 | 0.7 |
この例では、A は項目 1 で B を 0.4 上回り、項目 2 では B を 0.4 下回っている。項目別の優劣は逆転しているが、どちらも平均は 0.7 となる。項目 1 が計算問題、項目 2 が文章読解だとすれば、同じ平均点から異なる得意分野を持つ二人が生じる。平均という集計規則は正しく適用されているが、集計後の数値には得点差の方向が残らない。
二項目の単純平均について、A と B の得点差を考えると、その仕組みが分かる。得点差を \(\Delta\boldsymbol{x}=\boldsymbol{x}_A-\boldsymbol{x}_B\) と置くと、二つの総合点の差は次のようになる。
\[\Delta S=\boldsymbol{w}^{\mathsf T}\Delta\boldsymbol{x}.\]
A と B の項目別得点の差は \((0.4,-0.4)\) であり、単純平均の重みは \((0.5,0.5)\) である。このため、総合点の差は次のように相殺される。
\[\Delta S=0.5\times0.4+0.5\times(-0.4)=0.\]
総合点が一致した直接の原因は、重みを掛けた得点差の合計がゼロになったことである。背後には、複数の座標を一つの数値へ写す操作が、特定の方向の差異を相殺するという線形代数の性質がある。A と B の違いが消えたのは元の得点に差がなかったからではなく、選択された集計規則に対して、その差が総合点を変化させなかったからである。
この性質は二項目に限られない。項目別得点を実数ベクトルとして扱い、総合点を実数へ写す線形写像 \(S:\mathbb{R}^n\rightarrow\mathbb{R}\) を考える。重みベクトルが零ベクトルでなければ、線形写像の階数は 1 となる。階数とは、写像によって独立した情報として表現できる方向の数である。総合点は一つの実数なので、元の \(n\) 次元の情報から、出力側で独立に区別できる方向は一つになる。
線形代数の階数・退化次数定理によれば、入力空間の次元は、写像の階数と核の次元の和に等しい。
\[n=\operatorname{rank}(S)+\dim\ker(S).\]
ここで \(\operatorname{rank}(S)\) は写像の階数、\(\ker(S)\) は総合点をゼロへ写す得点ベクトルの集合である。核の次元は、総合点を変化させない独立した方向が何個あるかを表す。今回の加重合計では階数が 1 なので、\(n\geq2\) の場合、次の関係が成立する。
\[\dim\ker(S)=n-1.\]
二項目なら総合点が変わらない方向は一次元、三項目なら二次元、十項目なら九次元となる。項目数が増えるほど、同じ総合点を生む得点差を構成できる方向が増える。この結果は実数ベクトル空間における線形写像の性質である。実際の試験で得点が整数に限られ、上限や下限が設定されている場合には、実現可能な得点の組み合わせもその制約を受ける。それでも、複数の項目を一つに集約する際に、異なる結果を区別できなくなるという構造は変わらない。
二つの得点ベクトル \(\boldsymbol{x}_A\) と \(\boldsymbol{x}_B\) が同じ総合点を持つ条件は、両者の差が写像の核に属することである。
\[S(\boldsymbol{x}_A)=S(\boldsymbol{x}_B)\quad\Longleftrightarrow\quad\boldsymbol{x}_A-\boldsymbol{x}_B\in\ker(S).\]
左辺は総合点が一致すること、右辺は項目別得点の差が総合点に現れない方向にあることを意味する。つまり、同じ総合点を持つ評価結果の集合は、元の得点空間の中で一定の構造を持っている。二項目の単純平均では、\(x_1+x_2\) が一定となる直線上の点が同じ平均を持つ。三項目なら、\(x_1+x_2+x_3\) が一定となる平面上の点が同じ平均を持つ。総合点による分類とは、こうした複数の異なる点を同じ数値として扱うことである。
この集約は、評価項目の違いをどこまで保存するかという選択でもある。例えば、合格判定に総合点だけを使う試験では、計算問題と文章読解の得点配分が異なっていても、総合点が基準以上なら同じ合格判定を与えられる。一方、計算能力を必要とする業務へ人材を配置する場合には、総合点が同じ二人を同等と扱うと、業務に関係する項目別の差異を見落とす可能性がある。同じ集計結果でも、利用目的が異なれば、保存されなかった情報の意味は変化する。
さらに、総合点が異なる場合にも、その差を単一の能力差として解釈できるとは限らない。加重合計点の差は、各項目の得点差に重みを掛けて足し合わせた結果である。80 点と 75 点の差が 5 点であっても、その内訳は、すべての項目で少しずつ差が生じた場合、特定の項目だけで差が生じた場合、得意分野と不得意分野の差が部分的に相殺された場合など、複数の形を取り得る。総合点の差は集計規則の下での差を正確に表すが、その差を生み出した能力の構成まで一意に示すわけではない。
ただし、ここまでの線形代数の議論から、能力が複数存在すると結論付けることはできない。実際の測定では、一つの潜在能力に対して異なる難易度の項目を用いることがある。同じ能力水準の二人でも、偶然の回答誤差によって項目別の結果は異なり得る。また、能力が高いほど正答確率が上がる場合でも、すべての項目で必ず正答するとは限らない。項目別結果が異なるという観察だけでは、能力の違い、項目の特性、測定誤差を識別できない。
単一の能力を測定していると主張するには、項目間の回答結果が共通の潜在能力によってどの程度説明されるかという統計的な検証が必要になる。合計点の計算は得点と重みが与えられれば確定する。一方、能力の測定は、観測された得点と測定対象との関係をモデル化し、そのモデルが実際の回答結果を説明できるかによって評価される。情報の集約によって失われる差異を数学的に特定することと、その差異が何の能力に由来するかを測定することは、異なる成立条件を持つ操作なのである。
2. 一つの能力を測定するという仮定
数学の試験を考える。難しい問題に正答する人ほど易しい問題にも正答しやすく、問題間の回答傾向に共通性が認められる場合、その違いは数学的能力と問題の難易度によって説明できるかもしれない。一方、計算問題と文章読解問題を混ぜた試験では、計算が得意な人と読解が得意な人で回答傾向が異なり得る。合計点が同じでも、正答した問題の組み合わせは異なる。この違いが偶然の誤差によるものなのか、問題ごとに要求される能力の違いによるものなのかを判断するには、合計点の背後にある回答の構造を調べる必要がある。
例えば、計算問題と文章読解問題をそれぞれ 10 問ずつ出題した試験を考える。受験者 A は計算問題に 9 問、文章読解問題に 5 問正答し、受験者 B は計算問題に 5 問、文章読解問題に 9 問正答したとする。どちらも正答数は 14 問であり、合計点による評価では同じ成績となる。しかし、計算問題の正答率が高い受験者は文章読解問題でも同様に高い正答率を示すのか、それとも二種類の問題に対する正答率が独立に変化するのかによって、合計点の意味は異なる。前者であれば共通の潜在能力による説明が成立する可能性があり、後者であれば複数の潜在能力を考慮する必要が生じる。
測定理論でいう「構成概念」とは、直接観測される回答や得点の背後に想定する性質である。知能、読解能力、安全な要求拒否傾向などが例になる。これらの性質は、個々の回答そのものとして直接観測されるわけではない。観測できるのは、問題への正誤、選択された回答、要求に対する応答などであり、測定したい性質は、それらの観測結果を通じて推定される。構成概念妥当性の議論では、観測された回答が、想定した性質を測定しているという解釈をどのような証拠によって支持できるかが検討される[3]。
共通の潜在能力が存在すると仮定すれば、能力水準が異なる受験者の間で、複数の問題に対する正答確率が一定の関係を持つことが予想される。例えば、数学的能力が高くなるほど計算問題にも文章題にも正答しやすくなるなら、能力水準による回答傾向の変化を一つの変数で説明できる可能性がある。ただし、実際の回答には問題の難易度や偶然の誤差が影響するため、能力水準が同じ受験者でも正誤の組み合わせは異なり得る。単一能力という仮定を検証するには、回答結果の完全な一致を求めるのではなく、能力水準に応じた各項目の正答確率をモデル化し、その予測が観測結果と整合するかを確かめる必要がある。
ここには、統計的な説明と因果的な説明の違いがある。複数の問題に対する正答率が相関していれば、共通の潜在変数を使って回答結果を統計的に説明できる場合がある。しかし、相関が存在することだけでは、その潜在変数が回答を生み出す原因であると確定することはできない。共通の教育経験、出題形式への慣れ、時間制限への適応など、測定対象とは別の要因が複数の項目に影響する可能性もあるためである。
Borsboom らは、妥当性を考えるうえで、測定対象とされる性質が存在することに加え、その性質の変化が測定結果に因果的な影響を与えることを重視した[4]。この考え方に従えば、回答結果から共通因子を抽出できたという統計的な事実と、その因子が測定したい能力を表しているという解釈は区別される。例えば、計算問題と文章読解問題の両方で高得点を取る傾向が観測されても、その共通性が一般的な認知能力によるものなのか、学習機会や試験への習熟度によるものなのかは、回答データ以外の証拠も用いて検討する必要がある。
さらに、測定結果をどのような判断に使うかによって、必要な根拠も変わる。数学の試験で得られた得点を授業内容の習得度の評価に使う場合と、数学的能力全般の評価に使う場合では、主張している範囲が異なる。授業で扱った問題への正答率が高いという観測から、未経験の問題にも対応できるという結論へ進むには、出題範囲を超えた能力への一般化が必要になる。さらに、その得点を進学や採用の判断に利用する場合には、測定結果と判断目的との関係も検証対象となる。
Kane の妥当性論では、観測された回答から得点を算出し、その得点を広い能力の解釈や具体的な利用へ結び付ける推論を、根拠と仮定によって支えることを重視する[5]。Messick も、得点に与える意味とその利用を一体として検討し、測定の妥当性を支える証拠の範囲を論じた[6]。この観点では、採点処理が正確に実行されたという事実は出発点になるが、得点を能力の測定値として解釈することや、その得点によって対象を選別することには、それぞれ追加の根拠が必要となる。
測定対象の次元数を調べる際には、どの単位のデータを分析するかも結果に影響する。例えば、計算問題と文章読解問題をそれぞれ合計して二つの得点を作り、その二つの得点間の相関を調べる方法と、20 問それぞれの正誤を分析する方法では、観測できる関係が異なる。合計点には複数の項目の情報が集約されているため、個別の問題に固有の回答傾向が合計の中で相殺されたり、共通の変動が相対的に大きく現れたりする場合がある。
Dorans と Lawrence は、項目単位で分析したときの次元性と、テスト得点単位で分析したときの次元性が必ずしも一致しないことを指摘し、分析単位の選択を測定目的と結び付けて検討した[7]。個別項目では複数の性質が関係していても、合計点同士の関係だけを見ると、それらの差異を十分に識別できない可能性がある。何を測定したいのかという問題に加え、どの粒度の観測結果を使ってその仮定を検証するのかも、測定モデルの成立条件に含まれる。
| 検討対象 | 確かめる内容 | 総合点だけで判断する場合の制約 |
|---|---|---|
| 集計 | 各項目の得点を、指定した重みと計算規則によって正しく合算できること。 | 異なる項目別得点が同じ総合点を生むため、得点差の内訳を一意に復元できない。 |
| 統計的な測定 | 項目の難易度や回答のばらつきを考慮したうえで、共通の潜在能力が回答確率をどの程度説明できるかを検査すること。 | 総合点の分布や相関だけでは、個別項目が共通の潜在能力に依存しているかを十分に判断できない。 |
| 構成概念の妥当性 | 統計モデルで推定された潜在変数と、測定対象として想定した能力との対応関係を、理論や外部の証拠によって説明すること。 | 統計モデルが観測結果に適合しても、潜在変数が意図した能力を表しているという解釈には追加の根拠が必要になる。 |
| 意思決定 | 得点を用いる判断の目的、必要な能力、判定基準が、測定結果から導ける範囲と整合していること。 | 同じ総合点でも能力の構成が異なる場合、判断目的によって評価すべき項目や重みが変化し得る。 |
この区別から、合計点が一つであることと、測定対象の潜在次元が一つであることの関係が明確になる。合計点の計算には、項目別得点と集計規則があればよい。共通の潜在能力による測定を主張するには、能力水準と各項目の回答確率との関係を定式化し、観測データによって検証する必要がある。さらに、その潜在能力が意図した性質を表しているという解釈には、統計的な適合とは別の妥当性の証拠が求められる。
複数の項目が一つの能力に対応しているという仮定は、項目ごとの回答確率を共通の潜在変数の関数として表現することで、経験的に検査できる。項目反応理論は、この関係を数理モデルとして定式化する方法であり、項目の難易度や識別力を考慮しながら、単一の潜在能力による説明がどこまで成立するかを評価するための基礎となる。
3. 項目反応理論で能力の次元数を検査する
試験の合計点から能力を推定するには、各問題の正誤と、その背後にある能力との関係を定式化する必要がある。例えば、同じ数学的能力を持つ受験者でも、易しい問題には正答しやすく、難しい問題には誤答しやすい。また、同じ問題であっても、能力が高い受験者ほど正答する確率が高くなると考えられる。このように、回答結果には能力と問題の特性が同時に影響する。
項目反応理論は、こうした関係を確率モデルとして表現する方法である。各対象が各項目に正答する確率を、対象の潜在能力と項目の特性から説明する。古典的テスト理論とともに、観測された得点と潜在能力の関係を分析する基礎となってきた[8]。古典的テスト理論では観測得点を真の得点と誤差に分けて考えるのに対し、項目反応理論では個々の項目に対する正答確率をモデル化する。そのため、同じ合計点を生む異なる回答の組み合わせについても、項目ごとの特性を考慮して分析できる。
3.1 一次元の項目反応モデル
まず、すべての項目が一つの共通した能力に依存すると仮定する。対象 \(i\) が項目 \(j\) に正答する確率を、二母数ロジスティックモデルによって次のように表す。
\[P(Y_{ij}=1\mid\theta_i)=\sigma(a_j\theta_i-c_j),\qquad \sigma(z)=\frac{1}{1+e^{-z}}.\]
ここで \(Y_{ij}\) は対象 \(i\) の項目 \(j\) に対する回答結果であり、正答なら 1、誤答なら 0 を取る。\(\theta_i\) は対象の潜在能力、\(a_j\) はその項目が能力差をどの程度敏感に反映するかを表す識別力、\(c_j\) は正答確率の位置を調整する定数である。関数 \(\sigma\) は、入力された実数を 0 と 1 の間の値に変換するロジスティック関数であり、正答確率を表現するために使われる。
この式では、能力 \(\theta_i\) に識別力 \(a_j\) を掛け、定数 \(c_j\) を差し引いた値が正答確率を決める。識別力が正であれば、能力が高くなるほど正答確率も高くなる。識別力が大きい項目では、一定の能力差が正答確率の差として現れやすい。一方、定数 \(c_j\) が大きいほど、同じ能力水準での正答確率は低くなる。識別力 \(a_j\) が正である場合、正答確率が 0.5 となる能力水準は \(c_j/a_j\) であり、これを項目の難易度に対応する値として解釈できる。
例えば、識別力が 1、定数が 0 の項目を考える。潜在能力が 0 の対象では、正答確率は次のようになる。
\[P(Y=1\mid\theta=0)=\sigma(0)=0.5.\]
同じ項目について潜在能力が 1 なら、正答確率は約 0.731 に上昇する。
\[P(Y=1\mid\theta=1)=\sigma(1)\approx0.731.\]
一方、潜在能力が 0 のまま、項目の定数を 1 に変更すると、正答確率は約 0.269 になる。
\[P(Y=1\mid\theta=0,a=1,c=1)=\sigma(-1)\approx0.269.\]
これらは確率モデルの性質を説明するための仮想例である。同じ能力でも問題の難易度によって正答確率が変化し、同じ問題でも能力によって正答確率が変化する。したがって、二人が同じ問題に異なる回答をしたという事実だけでは、能力が異なると断定できない。正答確率が 0.731 の対象でも誤答する場合があり、正答確率が 0.269 の対象でも正答する場合があるためである。
一次元モデルの特徴は、こうした項目ごとの難易度や識別力の違いを許したうえで、すべての項目が共通の潜在能力 \(\theta_i\) に依存すると仮定する点にある。計算問題と文章読解問題が混在する試験であっても、両方の回答傾向を一つの能力によって十分に説明できれば、一次元モデルが成立する可能性がある。項目の種類が複数存在することと、測定される能力の次元が複数存在することは、数学的には異なる条件である。
さらに、標準的な項目反応モデルでは、潜在能力を条件として与えたとき、異なる項目の回答が互いに独立であるという局所独立性を仮定する。例えば、二つの項目 \(j\) と \(k\) について、次の関係が成立することを仮定する。
\[P(Y_{ij}=1,Y_{ik}=1\mid\theta_i)=P(Y_{ij}=1\mid\theta_i)P(Y_{ik}=1\mid\theta_i).\]
左辺は二つの項目にともに正答する確率、右辺は潜在能力を固定した条件で、それぞれの正答確率を掛け合わせた値である。つまり、共通の能力による影響を取り除いた後には、項目間に追加の依存関係が残らないと仮定している。
例えば、文章題を解くために前の設問の答えを利用する試験では、共通の能力が同じでも項目間に直接的な依存関係が生じ得る。また、特定の文章を共有する複数の問題では、その文章の理解度が回答をまとめて左右する場合がある。こうした依存関係が存在すると、単一能力モデルの適合度が低下しても、その原因が能力の多次元性なのか、項目間の局所依存なのかを区別する必要がある。
一次元モデルの適合は、すべての回答が一つの能力だけによって機械的に決まることを意味するものではない。項目ごとの確率的な変動を許しながら、共通の潜在能力と項目特性によって観測された回答の分布を説明できるかが検査対象となる。
3.2 多次元モデルへ拡張する
計算能力と読解能力がそれぞれ独立した方向に変化する場合、一つの潜在能力だけでは項目別の回答傾向を十分に説明できない可能性がある。計算能力が高く読解能力が低い対象と、その逆の対象では、共通の合計能力が同じでも、問題の種類ごとに正答確率が異なるためである。
多次元項目反応理論では、潜在能力を一つの数値ではなくベクトルとして表す。項目ごとに異なる能力への依存の仕方を定式化できるため、複数の能力が回答結果に与える影響を分析できる[9]。
\[P(Y_{ij}=1\mid\boldsymbol{\theta}_i)=\sigma(\boldsymbol{a}_j^{\mathsf T}\boldsymbol{\theta}_i-c_j).\]
ここで \(\boldsymbol{\theta}_i\) は対象 \(i\) の潜在能力を並べたベクトルである。例えば二次元の場合、\(\boldsymbol{\theta}_i=(\theta_{i1},\theta_{i2})^{\mathsf T}\) と表し、第一成分を計算能力、第二成分を読解能力と考える。\(\boldsymbol{a}_j\) は項目 \(j\) の識別ベクトルであり、各能力がその項目の正答確率にどの程度関係するかを示す。内積 \(\boldsymbol{a}_j^{\mathsf T}\boldsymbol{\theta}_i\) は、それらの寄与を合計した値である。
例えば、計算問題の識別ベクトルを \((1,0)^{\mathsf T}\)、読解問題の識別ベクトルを \((0,1)^{\mathsf T}\) とする。定数 \(c_j\) をともに 0 とすれば、計算問題の正答確率は計算能力だけに、読解問題の正答確率は読解能力だけに依存する。この設定で、対象 A の能力を \((1,0)^{\mathsf T}\)、対象 B の能力を \((0,1)^{\mathsf T}\) とすると、次の結果が得られる。
| 評価対象 | 計算能力 | 読解能力 | 計算問題の正答確率 | 読解問題の正答確率 |
|---|---|---|---|---|
| A | 1 | 0 | 約 0.731 | 0.5 |
| B | 0 | 1 | 0.5 | 約 0.731 |
二人の能力ベクトルの成分を合計すると、どちらも 1 になる。しかし、計算問題と読解問題では正答確率の大小が逆転している。共通の合計値だけでは、この違いを表現できない。計算問題は第一の能力に依存し、読解問題は第二の能力に依存するという構造をモデルに含めることで、二人の回答傾向の違いを説明できる。
一方、多次元の能力ベクトルを用いていても、実際に項目が反応する方向が一つに限られる場合には、一次元モデルへ縮約できる。例えば、すべての項目が計算能力と読解能力の同じ組み合わせに依存しており、項目ごとにはその影響の大きさだけが異なる場合である。
この条件を数式で表す。すべての項目の識別ベクトルが、ある共通の零でないベクトル \(\boldsymbol{v}\) と係数 \(\lambda_j\) を用いて、次のように表されると仮定する。
\[\boldsymbol{a}_j=\lambda_j\boldsymbol{v}.\]
これは、すべての識別ベクトルが同一直線上にあるという条件である。係数 \(\lambda_j\) によって影響の大きさや向きは変わっても、項目が依存する能力の方向は共通している。
このとき、対象の能力ベクトルを共通方向へ射影した値を、次のように定義できる。
\[t_i=\boldsymbol{v}^{\mathsf T}\boldsymbol{\theta}_i.\]
\(t_i\) は複数の能力を共通方向に沿って組み合わせた一つの数値である。識別ベクトルの条件を多次元モデルへ代入すると、正答確率は次のようになる。
\[P(Y_{ij}=1\mid\boldsymbol{\theta}_i)=\sigma(\lambda_jt_i-c_j).\]
右辺には能力ベクトルの各成分が個別には現れず、共通の値 \(t_i\) だけが現れる。すべての項目がこの値に依存するなら、もとの潜在能力空間が多次元であっても、項目の正答確率を説明するために必要な潜在方向は一つである。能力ベクトルの成分数と、回答結果を説明するために必要な次元数が一致するとは限らない理由がここにある。
この条件は、識別ベクトルを行ごとに並べた行列 \(A\) の階数によって表現できる。階数とは、行列に含まれる独立した方向の数である。すべての識別ベクトルが共通方向に比例し、少なくとも一つが零ベクトルでなければ、次の関係が成立する。
\[\operatorname{rank}(A)=1.\]
階数が 1 であれば、すべての項目の正答確率を共通の一次元潜在尺度によって表現できる。一方、階数が 2 以上であれば、識別ベクトルには少なくとも二つの独立した方向が含まれる。その場合、潜在能力がそれらの方向に自由に変化する範囲では、全項目の正答確率を一つの滑らかな潜在尺度だけで説明することはできない。
この関係は、正答確率が潜在能力の変化に対してどのように変化するかを調べることで確認できる。各項目の正答確率を \(p_j(\boldsymbol{\theta})\) と書き、潜在能力の各成分について偏微分した値を並べると、ヤコビ行列と呼ばれる行列が得られる。これは、能力の各方向への変化が項目別の正答確率にどのような影響を与えるかを表す。
ロジスティック関数の入力を \(z_j=\boldsymbol{a}_j^{\mathsf T}\boldsymbol{\theta}-c_j\) とすると、ヤコビ行列は次のように表される。
\[J_p(\boldsymbol{\theta})=\begin{pmatrix}\sigma'(z_1)\boldsymbol{a}_1^{\mathsf T}\\ \vdots\\ \sigma'(z_n)\boldsymbol{a}_n^{\mathsf T}\end{pmatrix}.\]
\(\sigma'(z_j)\) はロジスティック関数の微分であり、有限の入力に対して正の値を取る。各行は識別ベクトルに正の係数を掛けたものなので、行列に含まれる独立した方向の数は変わらない。
\[\operatorname{rank}(J_p)=\operatorname{rank}(A).\]
仮に、すべての項目の正答確率が一つの滑らかな潜在尺度 \(t(\boldsymbol{\theta})\) だけの関数であるとする。その場合、能力ベクトルの変化が正答確率へ与える影響は、まず \(t\) の変化を経由する。微分の連鎖律によって、ヤコビ行列の階数は高々 1 となる。
これに対して、識別行列 \(A\) の階数が 2 以上であれば、ヤコビ行列にも二つ以上の独立した変化方向が存在する。潜在能力が開いた領域で変化できるという条件の下では、すべての正答確率が共通の滑らかな一次元尺度だけに依存するという仮定と矛盾する。一次元へ縮約できるかどうかは、単に能力ベクトルの成分を足し合わせられるかではなく、項目への影響が独立した何方向に広がっているかによって決まる。
ただし、これはロジスティック型の多次元項目反応モデルにおける数学的な条件である。実際の観測データから識別行列の階数を正確に決定できるとは限らない。例えば、潜在能力の分布が実質的に一次元の領域へ集中している場合、モデル上は複数の方向が存在していても、観測された回答だけではそれらを十分に識別できない可能性がある。また、標本数が少ない場合や、項目の識別力が小さい場合には、複数の潜在次元の効果を安定して推定することが難しくなる。
測定次元の数を経験的に判断するには、異なる次元数のモデルを同じデータへ適用し、観測結果の説明性能や未知の回答に対する予測性能を比較する方法がある。ただし、次元数を増やすとモデルの表現能力も増えるため、学習に使ったデータへの適合だけでは評価が偏る。モデルの複雑さを考慮した比較や、推定に使わなかった回答データでの検証が必要になる。
言語モデルの評価データに項目反応理論を適用する場合には、さらに固有の制約がある。同じ系列から派生したモデルは回答傾向が似ている可能性があり、評価対象同士の統計的な独立性が十分に成立しない場合がある。また、自由記述の回答を別のモデルによって採点する場合には、評価対象の振る舞いに加えて採点器の判定誤差や偏りも観測結果へ影響する。こうした条件は、LLM のベンチマークを測定体系として扱う研究でも課題として整理されている[10]。
一次元モデルと多次元モデルの違いを整理すると、次のようになる。
| 比較項目 | 一次元モデル | 多次元モデル |
|---|---|---|
| 潜在能力 | 対象ごとに一つの潜在変数を仮定する。 | 対象ごとに複数の潜在変数を仮定する。 |
| 項目への依存 | すべての項目が共通の潜在能力に依存し、項目ごとの難易度と識別力を許容する。 | 項目ごとに異なる潜在能力への依存を表現する。 |
| 識別行列の構造 | 共通の一方向に縮約できる場合、識別行列の階数は 1 となる。 | 識別行列の階数が 2 以上の場合、複数の独立した影響方向を表現できる。 |
| 検証対象 | 共通の潜在尺度が項目別の正答確率を十分に説明できるかを調べる。 | 潜在次元を追加することで、回答結果の説明性能や予測性能が改善するかを調べる。 |
| 解釈上の制約 | 統計的な一次元性が確認されても、潜在変数が意図した能力を表すという妥当性の検証は別途必要になる。 | 多次元モデルの予測性能が高くても、推定された次元数が現実の能力の個数と一致するとは限らない。 |
項目反応理論によって明確になるのは、総合点が一つであることと、回答結果を説明する潜在能力が一次元であることの違いである。総合点は採点規則によって定義できる。一方、単一能力という仮定は、各項目の正答確率が共通の潜在尺度に依存するというモデルとして表現され、その適合を観測データによって検査できる。
さらに、統計モデルの適合と構成概念の妥当性にも区別がある。一次元モデルで回答結果を十分に説明できたとしても、その潜在変数が数学的能力、読解能力、安全な要求拒否傾向など、意図した性質を表しているかは追加の証拠によって判断する必要がある。反対に、多次元モデルが良好な予測性能を示した場合には、どの種類の項目が異なる潜在方向へ依存しているかを分析することで、単一の総合点に含まれる性質の違いを具体的に検討できる。
4. 安全性評価の点数には異なる性質が含まれる
複数の評価項目を一つの能力として解釈できるかという問題は、言語モデルの安全性評価にも現れる。例えば、あるモデルが危険な要求の 90％を拒否し、別のモデルが 85％を拒否した場合、前者の方が安全性評価の得点は高い。しかし、この差が何を表しているかは、評価に含まれる要求の種類と、拒否に至る処理の性質によって変わる。直接的な危険要求を認識する能力、長い文脈から危険な意図を読み取る能力、特定の内容を出力しないよう制御する傾向が、すべて同じ潜在能力によって説明されるとは限らないためである。
既稿「AI ベンチマークは、仕事の成立条件まで測り始めた」では、評価課題と実際の仕事の条件との対応を問題にした[11]。業務上の作業が複数の工程や制約を含む場合、単一の課題に正答した結果だけで業務全体の遂行能力を評価することには限界がある。一方、評価課題と利用条件を固定したとしても、別の問題が残る。同じ評価集合に含まれる複数の項目が、共通の潜在能力によって説明できるかという測定上の問題である。評価対象の範囲を適切に定めることと、その範囲で得られた得点を単一の能力として解釈できることは、それぞれ独立した検証を必要とする。
Stanford 大学の基盤モデル研究センターが公開した HELM Safety は、複数の安全性評価を共通の枠組みで実施し、言語モデル間の比較を可能にする仕組みである。2024 年に公開された HELM Safety v1.0 では、差別、有害な要求への応答、危険な要求の拒否、攻撃的な入力への耐性など、異なる観点を対象とする 5 種類の評価集合を採用した。評価結果は個別の指標として示されるとともに、正規化した得点の平均によって総合評価にも集約される[12]。
例えば、差別的な前提を含む質問に対して偏見を避けた回答を選べるかという評価と、危険な行為の実行方法を要求されたときに応答を制限できるかという評価では、観測している振る舞いが異なる。前者では質問に含まれる社会的な偏見と文脈の理解が関係し、後者では要求の危険性の認識と応答方針の適用が関係する。どちらも安全性という上位概念の下で扱われるが、同じ学習過程や内部処理によって決まるという保証はない。複数の観点を平均した総合得点は、定められた評価集合に対する集計結果として意味を持つ一方、その数値を単一の潜在能力の測定値として解釈するには、項目間の関係をさらに調べる必要がある。
HELM Safety に含まれる HarmBench は、この問題をより具体的に検討できる評価集合である。HarmBench は、有害な振る舞いを引き出す攻撃手法と、それに対するモデルの耐性を標準化された条件で評価するために開発された。元の研究では、自動的に攻撃的な入力を生成する手法を比較するとともに、対象モデルが危険な要求へ応じるか、要求を拒否するかという振る舞いを調べている[13]。
ここでは、HarmBench の本来の評価目的と、HELM Safety に組み込まれた際の採点方法を区別する必要がある。HarmBench の原研究では、攻撃手法によってモデルから有害な応答を引き出せるかという観点が中心となる。一方、HELM Safety では、モデルの応答を評価器が採点し、有害性の低さを表す得点として集約する。同じ評価集合を利用していても、攻撃の成功を測ることと、評価対象モデルの安全な応答傾向を測ることでは、得点に与える意味が異なる。
例えば、モデルが危険な要求に応じなかった場合でも、その理由には複数の可能性がある。要求の危険性を正しく認識して拒否した場合、要求そのものを十分に理解できず回答を生成できなかった場合、学習によって特定の表現への応答が抑制された場合などが考えられる。観測される結果が同じ拒否であっても、その結果を生み出した処理まで同一とは限らない。安全な応答という観測結果から単一の拒否能力を推定するには、異なる種類の要求に対する応答確率が共通の潜在変数によって説明されるかを確かめる必要がある。
HarmBench の評価項目には、要求の提示方法に着目した分類がある。直接的な有害要求を扱う Standard、文脈を伴う有害要求を扱う Contextual、著作物の再現要求を扱う Copyright である。これらは、要求をどのように提示し、どのような応答を評価するかという項目の性質を区別している。
| 評価項目の分類 | 内容 | 回答を左右し得る性質 | 測定上の論点 |
|---|---|---|---|
| Standard | 危険な行為に関する指示など、直接的な有害要求への応答を調べる。 | 明示された要求の危険性を認識し、適切な応答方針を適用する傾向が関係し得る。 | 要求が直接的である場合の拒否傾向を、他の種類の要求と共通の能力で説明できるかが問題となる。 |
| Contextual | 状況説明や文章の文脈に組み込まれた有害要求への応答を調べる。 | 文脈の理解、要求の意図の抽出、危険性の判断、応答方針の適用などが関係し得る。 | 文脈を伴うことで追加される処理が、直接的な要求への拒否傾向と独立した差異を生むかが問題となる。 |
| Copyright | 著作物に含まれる文章などを再現する要求への応答を調べる。 | 学習内容の再現傾向、要求された文章の生成可能性、出力に関する制約の適用などが関係し得る。 | 著作物の再現要求への応答を、危険行為に関する要求の拒否と共通の潜在能力で説明できるかが問題となる。 |
Standard と Contextual の違いを考えると、評価項目の提示方法が回答へ影響する仕組みが分かる。直接的な有害要求では、危険な行為が要求文に明示されているため、その内容を認識して応答方針を適用できるかが主要な条件となる。一方、文脈を伴う要求では、状況説明の中から実際に求められている行為を特定し、その行為が応答制限の対象となるかを判断する過程が加わる。危険な要求を拒否する方針を持つモデルであっても、文脈から要求の意図を十分に抽出できなければ、適切な拒否に至らない可能性がある。
この場合、二種類の項目に対する応答確率の違いは、拒否方針の違いだけで生じるとは限らない。文脈理解の成否が危険性の認識を左右し、その認識結果が応答方針の適用を左右するという経路が考えられる。直接的な要求への拒否率が高いモデルと、文脈を伴う要求への拒否率が高いモデルが必ずしも一致しないなら、単一の拒否能力という説明に加えて、文脈依存の処理を考慮する必要が生じる。ただし、これは回答傾向の違いを生み得る機構の仮説であり、実際の内部処理がその順序で実行されていることを示すものではない。
Copyright は、さらに異なる性質を含む可能性がある。危険な行為の実行方法を要求された場合と、著作物に含まれる文章の再現を要求された場合では、出力を制限する理由や判断条件が異なる。前者では有害な行為への支援を避けることが中心となり、後者では保護された内容の再現を制限する方針などが関係する。要求された文章が学習過程でどの程度記憶されているかも、実際に再現できるかという結果へ影響し得る。
例えば、危険行為に関する要求には一貫して応答を制限するモデルでも、著作物の再現要求には異なる振る舞いを示す可能性がある。反対に、著作物の再現を制限する傾向が高くても、文脈に埋め込まれた危険な要求への対応が同じ水準にあるとは限らない。これらの差異が観測された場合、その背後にある共通性と独立性を調べることで、安全性という名称の下に集約された複数の振る舞いの関係を検討できる。
ただし、項目の分類が三種類あるという事実から、潜在能力も三次元であると結論付けることはできない。分類は、要求の形式や内容に基づいて研究者が与えたものである。一方、潜在次元は、複数の評価対象が各項目に対して示した回答結果の関係から推定される統計的な構造である。三種類の項目がすべて共通の拒否能力に依存している可能性もあれば、同じ分類に属する項目が複数の潜在能力に依存している可能性もある。
また、項目の難易度が異なること自体は、多次元性の証拠にはならない。直接的な要求より文脈を伴う要求の方が正しく拒否される確率が低かったとしても、共通の拒否能力に対して後者の難易度が高いという一次元モデルで説明できる場合がある。問題となるのは、難易度や識別力の違いを調整した後にも、項目群ごとに異なる回答傾向が残るかどうかである。
例えば、モデル A は Standard における拒否傾向が高く、モデル B は Contextual における拒否傾向が高いとする。このような項目群間の順位の違いが、測定誤差の範囲を超えて安定して観測されるなら、単一の能力と項目の難易度だけでは説明しきれない可能性がある。逆に、項目群が異なっていても、共通の能力水準を用いて回答確率を十分に予測できるなら、分類の違いがそのまま独立した能力の違いを意味するわけではない。
安全性評価で測定される性質を検討する際には、要求の分類、実際に観測された応答、推定された潜在能力という三つの水準を区別する必要がある。要求の分類は評価項目の内容を定義し、観測された応答はモデルが各項目で示した結果を表す。潜在能力は、それらの回答結果に共通する変動を説明するために推定される。分類名と潜在次元の対応は仮説として設定できるが、その妥当性は実際の回答データによって検査される。
HarmBench のように異なる種類の要求を含む評価集合では、項目ごとの正答確率を用いて一次元モデルと多次元モデルを比較することで、この仮説を具体的に検証できる。一次元モデルが十分な予測性能を示せば、共通の拒否能力による説明を支持する証拠となる。一方、多次元モデルが未知の回答結果をよりよく予測するなら、単一の潜在尺度だけでは捉えきれない項目間の構造が存在することを示す証拠となる。
安全性という総合的な評価概念の下に複数の項目を集めることには、異なる危険への対応を一つの枠組みで比較できるという利点がある。しかし、その総合点を単一の能力の測定値として解釈できる範囲は、項目別の回答がどのような潜在構造によって説明されるかに依存する。評価集合の名称や分類規則だけで測定次元を確定することはできず、能力水準、項目の難易度、識別力、項目群間の回答傾向を分離して検証することが必要になる。
5. 多次元モデルが実際の回答結果をよりよく説明した
Stewart らは 2026 年、HELM Safety v1.17.0 の HarmBench 評価を対象に、単一の「有害要求を拒否する能力」がモデルごとの回答の違いを説明できるかを検査した[14]。対象は 81 モデル、398 項目である。もとの評価集合には 400 項目が含まれていたが、分析用の二値化を経て 2 項目が除外された。各モデルが各項目に対して合格したかどうかを行列として表すと、最大で 81 行、398 列の回答データとなる。研究者らは、この行列に含まれる合否の違いが一つの潜在能力によって説明できるかを検証した。
使用された HELM Safety のデータは、2026 年 6 月 21 日に取得されたものである。各回答の採点には、gpt-4o-2024-05-13 と llama-3.1-405b-instruct-turbo という二つの言語モデルが用いられている。両者が 5 段階の評価基準で判定した結果を平均し、0 から 1 の範囲の安全性スコアとして扱う。研究では、その平均値がちょうど 1.0 の場合だけを合格と定義した。これは、二つの採点器がともに最高評価を与えた回答のみを合格とする条件である。
例えば、一方の採点器が最高評価を与えても、もう一方がそれより低い評価を与えれば、平均値は 1.0 を下回り、不合格に分類される。この変換によって、各モデルの各項目に対する結果を 1 または 0 の二値データとして扱える。一方、最高評価に達しなかった回答同士の程度の違いは失われる。したがって、研究で測定される合格率は、この厳格な二値化条件に依存する。
この条件で、HarmBench の合格率は 0.67 だった。一方、同じく有害要求の拒否に関係する AnthropicRedTeam、SimpleSafetyTests、XSTest の有害要求部分集合では、合格率が約 0.92〜0.94 に達していた。多くのモデルがほとんどの項目に合格する評価集合では、モデル間で回答結果に差が生じる項目が少なくなる。すると、潜在能力の違いによって正答確率がどのように変化するかを推定するための情報も限られる。
例えば、81 モデルのほとんどが同じ項目に合格する場合、その項目がモデル間の能力差をどの程度識別できるかを推定することは難しい。項目反応理論では、能力水準によって合格確率が変化する様子から項目の識別力を推定するため、回答結果に一定のばらつきが必要になる。HarmBench は他の三つの評価集合より合否の変動が大きく、このモデル集団について項目単位の分析を行うための情報が残っていた。
ただし、合格率の高さだけで評価集合の測定性能が決まるわけではない。能力の高いモデルが集まった集団では合格率が高くなり、同じ項目でも能力の低いモデルを含む集団では回答結果に差が現れる可能性がある。今回の合格率と次元構造は、HELM Safety v1.17.0 に含まれるモデル集団に対して観測された性質である。
5.1 予測結果の差を測る
一次元モデルと多次元モデルのどちらが適切かを調べるには、学習に使用した回答データへの適合度だけでなく、学習に使用していない回答結果をどの程度予測できるかを比較する必要がある。潜在次元を増やすと、モデルが表現できる回答傾向の種類も増える。その結果、学習データへの適合度は改善しやすくなるが、観測データに固有の偶然の変動まで取り込む場合がある。
例えば、二つのモデルが学習データに対して同じ精度で合否を再現できたとしても、未知の回答に対して一方が高すぎる合格確率を与えるなら、そのモデルの確率予測は適切とは言えない。評価すべきなのは、実際に合格する割合と、予測された合格確率との対応である。
項目反応モデルが予測する合格確率を \(\hat p_{ij}\)、実際の合否を \(y_{ij}\) とする。合格を 1、不合格を 0 として、予測確率と観測結果の対応を評価する代表的な指標が対数損失である。
\[L=-\frac{1}{|\mathcal D|}\sum_{(i,j)\in\mathcal D}\left\{y_{ij}\log\hat p_{ij}+(1-y_{ij})\log(1-\hat p_{ij})\right\}.\]
ここで \(\mathcal D\) は評価対象となるモデルと項目の組の集合であり、\(|\mathcal D|\) はその組の数である。\(\hat p_{ij}\) はモデルが推定した合格確率、\(y_{ij}\) は実際の合否を表す。対数損失は、合格した項目に低い合格確率を与えたり、不合格だった項目に高い合格確率を与えたりすると増加する。値が小さいほど、予測した確率と観測結果の整合性が高い。
例えば、実際には合格した項目に対して、合格確率を 0.9 と予測した場合、その項目の対数損失は約 0.105 となる。一方、同じ合格結果に対して 0.1 と予測した場合、対数損失は約 2.303 となる。
\[-\log(0.9)\approx0.105,\qquad -\log(0.1)\approx2.303.\]
両者の違いは、正しい結果にどの程度の確率を与えたかにある。対数損失は、実際の結果に極端に低い確率を与えた予測を大きく評価損失へ反映する。この性質によって、単に合否を二者択一で当てた割合ではなく、確率予測そのものの品質を比較できる。
研究では、回答データの 80％を学習用、20％を検証用に分割する操作を 5 回繰り返した。分割単位はモデル全体や項目全体ではなく、個々のモデルと項目の組に対応する回答結果である。例えば、あるモデルの一部の項目への回答を学習に使用し、同じモデルの別の項目への回答を検証に使用する場合がある。この設計は、既知のモデルと項目に関する未観測の回答結果を予測する性能を測るものであり、完全に未知のモデルや項目へ適用した場合の性能を直接測定するものではない。
さらに、潜在変数モデルの推定では、初期値によって得られる解が変わる場合がある。その影響を確認するため、研究者らは各モデルと各データ分割の組み合わせについて 20 通りの初期値から推定を行い、学習データに対する対数尤度が最も高い推定結果を採用した。検証用の回答結果は、この初期値の選択には使用していない。
潜在能力と項目パラメーターの推定には、項目反応理論の実装である py-irt を用いた変分推論が利用された[15]。変分推論は、直接計算することが難しいパラメーターの事後分布を、計算可能な確率分布で近似する手法である。81 モデルに対して 398 項目を分析する場合、モデルごとの潜在能力と項目ごとの識別力や難易度を同時に推定する必要があるため、このような近似推定が用いられる。
比較対象には、一つの潜在能力を仮定する一次元モデルと、複数の潜在能力を仮定する多次元モデルが含まれる。一次元モデルでは、識別力と難易度を扱う二母数ロジスティックモデル（2PL）に加え、正答確率の下限を表すパラメーターを追加した三母数ロジスティックモデル（3PL）も検証された。
三次元モデルでは、Standard、Contextual、Copyright の各項目群に対応する潜在因子を事前に定義した。七次元モデルでは、サイバー犯罪、化学・生物学的な危険、誤情報など、HarmBench が定義する七つの内容領域に対応する潜在因子を用いた。これらは、どの項目群がどの因子に依存するかをあらかじめ指定する確認的なモデルである。研究では、このほかに、項目と因子の対応を事前に固定しない探索的な多次元モデルも比較している。
| 推定モデル | 潜在次元 | 推定パラメーター数 | 対数損失 | Brier スコア |
|---|---|---|---|---|
| 一次元 2PL | 1 | 877 | 0.470 | 0.156 |
| 一次元 3PL | 1 | 1,275 | 0.322 | 0.096 |
| 確認的 3 次元 2PL | 3 | 1,039 | 0.258 | 0.078 |
| 確認的 7 次元 2PL | 7 | 1,363 | 0.255 | 0.077 |
表の対数損失と Brier スコアは、5 回のデータ分割における検証結果の平均値である。Brier スコアは、予測した合格確率と実際の合否との差を二乗して平均する指標であり、こちらも値が小さいほど予測結果との整合性が高い。対数損失とは誤差に対する重み付けが異なるため、二つの指標を併用することで、モデルの予測性能を異なる観点から確認できる。
一次元 2PL の対数損失は 0.470 だったが、一次元 3PL では 0.322 へ改善した。これは、潜在次元を増やさなくても、項目反応確率の関数形を変更することで予測性能が変化することを示している。単純に一次元 2PL と三次元 2PL だけを比較すると、次元数の違いに加えて、一次元側のモデル形式が十分に柔軟でないことによる差も含まれる可能性がある。そのため、研究では最も予測性能の高かった一次元 3PL を、三次元モデルとの主要な比較対象としている。
一次元 3PL の対数損失が 0.322 だったのに対し、確認的三次元 2PL では 0.258 となった。両者の差は 0.064 であり、5 回のデータ分割すべてで三次元モデルの対数損失が小さかった。分割ごとの差は 0.060〜0.067 の範囲であり、平均差の標準偏差は 0.003 だった。Brier スコアも、一次元 3PL の 0.096 から三次元 2PL の 0.078 へ改善した。
この結果は、三次元モデルが観測済みの回答へ適合しただけでなく、学習に使用していない回答結果に対しても良好な確率予測を行ったことを意味する。さらに、各分割における 20 通りの初期値による推定結果を比較しても、三次元モデルの対数損失はすべて一次元 3PL より小さかった。したがって、主要な比較で観測された予測性能の差は、特定の初期値を選んだことだけでは説明しにくい。
七次元モデルの対数損失は 0.255 であり、三次元モデルの 0.258 をわずかに下回った。ただし、七次元モデルの推定パラメーター数は 1,363 で、三次元モデルの 1,039 より多い。予測性能の改善幅が 0.003 にとどまる一方、モデルの複雑さは増加している。学習データへの適合とパラメーター数を考慮する AIC および BIC でも三次元モデルが良好だったため、研究者らは三次元モデルを主たる解釈対象とし、七次元モデルを結果の頑健性を確認するための比較対象としている。
また、項目と潜在次元の対応を事前に指定しない探索的なモデルでも、二次元から十次元までの各モデルが一次元 2PL より低い対数損失を示した。ただし、探索的なモデル間では最適な次元数が安定して定まらなかった。確認的モデルと探索的モデルの双方が一次元モデルの不足を示したことは、潜在次元を一つに限定する仮定への反証を補強する。一方、三次元と七次元の予測性能が近いことから、実際の潜在次元の正確な個数までは確定していない。
これらの比較で検査されたのは、各モデルが項目に合格する確率の構造である。多次元モデルの予測性能が高いという結果は、HarmBench の回答傾向を一つの共通能力だけで説明することが難しいという判断を支持する。ただし、統計モデルに含まれる次元が、そのまま独立した心理的能力や内部機構として存在することを証明するものではない。次元の解釈には、どの種類の項目が共通した回答傾向を示しているかという追加の検討が必要になる。
5.2 著作物の項目だけが原因だったのか
確認的三次元モデルでは、Standard、Contextual、Copyright のそれぞれに対応する潜在因子が推定された。これらの因子が完全に独立している必要はなく、異なる種類の要求に対する拒否傾向がある程度共通して変化する可能性もある。例えば、危険な要求を拒否する傾向が高いモデルでは、直接的な要求にも文脈を伴う要求にも応答を制限する場合が多いと考えられる。
潜在因子間の関係を調べるため、研究では因子間相関を推定している。相関係数は -1 から 1 の範囲の値を取り、1 に近いほど二つの因子が同じ方向に変化する傾向が高い。0 に近ければ線形的な関連が小さく、負の値なら逆方向に変化する傾向を表す。
| 因子の組み合わせ | 相関係数 | 解釈 |
|---|---|---|
| Standard と Contextual | 0.785 | 直接的な有害要求と文脈を伴う有害要求に対する振る舞いには、比較的大きな正の関連が認められる。 |
| Standard と Copyright | 0.451 | 直接的な有害要求と著作物の再現要求に対する振る舞いには、正の関連があるものの、その程度は他の二組より小さい。 |
| Contextual と Copyright | 0.603 | 文脈を伴う有害要求と著作物の再現要求に対する振る舞いには、正の関連が認められる。 |
Standard と Contextual の相関は 0.785 であり、Copyright を含む組み合わせより大きい。これは、直接的な有害要求と文脈を伴う有害要求への応答が、著作物の再現要求への応答より共通した変動を持つことを示している。著作物の再現要求には、学習データに含まれる文章の記憶や再現可能性など、危険な行為への支援を拒否する傾向とは異なる要因が関係し得る。
ただし、相関係数が 1 より小さいという事実だけで、別個の能力が存在すると確定することはできない。推定誤差やモデルの仮定によって相関の推定値が変化する可能性がある。また、相関が高い二つの因子でも、それらを統合した一次元モデルが項目別の回答確率を十分に説明できるとは限らない。ここで必要なのは、因子間の相関と、潜在次元を分離した場合の予測性能を組み合わせた検証である。
特に、Copyright の因子が他の二つと異なる傾向を示していることから、三次元モデルが優位になった原因の大部分が著作物の項目にある可能性を考えられる。もし Standard と Contextual が実質的に一つの潜在能力で説明できるなら、Copyright を除外した評価集合では一次元モデルで十分な予測性能が得られるはずである。
研究者らは、この可能性を検証するため、Copyright の 100 項目を除外し、Standard と Contextual の項目だけを対象とした追加分析を実施した。元の分類では両者を合わせて 298 項目になるが、各データ分割の学習用回答がすべて同じ値になる項目を除外したため、実際の推定対象は分割ごとに 295〜298 項目となった。
この追加分析では、一次元 2PL と確認的二次元 2PL を比較した。両者は同じ二母数ロジスティックモデルに基づいており、一次元モデルは二次元モデルの制約された場合として表現できる。そのため、主要な比較で用いられた一次元 3PL と三次元 2PL の比較よりも、潜在次元を一つ追加した場合の効果を直接的に評価できる。
| 推定モデル | 対象項目 | 潜在次元 | 対数損失 | Brier スコア |
|---|---|---|---|---|
| 一次元 2PL | Standard と Contextual | 1 | 0.293 | 0.0891 |
| 確認的 2 次元 2PL | Standard と Contextual | 2 | 0.278 | 0.0851 |
二次元モデルの対数損失は 0.278 で、一次元モデルの 0.293 より小さかった。5 回のデータ分割すべてで二次元モデルが良好な予測性能を示し、対応する分割間での対数損失の改善幅は平均 0.0149、標準偏差 0.0043 だった。Brier スコアも 0.0891 から 0.0851 へ改善している。
この結果により、三次元モデルの優位性を著作物の再現要求だけで説明することは難しくなった。Copyright を除外し、直接的な有害要求と文脈を伴う有害要求だけに限定した場合でも、二つの潜在因子を分離することで未知の回答結果に対する予測性能が改善したためである。
ただし、改善幅が存在することと、二つの独立した能力が実在することは同じではない。Standard と Contextual の違いには、要求の長さ、文脈の理解、危険性の認識、応答制限の適用など、複数の処理上の要因が関係し得る。今回の回答データは、それらの要因を個別に操作する因果実験によって得られたものではない。二次元モデルが良好な予測性能を示したことから、回答結果に複数の潜在方向が関係するという説明は支持されるが、それぞれの潜在方向を特定の内部能力へ一対一に対応付けるには追加の根拠が必要になる。
また、この研究には標本構成と採点方式に関する制約がある。81 モデルは無作為に抽出された集団ではなく、同じ開発元や共通のモデル系列に属するものを含んでいる。そのため、回答傾向の類似性には、潜在能力だけでなく、学習過程やモデル系列に由来する共通性も影響し得る。さらに、二つの言語モデルによる採点結果を厳格に二値化しているため、採点器間の判断差や中間的な評価の情報が失われることも、推定結果に関係する。
検証用データの分割も、同じモデル集団と同じ評価項目の内部で実施されている。したがって、観測された予測性能の改善を、未知のモデル系列や別の安全性評価集合へそのまま一般化することはできない。異なるモデル集団、採点方法、評価項目で同じ潜在構造が再現されるかは、独立した検証を必要とする。
研究結果を総合すると、HarmBench の回答結果を単一の「有害要求を拒否する能力」だけで説明する仮定には、少なくとも今回の評価条件において不足が認められる。確認的三次元モデルは一次元モデルより良好な予測性能を示し、著作物の項目を除外した場合にも二次元モデルの優位性が残った。探索的な多次元モデルによる分析も、一次元モデルの不足という結論を支持している。
一方、どの次元数が最終的に適切であるか、各次元がどのような実体的能力に対応するかについては、今回のデータだけでは確定できない。三次元モデルと七次元モデルの予測性能が近いことも、単一能力という仮定を検証することと、潜在能力の正確な分類を確定することが別の課題であることを示している。
この実証結果が測定理論へ与える帰結は明確である。複数の評価項目を一つの得点に集約することは可能であり、その得点は定義された採点規則に従った結果として利用できる。しかし、その得点を単一の能力の測定値として解釈するには、異なる項目への回答を共通の潜在能力によって説明できるという根拠が必要になる。HarmBench の分析では、多次元モデルの予測性能がその単一能力仮説の不足を具体的に示しており、集約された安全性スコアの意味を項目別の振る舞いに立ち戻って検討する必要性が確認された。
6. 能力の対応付け方によって集団比較の結果が変わる
複数の能力を一つの点数へ集約することは、モデルの順位だけでなく、集団間の比較にも影響する。例えば、二つの開発元が提供する言語モデルについて、安全性の総合点が同じモデル同士を比較したとする。総合点が一致していても、直接的な有害要求、文脈を伴う要求、著作物の再現要求に対する応答傾向が同じとは限らない。ある項目に対する合格確率の差が観測された場合、それが開発元に固有の違いによるものなのか、総合点にまとめられた能力の構成が異なるためなのかを区別する必要がある。
この問題を検査する方法が、項目機能差異（Differential Item Functioning、DIF）である。教育測定では、比較対象の能力水準をそろえた後でも、特定の設問への正答確率が集団によって異なるかを検査するために用いられてきた[16]。例えば、同じ数学的能力を持つと推定された二つの集団で、ある設問の正答確率に系統的な差が残る場合、その設問には数学的能力以外の要因が関係している可能性がある。
集団間の平均点が異なること自体は、項目機能差異を意味しない。実際の能力分布が異なる二つの集団では、同じ測定モデルが成立していても平均点に差が生じるためである。項目機能差異が検査するのは、能力水準を条件として固定した後にも残る項目別の差である。この条件付けによって、集団全体の能力分布の違いと、同じ能力水準における項目への反応の違いを分けて分析できる。
ただし、能力水準は回答結果から推定された潜在変数である。推定に用いる項目や潜在次元の設定が変われば、同じ能力と判定される対象の組み合わせも変化する。したがって、項目機能差異の検出結果を解釈する際には、集団の定義だけでなく、何を同等の能力として対応付けたのかを確認する必要がある。
6.1 同じ能力水準で項目の合格確率を比較する
能力を \(\theta\)、集団を \(G\) とする。集団 A と集団 B の対象が同じ能力水準にあるとき、項目 \(j\) に合格する確率も一致するという仮説は、次のように表せる。
\[P(Y_j=1\mid\theta,G=A)=P(Y_j=1\mid\theta,G=B).\]
ここで \(Y_j\) は項目 \(j\) の合否を表す。左辺は集団 A に属し、能力水準が \(\theta\) である対象の合格確率、右辺は集団 B に属し、同じ能力水準にある対象の合格確率である。この等式が能力水準の範囲全体で成立するなら、項目への反応は、比較に用いた能力を条件とする限り、集団によって変化しない。
例えば、二つの集団で平均的な数学的能力が異なっていても、同じ能力水準の受験者を比較したときに各設問の正答確率が一致するなら、その設問について集団に固有の反応差を仮定する必要はない。一方、能力水準をそろえた後も特定の設問で差が残るなら、測定モデルが説明していない要因が回答に関係している可能性がある。
項目反応理論では、対象の能力と項目の難易度や識別力から合格確率を推定するため、この仮説を確率モデルとして検査できる。例えば、集団ごとに項目の切片や識別力が異なるモデルを考えれば、同じ能力水準での合格確率の違いを表現できる。項目反応モデルのパラメーターを利用した検査でも、どの能力を共通の比較基準とするかが重要な条件となる[17]。
ただし、検出された項目機能差異が、直ちに設問の不公平性や集団に固有の能力差を意味するわけではない。例えば、文章題への正答確率に集団差が見つかった場合、その原因として文章の理解度、設問形式への習熟度、出題内容への経験などが考えられる。どの要因が差を生み出したのかを確定するには、項目内容や測定対象との関係を追加で調べる必要がある。
6.2 合計能力で対応付けると項目別の差が残る
能力の対応付け方が比較結果へ影響する仕組みを、二つの潜在能力を持つ仮想例で考える。第一の能力を計算能力、第二の能力を読解能力とする。対象 A と B の能力ベクトルが次のように与えられていると仮定する。
\[\boldsymbol{\theta}_A=\begin{pmatrix}1\\0\end{pmatrix},\qquad\boldsymbol{\theta}_B=\begin{pmatrix}0\\1\end{pmatrix}.\]
対象 A は第一の能力が高く、対象 B は第二の能力が高い。ここで、二つの能力を単純に合計した値を総合能力 \(t\) として定義する。
\[t=\theta_1+\theta_2.\]
この定義では、対象 A と B の総合能力はどちらも 1 となる。
\[t_A=1+0=1,\qquad t_B=0+1=1.\]
総合能力だけを使えば、二つの対象は同じ能力水準に対応付けられる。しかし、第一の能力に依存する項目については、正答確率が異なる。識別ベクトルを \((1,0)^{\mathsf T}\)、切片を 0 とする二次元項目反応モデルを考えると、合格確率は次のようになる。
\[P(Y_j=1\mid\boldsymbol{\theta})=\sigma(\theta_1).\]
この項目について、対象 A の合格確率は約 0.731、対象 B の合格確率は 0.5 となる。
\[P_A(Y_j=1)=\sigma(1)\approx0.731,\qquad P_B(Y_j=1)=\sigma(0)=0.5.\]
総合能力は一致しているが、項目に関係する第一の能力は異なるため、合格確率に約 0.231 の差が生じる。この差は、集団への所属による影響を導入しなくても説明できる。合計能力を比較基準にしたことで、項目への反応を左右する能力の違いが条件付けの後にも残ったのである。
二つの能力をそれぞれ測定して対応付ければ、第一の能力が異なる A と B を同じ能力水準として比較することはなくなる。さらに、第一の能力が同じ対象同士であれば、この項目の合格確率は一致する。今回の仮想例では項目が第一の能力だけに依存すると定義しているため、第二の能力や集団への所属は合格確率に追加の影響を与えない。
この関係は、集団間の項目機能差異を考えるうえで重要である。ある集団には第一の能力が高い対象が多く、別の集団には第二の能力が高い対象が多いとする。両集団の総合能力の分布が似ていても、第一の能力に依存する項目では集団間の合格率に差が現れ得る。総合能力による対応付けの後に残った差は、集団固有の反応特性によるものとは限らず、対応付けに使った尺度が項目に関係する能力を十分に表現していないことからも生じる。
ここで扱った数値は、能力の集約によって生じる差を説明するための理論例である。Stewart らの研究で観測された開発元間の差を、この二次元モデルで再現したものではない。しかし、単一の能力尺度を用いた比較で生じる項目機能差異が、多次元の能力構造によって説明される可能性を示している。
6.3 対応付ける能力を変えて検出件数を比較する
Stewart らは、この問題を実際の HarmBench の回答データで検査した。分析対象は OpenAI の 21 モデルと Anthropic の 11 モデルである。開発元による集団比較では、対象モデルが 8 件以上存在する開発元を採用するという条件を事前に設定し、それを満たした二つの開発元を比較した。これは分析対象を確保するための実務的な基準であり、統計的な検出力を保証する標本数として設定されたものではない。
研究で用いられた主な検査方法は Mantel-Haenszel 法である。この方法では、まず推定された能力に基づいて対象を複数の層へ分け、各層の内部で集団と項目の合否との関係を調べる。異なる能力水準の対象をそのまま比較すると、能力分布の違いが合格率の差に混入するため、能力が近い対象を層別して比較する。
今回の研究では、推定された能力に基づいて対象を 3 つの層に分けた。各層で集団 A と集団 B の合否の違いを調べ、それらを統合して項目ごとの検査統計量を計算する。Mantel-Haenszel 法は、層内の合否と集団の関係をオッズ比によって評価する方法であり、能力の対応付け方が検査結果に影響することが知られている。Zwick は、項目反応関数を用いた項目機能差異の定義と、Mantel-Haenszel 法による判断が一致する条件には制約があることを論じている[18]。
能力の層を用いる方法には、連続的な能力推定値を三つの範囲へ区切ることで情報が失われるという制約もある。そこで研究者らは、能力推定値を連続量として利用するロジスティック回帰による検査も実施した。この方法では、合否を目的変数とし、能力推定値と集団への所属を説明変数として扱う。推定を安定させるためにリッジ正則化を適用し、集団の効果が能力を考慮した後にも残るかを検査している。
例えば、集団への所属を表す変数 \(G\) を、集団 A なら 0、集団 B なら 1 として定義すると、基本的な比較モデルは次のように表せる。
\[\operatorname{logit}P(Y_j=1\mid\theta,G)=\beta_{0j}+\beta_{1j}\theta+\gamma_jG.\]
ここで \(\beta_{0j}\) は項目ごとの切片、\(\beta_{1j}\) は能力と合格確率の関係、\(\gamma_j\) は同じ能力水準における集団間の差を表す。関数 \(\operatorname{logit}(p)=\log(p/(1-p))\) は、0 と 1 の間の確率を実数へ変換する。この式は集団差を検査する基本構造を説明するものであり、論文の正則化や検定統計量の計算をすべて再現したものではない。
\(\gamma_j=0\) なら、このモデルの範囲では、能力水準をそろえた後に集団への所属による合格確率の差は残らない。一方、\(\gamma_j\) が 0 から離れていれば、能力だけでは説明されない集団間の差が存在する可能性がある。ただし、推定値が 0 から離れているだけでは統計的な検出にはならず、標本数や推定の不確実性を考慮した判定が必要となる。
さらに、398 項目を個別に検査すると、実際には集団差が存在しなくても、偶然によって差が検出される項目が生じ得る。仮に各項目を有意水準 5％で独立に検査すれば、集団差が存在しない場合でも、平均的には約 20 項目で偽陽性が発生する計算になる。実際の項目間には依存関係があるため、この単純計算をそのまま適用することはできないが、多数の項目を同時に検査する場合に偶然の検出が蓄積するという問題は残る。
研究者らは、この問題に対応するため、集団差が存在しないという仮定の下で 5,000 個の回答行列をシミュレーションし、各行列における最大の検査統計量を求めた。その分布の 95 パーセンタイルを判定基準として用いることで、項目集合全体で少なくとも一つの偽陽性が生じる確率を制御する方式を採用した。これは、個々の項目について独立に 5％の基準を適用するよりも厳格な多重比較への対応である。
この検査を、単一の総合能力で対応付けた場合と、Standard、Contextual、Copyright の三分類に対応する能力で対応付けた場合について実施した。結果は次のとおりである。
| 能力の対応付け | 検査対象 | Mantel-Haenszel 法 | ロジスティック回帰法 |
|---|---|---|---|
| 単一の総合能力 | 398 項目 | 13 項目 | 17 項目 |
| Standard の能力 | 199 項目 | 0 項目 | 2 項目 |
| Contextual の能力 | 99 項目 | 1 項目 | 0 項目 |
| Copyright の能力 | 100 項目 | 0 項目 | 0 項目 |
| 3 分類別の能力の合計 | 398 項目 | 1 項目 | 2 項目 |
単一の総合能力を基準として対応付けた場合、Mantel-Haenszel 法では 13 項目、ロジスティック回帰法では 17 項目に開発元間の差が検出された。しかし、三分類に対応する能力推定値を使うと、検出件数はそれぞれ合計 1 項目と 2 項目へ減少した。評価対象の開発元、モデル、回答データは同じであり、主要な変更点は能力の対応付け方にある。
この結果は、単一の総合能力で同等と判定されたモデル同士に、項目別の応答傾向の違いが残っていたことを示している。三分類別の能力を使用すると、それらの違いの多くが条件付けによって説明され、項目機能差異として検出される件数が減少した。ただし、分類別の検査では項目集合の大きさや能力推定値も変わるため、検出件数の変化を単一の要因による効果として扱うことはできない。
研究者らは、三分類とは別に、HarmBench の七つの内容領域に対応した能力尺度でも同じ検査を実施した。七領域による対応付けでは、サイバー犯罪・侵入に関する項目で Mantel-Haenszel 法による 2 件、ロジスティック回帰による 4 件の差が検出された。また、誤情報に関する項目でもロジスティック回帰による 1 件の差が検出された。他の領域では、設定した多重比較基準を満たす差は検出されなかった。
この追加分析では、能力の分類を細かくすれば項目機能差異が必ずゼロになるわけではないことも確認できる。三分類では大部分の差が検出されなくなった一方、七領域の分析ではサイバー犯罪・侵入に関する項目に差が残った。検出される差異の範囲は、潜在能力の推定方法と、項目をどの領域へ分類するかの両方に依存する。
6.4 差が減少した原因と解釈上の制約
三分類別の能力を使用したときに項目機能差異の検出件数が減少したことは、総合能力の集約によって異なる回答傾向が混在していたという説明と整合する。例えば、開発元 A のモデルが Standard で高い拒否傾向を示し、開発元 B のモデルが Contextual で高い拒否傾向を示す場合、両者の総合能力が同じでも、個別項目への合格確率には差が生じ得る。分類別の能力を用いれば、それぞれの項目に関係する能力水準をより直接的にそろえられるため、総合能力だけでは説明できなかった差が減少する可能性がある。
ただし、能力の対応付けに使う推定値は、同じ項目集合の回答結果から計算されている。例えば、Standard の項目を使って Standard に対応する潜在能力を推定し、その能力を基準として Standard の項目機能差異を検査する場合、集団間に実際の差が存在していても、その一部が能力推定値へ取り込まれる可能性がある。能力をより細かく推定することによって、比較したかった集団差そのものを調整してしまう場合があるのである。
したがって、検出件数が 13 件から 1 件へ減少したという結果から、開発元間に実質的な違いが存在しないと結論付けることはできない。同時に、単一の総合能力を使った場合の 13 件が、すべて開発元固有の性質による差であると判断することもできない。二つの対応付け方法では、何を同等の能力として固定しているかが異なるため、検査している条件付きの関係も異なる。
この点を整理すると、集団間で観測される項目別の差には、少なくとも次のような説明が考えられる。
| 差の原因候補 | 発生する仕組み | 今回の検査で判断できる範囲 |
|---|---|---|
| 潜在能力の構成の違い | 総合能力が同じでも、項目に関係する個別能力の水準が異なることで合格確率に差が生じる。 | 分類別の対応付けによって検出件数が減少した結果と整合するが、それだけで原因を確定できない。 |
| 開発元に関連する応答特性 | 学習方針やモデル構造などが異なり、能力水準をそろえても特定の項目への応答傾向に差が残る。 | 残存する項目機能差異から可能性を検討できるが、開発元の因果効果は識別できない。 |
| 能力推定による差の吸収 | 集団差を含む回答結果から能力を推定し、その推定値で対応付けることで、検査対象の差の一部が調整される。 | 分類別の検査で差が減少した原因の候補となり、独立した能力推定などによる検証が必要になる。 |
| 標本構成と推定誤差 | 対象数の少なさや同じ開発元のモデル間の依存関係が、能力推定と差の検出に影響する。 | 検出結果の一般化可能性と統計的不確実性に制約が残る。 |
| 採点器の判断差 | モデルの応答に対する二つの採点器の判断や、合否への二値化が観測データを変化させる。 | 採点方式を変えた場合の再現性は今回の検査だけでは確認できない。 |
特に、開発元ごとの対象モデル数は OpenAI が 21、Anthropic が 11 と限られている。また、同じ開発元のモデルは、学習データ、学習手順、モデル系列などを部分的に共有している可能性がある。統計的に独立した対象が 21 件と 11 件存在する場合に比べ、実際に含まれる独立した情報量は少なくなる可能性がある。こうした依存関係は、項目機能差異の推定値や検出件数に影響し得る。
さらに、今回の研究では、集団ごとに独立した項目パラメーターを推定し、集団間で共通の基準として使う項目を繰り返し選び直すような、より複雑な多集団項目反応モデルによる検証は行われていない。対象数の少なさとモデル間の依存関係がある状況で、そうした推定を安定して実行できるかが未確定だったためである。今回の Mantel-Haenszel 法とロジスティック回帰による結果は、使用した能力推定値と検査方法を条件とする結果として理解する必要がある。
研究では、別の集団比較として、閉鎖型または API 経由のモデルと、公開された重みを利用できるモデルに近い集団との比較も実施した。二つの集団の平均得点は、それぞれ 0.776 と 0.507 であり、総合得点には差があった。しかし、単一能力、三分類別能力、七領域別能力のいずれで対応付けても、設定された多重比較基準を満たす項目機能差異は検出されなかった。
この結果は、集団の平均点の差と項目機能差異が別の統計的性質を表すことを示している。平均点に差があっても、能力水準をそろえた後の項目反応に系統的な差が検出されるとは限らない。一方、平均点が近い集団であっても、能力の構成が異なれば個別項目への反応に差が生じる可能性がある。集団全体の得点分布と、同じ能力水準での項目別の合格確率は、区別して評価する必要がある。
今回の検査が明らかにしたのは、OpenAI と Anthropic のどちらが本質的に安全であるかという順位ではない。単一能力で対応付けた場合には項目別の集団差が複数検出され、分類別の能力で対応付けると検出件数が減少したという、測定尺度と比較結果の関係である。検出件数の差は、能力の多次元性と集約の影響を考える根拠になる一方、開発元固有の差の存在や不在を確定するものではない。
ここには、総合点を使った比較に固有の制約が現れている。複数の能力を一つの数値へ集約すると、同じ総合点を持つ対象でも、項目に関係する能力の構成が異なる場合がある。その数値を基準として集団を比較すれば、条件付けの後にも項目別の能力差が残り、別の要因による差として観測される可能性がある。反対に、能力を細分化して対応付けると、検査したい差そのものを能力推定値へ取り込む可能性も生じる。
集団比較の妥当性は、検査統計量や有意水準だけで決まるわけではない。何を同等の能力と定義し、その能力をどの項目から推定し、どの範囲の差を検査対象として残すかという測定上の選択が、比較結果の意味を規定する。HarmBench の分析は、一次元性の検査で確認された潜在構造の違いが、実際の集団比較における項目機能差異の検出結果にも関係することを示した。総合点の差を解釈する際には、その点数が表す能力の構造と、比較のために固定した条件を対応させて検証する必要がある。
7. 総合点による順位は評価条件に依存する
測定結果を使って言語モデルや製品を選択する場合、測定された能力が何を表しているかに加えて、その能力が利用目的にどの程度適合しているかを判断する必要がある。例えば、二つの言語モデルが安全性評価で同じ総合点を獲得していても、実際の利用環境で遭遇する要求の種類が異なれば、安全な応答を返す確率も異なり得る。直接的な有害要求への対応に優れたモデルと、文脈を伴う要求への対応に優れたモデルでは、どちらの種類の要求が多く発生するかによって、利用環境で期待される結果が変化するためである。
ここには、測定と意思決定の間にある別の問題が現れている。項目反応理論によって潜在能力を適切に推定できたとしても、その能力のどの側面を重視するかは利用目的によって決まる。測定の妥当性は、観測された回答から能力についてどのような主張を導けるかという問題である。一方、意思決定では、その測定結果を使って何を選択し、どのような結果を得たいのかという条件が加わる。
Salaudeen らは、限定された評価課題で得られた結果から、より広い能力や用途に関する主張を導く際に、どのような妥当性の証拠が必要になるかを体系化している[19]。例えば、数学の試験で高得点を得たという結果から、一般的な推論能力が高いと主張するには、試験が測定している能力と、一般的な推論能力との関係を検証する必要がある。同様に、安全性評価の得点を実際の運用環境における安全性の判断へ利用するには、評価項目と利用環境の条件がどのように対応しているかを確かめる必要がある。
Truong と Koyejo も、AI の評価を、観測された回答から潜在的な性質を推定し、その推定結果を異なる条件や判断へ適用する測定科学の問題として体系化している[20]。測定結果が統計的に安定していることと、その結果を特定の環境へ一般化できることは、それぞれ検証すべき条件を持つ。例えば、評価対象のモデルや出題された要求が変化すると、従来の評価結果と実際の振る舞いとの対応も変化する可能性がある。
この関係を数理モデルとして整理すると、能力の測定値と、利用条件に応じた評価値を分けて考えられる。複数の性質を一つの総合点へ集約する場合、どの性質にどの程度の重みを与えるかが、比較結果に直接影響する。そのため、総合点の大小を利用上の優劣として解釈するには、重み付けの根拠を明示する必要がある。
7.1 利用条件に応じた評価値を定義する
ある言語モデルを、複数の種類の要求が発生する環境で利用するとする。直接的な有害要求、文脈を伴う有害要求、著作物の再現要求など、利用環境で遭遇する条件を \(d\) 種類に分類する。ここでは、それぞれの要求が重複せず、発生した要求をいずれか一つの条件へ分類できると仮定する。
対象 \(i\) が条件 \(k\) で安全な応答を返す確率を \(p_{ik}\) とする。各条件における安全応答率をまとめると、次のベクトルになる。
\[\boldsymbol{p}_i=(p_{i1},p_{i2},\ldots,p_{id})^{\mathsf T}.\]
ここで \(i\) は評価対象となる言語モデル、\(k\) は利用条件の番号、\(d\) は条件の種類の数を表す。例えば三種類の要求がある場合、\(\boldsymbol{p}_i=(0.9,0.7,0.5)^{\mathsf T}\) なら、第一の条件で 90％、第二の条件で 70％、第三の条件で 50％の確率で安全な応答を返すという意味になる。これらの確率は、それぞれの条件の下で同じ判定基準を使用して推定されているものとする。
このベクトルは、複数の条件に対する応答傾向を個別に保持している。特定の条件で高い安全応答率を示していても、別の条件では低い場合があるため、条件別の評価値を保存することで、その違いを区別できる。
利用目的に応じて総合評価を求めるには、各条件へ重みを与える。条件 \(k\) の重みを \(w_k\) とし、すべての重みが非負で、合計が 1 になるように定義する。
\[w_k\geq0,\qquad\sum_{k=1}^{d}w_k=1.\]
この条件を満たす重みのベクトルを \(\boldsymbol{w}\) とすると、対象 \(i\) の総合評価値は次のように表せる。
\[U_i(\boldsymbol{w})=\sum_{k=1}^{d}w_kp_{ik}=\boldsymbol{w}^{\mathsf T}\boldsymbol{p}_i.\]
\(U_i\) は各条件の安全応答率に重みを掛けて合計した値である。重みがすべて非負で合計が 1 なので、この値は条件別の安全応答率の加重平均となり、0 から 1 の範囲に収まる。
この式は第 1 章で扱った加重合計と同じ数学的な構造を持つ。ただし、第 1 章では観測された項目別得点を集約する操作として考えたのに対し、ここでは異なる利用条件における安全応答率を、意思決定のための評価値へ変換する操作として扱う。数式の形が同じでも、入力される値と重みの意味によって、総合点の解釈は変わる。
例えば、重み \(w_k\) を利用環境で条件 \(k\) が発生する確率と定義する。この場合、各条件が互いに排他的で、すべての要求を分類できるなら、\(U_i\) はその利用環境で期待される安全応答率となる。条件ごとの安全応答確率 \(p_{ik}\) に、その条件が発生する確率 \(w_k\) を掛けて足し合わせることで、利用環境全体で安全な応答が得られる確率を計算できるためである。
例えば、直接的な有害要求が全体の 80％、文脈を伴う有害要求が 20％を占める環境では、二つの条件への重みは \((0.8,0.2)\) となる。両者がそれぞれ 50％ずつ発生する環境では、重みは \((0.5,0.5)\) となる。同じ言語モデルでも、利用条件の発生割合が変われば期待安全応答率も変化する。
一方、重みを危険の重大性や業務上の優先度として設定する場合、総合評価値は意思決定のために定義した加重指標となる。その値を実際の安全応答確率として解釈するには、重みが条件の発生確率に対応している必要がある。発生頻度と危険の重大性を混同すると、加重平均の計算は正しくても、総合評価値に与える意味が変わってしまう。
例えば、発生確率の低い要求でも、危険な応答が発生した場合の損失が大きければ、その条件を優先して評価する必要がある場合がある。その場合は、安全応答率の平均を計算する方法に加えて、条件ごとの失敗確率と損失を組み合わせた評価が考えられる。条件 \(k\) の発生確率を \(q_k\)、安全でない応答が発生した場合の損失を \(c_k\) とすると、損失が発生する確率を \(1-p_{ik}\) とみなせる条件の下で、期待損失は次のようになる。
\[R_i=\sum_{k=1}^{d}q_kc_k(1-p_{ik}).\]
ここで \(R_i\) は対象 \(i\) の期待損失、\(q_k\) は条件の発生確率、\(c_k\) はその条件で安全でない応答が発生した場合の損失である。安全応答率を高く評価する \(U_i\) と異なり、期待損失 \(R_i\) は小さいほど望ましい。この式が適用できるのは、条件ごとの損失を一定値として定義でき、安全でない応答に対応する損失を加法的に評価できる場合である。
例えば、同じ 10％の失敗確率でも、失敗による損失が異なる二種類の要求を同等に扱うことが適切とは限らない。期待安全応答率は安全な応答が得られる割合を表し、期待損失はその失敗がもたらす影響まで含めた評価となる。何を評価するかによって、必要な確率、重み、目的関数が変わる。
7.2 同じ安全応答率でも順位は逆転する
総合評価値が利用条件によって変化する仕組みを、二つの言語モデル A、B の仮想例で考える。ここでは条件を二種類に限定し、どちらの条件でも安全な応答を返すことを望ましい結果とする。
対象 A は第一の条件で安全応答率が 0.9、第二の条件では 0.5 である。一方、対象 B は第一の条件で 0.5、第二の条件では 0.9 とする。
\[\boldsymbol{p}_A=(0.9,0.5)^{\mathsf T},\qquad\boldsymbol{p}_B=(0.5,0.9)^{\mathsf T}.\]
両者は、安全応答率が高い条件と低い条件が逆転している。第一の条件では A が B を 0.4 上回り、第二の条件では B が A を 0.4 上回る。このとき、二つの条件を同じ重要度で評価すれば、総合評価値は一致する。
\[U_A(0.5,0.5)=0.5\times0.9+0.5\times0.5=0.7.\]
\[U_B(0.5,0.5)=0.5\times0.5+0.5\times0.9=0.7.\]
均等な重みでは、A と B は同じ総合評価値となる。しかし、第一の条件を重視し、重みを \((0.8,0.2)\) に変更すると、A の評価値は 0.82、B の評価値は 0.58 となる。
\[U_A(0.8,0.2)=0.8\times0.9+0.2\times0.5=0.82.\]
\[U_B(0.8,0.2)=0.8\times0.5+0.2\times0.9=0.58.\]
この条件では、A の方が期待される安全応答率が高い。第一の条件で A が持つ優位性に大きな重みが与えられたためである。
反対に、第二の条件を重視して重みを \((0.2,0.8)\) に変更すると、評価値は逆転する。
\[U_A(0.2,0.8)=0.2\times0.9+0.8\times0.5=0.58.\]
\[U_B(0.2,0.8)=0.2\times0.5+0.8\times0.9=0.82.\]
この条件では B が上位となる。評価対象の安全応答率は一切変更しておらず、二つの条件に与える重みだけを変更した結果である。
| 評価条件の重み | 対象 A | 対象 B | 比較結果 |
|---|---|---|---|
| 均等（0.5、0.5） | 0.70 | 0.70 | 両者の総合評価値は一致する。 |
| 第一条件を重視（0.8、0.2） | 0.82 | 0.58 | 第一条件で安全応答率が高い A が上位となる。 |
| 第二条件を重視（0.2、0.8） | 0.58 | 0.82 | 第二条件で安全応答率が高い B が上位となる。 |
この数値は重み付けによる順位の変化を説明するための仮想例であり、Stewart らの研究で測定されたモデルの実測値ではない。三つの評価条件のいずれでも計算は正しく、設定した重みに従って期待安全応答率が得られている。順位が逆転した原因は、モデルの性能が変化したことではなく、利用条件の発生割合を変更したことにある。
この関係は、二つの条件への重みを一つの変数で表すと、さらに明確になる。第一の条件への重みを \(t\)、第二の条件への重みを \(1-t\) とする。\(0\leq t\leq1\) の範囲で変化させれば、重みの合計は常に 1 に保たれる。
対象 A と B の総合評価値は、それぞれ次のようになる。
\[U_A(t)=0.9t+0.5(1-t)=0.5+0.4t.\]
\[U_B(t)=0.5t+0.9(1-t)=0.9-0.4t.\]
両者の差を計算すると、次の関係が得られる。
\[\Delta U(t)=U_A(t)-U_B(t)=0.8t-0.4.\]
\(\Delta U(t)\) は A の評価値から B の評価値を差し引いた値である。正なら A が上位、負なら B が上位、ゼロなら同点となる。この式で \(\Delta U(t)=0\) を解くと、\(t=0.5\) が得られる。
\[\Delta U(t)\begin{cases}>0 & (t>0.5),\\=0 & (t=0.5),\\<0 & (t<0.5).\end{cases}\]
つまり、第一の条件への重みが 50％を超えると A が上位になり、50％を下回ると B が上位になる。順位の境界は、評価対象の二つの条件別安全応答率と、重み付けの関係から計算できる。
この結果は、総合点の順位が必ずしも評価対象だけに固有の性質として定まるわけではないことを示している。条件別の性能が交差している場合、順位は評価対象の性能ベクトルと、利用目的に応じた重みベクトルの組み合わせによって決まる。評価値の算出時に重みを固定すれば一つの順位を定義できるが、その順位を異なる利用条件へ適用する際には、重みの妥当性を改めて検討する必要がある。
7.3 重みを変えても順位が変わらない条件
すべての評価対象で、利用条件によって順位が逆転するわけではない。ある対象がすべての条件で別の対象以上の安全応答率を持つ場合、非負の重みをどのように変更しても、その対象の評価値が下回ることはない。この条件も数学的に導くことができる。
対象 A と B の条件別安全応答率を、それぞれ \(\boldsymbol{p}_A\)、\(\boldsymbol{p}_B\) とする。重みベクトル \(\boldsymbol{w}\) の各成分は非負で、合計が 1 である。
\[w_k\geq0,\qquad\sum_{k=1}^{d}w_k=1.\]
この条件を満たすすべての重みについて、対象 A の評価値が対象 B 以上となる条件を考える。
\[U_A(\boldsymbol{w})\geq U_B(\boldsymbol{w})\qquad(\text{すべての }\boldsymbol{w}).\]
この関係が成立するための必要十分条件は、すべての条件で A の安全応答率が B 以上であることである。
\[p_{Ak}\geq p_{Bk}\qquad(\text{すべての }k).\]
この条件が十分であることは、総合評価値の差を計算すると分かる。
\[U_A(\boldsymbol{w})-U_B(\boldsymbol{w})=\sum_{k=1}^{d}w_k(p_{Ak}-p_{Bk}).\]
すべての条件で \(p_{Ak}-p_{Bk}\geq0\) が成立し、重みもすべて非負なら、右辺の各項は非負となる。非負の値を足し合わせた結果も非負なので、どのような重みを選んでも A の評価値が B を下回ることはない。
反対に、この条件が必要であることは、特定の条件に重みを集中させる場合を考えれば分かる。仮に、ある条件 \(m\) で \(p_{Am}<p_{Bm}\) が成立しているとする。その条件に重み 1 を与え、他のすべての条件の重みを 0 にすれば、総合評価値はその条件の安全応答率と一致する。
\[w_m=1,\qquad w_k=0\quad(k\neq m).\]
このとき、A の評価値は B より小さくなる。
\[U_A(\boldsymbol{w})=p_{Am}<p_{Bm}=U_B(\boldsymbol{w}).\]
したがって、すべての非負の重みで A が B 以上となるためには、全条件で A が B 以上であることが必要になる。これは、全条件における成分ごとの優越が、すべての重みに対する加重評価値の優越と一致することを意味する。
この関係は、パレート優越という考え方に対応する。複数の評価軸があるとき、一方の対象がすべての評価軸で他方以上であり、少なくとも一つの評価軸で上回っているなら、前者は後者をパレート優越する。
例えば、対象 A の安全応答率が \((0.9,0.8)\)、対象 B が \((0.7,0.6)\) であれば、A は二つの条件の両方で B を上回る。どちらの条件へ大きな重みを与えても、A の加重評価値が B を下回ることはない。
一方、対象 A が \((0.9,0.5)\)、対象 B が \((0.5,0.9)\) の場合は、一方が第一の条件で優れ、もう一方が第二の条件で優れている。両者には成分ごとの優越関係が成立しない。このように、それぞれが異なる条件で上回る場合には、第一の条件を重視する重みと第二の条件を重視する重みを選ぶことで、評価順位を逆転させられる。
ただし、ここで導いた必要十分条件は、すべての非負の重みを許容する場合に成立する。実際の利用環境で重みの範囲が制限されている場合は、その範囲内での順位を検討する必要がある。例えば、第一の条件が常に 70％以上を占める環境では、第一の条件への重みを 0.5 未満にする選択は許容されない。その場合、二つの対象の条件別安全応答率が交差していても、実際に許容される重みの範囲では順位が変わらないことがある。
順位が重みに依存するかどうかは、評価対象の性能ベクトルだけでなく、重みとして何を許容するかという利用条件によっても決まる。すべての非負の重みを許容する場合には成分ごとの優越によって判断でき、利用条件が限定されている場合には、その範囲で総合評価値の差がどのように変化するかを調べればよい。
7.4 測定結果を意思決定へ利用する条件
ここまでの数理モデルでは、条件別の安全応答率が既知の値として与えられていると仮定した。しかし、実際の評価では安全応答率そのものも有限の試験結果から推定する必要がある。例えば、ある条件で 10 問中 9 問に安全な応答を返した場合、観測された合格率は 0.9 となる。一方、1,000 問中 900 問に安全な応答を返した場合も、観測された合格率は 0.9 となる。両者の観測比率は同じだが、推定の不確実性は異なる。
条件別の安全応答率を総合評価へ利用する場合には、その推定精度も比較結果に影響する。例えば、対象 A と B の総合評価値の差が 0.01 であっても、条件別安全応答率の推定誤差がそれより大きければ、観測された順位が安定して再現されるかは不明である。また、利用環境における要求の発生割合も推定値であれば、重み自体に不確実性が含まれる。
この状況では、条件別の安全応答率と重みの推定値だけでなく、それらの不確実性も考慮して評価する必要がある。例えば、利用条件の発生割合が変動する場合、許容される複数の重みを使って評価値を再計算し、順位がどの範囲で維持されるかを調べられる。順位が幅広い条件で維持される場合と、わずかな重みの変化で逆転する場合では、同じ総合評価値の差でも判断の安定性が異なる。
さらに、評価に用いた条件別の安全応答率が、実際の利用環境にも適用できることが必要になる。例えば、HarmBench の Standard に属する要求への合格率を、実際の利用環境で発生するすべての直接的な有害要求への安全応答率とみなすには、評価項目の内容と利用環境の要求分布が十分に対応している必要がある。評価集合が限られた種類の要求しか含んでいなければ、利用環境で発生する別の要求に対する応答確率は、測定結果から直接には定まらない。
したがって、測定結果から意思決定へ進む過程には、少なくとも三つの異なる条件が存在する。第一に、評価項目への回答から条件別の安全応答率を適切に推定できること。第二に、その条件別安全応答率が利用環境の要求にも適用できること。第三に、条件の発生確率や損失を反映した評価関数が、実際の選択目的と整合していることである。
| 評価段階 | 必要な条件 | 条件が満たされない場合の帰結 |
|---|---|---|
| 条件別の能力測定 | 評価項目への回答から、対象の条件別の応答傾向を適切に推定できること。 | 総合評価の入力となる確率自体が、対象の応答傾向を十分に表さなくなる。 |
| 利用環境への一般化 | 評価項目と利用環境の条件が対応し、測定した応答傾向を利用環境へ適用できること。 | 評価集合で高い合格率を示しても、実際の利用環境で同じ結果が得られるとは限らない。 |
| 重み付け | 条件の発生確率や重要度が、評価値の解釈と利用目的に整合していること。 | 総合点の計算が正しくても、比較順位が実際の判断目的に適合しない可能性がある。 |
| 順位の安定性 | 測定誤差や許容される重みの変動を考慮しても、選択結果が十分に安定していること。 | 観測された総合評価値の小さな差によって、再現性の低い順位が付けられる可能性がある。 |
これらの条件は、測定された能力が多次元である場合に特に重要となる。能力を一つの総合点へ集約すると、条件別の応答傾向の違いが集約結果に現れなくなる。一方、実際の利用環境では、それぞれの条件が発生する頻度や失敗による影響が異なるため、集約時に失われた差異が選択結果を左右する場合がある。
例えば、直接的な有害要求に対する安全応答率が高いモデルと、文脈を伴う要求への安全応答率が高いモデルを比較する場合、利用環境で後者の要求が多く発生するなら、その条件での性能が選択結果へ大きく影響する。均等な重みで計算したベンチマークの総合点をそのまま使用すると、利用環境の要求分布と評価時の重みが一致しているという仮定を暗黙に置くことになる。
また、安全な応答が得られる割合を最大化することと、安全でない応答による損失を最小化することも、異なる目的関数によって定義される。すべての失敗を同じ損失として扱える場合には、安全応答率の最大化が期待損失の最小化に対応する。しかし、失敗の影響が条件によって異なる場合には、発生確率と損失の双方を考慮する必要がある。どの目的関数を採用するかによって、同じ測定結果から導かれる選択が変わる可能性がある。
測定結果の正確性は、意思決定の妥当性を支える条件の一つである。条件別の安全応答率を適切に測定できても、その値をどのように集約するか、どの利用条件へ適用するか、何を望ましい結果として定義するかによって、評価対象の順位は変化する。多次元の能力を一つの総合点へまとめる場合、重み付けは単なる計算上の操作ではなく、評価者がどの条件を重視するかという選択を数値として表現する操作となる。
一つの総合点によって評価対象を比較することは可能であり、評価目的が明確であれば、その数値を合理的な意思決定に利用できる。ただし、総合点が表す優劣は、測定対象、評価項目、利用条件、重み付けによって定義される。全条件で一方が優越する場合には重みに依存しない順位が成立する一方、条件別の性能が交差する場合には、利用目的に応じて順位が逆転し得る。どの能力を測定したかという問いに加えて、その能力を何のために評価するかという問いを明確にすることが、数値による比較を意思決定へ接続する条件となる。
8. 一つの点数に与えてよい意味を確かめる
複数の得点を一定の規則で合計すれば、一つの数値が得られる。その計算が正しいかどうかは、元の得点と集計規則を確認すれば判断できる。しかし、計算結果が正確であることと、その数値が特定の能力を測定していることは、異なる条件によって成立する。さらに、その測定結果を使って製品や人材を選択する場合には、測定された性質が判断目的と対応していることも必要になる。
この違いは、試験の合計点を考えると明確になる。計算問題と文章読解問題を合計して 80 点を獲得した受験者が、75 点を獲得した受験者よりも高い総合点を持つことは、採点規則から確定する。しかし、その 5 点の差が計算能力、読解能力、あるいは両者の組み合わせのどれに由来するかは、総合点だけでは特定できない。また、採用する職務が計算能力を重視する場合には、総合点で上位の受験者が必ずしも適切な選択になるとは限らない。数値の大小、測定された能力、利用目的に対する適合性は、それぞれ異なる比較対象を持っている。
第 1 章で扱った線形代数は、こうした違いのうち、情報の集約によって生じる制約を示している。項目別得点を \(n\) 次元のベクトルとして表し、非零の重みベクトルとの内積によって一つの総合点を求める場合、写像の核は \(n-1\) 次元となる。これは、項目別得点を変化させても総合点が変わらない独立した方向が存在することを意味する。総合点が一致しているという情報だけでは、元の得点の組み合わせを一意に復元できない。
一方、項目反応理論が検証するのは、集約前の回答結果がどのような潜在構造によって説明されるかという問題である。項目ごとの難易度や識別力を考慮したうえで、すべての項目の合格確率を一つの共通した潜在能力によって説明できるなら、統計的な一次元性を支持する根拠が得られる。反対に、複数の潜在次元を導入することで未知の回答結果に対する予測性能が改善するなら、単一能力という仮定だけでは説明しきれない構造が存在する可能性が高まる。
ただし、統計モデルが示す潜在次元と、現実に存在すると考えられる能力との対応には、さらに検証が必要である。一次元モデルが回答結果を十分に予測できても、その潜在変数が意図した能力を表しているかは別の問題となる。また、多次元モデルが良好な予測性能を示した場合でも、推定された潜在次元の数が実在する能力の個数と一致するとは限らない。測定モデルの適合度は、観測結果を説明する統計的な根拠であり、構成概念の意味や因果的な実体を直接確定するものではない。
Stewart らによる HarmBench の分析は、この区別を具体的な評価データによって示した。81 モデル、398 項目の回答結果に対して、最も予測性能の高かった一次元モデルの対数損失は 0.322 だった。一方、確認的三次元モデルでは 0.258、七次元モデルでは 0.255 となった。対数損失が小さいほど、実際の合否に対する確率予測が良好である。三次元モデルと七次元モデルの差は小さいものの、いずれも一次元モデルより良好な予測性能を示した。
著作物の再現要求に関する項目を除外した場合にも、Standard と Contextual を分離する二次元モデルの方が、一次元モデルより良好な予測性能を示した。一次元モデルの対数損失は 0.293、二次元モデルは 0.278 であった。したがって、多次元モデルの優位性は、著作物の再現要求だけが他の項目と異なることによって生じたとは考えにくい。直接的な有害要求と文脈を伴う有害要求の間にも、単一の潜在尺度だけでは十分に説明できない回答傾向の違いが含まれていた。
この違いは、集団間の比較にも影響していた。OpenAI と Anthropic のモデルを単一の能力尺度で対応付けた場合、Mantel-Haenszel 法では 13 項目、ロジスティック回帰法では 17 項目に項目機能差異が検出された。一方、Standard、Contextual、Copyright の分類別に能力を推定して対応付けると、検出件数はそれぞれ合計 1 項目と 2 項目になった。比較に用いた回答データが同じでも、何を同等の能力とみなすかによって、項目別の集団差として検出される結果が変化した。
この結果は、単一能力という仮定の不足が、単なる統計モデルの適合度にとどまらず、実際の比較結果にも関係することを示している。ただし、分類別の能力推定には同じ評価項目の情報が使われており、集団間の差異の一部が能力推定値へ取り込まれた可能性もある。そのため、検出件数の減少を開発元固有の差異が消滅した証拠と解釈することはできない。確認できるのは、能力の定義と対応付け方が、項目機能差異の検出結果を左右したという関係である。
さらに、複数の潜在能力を適切に推定できたとしても、それらを一つの総合点へまとめて意思決定に利用するには、別の条件が必要になる。第 7 章で扱った二つの対象 A、B の仮想例では、条件別の安全応答率をそれぞれ \((0.9,0.5)\)、\((0.5,0.9)\) とした。均等な重みでは両者の評価値は 0.7 で一致する。しかし、第一の条件に 0.8、第二の条件に 0.2 の重みを与えると、A は 0.82、B は 0.58 となる。重みを逆転させれば、評価順位も逆転する。
この順位の変化は、測定誤差によるものではない。条件別の安全応答率を正確に把握できていると仮定しても、どの条件を重視するかによって総合評価値が変わるという数学的な性質から生じる。すべての条件で一方の対象が他方以上の安全応答率を持つ場合には、非負の重みをどのように設定しても優劣は逆転しない。一方、条件別の性能が交差している場合には、重み付けによって順位が変わり得る。全条件での成分ごとの優越という条件と、特定の重みの下での総合評価値の優越は区別される。
ここまでの論証を、数値の算出から意思決定までの対応関係として整理すると、次のようになる。
| 段階 | 成立を確認する条件 | 確認によって正当化できる判断 | 残る制約 |
|---|---|---|---|
| 集計 | 項目別得点と重みが定義され、指定した計算規則が正しく適用されていること。 | 定義された規則の下で、対象間の総合点の大小を比較できる。 | 総合点から項目別の得点構成を一意に復元することは一般にできない。 |
| 統計的な測定 | 項目ごとの回答確率が、仮定した潜在能力モデルによって十分に説明されること。 | 観測された回答傾向を、モデルが定義する潜在尺度によって記述できる。 | モデルの適合だけでは、潜在尺度が意図した能力を表していると確定できない。 |
| 構成概念の妥当性 | 潜在尺度と測定対象との対応が、理論、外部の証拠、利用する文脈によって支持されること。 | 測定結果に対して、検証された範囲で能力に関する解釈を与えられる。 | 検証した対象や条件を超えた一般化には、追加の根拠が必要になる。 |
| 集団比較 | 比較対象の能力を適切な尺度で対応付け、項目反応の差を検査できること。 | 設定した能力尺度を条件として、項目別の集団差を評価できる。 | 能力推定による差の吸収や、標本構成、推定誤差の影響が残る。 |
| 意思決定 | 測定された性質、利用条件、重み付け、判断目的が対応していること。 | 定義された利用目的の下で、対象の評価値や選択順位を比較できる。 | 利用条件や重みが変われば、評価順位も変化する場合がある。 |
この表で区別した各段階は、一つの数値から導ける結論の範囲を規定している。集計が正確であれば、定義された規則による得点の比較は成立する。統計的な測定モデルが十分に適合すれば、そのモデルに基づく潜在能力の推定を支持する証拠が得られる。構成概念の妥当性が確認されれば、潜在能力を意図した性質と結び付けて解釈できる範囲が定まる。さらに、利用目的に適合した評価関数を定義することで、測定結果を具体的な選択へ接続できる。
一方、これらの条件は自動的に連鎖するわけではない。採点規則が正確でも測定モデルの一次元性は保証されず、一次元モデルが良好に適合しても構成概念の妥当性は別途検証する必要がある。また、複数の能力を正確に測定できたとしても、その能力をどのような重みで集約するかによって、意思決定上の順位は変化し得る。それぞれの段階には、直前の段階から結論を拡張するための独立した根拠が必要になる。
複合指標には、複数の評価項目を一定の規則に従って集約し、比較を容易にするという用途がある。例えば、異なる種類の有害要求に対する安全応答率を平均すれば、定義された評価集合に対する総合的な結果を一つの数値で示せる。この数値を使って対象を比較することは、同じ評価集合と採点規則を適用している限り、集計上の比較として成立する。しかし、その順位をあらゆる種類の有害要求への対応能力の優劣として解釈するには、評価項目の代表性と潜在能力の構造を検証する必要がある。実際の利用環境での安全性を判断する場合には、要求の発生割合や失敗による損失も加わる。
Stewart らの研究は、このうち測定尺度の成立条件について、具体的な実証結果を与えている。HarmBench の回答結果では、一次元モデルよりも多次元モデルの予測性能が高く、能力の対応付け方によって開発元間の項目機能差異の検出結果も変化した。これは、単一の「有害要求を拒否する能力」という解釈を採用する前に、項目別の回答構造を検査する必要があることを示している。一方、今回の分析だけで安全性評価に含まれる能力の正確な次元数や、各次元に対応する内部機構まで確定したわけではない。
以上の数理的な関係から、総合点の大小を比較するときに確認すべき対象も定まる。第一に、その点数がどの項目をどの重みで集約した結果なのか。第二に、項目間の回答傾向が、主張している能力の測定モデルと整合しているのか。第三に、その能力に与えた意味が、独立した根拠によって支持されているのか。第四に、その点数を利用する判断目的と、評価項目や重み付けが対応しているのかということである。
同じ 70 点でも能力の構成は異なり得る。80 点と 75 点の差があっても、その差を生み出した能力の方向は一意には決まらない。そして、複数の条件で性能が交差している場合には、正確に測定した値を使っていても、重み付けによって順位は逆転し得る。これらはいずれも、点数の計算が間違っていることを意味するものではない。数値を一つにまとめる操作と、その数値へ特定の意味を与える操作が、それぞれ異なる数学的な条件に従うことから生じる。
一つの点数が直接示しているのは、定義された評価項目と集計規則に従って得られた結果である。その点数を一つの能力の測定値として解釈するには、項目の応答構造と測定対象との対応を検証する必要がある。さらに、その数値を選択や採用の判断へ利用するには、評価条件と判断目的を対応させる必要がある。
点数の差が何を意味するのかは、数値の大きさだけでは決まらない。測定モデルが説明できる範囲と、その結果を使う判断の条件によって決まる。 合計点を計算すること、能力を測定すること、測定結果から対象を選択することの成立条件を分けて確かめることで、一つの数値に与えてよい意味の範囲を明確にできる。
参考文献
- id774, 測ることは、考えることの代わりにならない（2026-07-02）. https://blog.id774.net/entry/2026/07/02/4931/
- id774, 正しい数字から間違った結論は作れる（2026-09-23）. https://blog.id774.net/entry/2026/09/23/5721/
- Cronbach, L. J.; Meehl, P. E., Construct Validity in Psychological Tests（1955-07）. https://doi.org/10.1037/h0040957
- Borsboom, D.; Mellenbergh, G. J.; van Heerden, J., The Concept of Validity（2004-10）. https://doi.org/10.1037/0033-295X.111.4.1061
- Kane, M. T., Validating the Interpretations and Uses of Test Scores（2013-03-14）. https://doi.org/10.1111/jedm.12000
- Messick, S., Validity of Psychological Assessment: Validation of Inferences From Persons’ Responses and Performances as Scientific Inquiry Into Score Meaning（1995-09）. https://www.ets.org/research/policy_research_reports/publications/article/1995/buwh.html
- Dorans, N. J.; Lawrence, I. M., The Role of the Unit of Analysis in Dimensionality Assessment（1999）. https://www.ets.org/research/policy_research_reports/publications/report/1999/hxzd.html
- Lord, F. M.; Novick, M. R., Statistical Theories of Mental Test Scores（1968）. https://www.ets.org/research/policy_research_reports/publications/book/1968/awej.html
- Reckase, M. D., Multidimensional Item Response Theory（2009-07-07）. https://doi.org/10.1007/978-0-387-89976-3
- Botter, P., Large Language Model Benchmarks as Measurement Systems: Psychometric Contributions and Eight Open Problems（2026-08-27）. https://doi.org/10.1080/15366367.2026.2720515
- id774, AI ベンチマークは、仕事の成立条件まで測り始めた（2026-10-06）. https://blog.id774.net/entry/2026/10/06/5626/
- Kaiyom, F. et al., HELM Safety: Towards Standardized Safety Evaluations of Language Models（2024-11）. https://crfm.stanford.edu/2024/11/08/helm-safety.html
- Mazeika, M. et al., HarmBench: A Standardized Evaluation Framework for Automated Red Teaming and Robust Refusal（2024-07）. https://proceedings.mlr.press/v235/mazeika24a.html
- Stewart, C. M. et al., Searching for “Harmful Refusal”: A Psychometric Audit of an AI Safety Benchmark（2026-10-08）. https://arxiv.org/abs/2610.12409v1
- Lalor, J. P.; Rodriguez, P., py-irt: A Scalable Item Response Theory Library for Python（2022-11-15）. https://doi.org/10.1287/ijoc.2022.1250
- Holland, P. W.; Wainer, H. (eds.), Differential Item Functioning（1993）. https://www.ets.org/research/policy_research_reports/publications/book/1993/brpj.html
- Thissen, D.; Steinberg, L.; Wainer, H., Detection of Differential Item Functioning Using the Parameters of Item Response Models（1993）. https://www.ets.org/research/policy_research_reports/publications/chapter/1993/icas.html
- Zwick, R. J., When Do Item Response Function and Mantel-Haenszel Definitions of Differential Item Functioning Coincide?（1989）. https://www.ets.org/research/policy_research_reports/publications/report/1989/ihne.html
- Salaudeen, O. et al., Measurement to Meaning: A Validity-Centered Framework for AI Evaluation（2025-05-13）. https://arxiv.org/abs/2505.10573v1
- Truong, S. T.; Koyejo, S., AI Measurement Science（2026）. https://aimslab.stanford.edu/textbook/