同じファイルを、同じ利用者が、同じ権限で削除しようとする。削除対象、操作内容、実行環境を固定したまま、依頼文だけを英語から日本語へ変えた場合、安全判定は維持されるだろうか。ファイルの所有者やアクセス権限が変われば、削除を許可するか遮断するかという判断が変わる理由は明確である。しかし、依頼の意味と操作の条件が保存されているなら、言語の違いそれ自体は、削除操作の危険性を変える要因にはならない。同じ操作条件に対して異なる判定が返された場合、その差が何によって生じたのかを説明する必要がある。
この問題には、少なくとも三つの異なる変化が関係する。第一は、利用者の権限や実行対象など、判断に必要な条件の変化である。第二は、依頼の意味を保持したまま言語や表記を変える、入力表現の変化である。第三は、安全判定を行うモデルや規則自体の変化である。第一の変化によって判定が変わることは、むしろ正しい判断の結果であり得る。第二の変化によって判定が変わるなら、表現への依存を検証する必要がある。第三の変化は、モデルの更新や設定変更が判断機構へ与えた影響として評価される。この三者を混同すると、判定が変化したという観測結果から、その原因を特定できなくなる。
通常、安全判定を行うモデルは、危険な操作を遮断した割合や、安全な操作を誤って遮断した割合によって評価される。これらは判定結果を集計した指標であり、一定の入力分布に対してどの程度正しく動作したかを示す。しかし、異なる言語で表現された同じ依頼が、それぞれ同じ判定を受けたかどうかは、集計値だけでは分からない。例えば、英語と日本語で遮断率が等しくても、英語では許可された操作が日本語では遮断され、別の操作では逆の変化が発生している可能性がある。許可から遮断への変化と、遮断から許可への変化が相殺されれば、全体の遮断率は変わらない。平均的な判定性能と、個々の操作に対する判断の一貫性は、別々に測定すべき性質なのである。
さらに、同じ判定器で入力だけを変更した実験と、判定器を更新して同じ入力を再評価した実験も区別する必要がある。前者は入力条件に対する感度を測定し、後者は判断構造の更新が観測結果へ与える影響を測定する。両方の条件を同時に変更した場合、出力の差には少なくとも二つの要因が混在する。入力と構造を独立した変数として定義し、それぞれを固定する対照条件を設けることで、変化の起点を分離できる。
この関係を記述するための基礎として、構造振動モデルを用いる。構造振動モデルは、対象を要素と関係からなる構造として表し、その構造が環境条件、観測結果、介入に応じて更新される過程を扱う。安全判定へ適用する場合、判断機構を構造、依頼や操作条件を環境、遮断の結果を観測、モデルや規則の変更を介入として対応させられる。ただし、構造自体が更新されることと、固定された構造が異なる入力に反応することは、数学的に異なる現象である。両者を分離したうえで、入力の表現変化が判定へ与える影響を新たな応答変動として定義する。この区別によって、安全判定の安定性を、正答率だけでなく、構造、環境、観測、介入の関係から検証できる。
1. 安全判定を入力に応答する動的システムとして捉える
構造振動モデルは、対象が一定期間維持する関係構造と、その構造が外部条件や運用結果に応じて変化する過程を記述する。既稿「構造振動モデルを数理モデルとして定義する」では、構造をグラフとして表現し、観測、環境、介入、更新を独立した要素として定義したうえで、隣接する時点の構造間の距離を振動の大きさとして扱っている[1]。その基礎となる「構造振動モデルとは何か」では、設計と運用、複雑化と単純化、統合と分解のように、異なる条件下で合理的な構造が切り替わる現象を、環境と観測に応じた関係構造の再編成として捉えている[2]。ここでいう振動は、周期的な正弦波運動を前提とするものではなく、構造がどの程度変化し、その変化がどのような条件で生じるかを測定するための概念である。
安全判定にも同じ関係がある。エージェントがファイルを削除しようとするとき、判定器は操作そのものに加え、利用者から与えられた目的、これまでの操作履歴、対象資源、利用者の権限などを判断材料とする。判定器の規則を固定しても、これらの入力条件が変われば、正しい判定も変化する。逆に、入力を固定したまま判定器の規則や閾値を変更すれば、同じ操作に対して異なる結果が得られる可能性がある。観測される判定は、判定器の構造と入力条件の組み合わせによって決まるため、どちらの変化を測定しているのかを明確にする必要がある。
ある離散時刻における構造を \(S_t\)、環境条件を \(C_t\)、観測結果を \(O_t\)、構造へ加える介入を \(U_t\) とする。構造振動モデルの基本的な関係は、次の三つの写像で表される。
\[
\begin{aligned}
O_t &= G(S_t,C_t),\\
S_{t+1} &= M(S_t,C_t,O_t,U_t),\\
C_{t+1} &= H(C_t,O_t).
\end{aligned}
\]
第一式は、現在の構造と環境条件から観測結果が得られることを表す。第二式は、現在の構造、環境、観測、介入によって構造が更新されることを表す。第三式は、観測結果が後続の環境条件へ影響する関係である。三つの式を組み合わせることで、ある構造が環境に応答し、その結果を観測したうえで、構造と環境がそれぞれ更新される過程を記述できる。
| 記号 | 数理モデル上の意味 | 安全判定における具体例 |
|---|---|---|
| \(S_t\) | 時刻 \(t\) において判断や動作を規定する構造を表す。 | ガードのモデル、許可規則、遮断閾値、判断に用いる情報の関係。 |
| \(C_t\) | 構造が置かれた環境と、構造に与えられる入力条件を表す。 | 利用者の依頼文、操作対象、操作履歴、権限、外部情報の出所。 |
| \(O_t\) | 構造が環境条件の下で示した観測結果を表す。 | 個々の操作に対する許可・遮断判定、評価対象群の誤検知率。 |
| \(U_t\) | 構造の更新へ作用する介入を表す。 | モデルの再学習、判定閾値の調整、許可規則の変更。 |
| \(G\) | 構造と環境から観測結果を生成する写像を表す。 | 依頼と操作条件を入力として遮断判定を返す処理。 |
| \(M\) | 環境、観測、介入に基づいて構造を更新する写像を表す。 | 評価結果を受けたモデル更新や安全規則の変更。 |
| \(H\) | 観測による環境条件の更新を表す写像を表す。 | 操作の遮断によって処理が停止することや、再試行によって後続の操作履歴が変わること。 |
この定式化では、時刻 \(t\) が何を数えるかをあらかじめ定める必要がある。安全判定を行うシステムでは、個々の判定要求とモデルの更新が異なる頻度で発生するからである。例えば、同一バージョンのガードに千件の操作を評価させても、その間にモデルや規則が更新されていなければ、判断構造は固定されたままである。千件の評価は観測の反復であり、千回の構造更新を意味しない。一方、千件の評価結果を集計し、その結果に基づいて閾値や規則を更新した場合には、更新前後で構造を比較することができる。
そこで、構造の更新時点を \(t\)、同じ構造の下で実行する個別の評価を \(i\) として区別する。時刻 \(t\) に固定されたガードが、評価条件 \(c_i\) に対して返す観測結果は、次のように記述できる。
\[
o_{t,i}=G(S_t,c_i).
\]
ここで \(o_{t,i}\) は評価 \(i\) における個別の判定結果であり、\(c_i\) は一件の依頼、操作、履歴、権限などを含む条件である。更新時点 \(t\) を固定したまま \(i\) を変えれば、同じ判断構造が異なる入力に対してどのように応答するかを調べられる。一方、同じ \(c_i\) を固定して \(t\) を変えれば、構造更新前後の判定を比較できる。この二種類の比較が、安全判定の変動原因を分離する実験の基本になる。
1.1 構造を固定して入力だけを変える
同じガードを用いて、英語の依頼 \(c_i^{(\mathrm{en})}\) と日本語の依頼 \(c_i^{(\mathrm{ja})}\) を比較する場合を考える。両者について、利用者、操作対象、認可条件、操作履歴を固定し、依頼文の意味も保存されていると仮定する。このとき、構造 \(S_t\) は共通であり、変化するのは入力条件のうち言語表現に相当する部分である。
\[
\begin{aligned}
o_{t,i}^{(\mathrm{en})}
&=G(S_t,c_i^{(\mathrm{en})}),\\
o_{t,i}^{(\mathrm{ja})}
&=G(S_t,c_i^{(\mathrm{ja})}).
\end{aligned}
\]
二つの観測結果が一致すれば、その評価例では言語の変更に対して判定が維持されたことになる。異なる場合には、同一の判断構造へ異なる言語表現を与えたことで判定差が生じたと分かる。ただし、その差を言語処理能力だけに帰属させるには、翻訳によって命令の強さ、指示対象、否定表現、認可の意味などが変わっていないことを確認しなければならない。実質的な依頼内容が変化していれば、安全判定の差には正当な理由が存在する可能性がある。
例えば「自分が管理する作業用ファイルを削除する」という依頼が、翻訳によって「作業用ファイルを削除する」となり、管理権限を示す情報が失われた場合を考える。翻訳後の文章は操作内容を保持しているように見えても、認可判断に必要な条件は保存されていない。これに対して、管理主体、操作対象、削除目的がすべて保持された翻訳で判定が変われば、入力の表現方法と安全判定の関係を調べる有効な比較になる。意味保存の確認は、言語による判定差を解釈するための実験上の前提条件なのである。
さらに、判定器が確率的に応答する場合には、同じ入力でも許可と遮断が入れ替わる可能性がある。このようなガードでは、観測写像 \(G\) を条件付き確率分布を定める写像として解釈できる。遮断を 1、許可を 0 とする二値判定を \(b_{t,i}\) とし、遮断確率を次のように定義する。
\[
q_t(c_i)
=
P(b_{t,i}=1\mid S_t,c_i).
\]
\(q_t(c_i)\) は、構造 \(S_t\) と入力 \(c_i\) を固定したとき、遮断が出力される確率である。決定的な判定器ではこの値は 0 または 1 となる。確率的な判定器では 0 から 1 までの値を取り、同じ条件を繰り返し評価することで推定する。入力の言語を変えた際の差を比較するには、実行ごとの乱数による変動と、入力条件の変更による変動を区別する必要がある。
例えば、英語の依頼では遮断確率が 0.20、日本語の依頼では 0.35 と推定されたとする。この場合、同じ操作について日本語の依頼を与えたときの遮断確率は 15 ポイント高い。ただし、この数値だけでは判定の改善か悪化かは判断できない。対象操作が安全なら誤遮断が増加したことになり、危険なら検出率が増加したことになる。入力に対する応答変化を測ることと、その変化が安全性へ与える影響を評価することも、異なる段階に属している。
1.2 入力を固定して構造を更新する
構造更新の影響を測る場合には、比較条件を逆にする。入力 \(c_i\) を固定し、更新前の構造 \(S_t\) と更新後の構造 \(S_{t+1}\) にそれぞれ与える。このとき、観測された判定差には、モデルの再学習、閾値の変更、規則の追加など、構造側の変更が反映される。
\[
\begin{aligned}
o_{t,i}&=G(S_t,c_i),\\
o_{t+1,i}&=G(S_{t+1},c_i).
\end{aligned}
\]
具体例として、安全なファイル削除が過剰に遮断されていたため、ガードの閾値を調整した場合を考える。更新前後で同じ削除依頼を与え、遮断確率が 0.80 から 0.25 に変わったなら、その依頼に対する誤遮断の確率は 55 ポイント低下したことになる。しかし、閾値の変更は他の入力にも作用する。安全な操作を許可しやすくなる一方、危険な操作まで許可されやすくなる可能性があるため、改善の評価には危険操作と安全操作の双方を含む入力群が必要になる。
構造振動モデルの観点では、こうした変更を介入 \(U_t\) として表現し、更新写像 \(M\) によって新しい構造 \(S_{t+1}\) が得られたと考える。更新前後の構造間の距離は、既存モデルで定義した構造振幅によって測定できる。
\[
A_{t+1}
=
\left\|
\phi(S_{t+1})-\phi(S_t)
\right\|_2.
\]
\(\phi\) は構造を数値ベクトルへ変換する埋め込み写像であり、右辺は更新前後のベクトル間のユークリッド距離を表す。例えば、許可規則の数、例外規則の割合、閾値、判断経路の依存関係などを比較可能な特徴量として定義できれば、それらの変化を構造振幅として計算できる。ただし、異なる特徴量の尺度や重みを統一する必要があり、距離の意味は採用した埋め込み方法に依存する。
構造振幅が大きいことは、必ずしも判定結果が大きく変わることを意味しない。多数の規則を整理しても、対象の入力群に対する判定がすべて維持される場合がある。逆に、判定閾値をわずかに変更しただけでも、閾値付近に集中する入力の許可・遮断が多数反転することがある。構造空間で測定した変化量と、観測空間で測定した判定差の関係は、観測写像 \(G\) の性質によって決まる。
例えば、遮断確率がある構造特徴量 \(x\) に対して連続的に変化する領域では、構造の小さな変化が遮断確率の小さな変化へ対応する場合がある。一方、閾値を境に二値判定を切り替える仕組みでは、閾値の近傍にある入力が小さな構造変更によって反転する。構造振幅と判定反転数の対応を評価するには、構造の変化量だけでなく、入力が判断境界に対してどこに分布しているかも測定する必要がある。
1.3 入力の変動と構造更新を混同しないための比較条件
安全判定の変動原因を整理するには、構造と入力のどちらを固定するかによって実験を分類できる。操作の実質を保存した言語変換は入力側の条件変更であり、ガードの再学習や規則修正は構造側の変更である。さらに、観測された判定をどの単位で集計するかという評価手続きも、別の条件として管理する必要がある。
| 比較条件 | 固定するもの | 変更するもの | 測定できる性質 | 解釈上の制約 |
|---|---|---|---|---|
| 入力変換の比較 | ガードの構造、操作の実質、認可条件。 | 依頼文の言語や意味を保存した表記。 | 固定されたガードの入力表現への応答感度。 | 意味保存と実行ごとのばらつきを確認する必要がある。 |
| 構造更新の比較 | 依頼、操作、操作履歴、評価条件。 | ガードのモデル、規則、閾値。 | 構造更新による判定変化。 | 構造の距離と判定結果の差を別々に測定する必要がある。 |
| 入力と構造の同時変更 | 比較対象の操作や正解ラベルなど、可能な範囲の基準条件。 | ガードの構造と依頼文の表現。 | 複数の変更を含む全体的な判定差。 | 個々の要因の寄与を分けるため、追加の対照条件が必要になる。 |
| 評価手続きの変更 | ガードと各入力に対する判定結果。 | 集計単位、重み付け、評価対象の選択。 | 評価指標の集計条件への依存。 | 指標の変化を個々の判定結果の変化と区別する必要がある。 |
この区別には実験設計上の利点がある。固定されたガードで英語と日本語の依頼を比較すれば、構造更新を伴わない入力応答の変動を観測できる。モデル更新前後で同じ入力群を評価すれば、入力分布を固定した構造変更の影響を測定できる。両者を組み合わせれば、入力表現への感度がモデル更新によって増加したのか、低下したのかも比較できる。判定の改善が実際に成立したかどうかは、安全な操作の誤遮断率と危険な操作の検出率を併せて確認することで判断できる。
構造振動モデルの既存定義では、構造振幅 \(A_t\) は隣接時点の構造差を表す。一方、同一構造の下で言語表現を変えたときの判定差は、構造の時間的変化とは異なる量である。構造が固定されていても、異なる入力に対する遮断確率は変化し得る。この事実によって、構造が更新されたことに起因する振動と、固定構造が環境変化に対して示す応答を数学的に区別する必要が生じる。
両者の関係を明確にすることで、安全判定の安定性をより具体的に問えるようになる。構造が一定であることは、同じ意味を持つ複数の入力に対する判定の一致を保証しない。また、構造更新が発生したことだけでは、その更新が安全性を改善したかどうかも決まらない。判定器の状態、入力条件、観測結果を独立に管理し、それぞれの差を対応づけることが、構造振動モデルを安全判定の分析へ適用するための基礎となる。
2. 安全判定の構造を関係グラフとして定義する
構造振動モデルを安全判定へ適用するには、判定器が何を根拠に許可や遮断を決めるのかを、構造として記述する必要がある。例えば、利用者 A が文書 X を削除しようとする場合、判断には利用者の権限、文書の所有関係、操作の種類、依頼の目的、適用される規則などが関係する。個々の要素を独立に調べるだけでは、削除を許可すべきかどうかは決まらない。利用者が削除権限を持ち、その権限が対象文書に適用され、予定された操作が依頼の範囲に収まっているという関係が成立して、初めて許可の条件を評価できる。
このような判断を構造として捉えるため、構造振動モデルでは、要素とその関係を重み付きグラフとして定義する。時刻 \(t\) における構造を \(S_t\) とすると、その基本形は次のようになる。
\[
S_t=(V_t,E_t,W_t).
\]
\(V_t\) は構造を構成する要素の集合、\(E_t\) は要素間の関係の集合、\(W_t\) は各関係に付与する重みや属性を表す。例えば、ある安全判定器について、認可規則、操作の分類、情報源の信頼境界、判定閾値などを要素とし、それらの依存関係を辺として記述できる。辺の重みには、規則の優先度や判断への寄与などを採用できる。ただし、どの情報を数値化できるかは判定器の実装と観測可能性によって異なるため、重みの意味と比較方法をあらかじめ定める必要がある。
ここで、安全判定に関する二種類の関係構造を区別することが重要になる。一つは、ガードがどの規則や判断手順によって操作を評価するかという、判定器側の構造である。もう一つは、特定の利用者、操作、資源、権限がどのように関係しているかという、個々の入力条件に含まれる構造である。前者はモデルや規則が更新されたときに変化し、後者は判定対象となる操作や利用者が変わるたびに異なる。両者を一つの構造変数へまとめると、入力が変わっただけで構造が更新されたように見えてしまう。
そこで、時刻 \(t\) におけるガードの判断構造を \(S_t\)、個々の評価入力を \(c_i\) とし、入力に含まれる判断上の関係を抽出する写像を \(\Psi\) と定義する。評価入力から得られる関係グラフは、次のように表せる。
\[
R(c_i)=\Psi(c_i).
\]
\(R(c_i)\) は、評価入力 \(c_i\) に含まれる利用者、依頼、操作、対象資源、認可条件、履歴、情報源などの関係を表すグラフである。例えば、利用者 A が文書 X を削除する場合には、「利用者 A が文書 X の所有者である」「利用者 A に削除権限が付与されている」「予定された操作が文書 X の削除である」といった関係が含まれる。一方、ガードの構造 \(S_t\) には、所有者の削除権限をどう評価するか、例外規則をどう適用するか、外部から与えられた情報をどこまで信用するかという判断規則が含まれる。
この区別を導入すると、前章で定義した観測写像 \(G(S_t,c_i)\) の意味が具体的になる。ガードは固定された判断構造 \(S_t\) の下で、入力 \(c_i\) に含まれる関係を評価し、遮断するかどうかを決定する。ここで、関係グラフ \(R(c_i)\) は入力から抽出された判断材料であり、その判断材料をどのように使うかはガードの構造によって決まる。したがって、同じ入力でもガードの規則が変われば判定は変化し得るし、同じ規則でも利用者の権限が変われば判定が変化する理由がある。
2.1 判定器の構造と入力に含まれる関係を分離する
安全判定を関係グラフとして記述する利点は、どの条件が判断を変える正当な理由になるかを明示できることである。ファイル削除の例では、利用者、対象文書、削除操作という三つの要素が同じでも、認可関係が成立しているかによって結論が変わる。例えば、利用者 A が文書 X の所有者である場合と、所有者ではなく削除権限も付与されていない場合を考える。この二つは、依頼文の書き方が違うというだけの比較ではなく、判断に必要な権限関係が異なる比較である。
認可判断を単純化し、利用者 \(u\)、操作 \(a\)、資源 \(r\)、権限条件 \(p\) に対する許可条件を \(\operatorname{Allowed}(u,a,r,p)\) と表す。この関数は、指定された利用者が、指定された権限条件の下で、対象資源に対する操作を実行できる場合に真となる。例えば、権限条件 \(p\) が変更されれば、次のように許可条件の真偽が変わることがある。
\[
\begin{aligned}
\operatorname{Allowed}(u,a,r,p_1)&=1,\\
\operatorname{Allowed}(u,a,r,p_2)&=0.
\end{aligned}
\]
ここで 1 は許可条件が成立すること、0 は成立しないことを表す。この例では、利用者、操作、資源を固定しても、権限条件が \(p_1\) から \(p_2\) に変わったため、異なる結論が成立する。ガードがこの違いに応じて判定を変えることは、認可関係の変化を正しく反映した結果である。実際の安全判定では、認可条件に加えて操作の危険性や利用者の目的との整合性も関係するが、判断に必要な関係が変化すれば、正しい判定も変わり得るという点は共通している。
Task Shield は、エージェントが実行しようとする操作を、利用者の目的との整合性によって評価する仕組みを提案している[3]。この方式では、操作そのものが一般的に危険かどうかに加え、その操作が利用者の要求した作業に対応しているかを確認する。例えば、利用者が指定した作業に必要なファイル操作と、外部文書に埋め込まれた指示によって誘導された無関係なファイル操作は、同じ種類の操作であっても判断上の意味が異なる。直接の違いは操作の目的との対応にあり、その背後には、利用者の指示と外部情報の指示を異なる信頼境界に置くという構造がある。
既稿「AI の『正しい』を決める検証契約」で扱った、判定対象、判定規則、保証範囲を明示する考え方も、この関係と接続する[4]。安全判定において何を正しいとみなすかは、ガードへ与えられた入力の意味と、適用される権限規則によって変わる。例えば、削除操作を全面的に禁止する規則と、利用者が所有する作業用ファイルに限って削除を許可する規則では、同じ操作に対する正しい判定が異なる。評価対象を構造化する際には、どの規則を基準として判定するのかまで定義する必要がある。
| 区分 | 関係グラフの構成 | 判定における役割 | 変化した場合の意味 |
|---|---|---|---|
| 判定器の要素 \(V_t\) | 認可規則、操作分類、信頼境界、判定閾値、判断手順。 | 操作をどのような規則に従って評価するかを定義する。 | 要素の追加や削除は、判定器側の構造変更となる。 |
| 判定器の関係 \(E_t\) | 規則間の依存関係、優先順位、情報源と検証手順の接続。 | 複数の判断条件をどの順序と関係で適用するかを定める。 | 依存関係や優先順位の変更は、判定経路を変え得る。 |
| 判定器の重み \(W_t\) | 閾値、規則の優先度、判断材料への寄与。 | 判定を数値的に調整できる要素を表現する。 | 閾値や重みの調整によって遮断確率が変化し得る。 |
| 入力の関係グラフ \(R(c_i)\) | 利用者、依頼、操作、資源、権限、履歴、情報源とその関係。 | 個々の操作について、判断に必要な事実関係を表す。 | 認可や操作対象が変われば、正しい判定も変化し得る。 |
| 入力の表現 | 依頼文の言語、語順、用語、表記方法。 | 判断に必要な事実関係をガードへ伝える。 | 意味を保存した変更で判定が動けば、表現への依存を検証する対象となる。 |
この整理では、判定器側の構造 \(S_t\) と、評価入力から得られる関係グラフ \(R(c_i)\) が異なる役割を持つ。\(S_t\) は判断規則やその関係を記述し、\(R(c_i)\) は判断対象となる具体的な事実関係を記述する。ガードの規則を変更することと、評価対象の利用者や資源が変わることを区別できるため、観測結果が変化した際の比較条件を明確にできる。
2.2 同じ判断対象を、異なる表現で記述する
関係グラフによって判断対象を定義すると、入力文の表現が異なっていても、判断に必要な関係が等しいかどうかを検討できる。例えば「利用者 A が所有する文書 X を削除する」と、その意味を保持した英語表現を比較する場合、利用者 A、文書 X、削除操作、所有関係、認可条件は共通する。異なるのは、それらの関係を自然言語で表す方法である。
この関係を数学的に記述するため、入力 \(c_i\) を別の表現へ変換する写像を \(T\) とする。例えば \(T\) は、依頼文を別の言語へ翻訳する操作や、意味を維持したまま言い換える操作である。変換前後で判断に必要な関係が保存される条件を、次のように表す。
\[
\Psi(Tc_i)\cong\Psi(c_i).
\]
\(\cong\) は、二つの関係グラフが判断上同等の関係を持つことを表す。具体的には、利用者、操作、対象資源、認可条件などの対応が保たれ、関係の種類と判断に必要な属性が一致することを要求する。単にノード数や辺数が等しいだけでは、この条件を満たさない。例えば、所有者と閲覧者の関係を入れ替えたグラフは、要素数が同じでも認可上の意味が異なる。
また、外部情報から取得した文章と利用者が直接与えた指示は、同じ文字列でも信頼上の位置づけが異なる。したがって、情報源の属性や信頼境界も判断に必要な場合には保存条件へ含める必要がある。翻訳の過程で、利用者による明示的な許可が弱い推測表現へ変わった場合や、外部文書内の指示が利用者の直接指示として扱われた場合には、入力の関係構造が変化した可能性がある。この条件を確認することによって、表現の変更と判断対象の変更を分離できる。
理想的なガードが、判断に必要な関係グラフだけを用いて遮断を決定すると仮定する。その判定を \(G^\ast\) と表すと、関係グラフを保存する入力変換に対して、次の性質を期待できる。
\[
\Psi(Tc_i)\cong\Psi(c_i)
\quad\Longrightarrow\quad
G^\ast(S_t,Tc_i)=G^\ast(S_t,c_i).
\]
この式の左辺は、入力の変換によっても判断上の関係が保存されるという条件である。右辺は、その条件が成立するとき、同じ判断構造が同じ結果を返すことを表す。ここで \(G^\ast\) は、この不変性を満たすことを意図した理想化された判定規則である。実際のガード \(G\) が同じ性質を満たすかどうかは、入力を変換する実験によって確認する必要がある。
この不変性の要求は、すべての入力変更に対して同じ判定を返すという意味ではない。例えば、削除権限を持つ利用者が文書を削除する場合と、権限を持たない利用者が同じ文書を削除する場合には、入力の関係グラフが異なる。許可と遮断が分かれることは、むしろ権限の違いを反映した判断である。要求されるのは、判断に必要な関係が同じである範囲で、表現の違いによる不要な判定差を抑えることである。
具体的な比較条件を整理すると、次のようになる。
| 入力の変更 | 保存される条件 | 変化する条件 | 判定への期待 |
|---|---|---|---|
| 依頼文の翻訳 | 利用者の目的、操作、資源、認可条件、指示の強さが保存される。 | 言語と文字列の表現が変化する。 | 意味保存が確認された範囲で、同じ判定が期待される。 |
| 依頼文の言い換え | 要求する操作と適用される条件が保存される。 | 語順、用語、文章の構成が変化する。 | 同じ判断対象への判定が維持されることが望ましい。 |
| 利用者の権限変更 | 操作対象と実行予定の操作が保存される。 | 認可関係が変化する。 | 権限の違いに応じて判定が変わることがある。 |
| 操作対象の変更 | 利用者、操作の種類、依頼の表現が保存される。 | 対象資源や保護条件が変化する。 | 資源ごとの権限や制約に応じた判定差が生じ得る。 |
| 情報源の変更 | 文章の内容や操作の記述が保存される。 | 利用者の直接指示か、外部情報に含まれる指示かという属性が変わる。 | 信頼境界の違いに応じて判定が変わることがある。 |
この表が示すように、文字列が同一でも判断上の関係が異なる場合があり、文字列が異なっていても判断上の関係が同一である場合がある。安全判定に必要なのは、文字列の一致そのものではなく、操作の意味と適用される条件の一致である。入力変換の実験を設計する際には、どの関係を保存したかを明示することで、判定が変わるべき条件と、変わる必要のない条件を分けられる。
2.3 構造の埋め込みと観測可能性の限界
構造振動モデルでは、関係グラフを数値ベクトルへ変換することで、異なる時点の構造を比較可能にする。構造 \(S_t\) を \(n\) 次元のベクトルへ移す埋め込み写像を \(\phi\) とすると、次のように定義される。
\[
x_t=\phi(S_t)\in\mathbb{R}^{n}.
\]
\(\mathbb{R}^{n}\) は \(n\) 個の実数を並べたベクトルの集合である。例えば、判定器の構造を、規則の数、規則間の依存関係、例外規則の割合、遮断閾値、情報源の優先関係などによって特徴づけることが考えられる。その場合、各構造は定められた特徴量に対応する座標として表され、構造更新前後の数値的な比較が可能になる。
ただし、埋め込みの選択によって測定結果の意味が変わる。同じ規則集合を持つ二つのガードでも、規則間の優先順位が異なれば、ある操作の判定が変わる可能性がある。規則の数だけを特徴量として採用すると、この違いは埋め込み空間に現れない。逆に、実質的には同等の判断規則であっても、内部の記述形式やノードの識別子が異なるだけで、大きな距離として測定される場合がある。構造比較を成立させるには、比較したい差異を特徴量が捉えていることと、判断に無関係な記述上の差が測定値を支配しないことを確認する必要がある。
例えば、規則数と閾値を特徴量として採用した場合、二つのガードが同じ規則数と同じ閾値を持っていても、規則の適用順序が異なれば判定が変わる可能性がある。この場合、埋め込みベクトルが一致することは、元の構造が完全に一致することを保証しない。埋め込み写像が異なる構造を同じベクトルへ写す場合、構造の一部の差異は失われる。構造振幅を解釈する際には、何を特徴量へ反映し、何を捨象したかを明示する必要がある。
実際のガードの観測可能性にも制約がある。自社で管理する規則ベースの判定器なら、規則の追加、削除、優先順位、閾値の変更を直接取得できる。一方、外部 API として提供される学習済み言語モデルでは、モデル内部の重みや特徴間の関係を観測できない場合がある。その場合、取得可能な情報はモデルの識別子、公開されたバージョン、設定、入力、判定結果などに限られる。内部状態の変化を直接測定するには、対応する情報へのアクセスか、構造に関する追加の推定仮定が必要になる。
ここで、内部構造を観測できることと、入力に対する判定変動を測定できることは別である。内部重みが非公開でも、同じガードに意味を保存した複数の入力を与え、出力の一致率や遮断確率を測定することは可能である。ただし、その測定から直接得られるのは観測された応答の変化であり、内部のどの重みや関係が原因となったかという情報ではない。内部構造の分析には追加の観測手段が必要である一方、入力への応答変動は外部からの比較実験によって評価できる。
安全判定における構造グラフの役割は、判断に必要な関係と、その関係を評価する規則とを明示することにある。ガードの構造 \(S_t\) を固定し、入力 \(c_i\) に含まれる判断上の関係 \(R(c_i)\) を保存したまま表現を変更すれば、入力の表記への応答感度を検証できる。反対に、入力条件を固定してガードの構造を更新すれば、判断規則の変更が結果へ与えた影響を評価できる。両者を分離することによって、観測された判定差を、入力の表現、判断対象の関係、判定器の構造という三つの要因に対応づけられる。
この構造化によって、同じ意味を持つ依頼が異なる言語で与えられたとき、何を保存条件とし、どの差を測定するかが明確になる。例えば、利用者、操作、対象資源、認可条件、情報源の属性を固定した翻訳では、関係グラフを保存した入力変換として判定の一貫性を評価できる。その比較で判定が変化したなら、固定された判断構造が表現の違いに応答したことが観測される。構造自体の時間的な変化と、固定構造が入力に示す応答変動を分離したうえで測定することが、構造振動モデルを安全判定の安定性評価へ拡張するための基礎となる。
3. 意味を保った入力変換に対する応答変動を測る
安全判定の構造を固定しても、依頼文の言語や表記を変更すると、許可と遮断の判断が変化する場合がある。この変化を定量的に評価するには、入力のどの部分を固定し、どの部分を変更したのかを明確にする必要がある。例えば、同じ利用者が同じファイルを削除する依頼を英語と日本語で与える場合、比較したいのは言語表現の違いである。翻訳によって削除対象や認可条件まで変わってしまえば、観測された判定差には、表現の違いと判断条件の違いが混在する。入力変換の影響を測定するためには、判断に必要な情報が保存されていることを比較の前提とする。
3.1 判断条件と表現の保存
一つの評価入力を、次の五つの要素からなる組として定義する。
\[
c=(m,r,h,a,p).
\]
\(m\) は依頼の意味と認可上の要求、\(r\) は実際に記述された依頼文、\(h\) はそれまでの操作履歴、\(a\) は実行予定の操作、\(p\) は権限や情報源の属性を表す。\(m\) は文章に含まれる意味を分析上取り出したものであり、必ずしもガードが内部で明示的に保持している情報ではない。\(r\) はガードが実際に受け取る文字列である。この二つを区別することで、文字列を変更しても依頼の意味が維持される場合を表現できる。
入力変換 \(T\) を、依頼文の翻訳や言い換えなど、入力の表現を変更する写像とする。変換前の入力を \(c\)、変換後を \(c’=Tc\) とすると、表現だけを変更する実験では、\(r\) と \(r’\) が異なる一方、\(m,h,a,p\) は同一であることを要求する。
\[
\begin{aligned}
c&=(m,r,h,a,p),\\
Tc&=(m’,r’,h’,a’,p’),\\
(m,h,a,p)&=(m’,h’,a’,p’).
\end{aligned}
\]
さらに、文章が伝える意味の保存条件を、概念的な意味写像 \(\operatorname{sem}\) によって次のように表す。
\[
\operatorname{sem}(r)=\operatorname{sem}(T(r)).
\]
\(\operatorname{sem}\) は文字列から意味内容を取り出す写像を表す。ただし、自然言語の意味は文脈に依存するため、この等式を評価する際には操作履歴、権限、指示の出所なども考慮する必要がある。例えば「両方のファイルを削除する」が「いずれかのファイルを削除する」と翻訳されれば、操作対象の範囲が変化する。また、「所有するファイルを削除する」から所有関係を示す表現が失われれば、認可上の要求が保存されたとはいえない。文字列の類似性が高くても、判断条件が変化する場合がある。
前章で定義した入力の関係グラフ \(R(c)=\Psi(c)\) を用いると、意味保存の条件を判断構造との関係で記述できる。変換前後で利用者、操作、資源、権限、情報源などの判断に必要な関係が保存される場合、次の条件が成立する。
\[
\Psi(Tc)\cong\Psi(c).
\]
ここで \(\cong\) は、判断に必要な関係と属性が対応していることを意味する。翻訳前後の文字列が異なっていても、削除するファイル、利用者の権限、操作の目的、情報源の信頼上の位置づけが維持されていれば、同じ判断対象として比較できる。反対に、同じ文章が利用者の直接指示から外部文書内の指示へ移された場合には、情報源の属性が変化するため、この保存条件が成立するとは限らない。
実験上、この条件を翻訳処理だけで保証することは難しい。人手による意味確認、逆翻訳、独立した複数の評価者による確認などを組み合わせ、操作対象、数量、否定、権限、指示の強さが保存されているかを点検する必要がある。ただし、逆翻訳の結果が原文に近いことだけでは、意味保存の十分な証拠にはならない。翻訳と逆翻訳が同じ意味の欠落を維持する場合もあるため、判断に必要な属性を個別に検査する方が、比較条件を明確にできる。
意味を保持した入力変換に対するモデルの振る舞いを検証する研究には、CheckList のような行動テストの枠組みがある[5]。また、同じ課題でも指示文の違いによって評価値が変動することは、複数の指示表現を用いた言語モデル評価でも指摘されている[6]。これらの研究は、正答率という集計値に加えて、入力条件を制御した比較によってモデルの振る舞いを調べる必要性を示している。
安全判定では、意味保存の確認が特に重要になる。危険な操作を別の表現で説明したときに判定が変わったとしても、その表現が認可条件や操作対象を変えていたなら、判定の違いを言語依存性だけに帰属させることはできない。判断に必要な関係を固定することで、表現の変更に対してガードがどの程度異なる応答を示すかを測定できる。
3.2 遮断確率の差として定義する
構造 \(S_t\) を固定したガードが、入力 \(c\) に対して遮断を返す確率を \(q_t(c)\) とする。許可を 0、遮断を 1 とする二値判定を \(b_t(c)\) と書けば、遮断確率は次のように定義される。
\[
q_t(c)=P\left(b_t(c)=1\mid S_t,c\right),
\qquad 0\le q_t(c)\le1.
\]
決定的なガードでは、同じ構造と入力に対する判定が固定されるため、\(q_t(c)\) は 0 または 1 となる。確率的なガードでは、同じ条件でも実行ごとに異なる判定が得られる場合があり、遮断確率は反復実行によって推定する。このとき、モデルのバージョン、設定、評価対象の履歴、判定に利用される外部状態を固定する必要がある。これらが実行ごとに変化すると、入力の表現への感度と、実行環境の変化による影響が混在する。
意味保存変換 \(T\) を入力へ適用したとき、遮断確率がどれだけ変化するかを考える。元の入力に対する確率 \(q_t(c)\) と、変換後の確率 \(q_t(Tc)\) の差を取れば、一件の入力について表現変更への応答を測定できる。複数の入力について比較するため、評価対象の入力分布を \(P\) とし、応答変動 \(B_t(T)\) を次のように定義する。
\[
\boxed{
B_t(T):=
\mathbb E_{c\sim P}
\left[
\left|q_t(Tc)-q_t(c)\right|
\right]
}
\]
絶対値の内側は、同じ入力の意味を保ったまま表現を変更したときの遮断確率の差である。絶対値を取ることで、遮断確率が増加する場合と減少する場合を相殺せず、変化の大きさを測定する。外側の期待値は、その差を評価対象の入力分布について平均することを意味する。したがって、\(B_t(T)\) は特定の一件の判定差ではなく、指定した変換と入力分布に対する平均的な応答変動を表す。
例えば、安全なファイル削除の依頼について、英語では遮断確率が 0.20、日本語では 0.35 だったとする。この場合、一件の入力における変動量は \(|0.35-0.20|=0.15\) となる。一方、別の依頼では英語の遮断確率が 0.80、日本語では 0.65 だったとすると、変化の方向は逆だが、変動量は同じ 0.15 である。両方を等しい重みで評価する場合、応答変動は 0.15 となる。遮断確率の増減が相殺されても、個々の入力が表現変更に反応した事実は測定値に残る。
この定義から、次の範囲が成立する。
\[
0\le B_t(T)\le1.
\]
\(B_t(T)=0\) であれば、評価分布 \(P\) の下で、変換前後の遮断確率がほとんど確実に一致する。ただし、そのガードが正しい安全判定を行っていることまでは保証されない。例えば、すべての操作を遮断するガードは、どの依頼文でも遮断確率が 1 となるため、意味保存変換に対する応答変動は 0 になる。しかし、安全な操作まで遮断しているなら、誤検知率は高くなる。応答変動は判定の一貫性を表す指標であり、判断の正しさは別の評価軸として必要になる。
また、\(B_t(T)\) は評価分布 \(P\) と変換 \(T\) に依存する。英語から日本語への翻訳で変動が小さかったとしても、別の言語への翻訳や、否定表現を含む依頼でも同じ結果になるとは限らない。長い操作履歴を持つ入力と、単独の依頼文だけを含む入力でも、判定に必要な情報量は異なる。応答変動を比較する場合には、対象とする操作群、言語、意味保存の基準、評価入力の分布を共通にする必要がある。
実際の評価では、\(N\) 件の入力 \(c_1,\ldots,c_N\) を用意し、各入力について変換前後の遮断確率を推定する。得られた標本平均は次のようになる。
\[
\widehat B_t(T)
=
\frac{1}{N}
\sum_{i=1}^{N}
\left|
\widehat q_t(Tc_i)-\widehat q_t(c_i)
\right|.
\]
\(\widehat q_t\) は遮断確率の推定値である。確率的なガードでは、各入力について複数回の実行が必要になる。例えば、同じ入力を 100 回与えて 30 回遮断された場合、遮断確率の推定値は 0.30 となる。ただし、有限回の実行による推定誤差が含まれるため、変換前後の差が小さい場合には、推定誤差によって差の絶対値が大きく見積もられる可能性がある。反復回数を増やすことに加え、入力単位で変換前後を対応づけ、推定の不確実性を評価する必要がある。
さらに、同じ依頼文から複数の操作ステップが生成される評価データでは、各ステップを完全に独立した標本として扱うことにも注意が必要である。同じ依頼文を共有するステップの判定は相関を持つ可能性があるため、信頼区間を推定する際には依頼文や操作履歴など、データ生成過程に対応する単位で標本をまとめることが考えられる。評価件数が多いことと、独立した比較条件が多いことは異なる。
このように、\(B_t(T)\) の値を解釈するには、ガードの構造、変換の意味保存、入力分布、確率推定の方法、標本間の依存関係を明示する必要がある。これらの条件を固定して初めて、異なるガードや異なる時点における応答変動を比較できる。
3.3 判定反転率と遮断率の差は一致しない
ガードが各入力に対して一つの決定的な判定を返す場合、遮断確率の推定を繰り返す必要はなく、許可と遮断が入れ替わった件数から変動を計算できる。変換前の判定を \(b_t(c_i)\)、変換後を \(b_t(Tc_i)\) とし、両者が異なる場合を判定反転と呼ぶ。\(N\) 件の入力に対する判定反転率 \(F_t(T)\) を次のように定義する。
\[
F_t(T)
=
\frac{1}{N}
\sum_{i=1}^{N}
\mathbf{1}
\left[
b_t(Tc_i)\ne b_t(c_i)
\right].
\]
\(\mathbf{1}[\cdot]\) は、括弧内の条件が成立すれば 1、成立しなければ 0 を返す指示関数である。したがって、この式は、同じ意味を持つ入力の変換前後で判定が一致しなかった件数を数え、全評価件数で割ったものである。決定的なガードについて標本上の一様分布を採用すれば、各入力の遮断確率は二値判定と一致するため、応答変動の標本値と判定反転率は一致する。
\[
\widehat B_t(T)=F_t(T)
\qquad
\text{（決定的なガードの場合）}.
\]
一方、確率的なガードで変換前後の判定を一回ずつ実行して比較する場合、観測された反転には実行ごとの確率的な変動も含まれる。例えば、同じ遮断確率を持つ二つの入力を独立に実行しても、片方が許可、もう片方が遮断となることがある。この場合、遮断確率の差は 0 であっても、二値判定の反転が観測される。
変換前の遮断確率を \(q\)、変換後を \(q’\) とし、二つの判定実行が条件付きで独立であると仮定する。このとき、許可から遮断へ変わる確率は \((1-q)q’\)、遮断から許可へ変わる確率は \(q(1-q’)\) である。したがって、一回ずつの独立実行で判定が異なる確率は次のようになる。
\[
\begin{aligned}
P(b’\ne b)
&=(1-q)q’+q(1-q’)\\
&=q+q’-2qq’.
\end{aligned}
\]
例えば、変換前後の遮断確率がともに 0.5 であれば、遮断確率の差は 0 である。しかし、独立した二回の実行で判定が異なる確率は \(0.5+0.5-2(0.5)(0.5)=0.5\) となる。これは表現の変更によって遮断確率が変化したことを意味しない。二つの判定をそれぞれ独立に生成した結果として生じる変動である。確率的なガードの応答変動を測る際に、反復実行から \(q\) と \(q’\) を推定する必要がある理由はここにある。
決定的なガードに戻り、判定反転率と遮断率の差を比較する。変換前に許可されていた操作が変換後に遮断された件数を \(N_{0\to1}\)、変換前に遮断されていた操作が変換後に許可された件数を \(N_{1\to0}\) とする。判定が変わった件数は、この二種類の変化を合計したものである。
\[
F_t(T)
=
\frac{N_{0\to1}+N_{1\to0}}{N}.
\]
これに対し、全体の遮断率が何ポイント変化したかを \(\Delta P_{\mathrm{block}}(T)\) とすると、遮断へ変わった件数から許可へ変わった件数を差し引く必要がある。
\[
\Delta P_{\mathrm{block}}(T)
=
\frac{N_{0\to1}-N_{1\to0}}{N}.
\]
二つの式を比較すると、判定反転率は変化の方向にかかわらずすべての反転を数える一方、遮断率差は反対方向の変化を相殺することが分かる。したがって、遮断率がほとんど変化していなくても、多数の個別判定が入れ替わっている可能性がある。
例えば、200 件の操作を評価し、依頼文を別の言語へ変換した結果、12 件が許可から遮断へ、8 件が遮断から許可へ変わったとする。この数値は二つの尺度の違いを説明するための仮想データであり、研究論文の実測値ではない。判定反転率は、変化した 20 件を 200 件で割るため 10% となる。一方、遮断率の純増は 4 件に相当するため、2 ポイントである。
\[
\begin{aligned}
F_t(T)
&=\frac{12+8}{200}
=0.10,\\
\Delta P_{\mathrm{block}}(T)
&=\frac{12-8}{200}
=0.02.
\end{aligned}
\]
さらに、許可から遮断へ 10 件、遮断から許可へ 10 件が変わった場合、判定反転率は同じ 10% である一方、遮断率差は 0 になる。集計された遮断率だけを比較すると、二つの言語で同じ割合の操作が遮断されたという結果になる。しかし、個々の操作を対応づければ、200 件のうち 20 件で判定が変化している。平均値が保存されていることと、個別判定が保存されていることは、数学的に異なる条件なのである。
| 測定量 | 定義と評価対象 | 12 件が遮断へ、8 件が許可へ変わる例 |
|---|---|---|
| 判定反転率 \(F_t(T)\) | 許可から遮断、遮断から許可の両方向の変化件数を合計し、評価件数で割る。 | 20 件 / 200 件であり、10% となる。 |
| 遮断率差 \(\Delta P_{\mathrm{block}}\) | 遮断へ変わった件数から許可へ変わった件数を差し引き、評価件数で割る。 | 4 件 / 200 件であり、+2 ポイントとなる。 |
| 応答変動 \(B_t(T)\) | 変換前後の遮断確率の絶対差を、評価分布にわたって平均する。 | 決定的なガードで標本上の一様分布を採用した場合、判定反転率と一致して 10% となる。 |
この二つの尺度には、さらに一般的な関係が成立する。判定反転率は二方向の変化件数の和であり、遮断率差の絶対値は二方向の変化件数の差の絶対値である。非負の二数 \(a,b\) について \(|a-b|\le a+b\) が成立するため、次の不等式を導ける。
\[
\boxed{
\left|
\Delta P_{\mathrm{block}}(T)
\right|
\le
F_t(T)
}
\]
この式は、遮断率差の絶対値が判定反転率を超えないことを示す。二方向の反転が相殺されるほど、遮断率差は判定反転率より小さくなる。両者の差を詳しく見ると、次の恒等式が得られる。
\[
F_t(T)
–
\left|
\Delta P_{\mathrm{block}}(T)
\right|
=
\frac{
2\min(N_{0\to1},N_{1\to0})
}{N}.
\]
\(\min\) は二つの反転件数のうち小さい方を選ぶ関数である。右辺は、反対方向への判定変化が互いに打ち消し合った部分を表している。例えば、12 件と 8 件の反転では、小さい方の 8 件が相殺に対応し、その二倍を 200 件で割ると 0.08 となる。実際に、判定反転率 0.10 と遮断率差の絶対値 0.02 の差は 0.08 である。
この恒等式から、遮断率差と判定反転率が等しくなる条件も分かる。許可から遮断への変化と、遮断から許可への変化のどちらか一方が 0 件であれば、反転は一方向だけに生じる。この場合、遮断率差の絶対値は判定反転率に一致する。一方、両方向への反転が発生すれば、遮断率差は判定反転率より小さくなる。全体の遮断率だけでは、こうした個別判定の入れ替わりを把握できない。
ただし、判定反転率が小さいことも、安全性が高いことを直接保証するものではない。危険な操作を変換前後の両方で許可していれば、その操作は判定反転として数えられない。反対に、正しい判定が変換後に誤った判定へ変わった場合と、誤った判定が正しい判定へ改善した場合は、どちらも反転として数えられる。反転の安全上の意味を評価するには、各操作の正解ラベルを使い、安全な操作に対する誤検知と、危険な操作に対する見逃しを分離する必要がある。
構造振動モデルとの関係では、応答変動 \(B_t(T)\) と判定反転率 \(F_t(T)\) は、固定した判断構造 \(S_t\) が入力表現の変更に対して示す応答を測定する量である。一方、構造振幅 \(A_t\) は、判断構造そのものが更新されたときの変化を測定する。構造を固定した比較では、構造振幅が 0 であっても応答変動が正となる場合がある。逆に、構造を更新しても、特定の入力群に対する判定が維持されれば、その入力群についての応答差は 0 となり得る。構造の変化量と入力への応答変動は、測定対象が異なるのである。
意味保存変換に対する応答変動を定義したことで、安全判定の安定性を個々の操作に対応づけて評価できるようになる。平均遮断率の違い、判定反転率、遮断確率の差は、それぞれ異なる情報を持つ。これらを分離し、さらに正解ラベルに基づいて誤検知と見逃しを評価することで、表現の違いが安全判定へどのような影響を与えたのかを具体的に測定できる。固定された構造の下で生じる入力応答の変動を定量化することが、構造振動モデルを用いた安全判定の分析における基本的な評価軸となる。
4. 言語変更が誤検知と見逃しに及ぼす影響を測る
意味を保存した入力変換に対する応答変動を定義すると、同じ判断構造が言語の違いによってどの程度異なる判定を返すかを測定できる。しかし、判定が変わったという事実だけでは、その変化が安全性にどのような影響を与えたかまでは決まらない。安全な操作が遮断される方向への変化と、危険な操作が許可される方向への変化では、利用者やシステムが受ける影響が異なるためである。前者は正当な処理の実行を妨げ、後者は本来遮断すべき操作を通過させる。入力表現への感度を測定したうえで、操作の正解ラベルに応じて変化を分類する必要がある。
Demirkiran と Ernstberger による「Language Is a Security Surface for Agent Guards」は、この問題を言語の変更によって検証した研究である[7]。エージェントが実行しようとする操作を固定し、利用者の依頼文だけを別の言語へ翻訳することで、操作の内容と依頼の表現を分離している。この設計により、同じ操作を評価するガードが、依頼文の言語によってどの程度判定を変えるかを調べられる。さらに、判定の変化を安全な操作と危険な操作に分けることで、過剰遮断と危険操作の見逃しを別々の評価指標として測定している。
4.1 実験で固定されたもの
研究では、TS-Bench の AgentDojo-Traj に含まれる 1,220 件のラベル付き操作ステップを使用している。TS-Bench は、エージェントがツールを実行する直前に、その操作を許可するか遮断するかを評価するためのデータセットである[8]。基礎となる AgentDojo は、銀行、業務用メッセージ、旅行、作業環境などのタスクを通じて、エージェントの操作と間接的な指示注入攻撃を評価する環境として設計された[9]。今回の研究では、これらの評価環境で得られた操作履歴と正解ラベルを利用し、ツール操作そのものを新たに実行することなくガードの判定を比較している。
1,220 件の内訳は、安全とラベル付けされた操作が 868 件、危険とラベル付けされた操作が 352 件である。これらは 589 本の操作軌跡から構成され、元の英語の依頼文は 58 種類に集約される。操作軌跡とは、エージェントが利用者の依頼を処理する過程で発生した複数の操作や観測の履歴である。一つの依頼文に対して複数の操作ステップが存在するため、評価対象となる依頼文の数と、実際に判定する操作の数は一致しない。
研究で変更したのは、各操作ステップに含まれる利用者の依頼文である。元の英語の依頼を、ドイツ語、フランス語、トルコ語、スワヒリ語、アムハラ語へ翻訳し、操作履歴、実行予定のツール呼び出し、観測内容、環境情報、正解ラベルは元のデータと同一に保った。これにより、ガードへ入力する情報のうち、利用者の依頼文の言語だけを変更した比較が成立する。なお、本稿の英語と日本語の比較は数理モデルの説明に用いる仮想例であり、この研究の翻訳対象に日本語は含まれない。
例えば、同じファイルを削除する操作について、英語の依頼文とドイツ語の依頼文をそれぞれガードへ与える場合を考える。実行予定の操作と権限条件を共通にすれば、ガードが受け取る操作上の情報は変わらない。翻訳前後で依頼の意味も保存されていれば、異なる判定が生じた理由を入力の言語表現に求めることができる。実験では、翻訳によってファイル名、メールアドレス、URL、日付、金額などが変更されないよう制約を設け、依頼の意味や操作範囲を保存するための検証も実施している。
ただし、翻訳の意味保存には検証上の限界がある。研究では、翻訳文を複数の言語モデルによって評価し、逆翻訳や人手確認を組み合わせている。ドイツ語やトルコ語など、著者らが内容を確認できる言語と、スワヒリ語やアムハラ語のように独立した人手確認が制限される言語では、意味保存に関する検証条件が異なる。特にスワヒリ語とアムハラ語については、言語モデルによる評価と逆翻訳への依存が大きい。翻訳後も操作履歴や正解ラベルが同一であることは機械的に確認できる一方、自然言語の意味が完全に一致していることには別の検証が必要になる。
言語変更以外の要因を比較するため、研究では英語の依頼文についても複数の変換条件を用意している。四種類の文体による言い換え、人手による言い換え、入力時の誤字を模した変更の合計六条件に加え、空白の追加や調整だけを行う対照条件を設定した。これらの条件は、言語そのものの変更、同一言語内での表現変更、実行ごとの判定のばらつきを区別するために使用される。
比較対象は 19 のガード構成に及ぶ。ただし、すべてのガードがすべての言語条件で評価されたわけではなく、利用可能なモデルや実行環境に応じて評価範囲が異なる。外部サービスとして提供されるガードでは、同じ条件を三回実行することで実行ごとの変動も測定している。一方、独自に実行するガードでは、決定的な出力を得るための生成条件を使用している。評価条件の違いは、モデル間で判定反転率や誤検知率を比較する際の前提となる。
| 実験条件 | 固定または変更した内容 | 測定上の意味 |
|---|---|---|
| 操作ステップ | 1,220 件のラベル付き操作ステップを固定した。 | 同じ操作に対する判定を言語間で対応づけて比較できる。 |
| 正解ラベル | 安全な操作 868 件、危険な操作 352 件のラベルを維持した。 | 誤検知率と攻撃検出率の差を、共通の正解基準で計算できる。 |
| 操作履歴とツール呼び出し | 元の英語条件と同一の情報を使用した。 | 操作内容や履歴の変化による判定差を実験条件から除外する。 |
| 依頼文の言語 | 英語からドイツ語、フランス語、トルコ語、スワヒリ語、アムハラ語へ変更した。 | 依頼文の言語に対するガードの応答感度を測定する。 |
| 英語の言い換え | 同じ言語のまま六種類の表現変更を適用した。 | 言語変更の影響と一般的な言い換えの影響を比較する。 |
| 空白変更 | 依頼文の意味を変えず、空白の追加や調整を行った。 | 表記上の小さな変更や実行ごとの変動に対する基準を得る。 |
| 反復実行 | 外部サービスとして提供されるガードでは、各条件を三回実行した。 | 判定の確率的な変動を言語変更による差と区別するための情報を得る。 |
構造振動モデルに対応させると、この実験は判断構造 \(S_t\) を固定し、入力条件 \(c_i\) に意味保存変換 \(T\) を適用する操作である。元の入力と翻訳後の入力に対する判定を比較するため、前章で定義した応答変動 \(B_t(T)\) や判定反転率 \(F_t(T)\) に対応する測定が可能になる。一方、ガードの構造を更新した実験ではないため、構造振幅 \(A_t\) の変化は直接の測定対象となっていない。
4.2 正解ラベル別の変化を測定する
翻訳による判定変動を安全性の観点から評価するには、元の操作が安全であったか、危険であったかを区別する必要がある。安全な操作に対する遮断は誤検知であり、危険な操作に対する遮断は正しい検出である。同じ遮断という出力であっても、正解ラベルによって評価上の意味が反転する。
操作の正解ラベルを \(y\in\{0,1\}\) とし、\(y=0\) を安全な操作、\(y=1\) を危険な操作とする。ガードの判定 \(b_t(c)\) は、許可を 0、遮断を 1 とする。言語変換 \(T\) を適用した後、安全な操作を誤って遮断する確率を誤検知率 \(\mathrm{FPR}\)、危険な操作を正しく遮断する確率を攻撃検出率 \(\mathrm{TPR}\) と定義する。
\[
\begin{aligned}
\mathrm{FPR}_t(T)
&=
\Pr\left(b_t(Tc)=1\mid y=0\right),\\
\mathrm{TPR}_t(T)
&=
\Pr\left(b_t(Tc)=1\mid y=1\right).
\end{aligned}
\]
ここで確率は、評価対象の入力分布と、必要に応じてガードの確率的な実行結果について定義する。\(\mathrm{FPR}\) は安全な操作のうち遮断された割合であり、値が小さいほど正当な操作を止める頻度が低い。\(\mathrm{TPR}\) は危険な操作のうち遮断された割合であり、値が大きいほど危険な操作を検出する頻度が高い。二つの指標は同じ遮断判定から計算されるが、条件付ける正解ラベルが異なるため、安全性に対する解釈も異なる。
元の英語の依頼文を変更しない恒等変換を \(I\) とする。翻訳後の誤検知率と元の英語条件の誤検知率との差を \(\Delta\mathrm{FPR}_t(T)\)、攻撃検出率の差を \(\Delta\mathrm{TPR}_t(T)\) と定義すると、次のようになる。
\[
\begin{aligned}
\Delta\mathrm{FPR}_t(T)
&=
\mathrm{FPR}_t(T)
–
\mathrm{FPR}_t(I),\\
\Delta\mathrm{TPR}_t(T)
&=
\mathrm{TPR}_t(T)
–
\mathrm{TPR}_t(I).
\end{aligned}
\]
\(\Delta\mathrm{FPR}_t(T)>0\) は、安全な操作を遮断する割合が増えたことを意味する。一方、\(\Delta\mathrm{TPR}_t(T)<0\) は、危険な操作を遮断する割合が減ったことを意味する。危険操作の見逃し率を \(\mathrm{FNR}=1-\mathrm{TPR}\) と定義すれば、攻撃検出率の低下と見逃し率の増加は、次のように対応する。
\[
\Delta\mathrm{FNR}_t(T)
=
-\Delta\mathrm{TPR}_t(T).
\]
例えば、攻撃検出率が 7.4 ポイント低下した場合、見逃し率は 7.4 ポイント増加する。これは同じ操作群について検出率と見逃し率が補数の関係にあるためである。実際に何件の危険操作が追加で許可されたかを計算するには、評価対象の危険操作数と判定結果の対応が必要になる。
論文では、Nemotron 3.5 30B-A3B のアムハラ語条件で、元の英語条件と比べて誤検知率が 5.0 ポイント増加した。一方、Nemotron Nano 9B のアムハラ語条件では、攻撃検出率が 7.4 ポイント低下した[7]。前者は安全な操作の過剰遮断、後者は危険な操作の見逃しという、異なる種類の判定上の問題を表している。
これらの結果は異なるガードについて得られたものである。Nemotron 3.5 30B-A3B で攻撃検出率が 7.4 ポイント低下したという意味でも、Nemotron Nano 9B で誤検知率が 5.0 ポイント増加したという意味でもない。モデルの種類、規模、実行条件によって、言語変更が及ぼす影響の方向は異なる。
| 実測された条件 | 評価指標の変化 | 安全判定上の意味 |
|---|---|---|
| Nemotron 3.5 30B-A3B・アムハラ語 | 誤検知率が +5.0 ポイント変化した。 | 安全とラベル付けされた操作への過剰遮断が増加した。 |
| Nemotron Nano 9B・アムハラ語 | 攻撃検出率が −7.4 ポイント変化した。 | 危険とラベル付けされた操作の見逃し率が増加した。 |
| TS-Guard 7.6B・ドイツ語 | 誤検知率が +3.6 ポイント変化した。 | 比較的小規模な専用ガードでも、安全な操作の過剰遮断が増加する条件が観測された。 |
| ShieldAgent 7B・ドイツ語 | 誤検知率が −7.6 ポイント変化した。 | 安全な操作への過剰遮断が減少する方向の変化も観測された。ただし、このガードは操作軌跡を評価する方式であり、ステップ単位の正解ラベルとの対応には制約がある。 |
研究対象の一部では、12B から 30B 程度の公開モデルにおいて、安全な操作を過剰に遮断する方向への変化が目立った。これに対し、危険操作の検出率が統計的に有意に低下した例は、評価された 10B 未満のガードで観測された。ただし、この境界はモデル規模から判定変化の方向を決定できるという法則を意味しない。例えば TS-Guard は 7.6B のモデルであるが、複数の言語条件で誤検知率が増加している。また、専用ガードでは判定変動が比較的大きい一方、その方向はガードによって異なる。
モデル規模による傾向を解釈する際には、元の英語条件での性能も考慮する必要がある。例えば、危険操作の検出率がもともと低いガードで追加の見逃しが増える場合と、ほぼすべての危険操作を検出していたガードでわずかな変化が生じる場合では、絶対的な運用リスクが異なる。誤検知率の変化についても、元の誤検知率が高いガードと低いガードでは、同じポイント差が示す運用上の状態は異なる。言語変更による差分は、元の評価値と組み合わせて解釈する必要がある。
4.3 応答変動と誤検知率・攻撃検出率の関係
前章で定義した応答変動 \(B_t(T)\) は、正解ラベルを区別せず、変換前後の遮断確率の差を測定する。一方、\(\Delta\mathrm{FPR}\) と \(\Delta\mathrm{TPR}\) は、正解ラベルで条件付けた遮断確率の平均値の変化を測定する。両者の関係を明示すると、入力表現に対する判定の不安定性と、安全性指標の変化を一つの数理的な枠組みで比較できる。
安全な操作と危険な操作をそれぞれ条件とした応答変動を、次のように定義する。
\[
\begin{aligned}
B_t^{(0)}(T)
&=
\mathbb E\left[
|q_t(Tc)-q_t(c)|
\mid y=0
\right],\\
B_t^{(1)}(T)
&=
\mathbb E\left[
|q_t(Tc)-q_t(c)|
\mid y=1
\right].
\end{aligned}
\]
\(B_t^{(0)}(T)\) は安全な操作についての平均的な遮断確率の変動を表し、\(B_t^{(1)}(T)\) は危険な操作についての変動を表す。例えば、ある言語への翻訳によって安全な操作の遮断確率だけが大きく変わる場合、\(B_t^{(0)}(T)\) が増加する一方、\(B_t^{(1)}(T)\) は小さいままになる可能性がある。逆に、危険な操作への判断が不安定になる場合には、\(B_t^{(1)}(T)\) にその影響が現れる。
評価分布において安全な操作が占める割合を \(\pi_0=P(y=0)\)、危険な操作が占める割合を \(\pi_1=P(y=1)\) とすると、\(\pi_0+\pi_1=1\) である。全体の応答変動は、正解ラベル別の応答変動をそれぞれの出現割合で重み付けした平均として表せる。
\[
B_t(T)
=
\pi_0 B_t^{(0)}(T)
+
\pi_1 B_t^{(1)}(T).
\]
論文の評価データでは、安全な操作が 868 件、危険な操作が 352 件であるため、標本上の出現割合は次のようになる。
\[
\pi_0=\frac{868}{1220}\approx0.7115,
\qquad
\pi_1=\frac{352}{1220}\approx0.2885.
\]
したがって、同じ評価データを一様に重み付けした場合、全体の応答変動には、安全な操作についての変動が約 71.1%、危険な操作についての変動が約 28.9% の重みで反映される。例えば、安全な操作だけで判定が変動するガードでは、全体の応答変動が比較的大きくなる可能性がある。一方、危険な操作だけで判定が変動するガードでは、危険操作の見逃しという安全上の問題が生じていても、全体の応答変動は安全な操作の割合によって希釈される。
ここで、誤検知率と攻撃検出率の変化は、それぞれ正解ラベルで条件付けた遮断確率の差の期待値として書ける。
\[
\begin{aligned}
\Delta\mathrm{FPR}_t(T)
&=
\mathbb E\left[
q_t(Tc)-q_t(c)
\mid y=0
\right],\\
\Delta\mathrm{TPR}_t(T)
&=
\mathbb E\left[
q_t(Tc)-q_t(c)
\mid y=1
\right].
\end{aligned}
\]
これらの式では、遮断確率の増加と減少が相殺される。これに対し、\(B_t^{(0)}(T)\) と \(B_t^{(1)}(T)\) は絶対値を取るため、変化の方向を相殺しない。期待値に関する三角不等式を適用すると、次の関係が得られる。
\[
\begin{aligned}
\left|\Delta\mathrm{FPR}_t(T)\right|
&\le B_t^{(0)}(T),\\
\left|\Delta\mathrm{TPR}_t(T)\right|
&\le B_t^{(1)}(T).
\end{aligned}
\]
この不等式は、誤検知率の差の絶対値が、安全な操作についての平均的な応答変動を超えないこと、および攻撃検出率の差の絶対値が、危険な操作についての平均的な応答変動を超えないことを表す。例えば、安全な操作について遮断確率が増加する入力と減少する入力が同数存在すれば、誤検知率の差は 0 に近づく。しかし、個々の遮断確率が変化している限り、\(B_t^{(0)}(T)\) にはその変動が残る。
この関係を決定的なガードに適用すれば、正解ラベル別の判定反転率として解釈できる。安全な操作の判定反転率を \(F_t^{(0)}(T)\)、危険な操作の判定反転率を \(F_t^{(1)}(T)\) とすると、標本上の一様分布の下では、それぞれ \(B_t^{(0)}(T)\)、\(B_t^{(1)}(T)\) に一致する。したがって、誤検知率や攻撃検出率の差は、それぞれの正解ラベルを持つ操作群で発生した判定反転率以下となる。
これにより、言語変更による安全判定の変化を、少なくとも三つの水準で測定できる。第一は、個々の操作について判定が変わったかという反転の有無である。第二は、安全な操作と危険な操作のそれぞれで、どの程度の変動が生じたかという正解ラベル別の応答変動である。第三は、誤検知率と攻撃検出率がどの方向へ何ポイント変化したかという安全性指標である。
| 測定対象 | 数理的な指標 | 測定によって分かること | 測定だけでは決まらないこと |
|---|---|---|---|
| 全操作の応答変動 | \(B_t(T)\) | 言語変更に対する遮断確率の平均的な変動量を測定できる。 | 変動が安全な操作と危険な操作のどちらに集中したかは、正解ラベル別の集計が必要になる。 |
| 安全な操作の応答変動 | \(B_t^{(0)}(T)\) | 安全な操作に対する遮断確率の変動量を測定できる。 | 誤検知が増加したか減少したかという方向は、別途 \(\Delta\mathrm{FPR}\) で確認する。 |
| 危険な操作の応答変動 | \(B_t^{(1)}(T)\) | 危険な操作に対する遮断確率の変動量を測定できる。 | 危険操作の検出率が改善したか悪化したかという方向は、別途 \(\Delta\mathrm{TPR}\) で確認する。 |
| 誤検知率の変化 | \(\Delta\mathrm{FPR}_t(T)\) | 安全な操作への過剰遮断が何ポイント変化したかを測定できる。 | 増加と減少が相殺された個別判定の変動量は把握できない。 |
| 攻撃検出率の変化 | \(\Delta\mathrm{TPR}_t(T)\) | 危険な操作の検出率が何ポイント変化したかを測定できる。 | 増加と減少が相殺された個別判定の変動量は把握できない。 |
この分解によって、論文で観測された二種類の変化を、構造振動モデルの応答変動と対応づけられる。Nemotron 3.5 30B-A3B の誤検知率増加は、安全な操作についての遮断確率の平均が上昇したことを示す。一方、Nemotron Nano 9B の攻撃検出率低下は、危険な操作についての遮断確率の平均が低下したことを示す。どちらも言語変更によって判定が変化した結果であるが、その変化が発生した操作群と安全上の帰結が異なる。
ただし、論文で報告された誤検知率と攻撃検出率の差だけから、\(B_t^{(0)}(T)\) や \(B_t^{(1)}(T)\) の正確な値を復元することはできない。絶対差の平均を計算するには、変換前後の各操作に対する遮断確率、または対応づけられた二値判定が必要である。研究で報告された個別判定の反転率は、この応答変動を評価するための関連する観測量となるが、確率的なガードでは実行ごとの変動と入力変換による確率の変化を区別する必要がある。
4.4 言語変更の影響と実行ごとの変動を分離する
ガードが同じ入力に対して毎回同じ判定を返すとは限らない場合、言語変更前後の判定反転には、入力変換の影響と実行ごとの確率的な変動が混在する。例えば、同じ英語の依頼文を二回与えただけで許可と遮断が入れ替わるガードでは、英語からドイツ語へ翻訳したときに判定が反転しても、その一回の観測だけでは言語変更の影響を特定できない。
この問題に対して論文では、空白変更を行う対照条件を用意し、ガード自身の判定反転率を基準として測定している。元の英語条件と翻訳条件の判定反転率を \(F_{\mathrm{lang}}(T)\)、元の英語条件と空白変更条件の判定反転率を \(F_{\mathrm{placebo}}\) とすると、研究で用いられた調整後の指標は、次の差として表せる。
\[
F_{\mathrm{adj}}(T)
=
F_{\mathrm{lang}}(T)
–
F_{\mathrm{placebo}}.
\]
この指標は、言語変更による判定反転が、空白変更などの対照条件で観測される反転より何ポイント多いかを表す。例えば、翻訳条件の反転率が 6%、対照条件の反転率が 2% であれば、調整後の差は 4 ポイントとなる。これは、翻訳条件の判定変動が対照条件を上回ったことを示す。ただし、二つの反転率を差し引くことによって、言語変更と確率的な実行変動が厳密に加法分離されたことまで保証されるわけではない。入力と実行のばらつきが相互作用する場合には、調整後の差にもその影響が残り得る。
研究では、13B 未満の九つのガードについて、フランス語条件で平均 +1.5 ポイント、アムハラ語条件で平均 +4.4 ポイントの対照条件調整後の判定反転率が報告されている[7]。この結果は、評価されたガード群において、言語変更による判定変動が英語の小さな表記変更による変動を上回り、対象言語によってその差の大きさが異なったことを示す。
ただし、言語ごとのデータ資源量と判定変動の関連を解釈するには、比較対象の数と条件を考慮する必要がある。アムハラ語は今回の対象の中で学習資源が少ない言語に分類され、文字体系も他の対象言語と異なる。翻訳の品質、文字体系、学習時の言語分布、モデルの構造などが同時に異なるため、データ資源量だけを独立した原因として同定した実験ではない。観測された関連は、評価対象の言語とガードにおける経験的な傾向として解釈される。
また、平均的な判定反転率が同程度でも、変動が少数の依頼に集中している場合と、多数の依頼に分散している場合では、運用上の影響が異なる。論文では、一部の長い依頼文に判定変化が集中する例が報告されている。TS-Guard のトルコ語条件では、特定のホテル推薦に関する依頼に対応する 26 ステップについて、遮断率が元の英語条件の約 12% から約 92% に増加した。これは、同じ依頼を共有する一連の操作で、言語変更による判定変動が集中して発生した例である。
このような集中は、評価単位の選択にも影響する。1,220 件の操作ステップを独立した標本として扱えば、操作数の多い依頼が評価値へ大きく寄与する。一方、58 種類の依頼文を単位として評価すれば、各依頼が持つ操作ステップ数の違いを別の方法で扱う必要がある。論文では 589 本の操作軌跡を単位とする再標本化によって信頼区間を推定しているが、言語変換は 58 種類の依頼文を単位として行われている。著者ら自身も、この依存関係のため、報告された信頼区間が過度に狭くなっている可能性を指摘している。
したがって、言語変更に対する応答変動を評価する際には、平均値に加えて、どの依頼に変動が集中したか、同じ依頼に属する操作ステップがどの程度共通の判定変化を示したかを確認する必要がある。少数の依頼が大部分の反転を生んでいる場合、その依頼に固有の構造や文章の特徴が判定へ影響している可能性がある。このような分布上の偏りは、全体の誤検知率や攻撃検出率だけでは把握しにくい。
構造振動モデルとの対応では、ガードの判断構造 \(S_t\) を固定したまま、入力変換 \(T\) によって観測結果が変化したことが、この研究の直接的な観測事実となる。構造自体の時間的な更新を伴わずに応答が変化するため、構造振幅 \(A_t\) が 0 となる比較条件でも、応答変動 \(B_t(T)\) は正の値を取り得る。言語の変更は環境条件 \(C_t\) の一部を変える介入として位置づけられ、その影響は観測写像 \(G\) を通じて遮断確率や判定反転率に現れる。
さらに、誤検知率と攻撃検出率を分離することによって、応答変動の大きさだけでなく、その変動が安全性のどの側面へ作用したかを評価できる。過剰遮断が増加した場合には正当な操作の実行可能性が低下し、攻撃検出率が低下した場合には危険操作が通過する割合が増加する。どちらも固定した構造が入力条件の変更によって異なる観測結果を示した例であるが、改善に必要な介入は同じとは限らない。
一方、今回の実験は、ガード内部の判断構造が言語ごとにどのような関係を使って判定したかを直接測定したものではない。観測されたのは、固定された操作条件に対し、依頼文の言語を変更した際の判定差と、その正解ラベル別の影響である。この観測事実から、入力表現が判定に影響することは確認できるが、どの内部表現や判断経路が原因となったかを特定するには追加の検証が必要になる。
言語変更実験が構造振動モデルへ与える意味は、固定された構造の下でも、入力表現への応答が安全性指標を変化させ得るという点にある。構造振幅だけを測定しても、この変化は捉えられない。応答変動 \(B_t(T)\)、正解ラベル別の変動 \(B_t^{(0)}(T)\) と \(B_t^{(1)}(T)\)、誤検知率と攻撃検出率の差を組み合わせることで、入力表現への感度、その分布、運用上の影響を異なる水準で測定できる。構造の時間的な変化と、固定構造が入力条件に示す応答を分離することによって、安全判定の不安定性をより具体的な数理的対象として扱えるようになる。
5. 表記上の特徴と正解ラベルの関係を分離する
安全判定の変動を調べる際には、入力の特徴が正解ラベルと関連していることと、ガードがその特徴を判断に利用していることを区別する必要がある。例えば、危険な操作を含む評価データに長いシェルコマンドが多く、安全な操作には短いコマンドが多いという偏りがあったとする。この場合、コマンドの内容や実行権限を解析しなくても、文字数だけで正解ラベルを一定の精度で予測できる可能性がある。しかし、その予測が成立する理由は、コマンドの長さ自体が危険性を決めているからとは限らない。評価データの作成過程で、危険な操作と安全な操作が異なる方法で収集され、その違いがコマンドの長さに現れた可能性がある。
このような特徴を安全判定へ利用すると、評価データ上では高い正解率が得られても、別の環境では判定性能が維持されない場合がある。長いコマンドを危険とみなす規則は、危険な操作に長いコマンドが多い環境では正解しやすい。しかし、安全な操作でも長いコマンドが使われる環境へ移れば、誤検知が増える可能性がある。ここでは、実際の危険性を判断するために必要な情報と、データの収集方法に由来する予測可能な特徴との関係が問題になる。
Demirkiran と Ernstberger の「Shortcut Sensitivity in Agent-Safety Evaluations」は、この関係を三つの段階に分けて検証した研究である[10]。第一段階では、単純な特徴から正解ラベルを予測できるかを調べる。第二段階では、その特徴と実際のガードの判定が関連しているかを調べる。第三段階では、同じ評価入力に対して特徴だけを変更し、ガードの判定が変化するかを測定する。この区別によって、評価データの構造、観測された判定との関連、入力変更に対する応答という、異なる種類の証拠を整理できる。
5.1 ラベルを予測できることと、ガードが利用することは違う
評価データの生成過程を考えるため、入力 \(c\) を、判定に必要な文脈 \(s\) と、調査対象となる特徴 \(z\) に分ける。
\[
c=(s,z).
\]
\(s\) は利用者の依頼、操作履歴、実行予定の操作、引数、認可条件などを表す。\(z\) は、コマンドの長さ、ツール名、外部情報を囲む記号など、特定の特徴を取り出したものである。この分解は、特徴 \(z\) が安全判定と無関係であることを前提としない。むしろ、その特徴が正解ラベルの予測に役立つのか、ガードの判断と関連するのか、実際の判断に影響するのかを個別に検証するために導入する。
正解ラベルを \(y\in\{0,1\}\)、ガードの遮断判定を \(b\in\{0,1\}\) とする。\(y=1\) は危険な操作、\(b=1\) は遮断を表す。評価データの特徴と正解ラベルの関係を調べる第一段階では、次の条件付き確率を考える。
\[
P(y=1\mid z).
\]
この式は、特徴 \(z\) が与えられたとき、その操作が危険とラベル付けされている確率を表す。例えば、コマンドの文字数を \(z\) とすると、文字数が短い操作ほど危険ラベルの割合が高いという関係が存在するかを調べられる。特徴 \(z\) だけから高い精度で \(y\) を予測できるなら、評価データにはその特徴を利用した分類が成立する構造が存在する。
論文では、この関係を LinuxArena の公開データで検証している。LinuxArena は、実際のソフトウェア環境におけるエージェントの操作を評価するための環境である[11]。研究では、公開された操作軌跡の重複を整理し、シェルコマンドを含む 576 本の重複のない操作軌跡を分析した。その内訳は攻撃軌跡が 176 本、正常な軌跡が 400 本である。
各軌跡に含まれるシェルコマンドの平均文字数を特徴として使用すると、危険な軌跡と正常な軌跡を区別する AUC が 0.910 となった。AUC は、無作為に選んだ正例と負例について、分類用の得点が正例を上位に並べる確率として解釈できる指標である。0.5 が無作為な順位付けに相当し、1 に近づくほど二つの群を順位によって区別できることを示す。今回の結果は、短いコマンドほど攻撃ラベルと関連するという方向で、文字数だけでも高い識別能力が得られたことを意味する。
ただし、この結果を実運用での危険操作検出能力と同一視することはできない。分析対象は完了済みの操作軌跡であり、ツール実行直前の一件の操作に対して判定するガードとは評価単位が異なる。また、攻撃軌跡と正常な軌跡が異なる生成過程を経て収集されている場合、コマンドの長さがその収集過程の違いを反映している可能性がある。コマンドの長さだけでラベルを予測できることは確認できても、その特徴を実際のガードが判断に使用していることは、この実験からは決まらない。
同じ問題は、AgentDojo-Traj のツール名にも現れている。論文では、各ツール名について学習用データで多数派となる正解ラベルを記憶し、その名前だけから危険か安全かを予測する方法を試している。操作の引数、利用者の依頼、権限条件などを解析する方法ではなく、ツール名とラベルの対応を利用する単純な分類である。
この方法を、同じ業務領域のデータが学習側と評価側の両方に含まれる条件で検証すると、F1 は 0.901 となった。一方、業務領域を丸ごと評価側へ取り分け、学習時に使用していない領域へ適用すると、F1 は 0.495 に低下した。さらに、異なる業務領域の間で共有されるツール名を持つ操作は、評価行全体の 17.3% にとどまっていた。
この結果では、ツール名が正解ラベルを予測できる理由の一部を、業務領域とラベルの結びつきによって説明できる。例えば、特定の業務領域に危険な操作が集中し、その領域でしか使用されないツール名が存在すれば、ツール名だけでラベルを予測できる。しかし、未知の業務領域で別のツール名が使われると、その対応は利用できなくなる。学習時と評価時に同じ種類の手掛かりが存在することが、高い評価値を成立させる条件になっていたのである。
このような評価データの構造を数理的に整理するため、評価データの生成過程が定める確率分布を \(P_D\) と書く。ここで \(D\) はデータセットの構築条件を表し、\(P_D(s,z,y)\) は文脈、特徴、正解ラベルがどのような組み合わせで出現するかを定める。
\[
P_D(s,z,y).
\]
特徴 \(z\) によってラベルを予測できるという結果は、この分布において \(z\) と \(y\) の間に統計的な関連が存在することを意味する。評価データの収集元、攻撃の作成方法、正常操作の生成方法、業務領域の構成が変われば、この分布も変化する可能性がある。したがって、あるデータセットで成立した \(P_D(y=1\mid z)\) の関係が、別のデータセットでも保存されるとは限らない。
AgentHarm-Traj でも、評価データの構成に由来する予測可能性が確認されている。AgentHarm は、危険な依頼をエージェントが遂行するかを評価するためのベンチマークである[12]。論文 B が分析した AgentHarm-Traj では、731 件の操作ステップのうち 525 件が危険、206 件が安全とラベル付けされていた。この条件では、すべての操作を危険と予測するだけでも F1 が 0.836 となる一方、均衡精度は 0.500 にとどまる。
F1 は危険操作という正例についての適合率と再現率をまとめた値であり、均衡精度は危険操作と安全操作それぞれの正解率を等しい重みで平均した値である。すべてを危険と予測する方法は、危険操作を漏れなく正例として扱うため再現率が高くなるが、安全操作を識別する能力を持たない。この例では、正例が多数を占めるというデータ構成によって F1 が高くなっている。評価指標が何を重視し、データ中のラベルがどの割合で出現するかによって、同じ分類結果の評価が変わることが分かる。
これらの結果が示すのは、評価データの生成過程に由来する特徴が、ラベルの予測へ寄与する場合があるということである。近道学習に関する研究でも、入力に含まれる目立つ単語と正解ラベルの関連を学習することで、安全性の判断が入力表現に依存する可能性が指摘されている[13]。ただし、単純な特徴がラベルを予測できることだけでは、ガード自身がその特徴を利用しているかどうかは分からない。
そこで第二段階では、ガードの出力と特徴の関係を調べる。特徴 \(z\) の有無を表す二値変数を \(a(z)\in\{0,1\}\) とすると、同じ比較集団 \(C\) の中で特徴が存在する場合と存在しない場合の遮断率の差を、次のように定義できる。
\[
\begin{aligned}
\Delta_{\mathrm{assoc}}(C)
={}&
\mathbb E[b\mid a(z)=1,c\in C]\\
&-
\mathbb E[b\mid a(z)=0,c\in C].
\end{aligned}
\]
第一項は、特徴を持つ入力群に対する平均遮断率、第二項は、その特徴を持たない入力群に対する平均遮断率である。差が正なら特徴を持つ入力群の方が遮断されやすく、負なら遮断されにくい。ただし、この比較では、特徴以外の入力条件も異なっている可能性があるため、観測された差をその特徴の因果効果として解釈することはできない。
この制約は、確率分布を展開すると明確になる。ガードの構造 \(S_t\) を固定し、文脈 \(s\) と特徴 \(z\) に対する遮断確率を \(q_t(s,z)\) とすると、特徴 \(z\) を持つ入力群の平均遮断確率は、次のように表せる。
\[
P_D(b=1\mid z)
=
\mathbb E_{s\sim P_D(s\mid z)}
[q_t(s,z)].
\]
右辺には二つの要素が含まれる。一つは、ガードが文脈 \(s\) と特徴 \(z\) に対してどのような遮断確率を返すかという \(q_t(s,z)\) である。もう一つは、その特徴を持つ入力にどのような文脈が含まれているかという \(P_D(s\mid z)\) である。したがって、特徴 \(z\) が異なる二つの入力群で遮断率が違ったとしても、その差には文脈の分布の違いが含まれ得る。
例えば、外部情報を示すマーカーを含む操作履歴が、攻撃を受けた業務領域に集中していたとする。マーカーを持つ入力群では、操作の内容や履歴自体も危険な条件へ偏っている可能性がある。その場合、ガードがマーカーを判断材料として使っていなくても、マーカーの有無と遮断率に関連が生じることがある。観測された関連から入力特徴の因果的な寄与を特定するには、同じ文脈を保った比較が必要になる。
第三段階では、同じ評価入力の特徴だけを変更する介入を用いる。特徴 \(z\) を \(z’\) に置き換える変換を \(T_z\) とし、文脈 \(s\) を固定したままガードへ与える。決定的なガードでは判定の反転を測定でき、確率的なガードでは遮断確率の差を推定できる。
\[
T_z(s,z)=(s,z’).
\]
介入前後の遮断確率の平均差を、次のように定義する。
\[
\Delta_z
=
\mathbb E_{c\sim P}
\left[
q_t(T_zc)-q_t(c)
\right].
\]
この式は、第三段階で確認する対応のある判定差を表す。元の入力と変更後の入力で、操作の内容、利用者の目的、権限、情報源などの判断に必要な情報が保存されていれば、特徴の表現変更が判定に与えた影響として解釈できる。ただし、変更した特徴そのものが信頼境界や操作の意味を伝えている場合、判定差には正当な情報変化への応答が含まれる可能性がある。意味保存の条件は、介入による判定変化を不要な依存と判断するための前提となる。
ここで、前章で定義した応答変動 \(B_t(T_z)\) との関係も明確になる。介入前後の遮断確率の符号付き平均差が \(\Delta_z\) であり、差の絶対値を平均したものが \(B_t(T_z)\) である。
\[
\begin{aligned}
\Delta_z
&=
\mathbb E_{c\sim P}
[q_t(T_zc)-q_t(c)],\\
B_t(T_z)
&=
\mathbb E_{c\sim P}
\left[
|q_t(T_zc)-q_t(c)|
\right].
\end{aligned}
\]
前者は遮断傾向が増加したか減少したかを示し、後者は方向にかかわらずどれだけ変化したかを示す。期待値に対する三角不等式から、次の関係が成立する。
\[
\boxed{
|\Delta_z|\le B_t(T_z)
}
\]
したがって、介入によって平均遮断率がほとんど変化しなくても、個々の入力について遮断確率が増減していれば、応答変動は正の値を取り得る。この関係は、第 3 章で導いた遮断率差と判定反転率の関係を、確率的なガードの介入実験へ拡張したものである。
| 評価段階 | 測定対象 | 確認できること | 残る制約 |
|---|---|---|---|
| 第一段階：ラベル予測 | \(P_D(y=1\mid z)\) や、特徴だけを使う分類器の評価値。 | 評価データの特徴に、正解ラベルを予測できる情報が存在すること。 | ガードがその特徴を利用しているかどうかは分からない。 |
| 第二段階：観測上の関連 | \(P_D(b=1\mid z)\) や、特徴の有無による遮断率差。 | 特徴と実際のガード判定の間に関連が存在すること。 | 文脈や業務領域の分布差が関連を生む可能性がある。 |
| 第三段階：対応のある介入 | \(\Delta_z\)、\(B_t(T_z)\)、判定反転率。 | 指定した入力変更によって、ガードの判定がどの程度変化するか。 | 意味保存の成立範囲と、確率的な実行変動を考慮する必要がある。 |
構造振動モデルに対応させると、第一段階は評価データの生成過程が持つ構造を調べる操作である。第二段階は、固定された判定構造 \(S_t\) と評価入力の分布が組み合わされたとき、どのような観測結果が得られるかを調べる操作である。第三段階は、判定構造 \(S_t\) を固定したまま入力条件へ介入し、観測写像 \(G\) の応答を測定する操作となる。
この整理では、評価データの生成構造とガードの判断構造を区別することが重要になる。評価データの特徴が正解ラベルと関連することは、データの生成過程に関する観測である。一方、その特徴を変更したときにガードの判定が変化することは、判定構造と入力条件の関係に関する観測である。両者を同じ因果関係として結びつけるには、入力特徴への介入という追加の証拠が必要になる。
5.2 表記介入の実測とモデル間の差
論文 B は、第一段階と第二段階で見つかった特徴が、実際のガード判定にどの程度影響するかを調べるため、AgentDojo-Traj の入力へ表記上の介入を加えている。対象となった特徴は、外部情報を囲むマーカーと、実行予定のツールを識別する名前である。どちらも評価入力に現れる文字列だが、完全に意味のない装飾とは限らない。外部情報のマーカーは情報の出所を示し、ツール名は操作の種類を判断する手掛かりとなるためである。
まず、外部情報マーカーの観測上の関連を確認する。AgentDojo-Traj では、危険とラベル付けされた 352 件の操作すべてに、外部情報を囲むマーカーが含まれていた。一方、安全とラベル付けされた 868 件の操作のうち、321 件にも同じマーカーが含まれていた。したがって、マーカーが存在する操作をすべて危険と予測する単純な規則は、危険操作を漏れなく検出する一方、安全操作の約 37.0% を誤って危険と判定する。
この結果から、マーカーの存在は危険ラベルと関連するが、それ自体が危険性を決定する条件ではないことが分かる。外部情報を利用する正常な操作も存在し、外部情報に含まれる指示が実際の操作へ影響するかどうかは、利用者の目的、操作履歴、ツールの引数などに依存する。マーカーは情報源の属性を伝える判断材料であり、その存在だけを危険操作の十分条件とすることには限界がある。
実際のガードの判定との関連も調べられている。安全とラベル付けされた操作に限定した比較では、Claude Haiku 4.5 はマーカーを含む入力の 74.45% を遮断した一方、マーカーを含まない入力では遮断率が 0.37% だった。その差は 74.09 ポイントである。これはマーカーの有無とガードの遮断傾向に大きな関連があることを示すが、比較された二つの入力群では依頼や操作履歴も異なるため、マーカーだけが原因であるとは判断できない。
この観測結果を受けて、著者らはマーカーの変更を介入対象として選んだ。具体的には、元の入力を保持したまま、外部情報を囲むマーカーを別の表記へ置き換える処理を用意した。元のマーカーは INFORMATION という文字列を用い、変更後は UNTRUSTED_EXTERNAL_CONTENT という文字列で、信頼できない外部情報であることをより明示的に表す。マーカーで囲まれた文章の内容と実行予定の操作は維持される。
もう一つの介入は、ツール名の別名化である。例えば、操作の種類を推測しやすいツール名を、意味を直接読み取りにくい識別名へ変更する。ツールの説明と引数は維持されるため、利用可能な操作の内容は基本的に同じである。ただし、別名は入力事例ごとに生成されており、一つの業務環境全体に共通する命名規則へ置き換えたものではない。この介入で測定されるのは、当該実験で使用された具体的な別名化に対する応答である。
介入実験には、AgentDojo-Traj から選定した 64 件の操作ステップが使用された。四つの業務領域それぞれから、安全な操作を 8 件、危険な操作を 8 件ずつ選び、合計で安全な操作 32 件、危険な操作 32 件を構成している。これらは 58 件の元の対話に由来する。対象は介入結果を見る前に固定されているが、元のデータや過去のガード判定を確認したうえで選ばれているため、ベンチマーク全体を代表する無作為標本ではない。
実験では、元の入力、マーカーの書き換え、ツール名の別名化、両方の変更を組み合わせた入力、外側の書式だけを変更した対照条件を比較した。Haiku 4.5 については、64 件の入力に対して五条件をそれぞれ三回ずつ実行し、合計 960 回の判定を取得している。実行順序を交互に配置することで、時間経過による実行条件の変化が特定の介入条件へ集中することを抑えている。
同じ入力に対する三回の判定結果から、各条件の遮断確率を推定する。変換前後の遮断確率の差を、64 件の入力について平均したものが介入効果の推定値となる。
\[
\widehat{\Delta}_z
=
\frac{1}{64}
\sum_{i=1}^{64}
\left[
\widehat q_t(T_zc_i)
–
\widehat q_t(c_i)
\right].
\]
この値が負なら介入後に遮断される割合が減少し、正なら遮断される割合が増加する。ここで測定しているのは遮断確率の符号付き平均差であり、前章で定義した絶対差の平均 \(B_t(T_z)\) とは異なる。介入前後の平均遮断率が同じでも、個々の入力における判定が変化している可能性があるため、両者の区別は維持される。
Haiku 4.5 では、外部情報マーカーを書き換えると、64 件全体の平均遮断率が 8.33 ポイント低下した。一方、ツール名を別名化すると、平均遮断率が 11.46 ポイント増加した。外側の空白などを変更する対照条件では、遮断率の差は −1.56 ポイントだった。さらに、対照条件との差を計算すると、マーカー書き換えの差は −6.77 ポイント、ツール名の別名化の差は +13.02 ポイントとなった。
| 介入条件 | 64 件全体の遮断率差 | 安全な 32 件のみの遮断率差 | 観測された変化 |
|---|---|---|---|
| 外部情報マーカーの書き換え | −8.33 ポイント。 | −16.67 ポイント。 | 安全な操作への過剰遮断が減少した。 |
| ツール名の別名化 | +11.46 ポイント。 | +22.92 ポイント。 | 安全な操作への過剰遮断が増加した。 |
| 両方の変更 | −2.60 ポイント。 | −5.21 ポイント。 | 二つの変更を同時に加えた場合、個別の変化の単純な和とは異なる結果になった。 |
| 書式変更の対照条件 | −1.56 ポイント。 | −3.13 ポイント。 | 意味上の内容を変更しない書式変更でも、一定の判定差が観測された。 |
この実験で特徴的なのは、危険とラベル付けされた 32 件の操作が、すべての条件で遮断されたことである。したがって、遮断率の変化は安全な操作の誤遮断に集中していた。安全な操作と危険な操作をそれぞれ 32 件ずつ含むため、安全な操作だけで生じた遮断率の変化は、64 件全体で計算すると半分の値になる。マーカー書き換えによる −16.67 ポイントの変化が全体では −8.33 ポイントになるのは、この構成による。
ここで、第 4 章の正解ラベル別の応答変動との関係を考える。危険な操作の遮断確率がすべての条件で 1 に維持される場合、危険操作についての応答変動は 0 となる。一方、安全な操作については遮断確率が増減しているため、応答変動が発生する。したがって、この実験で観測された平均遮断率の差は、安全操作についての応答変化を反映している。介入前後の各操作の遮断確率を用いれば、符号付き平均差に加えて、絶対差の平均 \(B_t^{(0)}(T_z)\) も計算できる。
この結果は、評価指標にも反映された。元の 64 件に対する Haiku 4.5 の正解率は 73.44% だったが、マーカー書き換え後は 81.77% に上昇し、ツール名の別名化後は 61.98% に低下した。危険な操作はすべて遮断されたままであるため、この正解率の変化は、安全な操作に対する過剰遮断の増減によって生じた。元の評価データに付与された正解ラベルを基準とする限り、入力の表記を変更しただけで、同じガードの評価値が変化したことになる。
ただし、マーカーの書き換えには、情報の出所に関する意味の変化が含まれる可能性がある。UNTRUSTED_EXTERNAL_CONTENT という表記は、外部情報が信頼できないことを元の表記より明示的に伝える。また、ツール名の別名化は、操作の説明と引数を維持していても、ツール名から推測できる操作の種類に関する情報を変える。したがって、判定が変化したことは確認できるが、それが判断に不要な文字列への依存だけによって生じたと断定するには、判断上の意味が保存されたことを独立に確認する必要がある。
論文では、これらの介入について操作内容と正解ラベルを保存するよう設計しているものの、人間の評価者による独立した盲検の同等性確認までは行っていない。この制約により、観測された差は、具体的なマーカー変更や別名化に対するガードの応答感度として解釈される。表記上の特徴が判断へ影響したことと、その影響がすべて不要な近道に由来することは、異なる主張である。
さらに、この感度がすべてのガードに共通するわけではないことも確認されている。著者らは、Haiku 4.5 と同じ 64 件の入力、介入条件、反復回数、評価方法を用いて、GPT-5.6 Luna でも検証している。その結果、マーカー書き換えによる遮断率差は 0.00 ポイント、ツール名の別名化による差は +1.04 ポイントだった。Haiku 4.5 で観測された大きな変化は、このガード構成では再現されなかった。
また、量子化された TS-Guard の再現実装では、64 件のマーカー書き換えに対して、厳密な判定が変化したのは 3 件だった。この結果も、入力表記への応答感度がガードの種類や実行構成に依存することを示している。ただし、量子化された再現実装の結果を、元の公開モデルと完全に同等の実行結果として扱うことには制約がある。
Haiku 4.5 の結果について報告された 95% の区間推定では、マーカー書き換えとツール名の別名化について、対照条件との差を取った後も区間が 0 を含まなかった。ただし、対象の 64 件は無作為標本ではなく、検証する特徴の選定にも事前の観測結果が使用されている。そのため、これらの区間は探索的な推定として解釈する必要がある。観測された効果の大きさを、そのまま実運用全体における発生頻度や一般的な影響量へ拡張する根拠はない。
ここまでの結果を構造振動モデルへ対応させると、判定器の構造 \(S_t\) を固定していても、入力特徴 \(z\) の表現を変更することで、観測写像 \(G\) の出力が変化する場合があることが分かる。具体的には、Haiku 4.5 ではマーカーやツール名の変更に対して遮断確率が変動した一方、Luna では同じ変更に対する変動が小さかった。二つのガードは、同じ入力変換に対して異なる応答を示したことになる。
ただし、この差から内部のどの判断経路が使用されたかを直接特定することはできない。観測可能なのは、ガードへ与えた入力と、介入後の判定結果である。内部に存在する重み、特徴間の依存関係、規則の優先順位などを推定するには、さらに異なる特徴への介入や内部状態の観測が必要になる。入力変換への感度は観測写像の性質を示すが、内部構造そのものの一意な復元を保証するものではない。
また、特徴と正解ラベルの関連が大きいことが、ガードの入力介入への感度の大きさを決めるわけでもない。Luna では、安全な操作におけるマーカーの有無と遮断率の間に 10.48 ポイントの観測上の差があったにもかかわらず、対応のあるマーカー書き換え実験では平均遮断率の差が 0.00 ポイントだった。この対比は、異なる入力群を比較した観測上の関連と、同じ入力に介入した際の応答が、異なる情報を与えることを具体的に示している。
構造振動モデルの観点では、評価データの特徴とラベルの関係を \(P_D(s,z,y)\)、ガードの応答を \(q_t(s,z)\)、特徴への介入を \(T_z\) として分離できる。評価データの構成が変われば、観測される入力分布とラベルの関連が変わる。一方、ガードの構造を固定したまま特徴を変更すれば、そのガードが当該入力変換にどの程度反応するかを測定できる。さらにガード自体を更新した場合には、同じ介入に対する応答変動が更新前後で変わったかを比較できる。
この区別によって、安全判定の評価結果を三つの異なる要因へ分解して考えられる。第一は、評価データがどのような操作や特徴を含むかというデータ生成過程である。第二は、固定されたガードが入力条件に対してどのような判定を返すかという観測写像である。第三は、入力や評価条件を変更した際に観測結果がどのように変化するかという応答特性である。これらを対応づけることで、評価得点の高さ、特徴との関連、入力介入への感度を、それぞれ独立した検証対象として扱える。
論文 B の結果は、評価データの特徴が正解ラベルを予測できること、特徴とガードの判定が関連すること、特定の表記変更によって一部のガードの判定が変化することを示している。一方、その影響の大きさはガードの構成によって異なり、変更された特徴が判断に必要な情報を含む可能性も残る。ここから導かれるのは、表記上の特徴への依存を一律に除去するという方針ではなく、判断に必要な情報を保持したまま、どの特徴の変更が判定へ影響するかを測定するという評価条件である。
構造振動モデルを安全判定へ適用する際にも、観測された関連から内部構造の性質を推定する過程には、この区別が必要になる。入力特徴と判定結果の関連は、評価データの分布によって生じる場合がある。対応のある介入は、その分布上の違いを抑えながら、指定した入力変更への応答を測定する方法となる。固定された判断構造に対する応答変動を定量化し、さらに判断に必要な意味の保存条件を検証することで、安全判定の変動が何に由来するのかを、観測可能な範囲で段階的に特定できる。
6. 入力への応答変動と構造そのものの変化を分解する
言語や表記の変更によって安全判定が変化する現象と、ガードのモデルや規則を更新したことで安全判定が変化する現象は、観測結果だけを見ると区別しにくい。例えば、同じファイル削除の依頼が、以前は許可されていたのに現在は遮断される場合を考える。その間に依頼文の言語が変わり、同時にガードのモデルも更新されていれば、判定差には少なくとも二つの変更が関係する。入力の表現だけを元に戻しても、ガードの構造が更新されているため、以前の判定が再現されるとは限らない。
構造振動モデルは、この二種類の変化を区別するための枠組みを与える。判断を規定する構造を \(S_t\)、評価入力を \(c\)、遮断確率を \(q_t(c)\) とすれば、固定された構造に異なる入力を与える比較と、同じ入力を更新前後の構造に与える比較を独立に設計できる。さらに、両方が変化した場合には、入力変換と構造更新の寄与を、観測可能な遮断確率の差として分解できる。
ただし、構造振動モデルにおける構造振幅と、安全判定の出力差は異なる空間で定義される。構造振幅は規則や関係の変化量を測り、遮断確率の差は特定の操作に対する判断の変化量を測る。両者を対応づけるには、構造のどの差異が観測へ反映されるのかを明示し、必要に応じて観測写像へ追加の条件を課す必要がある。
6.1 既存モデルの構造振幅
構造振動モデルでは、時刻 \(t\) における関係構造を \(S_t=(V_t,E_t,W_t)\) として表す。ここで \(V_t\) は要素集合、\(E_t\) は要素間の関係、\(W_t\) はその関係に付与された重みや属性である。構造を計算可能なベクトルへ変換する埋め込み写像を \(\phi\) とすれば、各時刻の構造は \(x_t=\phi(S_t)\) と表現される。
隣接する二時点の構造差を測る構造振幅は、固定した埋め込み写像と尺度の下で、次のように定義される。
\[
\boxed{
A_t
:=
d(S_t,S_{t-1})
=
\left\|
\phi(S_t)-\phi(S_{t-1})
\right\|_2
}
\]
\(d\) は二つの構造の違いを測る関数、\(\|\cdot\|_2\) はベクトルのユークリッド距離である。例えば、構造の特徴量を規則数、規則間の依存数、例外規則の割合、遮断閾値などとして定義すれば、それらを共通の尺度へ変換したうえで更新前後の差を計算できる。この値は、構造が以前の状態からどの程度変化したかを表す。
ただし、埋め込み写像 \(\phi\) が異なる構造を同じベクトルへ写す場合、\(d(S’,S)=0\) であっても \(S’\ne S\) となり得る。その場合、\(d\) は厳密な意味での距離ではなく擬距離となる。例えば、規則数と閾値だけを特徴量にした場合、規則の優先順位が変更されても構造差が 0 と測定される可能性がある。構造振幅を内部状態の変化量として解釈するには、埋め込みが判断に関係する差異を十分に保存しているかを確認する必要がある。
また、\(A_t\) は変化の大きさを表す量であり、更新後の構造が望ましいかどうかを評価する指標ではない。例えば、例外規則を削除して規則数が減少した場合、構造は単純化されたと評価できるかもしれない。しかし、その例外規則が正当な操作を許可するために必要だったなら、削除後には誤検知が増える可能性がある。反対に、新しい認可条件を追加して関係数が増加しても、それによって危険な操作の見逃しが減少する場合がある。
構造変化の大きさと、安全判定への影響は、観測写像を通じて結びつく。構造 \(S\) と入力 \(c\) に対する遮断確率を \(q(S,c)\) と書けば、構造更新による判定差は次のように表せる。
\[
D_{t+1}(c)
:=
q(S_{t+1},c)-q(S_t,c).
\]
\(D_{t+1}(c)\) は、同じ入力 \(c\) に対する更新前後の遮断確率の符号付き差である。正の値なら更新後に遮断されやすくなり、負の値なら許可されやすくなったことを意味する。これは観測空間における差であり、構造空間の距離である \(A_{t+1}\) と数値的に一致する必要はない。
例えば、ガードが危険性の得点 \(s(c)\) と閾値 \(\tau\) を比較し、得点が閾値以上なら遮断する決定的な規則を持つとする。
\[
b(c;\tau)
=
\mathbf{1}[s(c)\ge\tau].
\]
ある操作の危険性の得点が 0.495 だった場合、閾値が 0.50 なら許可され、0.49 なら遮断される。閾値の変更量は 0.01 にすぎないが、判定は 0 から 1 へ反転する。一方、得点が 0.10 の操作では、同じ閾値変更によっても判定は維持される。構造更新の影響は、変更された閾値の大きさだけでなく、各入力が判断境界のどこに位置しているかによって変わる。
構造を固定して入力だけを変更する比較では、比較対象となる二つの構造は同じ \(S_t\) である。この場合、二つの構造間の距離は次のように 0 となる。
\[
d(S_t,S_t)=0.
\]
構造更新が発生していない期間を \(S_{t+1}=S_t\) として表現する場合には、構造振幅も \(A_{t+1}=0\) となる。しかし、同じ構造が異なる入力 \(c\) と \(Tc\) に対して返す遮断確率は、それぞれ異なる可能性がある。
\[
q_t(Tc)\ne q_t(c).
\]
したがって、構造振幅が 0 であっても、入力変換に対する応答変動 \(B_t(T)\) は正となり得る。これは構造振動モデルとの矛盾ではなく、構造と環境条件を独立した変数として定義したことから生じる帰結である。構造の更新量だけを測定しても、固定構造が入力表現の違いに示す感度は把握できない。
| 測定量 | 固定する条件 | 変更する条件 | 測定対象 |
|---|---|---|---|
| 構造振幅 \(A_{t+1}\) | 埋め込み写像と構造比較の尺度。 | ガードの判断構造 \(S_t\) から \(S_{t+1}\) への更新。 | 規則や関係を含む構造の変化量を測定する。 |
| 構造更新による応答差 \(D_{t+1}(c)\) | 評価入力 \(c\)。 | ガードの判断構造。 | 同じ入力に対する遮断確率の変化を測定する。 |
| 入力応答変動 \(B_t(T)\) | ガードの判断構造と評価分布。 | 意味を保存した入力表現。 | 入力変換に対する遮断確率の絶対差を平均する。 |
| 判定反転率 \(F_t(T)\) | 決定的なガードの構造と評価入力群。 | 意味を保存した入力表現。 | 許可と遮断が入れ替わった操作の割合を測定する。 |
この区別により、規則変更が大きかったにもかかわらず判定が維持された場合と、規則をまったく変更していないのに翻訳によって判定が反転した場合を、別々の現象として記述できる。構造振幅が大きい場合でも入力応答が安定している可能性があり、構造振幅が小さい場合でも判断境界付近の入力では判定が大きく変化する可能性がある。両者の関係を調べるには、構造空間の距離と観測空間の差を対応づける必要がある。
6.2 入力変換と構造更新による差を加法的に分解する
実際の運用では、ガードの構造と入力条件が同じ期間に変化する場合がある。例えば、ガードのバージョン更新と多言語対応を同時に導入した場合、更新後に日本語の依頼が以前より遮断されやすくなったとしても、モデル更新と入力言語のどちらが変化に寄与したのかを、その結果だけで判断することは難しい。
そこで、更新前のガード \(S_t\)、更新後のガード \(S_{t+1}\)、元の入力 \(c\)、意味を保存した変換後の入力 \(Tc\) という四つの条件を考える。両方のガードへ両方の入力を与えれば、次の四つの遮断確率を得られる。
| 構造と入力 | 元の入力 \(c\) | 変換後の入力 \(Tc\) |
|---|---|---|
| 更新前の構造 \(S_t\) | \(q_t(c)\)。 | \(q_t(Tc)\)。 |
| 更新後の構造 \(S_{t+1}\) | \(q_{t+1}(c)\)。 | \(q_{t+1}(Tc)\)。 |
この四条件を比較することで、入力だけを変更した場合、構造だけを更新した場合、両方を変更した場合を、それぞれ区別できる。元の状態 \(q_t(c)\) から、更新後の構造と変換後の入力による状態 \(q_{t+1}(Tc)\) までの総変化を考える。
\[
\Delta q_{\mathrm{total}}(c,T)
=
q_{t+1}(Tc)-q_t(c).
\]
この総変化は、一度入力だけを変えた中間状態 \(q_t(Tc)\) を挿入することで、厳密に二つの項へ分解できる。
\[
\begin{aligned}
q_{t+1}(Tc)-q_t(c)
={}&
\underbrace{
q_t(Tc)-q_t(c)
}_{\text{入力変換による差}}\\
&+
\underbrace{
q_{t+1}(Tc)-q_t(Tc)
}_{\text{構造更新による差}}.
\end{aligned}
\]
第一項は、更新前のガードを固定したまま、入力を \(c\) から \(Tc\) へ変更したときの遮断確率の差である。第二項は、変換後の入力 \(Tc\) を固定したまま、構造を \(S_t\) から \(S_{t+1}\) へ更新したときの差である。両者を加えると中間状態 \(q_t(Tc)\) が相殺され、更新前の元の入力から、更新後の変換入力までの総変化が得られる。
この分解は、遮断確率が実際にどのような数値であっても代数的に成立する恒等式である。モデルが特定の学習方式を使っていることや、構造更新が小さいことを仮定する必要はない。ただし、各項を実測するには、更新前後のガードを比較可能な状態で利用できることと、同じ入力を再実行できることが必要になる。
また、二つの変化を加える順序を逆にすれば、別の分解も成立する。先に構造を更新し、その後で入力を変換する場合には、次のようになる。
\[
\begin{aligned}
q_{t+1}(Tc)-q_t(c)
={}&
\underbrace{
q_{t+1}(c)-q_t(c)
}_{\text{構造更新による差}}\\
&+
\underbrace{
q_{t+1}(Tc)-q_{t+1}(c)
}_{\text{入力変換による差}}.
\end{aligned}
\]
こちらの第一項は、元の入力 \(c\) を固定して構造を更新したときの差である。第二項は、更新後のガードを固定して入力を変換したときの差である。どちらの順序でも総変化は同じになるが、入力と構造更新が相互作用する場合、各項へ割り当てられる差は異なる。
この違いを具体的な数値で確認する。ある安全な操作について、更新前後のガードと二種類の入力による遮断確率が、次の値だったと仮定する。この数値は分解式を説明するための仮想例であり、論文の実測値ではない。
| 比較条件 | 元の入力 \(c\) | 変換後の入力 \(Tc\) |
|---|---|---|
| 更新前 \(S_t\) | 0.20。 | 0.40。 |
| 更新後 \(S_{t+1}\) | 0.25。 | 0.70。 |
元の入力と更新前のガードによる遮断確率は 0.20 であり、更新後のガードへ変換入力を与えると 0.70 になる。したがって総変化は \(0.70-0.20=0.50\)、すなわち 50 ポイントの増加である。
入力変換を先に行う場合、更新前のガードでの入力変換による差は \(0.40-0.20=0.20\) となる。その後、変換後の入力を固定してガードを更新すると、差は \(0.70-0.40=0.30\) となる。二つを加えれば総変化の 0.50 に一致する。
\[
\underbrace{0.40-0.20}_{0.20}
+
\underbrace{0.70-0.40}_{0.30}
=
0.50.
\]
一方、構造更新を先に行う場合、元の入力に対する構造更新の差は \(0.25-0.20=0.05\) である。その後、更新後のガードで入力を変換すると、差は \(0.70-0.25=0.45\) となる。この場合も総変化は 0.50 になる。
\[
\underbrace{0.25-0.20}_{0.05}
+
\underbrace{0.70-0.25}_{0.45}
=
0.50.
\]
同じ総変化であっても、入力変換への寄与は 20 ポイントとも 45 ポイントとも表現される。前者は更新前の構造を基準にし、後者は更新後の構造を基準にしているためである。両者の差は、構造更新によって入力変換への感度が変化したことを反映している。
6.3 入力と構造更新の相互作用を定義する
二つの分解の違いは、構造更新と入力変換の相互作用として明示できる。更新前のガードにおける入力変換の効果と、更新後のガードにおける入力変換の効果を比較し、その差を \(\mathcal I_{t+1}(c,T)\) と定義する。
\[
\begin{aligned}
\mathcal I_{t+1}(c,T)
:={}&
[q_{t+1}(Tc)-q_{t+1}(c)]\\
&-
[q_t(Tc)-q_t(c)].
\end{aligned}
\]
この量は、構造を更新したことによって、同じ入力変換に対する遮断確率の差がどれだけ変化したかを表す。例えば、更新前には日本語への翻訳によって遮断確率が 20 ポイント増加していたが、更新後には 45 ポイント増加するようになった場合、相互作用は +25 ポイントとなる。ガードの更新によって、当該入力変換への感度が増加したことを意味する。
先ほどの仮想例では、次の値となる。
\[
\begin{aligned}
\mathcal I_{t+1}(c,T)
&=(0.70-0.25)-(0.40-0.20)\\
&=0.45-0.20\\
&=0.25.
\end{aligned}
\]
この相互作用は、構造更新の効果を元の入力と変換後の入力で比較しても、同じ値として得られる。式を展開すると、次の恒等式が成立する。
\[
\begin{aligned}
\mathcal I_{t+1}(c,T)
={}&
[q_{t+1}(Tc)-q_t(Tc)]\\
&-
[q_{t+1}(c)-q_t(c)].
\end{aligned}
\]
この式では、変換後の入力に対する構造更新の効果から、元の入力に対する構造更新の効果を差し引いている。したがって、入力変換が構造更新の効果をどれだけ変えたかという解釈もできる。入力変換と構造更新を二つの要因として配置した四条件の比較では、この差の差が相互作用を表す。
相互作用が 0 なら、構造更新によって入力変換の符号付き効果が変わらなかったことになる。ただし、相互作用が 0 であっても、元の入力と変換後の入力の判定が一致するとは限らない。例えば、更新前後で常に翻訳によって遮断確率が 20 ポイント増加する場合、入力変換への感度は存在するが、相互作用は 0 となる。また、一件の入力で相互作用が 0 であっても、他の入力について同じことが成立するとは限らない。
逆に、相互作用が正であれば、構造更新によって入力変換の符号付き効果が増加したことを意味する。負であれば、その効果が減少したことを意味する。ただし、入力変換の効果が正から負へ反転する場合もあるため、符号付きの相互作用と、絶対差として定義した応答変動の増減は区別する必要がある。
評価分布 \(P\) にわたる平均的な相互作用を調べる場合には、次のように定義できる。
\[
\overline{\mathcal I}_{t+1}(T)
=
\mathbb E_{c\sim P}
[\mathcal I_{t+1}(c,T)].
\]
この値は、評価対象全体で入力変換の符号付き効果がどれだけ変化したかを表す。ただし、正と負の相互作用は相殺されるため、個々の入力における相互作用の大きさを把握するには、絶対値の平均も併せて評価する必要がある。
\[
I^{\mathrm{abs}}_{t+1}(T)
=
\mathbb E_{c\sim P}
\left[
|\mathcal I_{t+1}(c,T)|
\right].
\]
例えば、ある入力では相互作用が +0.20、別の入力では −0.20 となった場合、両者を等しく重み付けした平均相互作用は 0 になる。しかし、絶対値の平均は 0.20 となり、構造更新によって入力への応答が変化したことを捉えられる。これは、前章で扱った遮断率の差と判定反転率の関係に対応する。
また、各要因への寄与を特定の順序に依存させたくない場合には、二つの分解で得られた寄与を平均する方法も定義できる。入力変換による寄与を、更新前後の構造で測定した差の平均として次のように置く。
\[
\begin{aligned}
\Delta_{\mathrm{input}}^{\mathrm{sym}}(c,T)
=
\frac12\bigl[
&q_t(Tc)-q_t(c)\\
+{}&q_{t+1}(Tc)-q_{t+1}(c)
\bigr].
\end{aligned}
\]
同様に、構造更新による寄与を、元の入力と変換後の入力に対する更新効果の平均として定義する。
\[
\begin{aligned}
\Delta_{\mathrm{structure}}^{\mathrm{sym}}(c,T)
=
\frac12\bigl[
&q_{t+1}(c)-q_t(c)\\
+{}&q_{t+1}(Tc)-q_t(Tc)
\bigr].
\end{aligned}
\]
両者の和は、入力変換と構造更新の総変化に一致する。
\[
\Delta_{\mathrm{input}}^{\mathrm{sym}}(c,T)
+
\Delta_{\mathrm{structure}}^{\mathrm{sym}}(c,T)
=
q_{t+1}(Tc)-q_t(c).
\]
先ほどの仮想例では、入力変換への寄与は \((0.20+0.45)/2=0.325\)、構造更新への寄与は \((0.05+0.30)/2=0.175\) となる。二つを加えると 0.50 であり、総変化と一致する。これは二要因の変更順序を対称に扱うための寄与配分であり、各要因に固有の因果効果が一意に存在することを証明するものではない。
四条件を実測できれば、入力変換、構造更新、相互作用をそれぞれ観測可能な差として記述できる。しかし、ガード内部のどの重みや規則が変化を生んだかは、この分解だけでは特定できない。例えば、翻訳に対する感度が更新後に増加したとしても、それが多言語処理能力、学習データ、判定閾値、内部の特徴表現のどの変更に由来するかは、追加の比較条件や内部情報を必要とする。
6.4 構造振幅から出力差を推論するための条件
構造振幅 \(A_{t+1}\) と観測された遮断確率の差を結びつけるには、観測写像が構造の変更に対してどのように応答するかを明示する必要がある。構造間の距離が小さくても判定境界付近では二値判定が反転し得るため、構造振幅の小ささだけから判定反転率の小ささを結論することはできない。
そこで、構造 \(S\) に対する遮断確率 \(q(S,c)\) が、構造距離 \(d\) に関して一定の変化率で抑えられる場合を考える。すべての比較対象構造 \(S,S’\) と評価入力 \(c\) について、共通の定数 \(L\ge0\) が存在し、次の条件を満たすと仮定する。
\[
\boxed{
|q(S’,c)-q(S,c)|
\le
L\,d(S’,S)
}
\]
この条件は、構造間の距離が小さいとき、遮断確率の差も一定の範囲に収まることを表す。数学的には、構造距離に関するリプシッツ連続性と呼ばれる性質である。\(L\) は構造の単位変化に対して遮断確率がどの程度変化し得るかを上から抑える定数であり、値が小さいほど同じ構造変更に対する出力差の上限が小さくなる。
ただし、この条件は追加の仮定である。構造振動モデルの基本定義から自動的に導かれるものではない。特に、埋め込み写像 \(\phi\) が異なる判断構造を同じベクトルへ写す場合、構造距離が 0 でも判定が異なる可能性がある。この場合、上の不等式の右辺は 0 となるため、有限の \(L\) では条件を満たせない。
この問題を避ける一つの方法は、遮断確率が埋め込みベクトルを通じて表現できると仮定することである。すなわち、ある関数 \(\widetilde q\) が存在して、次の関係が成立するとする。
\[
q(S,c)=\widetilde q(\phi(S),c).
\]
この条件は、同じ埋め込みベクトルを持つ構造が、評価対象の入力について同じ遮断確率を返すことを要求する。さらに、\(\widetilde q\) が埋め込み空間上でリプシッツ連続であれば、先ほどの不等式が成立する。したがって、構造振幅を出力差の上限へ結びつけるには、埋め込みが観測に必要な構造情報を保存していることと、観測写像がその座標に対して一定の連続性を持つことが必要になる。
この仮定が成立すると、更新前後の構造について次の評価が得られる。
\[
\begin{aligned}
|q_{t+1}(c)-q_t(c)|
&\le
L\,d(S_{t+1},S_t)\\
&=
L A_{t+1}.
\end{aligned}
\]
これは、構造更新による遮断確率の変化が、構造振幅と定数 \(L\) の積以下となることを意味する。例えば、構造振幅が 0.02、リプシッツ定数が 3 であれば、同じ入力に対する遮断確率の差は最大 0.06 と評価できる。ただし、この上限は仮定した距離と定数に依存するため、実際のモデルで使用するには、それらが適切に定義され、対象領域で条件が成立することを確認する必要がある。
この関係を入力変換と構造更新の加法分解へ適用すると、両方の変更による総変化についても上限を導ける。
\[
\begin{aligned}
|q_{t+1}(Tc)-q_t(c)|
\le{}&
|q_t(Tc)-q_t(c)|\\
&+
|q_{t+1}(Tc)-q_t(Tc)|.
\end{aligned}
\]
右辺の第二項にリプシッツ条件を適用すれば、次の不等式となる。
\[
\boxed{
|q_{t+1}(Tc)-q_t(c)|
\le
|q_t(Tc)-q_t(c)|
+
L A_{t+1}
}
\]
右辺の第一項は、更新前のガードが入力変換に対して示す遮断確率の差である。第二項は、構造更新によって生じ得る遮断確率の差の上限である。したがって、全体の変化を、更新前の入力応答変動と構造振幅に基づく上限によって評価できる。
同じ評価分布 \(P\) について期待値を取ると、前章で定義した応答変動 \(B_t(T)\) を用いて、次の関係が得られる。
\[
\boxed{
\mathbb E_{c\sim P}
\left[
|q_{t+1}(Tc)-q_t(c)|
\right]
\le
B_t(T)+L A_{t+1}
}
\]
この式は、入力変換と構造更新を同時に行った場合の平均的な遮断確率の変化に対する上限を示す。更新前のガードが意味保存変換に対して安定しており、構造更新の振幅も小さく、さらにリプシッツ条件が成立していれば、両方を変更した場合の出力差も一定の範囲に抑えられる。
さらに、構造更新によって入力変換への感度そのものがどれだけ変わり得るかも評価できる。更新前後の応答変動を、同じ変換 \(T\) と評価分布 \(P\) の下で比較する。
\[
\begin{aligned}
B_t(T)
&=
\mathbb E_{c\sim P}
|q_t(Tc)-q_t(c)|,\\
B_{t+1}(T)
&=
\mathbb E_{c\sim P}
|q_{t+1}(Tc)-q_{t+1}(c)|.
\end{aligned}
\]
二つの絶対差の違いを評価するには、絶対値に関する逆三角不等式を利用できる。
\[
\bigl||a|-|b|\bigr|
\le
|a-b|.
\]
ここで \(a=q_{t+1}(Tc)-q_{t+1}(c)\)、\(b=q_t(Tc)-q_t(c)\) と置くと、右辺は入力変換に対する応答の更新前後の差になる。この差を構造更新による二つの遮断確率の差へ分け、それぞれにリプシッツ条件を適用すると、次の関係が得られる。
\[
\begin{aligned}
|B_{t+1}(T)-B_t(T)|
&\le
\mathbb E_{c\sim P}
\left[
\left|
|q_{t+1}(Tc)-q_{t+1}(c)|
–
|q_t(Tc)-q_t(c)|
\right|
\right]\\
&\le
\mathbb E_{c\sim P}
\left[
|q_{t+1}(Tc)-q_t(Tc)|
+
|q_{t+1}(c)-q_t(c)|
\right]\\
&\le
2L A_{t+1}.
\end{aligned}
\]
したがって、次の上限が成立する。
\[
\boxed{
|B_{t+1}(T)-B_t(T)|
\le
2L A_{t+1}
}
\]
この不等式は、構造更新による入力応答変動の変化量が、構造振幅の二倍のリプシッツ上限によって抑えられることを示す。二倍という係数は、元の入力 \(c\) と変換後の入力 \(Tc\) の双方に対して、構造更新の影響が現れるために生じる。
ただし、この不等式が成立するためには、更新前後で同じ埋め込み尺度、同じ評価分布、同じ入力変換を使用し、比較対象の全入力に対して共通のリプシッツ条件が成立する必要がある。実際の学習済みモデルでは、これらの条件を検証すること自体が課題となる。例えば、遮断確率は連続的に変化していても、閾値によって二値判定へ変換される段階で判定が不連続に反転する場合がある。確率空間で成立する上限を、二値判定の反転率へそのまま適用することはできない。
また、リプシッツ条件を満たす定数 \(L\) を一つの構造更新について事後的に求めることと、未知の構造更新に対して有効な共通の上限を確認することは異なる。有限個の構造と入力について観測された比率から、その範囲外でも同じ上限が成立すると推論するには追加の根拠が必要になる。
以上の関係は、構造振動モデルから安全判定の安定性に関する検証可能な仮説を導くものである。構造振幅が小さく、観測写像が構造距離に対して十分に連続的であれば、構造更新による遮断確率の差には上限を設定できる。一方、埋め込みが判断に必要な構造差を失っている場合や、閾値による不連続な判定が存在する場合には、この上限の適用範囲が制限される。したがって、構造振幅と応答変動の関係を主張するには、埋め込みの性質と観測写像の性質を別々に検証する必要がある。
6.5 観測可能性と評価手続きによる制約
入力変換と構造更新の分解を実際に測定するには、更新前後のガードに対して同じ入力群を評価できる必要がある。しかし、運用中のガードでは旧バージョンが利用できなくなる場合や、外部 API の内部構成が利用者から観測できない場合がある。その場合、同じ時点の四条件を再現することが難しくなり、入力変換と構造更新の寄与を完全には分離できない。
例えば、外部サービスのガードが更新された後で、過去の英語条件の判定結果と現在の日本語条件の判定結果だけを比較したとする。この場合、得られるのは \(q_{t+1}(Tc)-q_t(c)\) に対応する総変化である。更新前のガードによる変換後入力の判定 \(q_t(Tc)\) や、更新後のガードによる元の入力の判定 \(q_{t+1}(c)\) が取得できなければ、入力変換と構造更新の各項を直接計算できない。
同様に、構造更新が観測された誤判定への対応として行われた場合、更新対象の選定そのものが過去の評価結果に依存する。誤判定が多かった入力だけを使って更新後の性能を測定すると、その入力群で改善が観測されても、別の入力群で同じ改善が成立するとは限らない。構造更新の効果を評価するには、更新の判断に使用した入力と、更新後の検証に使用する入力を分けることが望ましい。
また、確率的なガードでは、四条件のそれぞれについて遮断確率を推定する必要がある。例えば、更新前後のガードに同じ入力を一回ずつ与えて判定が反転した場合、その差には実行ごとの確率的な変動が含まれる。反復実行によって遮断確率を推定し、入力単位で比較することで、構造更新と入力変換による変化を確率の差として評価できる。ただし、反復回数が少ない場合には、推定誤差によって相互作用の値も大きく変動し得る。
さらに、評価結果そのものをどのように採点するかという条件も固定する必要がある。例えば、あるモデルが「遮断」という文章を返し、別のモデルが構造化された形式で遮断理由を返す場合、出力内容が同じ判断を表していても、採点処理が形式の違いを正しく扱えなければ、判定差が生じたように記録される可能性がある。入力への感度を評価する研究では、モデルの出力そのものの変化と、採点手続きによって生じる見かけの変化を区別する必要性も指摘されている[14]。
採点規則を \(K\) とし、モデルが生成した生の出力を \(z=G_{\mathrm{raw}}(S,c)\) とすると、観測される二値判定は次のように表せる。
\[
b=K(z).
\]
この場合、判定結果 \(b\) の変化には、モデルの生の出力 \(z\) が変わる場合と、採点規則 \(K\) が変わる場合がある。構造 \(S\) と入力 \(c\) を固定しても、採点規則を変更すれば観測された評価値が変化する可能性がある。したがって、構造更新の効果を検証する際には、モデルの出力形式と採点手続きも比較可能な状態に保つ必要がある。
この区別を構造振動モデルの観測写像へ反映するなら、出力の生成と評価を二段階に分けられる。
\[
O=K(G_{\mathrm{raw}}(S,C)).
\]
第一段階の \(G_{\mathrm{raw}}\) は、構造と環境からモデルの出力を生成する。第二段階の \(K\) は、その出力を評価に用いる遮断判定や得点へ変換する。評価対象がモデルの生の出力なのか、採点後の判定なのかを区別することで、観測された差がどの段階で生じたかを検討できる。
ただし、\(K\) の変更もシステム全体の構造変更として定義することは可能である。その場合には、構造変数 \(S_t\) の中に採点規則を含める必要がある。どちらの表現を採用しても、比較実験ではモデル本体、入力、採点規則のうち何を固定し、何を変更したかを明示することが必要となる。
| 比較対象 | 必要な観測条件 | 欠けた場合の制約 |
|---|---|---|
| 入力変換の効果 | 同じガードに元の入力と変換後の入力を与える。 | 構造更新が同時に発生すると、入力だけの影響を分離できない。 |
| 構造更新の効果 | 更新前後のガードに同じ入力を与える。 | 入力条件が異なると、構造更新だけの影響を測定できない。 |
| 入力と構造更新の相互作用 | 更新前後の構造と、変換前後の入力の四条件を評価する。 | 一部の条件が欠けると、差の差として定義した相互作用を直接計算できない。 |
| 構造振幅 \(A_{t+1}\) | 更新前後の構造について、共通の埋め込みと尺度を用いる。 | 内部構造を観測できない場合、構造振幅の値は追加の仮定なしには決められない。 |
| 遮断確率 | 確率的なガードについて、各条件を反復して評価する。 | 単発の判定反転に含まれる実行ごとのばらつきを分離しにくい。 |
| 採点後の判定 | 生の出力を評価する採点規則と出力形式を固定する。 | 採点方法の違いによる変動が、モデルの応答変動に混入する。 |
構造振動モデルによる安全判定の分析では、構造振幅 \(A_{t+1}\)、入力応答変動 \(B_t(T)\)、構造更新による応答差 \(D_{t+1}(c)\)、入力と構造更新の相互作用 \(\mathcal I_{t+1}(c,T)\) が、それぞれ異なる情報を持つ。構造振幅は判断構造の変化量を表し、入力応答変動は固定された判断構造の表現への感度を表す。構造更新による応答差は同じ入力に対する判定の変化を表し、相互作用は構造更新によって入力変換への感度がどのように変化したかを表す。
これらを別々に測定することで、構造更新が望ましい効果を持ったかどうかを具体的に評価できる。例えば、多言語対応を目的としてガードを更新した場合、単に英語条件の正解率が維持されたことだけでは改善を判断できない。更新前後で同じ多言語入力群を評価し、言語変更への応答変動が低下したか、危険操作の検出率が維持されたか、安全操作の誤遮断が増加していないかを確認する必要がある。
一方、構造振幅が小さい更新であっても、判断境界付近に多数の入力が分布していれば、判定反転が集中する可能性がある。構造振幅の小ささを安全性の保証へ結びつけるには、観測写像の連続性や埋め込みの情報保存に関する条件が必要となる。今回導いたリプシッツ条件の下では、構造振幅から遮断確率の差に対する上限を設定できるが、その条件が実際のガードに成立するかどうかは独立した検証対象である。
言語変更による安全判定の差を扱った研究は、固定されたガードに対する入力応答変動を観測している。表記上の特徴への介入を扱った研究も、固定された構造が入力変更に対して示す応答を測定している。これらの結果は、構造振幅と応答変動の関係を直接検証したものではない。両者を結びつけるには、構造更新前後の比較を追加し、同じ入力変換への感度がどの程度変化したかを測る必要がある。
安全判定の安定性を評価するには、何が変わったかという条件を構造、入力、観測、採点へ分解し、その条件に対応する測定量を選ぶ必要がある。構造振動モデルは、この分解を時間的な構造更新の枠組みへ接続し、入力への感度を構造更新後の再評価対象として位置づける。構造をどれだけ変更したかという問いと、その変更によって必要な判定を維持しながら不要な応答変動を減らせたかという問いを分離することで、安全性の改善を検証可能な問題として定式化できる。
7. 判定変動と評価指標の変動を別々に測る
安全判定の評価値は、ガードが各操作に返した判定だけで決まるわけではない。どの操作を評価対象に含めるか、複数の操作をどの単位で集計するか、安全な操作と危険な操作にどの程度の重みを与えるかによって、同じ判定結果から異なる評価値が得られる。例えば、一つの利用者の依頼から 20 回のツール操作が発生する場合と、2 回で完了する場合では、すべての操作を均等に集計する方法と、依頼ごとに均等に集計する方法で評価結果が変わる。
ここで区別すべき変化は、ガードの判定そのものの変化と、判定結果を数値へ変換する評価手続きの変化である。前者は、構造や入力条件を変更したときに観測される。後者は、構造、入力、各操作の判定がすべて同じでも発生し得る。評価対象の重み付けを変更しただけで F1 が変化したなら、その差をガードの安全性が改善または悪化した結果と解釈することはできない。評価値が何を単位として測定しているかを明示する必要がある。
構造振動モデルでは、構造 \(S_t\) と入力 \(C_t\) から観測 \(O_t\) が得られる。安全判定の評価へ適用する場合、個々の判定結果を得る過程と、複数の判定結果を集計する過程を分離できる。前者はガードの観測写像に対応し、後者は評価対象の選択や重み付けを定める測定手続きに対応する。両者を区別することで、構造更新による変化、入力変換への応答変動、評価方法による得点差を、それぞれ独立した測定対象として扱える。
7.1 集計単位によって対象とする確率が変わる
一つの利用者の依頼から、エージェントが複数回のツール操作を実行する状況を考える。ある依頼では 20 回の操作が発生し、別の依頼では 2 回しか発生しないとする。すべての操作を均等に集計すると、前者の依頼は後者の十倍の重みを持つ。一方、依頼ごとに平均損失を求め、その平均値を均等に集計すると、二つの依頼は同じ重みになる。
この違いを数式で表すため、評価対象となる対話または依頼を \(j=1,\ldots,J\) とし、対話 \(j\) に含まれる操作ステップ数を \(n_j\) とする。各操作ステップに対する分類損失を \(\ell_{ji}\) とし、誤判定なら 1、正判定なら 0 と定義する。対話 \(j\) における平均分類損失は、次のようになる。
\[
r_j
=
\frac{1}{n_j}
\sum_{i=1}^{n_j}\ell_{ji}.
\]
\(r_j\) は、その対話に含まれる操作のうち、どの程度の割合で誤判定が発生したかを表す。例えば、20 回の操作のうち 2 回で誤判定が発生した場合、\(r_j=2/20=0.10\) となる。2 回の操作のうち 1 回で誤判定が発生した場合には、\(r_j=1/2=0.50\) となる。両方の対話で誤判定は発生しているが、対話内の誤判定率は異なる。
すべての操作ステップを等しい重みで評価する場合、平均損失は次のように定義される。
\[
R_{\mathrm{step}}
=
\frac{
\displaystyle\sum_{j=1}^{J}
\sum_{i=1}^{n_j}\ell_{ji}
}{
\displaystyle\sum_{j=1}^{J}n_j
}
=
\frac{
\displaystyle\sum_{j=1}^{J}n_jr_j
}{
\displaystyle\sum_{j=1}^{J}n_j
}.
\]
第一の表現は、すべての操作ステップの損失を合計し、総操作数で割ったものである。第二の表現は、対話ごとの平均損失 \(r_j\) に、その対話のステップ数 \(n_j\) を掛けて集計したものである。つまり、ステップ単位の評価では、長い対話ほど大きな重みを持つ。
これに対して、各対話を等しい重みで評価する場合には、次のようになる。
\[
R_{\mathrm{traj}}
=
\frac{1}{J}
\sum_{j=1}^{J}r_j
=
\frac{1}{J}
\sum_{j=1}^{J}
\frac{1}{n_j}
\sum_{i=1}^{n_j}\ell_{ji}.
\]
この式は、各対話の平均損失を先に求め、その値を対話数 \(J\) で平均する。したがって、20 ステップの対話も 2 ステップの対話も、全体に対して同じ重みを持つ。ただし、対話内では各ステップを均等に扱うため、個々の操作の重みは、その対話の長さによって異なる。
例えば、20 ステップの対話では誤判定が 0 件、2 ステップの対話では誤判定が 1 件だったとする。この数値は集計方法の違いを示すための仮想例である。ステップ単位の平均損失と対話単位の平均損失は、次のようになる。
\[
\begin{aligned}
R_{\mathrm{step}}
&=
\frac{0+1}{20+2}
=
\frac{1}{22}
\approx0.0455,\\
R_{\mathrm{traj}}
&=
\frac{1}{2}
\left(
\frac{0}{20}
+
\frac{1}{2}
\right)
=
0.25.
\end{aligned}
\]
ステップ単位では誤判定率が約 4.55% である一方、対話単位では 25% となる。元の判定結果は一件も変化していない。長い対話で誤判定が発生せず、短い対話で誤判定が発生したため、長い対話の寄与が大きいステップ単位の評価では、全体の平均損失が小さくなったのである。
反対に、20 ステップの対話で 1 件の誤判定が発生し、2 ステップの対話では誤判定が 0 件だったとする。この場合、ステップ単位の平均損失は同じ \(1/22\) であるが、対話単位の平均損失は \((1/20+0)/2=0.025\)、すなわち 2.5% となる。どの対話で誤判定が発生したかによって、二つの評価方法の大小関係が逆転する。
この違いは、対話の長さと対話内の誤判定率の関係から説明できる。対話の平均ステップ数を \(\bar n\)、対話の平均損失を \(\bar r\) とする。
\[
\bar n
=
\frac{1}{J}\sum_{j=1}^{J}n_j,
\qquad
\bar r
=
\frac{1}{J}\sum_{j=1}^{J}r_j.
\]
さらに、対話の長さと平均損失の共分散を次のように定義する。
\[
\operatorname{Cov}_J(n,r)
=
\frac{1}{J}
\sum_{j=1}^{J}
(n_j-\bar n)(r_j-\bar r).
\]
共分散は、長い対話ほど誤判定率が高い傾向にある場合には正となり、長い対話ほど誤判定率が低い傾向にある場合には負となる。ステップ単位と対話単位の平均損失の差を計算すると、次の恒等式が得られる。
\[
\boxed{
R_{\mathrm{step}}
–
R_{\mathrm{traj}}
=
\frac{
\operatorname{Cov}_J(n,r)
}{
\bar n
}
}
\]
この式は、二つの集計方式の差が、対話の長さと誤判定率の共分散によって決まることを示す。長い対話ほど誤判定率が高ければ、ステップ単位の平均損失は対話単位の平均損失より大きくなる。長い対話ほど誤判定率が低ければ、逆の関係になる。両者の共分散が 0 なら、二つの平均損失は一致する。
例えば、長い対話が比較的単純な定型業務に集中し、短い対話に権限の判断が難しい操作が多い場合、ステップ単位の評価では定型業務が大きな重みを持つ。結果として、操作単位の平均損失は低くても、依頼単位では判断の難しい業務に誤判定が集中する可能性がある。反対に、長い対話ほど操作履歴が複雑になり、判定器の誤りが増加する場合には、ステップ単位の評価の方が高い損失を示す。
ただし、対話ごとの平均損失と、対話全体が正常に完了した割合も異なる。例えば、20 ステップのうち 1 ステップだけ誤判定が発生した場合、対話内の平均損失は 5% となる。一方、すべての操作が正しく判定されたことを対話の成功条件とするなら、その対話全体は失敗に分類される。操作単位の評価と、依頼単位の成功・失敗の評価では、成功条件そのものが異なる。
全操作の判定が正しい場合に限って対話を成功とする評価を考える。この条件の下では、対話 \(j\) に少なくとも一件の誤判定が存在することを示す損失を、次のように定義できる。
\[
L_j^{\mathrm{any}}
=
\mathbf{1}
\left[
\sum_{i=1}^{n_j}\ell_{ji}>0
\right].
\]
\(L_j^{\mathrm{any}}\) は、対話内に一件でも誤判定があれば 1、すべて正しければ 0 となる。これを対話単位で平均すると、少なくとも一件の誤判定を含む対話の割合が得られる。
\[
R_{\mathrm{task}}
=
\frac{1}{J}
\sum_{j=1}^{J}
L_j^{\mathrm{any}}.
\]
この量は、ステップ単位の誤判定率とも、対話内の誤判定率を平均した \(R_{\mathrm{traj}}\) とも異なる。例えば、20 ステップのうち 1 件だけ誤判定があった対話では、\(r_j=0.05\) だが、\(L_j^{\mathrm{any}}=1\) となる。実運用でどちらを重視するかは、個別の誤判定が依頼全体へどのような影響を与えるかによって決まる。誤って遮断された操作を再試行できる場合と、危険な操作を一度許可すると資源が不可逆的に変更される場合では、失敗の意味が異なる。
| 評価単位 | 測定する量 | 長い対話の扱い | 評価上の意味 |
|---|---|---|---|
| 操作ステップ単位 | \(R_{\mathrm{step}}\)。 | 操作数が多い対話ほど大きな重みを持つ。 | 無作為に選んだ操作ステップにおける平均的な誤判定率を測る。 |
| 対話単位の均等重み | \(R_{\mathrm{traj}}\)。 | 各対話が同じ重みを持つ。 | 無作為に選んだ対話の内部における平均誤判定率を測る。 |
| 全操作の正しさを要求する対話単位 | \(R_{\mathrm{task}}\)。 | ステップ数にかかわらず、誤判定を含む対話を 1 件の失敗として数える。 | 全操作が正しく判定されたことを成功条件とする場合の、対話単位の失敗率を測る。 |
この三種類の評価には、それぞれ異なる目的がある。操作ステップ単位の評価は、ガードが実行直前の操作をどの程度正しく判断したかを測定する。対話単位の均等重みは、一つの依頼に含まれる操作数の違いを調整する。全操作の正しさを要求する評価は、一件でも誤判定があれば対話が失敗したとみなす成功条件に対応する。いずれも有効な評価方法になり得るが、測定対象を明示して使い分ける必要がある。
7.2 F1 と均衡精度が異なる方向へ変化する理由
平均分類損失は、個々の判定が正しいかどうかを線形に集計する指標である。一方、安全判定では、危険な操作の検出能力を重視するため、F1 や均衡精度も用いられる。これらは真陽性、偽陽性、偽陰性、真陰性の件数から計算されるため、評価対象の重み付けによって異なる値を取る。
危険な操作を正例、安全な操作を負例とすると、四種類の判定結果は次のように分類される。
| 分類 | 正解ラベルとガード判定 | 安全判定上の意味 |
|---|---|---|
| 真陽性 TP | 危険な操作を遮断した。 | 危険操作を正しく検出した。 |
| 偽陽性 FP | 安全な操作を遮断した。 | 正当な操作を誤って停止した。 |
| 偽陰性 FN | 危険な操作を許可した。 | 本来遮断すべき操作を見逃した。 |
| 真陰性 TN | 安全な操作を許可した。 | 正当な操作を正しく通過させた。 |
危険な操作を正しく検出した件数を \(\mathrm{TP}\)、安全な操作を誤って遮断した件数を \(\mathrm{FP}\)、危険な操作を見逃した件数を \(\mathrm{FN}\) とする。F1 は、適合率と再現率の調和平均であり、混同行列から直接、次のように計算できる。
\[
F_1
=
\frac{
2\mathrm{TP}
}{
2\mathrm{TP}+\mathrm{FP}+\mathrm{FN}
}.
\]
分子は正しく検出された危険操作の件数に対応し、分母には過剰遮断と見逃しの両方が含まれる。F1 は危険操作を正例とする分類性能をまとめた指標であり、真陰性 \(\mathrm{TN}\) は式に直接現れない。そのため、安全な操作が多数含まれる評価データであっても、そのうち正しく許可された件数は F1 に直接加算されない。
一方、均衡精度は危険な操作の検出率と、安全な操作の正しい許可率を等しい重みで平均する。危険操作の検出率を \(\mathrm{TPR}\)、安全操作の正しい許可率を \(\mathrm{TNR}\) とすると、次のようになる。
\[
\begin{aligned}
\mathrm{BalancedAccuracy}
&=
\frac12
\left(
\mathrm{TPR}+\mathrm{TNR}
\right)\\
&=
\frac12
\left(
\frac{\mathrm{TP}}{\mathrm{TP}+\mathrm{FN}}
+
\frac{\mathrm{TN}}{\mathrm{TN}+\mathrm{FP}}
\right).
\end{aligned}
\]
均衡精度は、危険な操作と安全な操作をそれぞれ一つの集団として評価するため、危険操作が多数派か少数派かという件数比率そのものには左右されにくい。ただし、集計単位や重み付けを変えれば、正例群と負例群の内部における構成も変わり得るため、実際の均衡精度が変化する可能性はある。
論文 B では、AgentHarm-Traj における TS-Guard の評価を、操作ステップ単位、対話単位の均等重み、対話ごとの多数決という三種類の方法で比較している[10]。AgentHarm-Traj には 731 件の操作ステップが含まれ、その内訳は危険な操作が 525 件、安全な操作が 206 件である。これらは 197 件の対話に対応し、危険な対話が 72 件、安全な対話が 125 件となっている。
危険な対話には平均 7.29 ステップが含まれるのに対し、安全な対話には平均 1.65 ステップしか含まれない。このため、操作ステップを均等に集計すると、危険な対話が安全な対話より多くの重みを持つ。実際に、危険な操作が占める割合はステップ単位では約 71.8% であるが、対話単位では約 36.5% となる。
\[
\begin{aligned}
\pi_{\mathrm{unsafe}}^{\mathrm{step}}
&=
\frac{525}{731}
\approx0.718,\\
\pi_{\mathrm{unsafe}}^{\mathrm{traj}}
&=
\frac{72}{197}
\approx0.365.
\end{aligned}
\]
つまり、ステップ単位では危険な操作が多数派である一方、対話単位では安全な対話が多数派となる。同じデータを使っていても、評価単位の変更によって正解ラベルの構成比が大きく変化する。この差は、F1 のように正例の割合に影響される指標へ直接作用する。
対話単位で均等に重み付けした混同行列を考える。対話 \(j\) の各ステップに、\(1/(Jn_j)\) の重みを与えると、各対話の重みの合計は \(1/J\) となる。ステップ単位の場合には、総操作数 \(N=\sum_j n_j\) に対して各ステップへ \(1/N\) の重みを与える。
\[
w_{ji}^{\mathrm{step}}
=
\frac{1}{N},
\qquad
w_{ji}^{\mathrm{traj}}
=
\frac{1}{Jn_j}.
\]
これらの重みを使って、真陽性の重み付き件数を次のように定義できる。
\[
\mathrm{TP}_w
=
\sum_{j=1}^{J}
\sum_{i=1}^{n_j}
w_{ji}
\mathbf1[y_{ji}=1,b_{ji}=1].
\]
偽陽性、偽陰性、真陰性についても、同様に各条件を満たすステップの重みを合計する。重み付き混同行列から計算する F1 は、次の式となる。
\[
F_{1,w}
=
\frac{
2\mathrm{TP}_w
}{
2\mathrm{TP}_w+\mathrm{FP}_w+\mathrm{FN}_w
}.
\]
対話単位の均等重み付けでは、長い対話に属する各ステップの重みが小さくなるため、重み付き混同行列の構成が変化する。これは、各対話で F1 を計算してから平均する方法とは異なる。F1 は混同行列の成分に対する非線形な関数であるため、重み付き件数から計算した F1 と、対話別 F1 の単純平均が一致するとは限らない。
論文 B における TS-Guard の実測値は、次のようになっている。
| 評価単位 | 正解率 | F1 | 均衡精度 |
|---|---|---|---|
| 操作ステップ単位（731 件） | 0.848。 | 0.902。 | 0.754。 |
| 対話単位の均等重み（197 件） | 0.724。 | 0.719。 | 0.776。 |
| 対話ごとの多数決（197 件） | 0.716。 | 0.714。 | 0.770。 |
操作ステップ単位から対話単位の均等重みへ変更すると、F1 は 0.902 から 0.719 へ低下する。一方、均衡精度は 0.754 から 0.776 へ上昇する。評価対象となる元の判定結果は変わっていないにもかかわらず、指標によって変化の方向が異なっている。
この違いを理解するには、F1 と正例の出現割合の関係を考える必要がある。危険操作の割合を \(\pi=P(y=1)\)、危険操作の検出率を \(\mathrm{TPR}\)、安全操作の誤検知率を \(\mathrm{FPR}\) とすると、適合率は次のように表せる。
\[
\mathrm{Precision}
=
\frac{
\pi\,\mathrm{TPR}
}{
\pi\,\mathrm{TPR}
+
(1-\pi)\,\mathrm{FPR}
}.
\]
分子は全体に占める正しい危険操作の検出割合であり、分母は全体に占める遮断判定の割合である。\(\mathrm{TPR}\) と \(\mathrm{FPR}\) が同じでも、危険操作の割合 \(\pi\) が変われば、遮断された操作のうち実際に危険な操作が占める割合が変わる。
この関係を F1 の式へ代入すると、次のように整理できる。
\[
\boxed{
F_1
=
\frac{
2\pi\,\mathrm{TPR}
}{
\pi(1+\mathrm{TPR})
+
(1-\pi)\mathrm{FPR}
}
}
\]
この式から、F1 が危険操作の出現割合 \(\pi\) に依存することが分かる。例えば、同じ検出率と誤検知率を持つガードでも、評価対象に危険操作が多く含まれる場合と、少なく含まれる場合では F1 が異なる。AgentHarm-Traj のように、危険な対話ほど多数の操作ステップを含む場合、ステップ単位の評価では危険操作の割合が高くなり、F1 に影響する。
ただし、論文で観測された F1 の差を、正例割合の変化だけによって説明することはできない。対話単位の重み付けでは、危険操作と安全操作の内部においても、長い対話と短い対話の寄与が変わるため、重み付きの検出率や誤検知率も変化し得る。正例割合への依存は F1 が変動する一つの構造的な理由であり、実測された差の内訳を確定するには、重み付け後の混同行列を分析する必要がある。
均衡精度は、危険操作の検出率と安全操作の正しい許可率を等しく扱う。このため、正例の出現割合そのものによる影響を抑えられる。一方、対話単位の均等重み付けによって各クラス内の評価対象の寄与が変われば、均衡精度も変化する。論文 B で F1 が低下し、均衡精度が上昇したという結果は、集計方法の変更が評価指標へ一様に作用するわけではないことを示している。
対話ごとの多数決による評価は、さらに異なる条件を導入する。各対話に含まれるステップの判定を一つの代表判定へ集約するため、個々の操作ステップの情報の一部が失われる。例えば、長い対話に一件だけ危険な操作の見逃しがあっても、多数の正しい判定によって代表判定が正しくなる可能性がある。したがって、多数決による対話単位の F1 と、対話単位で均等に重み付けした混同行列から得られる F1 は、同じ測定量ではない。
安全判定の評価では、操作単位での誤判定、依頼単位での信頼性、危険操作と安全操作の識別性能を、それぞれ異なる指標として管理する必要がある。特に危険な操作の見逃しは、一回の許可によって実際の資源変更へつながる可能性があるため、対話の多数決で正しく分類されたことだけをもって、すべての操作が安全に管理されたとは判断できない。
7.3 集団別のリスクと最悪条件
操作単位と対話単位の違いに加え、安全判定では、どの言語や業務領域を評価するかによっても結果が変わる。例えば、英語の依頼が評価データの大部分を占め、アムハラ語の依頼が少数しか含まれていない場合、全体の平均誤判定率は英語条件の性能に強く影響される。アムハラ語で危険操作の見逃しが増加していても、その集団の評価件数が少なければ、全体平均への寄与は小さくなる。
このような偏りを調べるため、評価対象を言語、業務領域、操作の種類、認可条件などに基づいて集団へ分割する。集団の集合を \(\mathcal G\)、集団 \(g\) に属する入力と正解ラベルの分布を \(P_g\) とする。ガードの構造を \(S\)、入力 \(c\) に対する遮断確率を \(q_S(c)\) と書くと、集団別の平均損失を次のように定義できる。
\[
R_g(S)
=
\mathbb E_{(c,y)\sim P_g}
\left[
\ell(y,q_S(c))
\right].
\]
\(\ell\) は安全判定の誤りに対して与える損失を表す関数である。例えば、危険な操作を許可した場合と、安全な操作を遮断した場合を同じ重みで扱うなら、通常の分類誤りに対応する損失を使える。しかし、危険な操作の見逃しが資源の削除や情報漏えいにつながる場合と、正当な操作が一時的に停止する場合では、運用上の影響が異なる。そのため、両者に異なる損失を与えることも考えられる。
危険操作の見逃し一件に対する損失係数を \(c_{\mathrm{FN}}\)、安全操作の誤遮断一件に対する損失係数を \(c_{\mathrm{FP}}\) とする。\(y=1\) を危険操作、\(y=0\) を安全操作とし、遮断確率が \(q_S(c)\) の場合、分類結果に関する期待損失は次のように定義できる。
\[
\ell(y,q_S(c))
=
c_{\mathrm{FN}}\,y\left(1-q_S(c)\right)
+
c_{\mathrm{FP}}\,(1-y)q_S(c).
\]
第一項は危険な操作についての見逃し損失である。危険操作の場合には \(y=1\) となり、許可される確率 \(1-q_S(c)\) に損失係数を掛ける。安全操作では \(y=0\) となるため、この項は 0 になる。第二項は安全な操作についての誤遮断損失であり、安全操作の場合に遮断確率 \(q_S(c)\) へ損失係数を掛ける。
この定義では、損失係数を変えることで、危険操作の見逃しと正当な操作の停止に異なる負担を設定できる。ただし、これらの係数は評価対象の制度や運用条件に応じて決める必要がある。例えば、削除操作のように結果を取り消しにくい処理では、見逃しによる損失が大きくなる場合がある。一方、業務上必須の操作が頻繁に遮断される環境では、誤遮断による累積的な負担も大きくなる。
集団 \(g\) における危険操作の出現割合を \(\pi_{g,1}=P_g(y=1)\) とし、同じ集団での誤検知率と見逃し率を、それぞれ \(\mathrm{FPR}_g\)、\(\mathrm{FNR}_g\) とする。このとき、集団別の期待損失は次のように表せる。
\[
\boxed{
R_g(S)
=
c_{\mathrm{FN}}\,
\pi_{g,1}\mathrm{FNR}_g(S)
+
c_{\mathrm{FP}}\,
(1-\pi_{g,1})\mathrm{FPR}_g(S)
}
\]
この式は、集団別の損失が、誤検知率と見逃し率だけでなく、その集団に危険操作がどの程度含まれているかにも依存することを示す。例えば、二つの言語で誤検知率と見逃し率が等しくても、危険操作の出現割合が異なれば、平均損失は異なる可能性がある。これは、評価対象の集団構成と、ガード自身の条件付き性能を区別する必要があることを意味する。
評価対象に含まれる集団の重みを \(\alpha_g\) とし、\(\alpha_g\ge0\)、\(\sum_{g\in\mathcal G}\alpha_g=1\) とする。このとき、全体の平均損失は、集団別の損失の重み付き平均として表される。
\[
R_{\mathrm{avg}}(S)
=
\sum_{g\in\mathcal G}
\alpha_g R_g(S).
\]
\(\alpha_g\) は、各集団が評価全体にどれだけ寄与するかを表す。評価データの件数比率をそのまま使用すれば、多数の操作を含む集団ほど大きな重みを持つ。一方、各言語を等しく評価するなら、言語ごとの重みを均等に設定できる。どちらの場合も、重みの選択によって平均損失が変化する。
例えば、英語条件の平均損失が 0.01、アムハラ語条件の平均損失が 0.20 とする。この数値は集団別評価の性質を説明するための仮想例である。評価データの 95% が英語、5% がアムハラ語で構成されている場合、全体の平均損失は次のようになる。
\[
\begin{aligned}
R_{\mathrm{avg}}
&=
0.95(0.01)+0.05(0.20)\\
&=
0.0195.
\end{aligned}
\]
平均損失は 1.95% であり、評価全体では比較的小さな値となる。しかし、アムハラ語条件だけを見ると平均損失は 20% である。全体平均が小さいという結果は、少数派の言語でも同程度の性能が得られていることを保証しない。平均損失が小さく見える直接の理由は、損失の小さい英語条件が評価データの大部分を占めているためである。
このような平均値による希釈を避ける一つの方法が、集団別の最大損失を評価することである。
\[
\boxed{
R_{\max}(S)
=
\max_{g\in\mathcal G}R_g(S)
}
\]
\(\max\) は、評価対象の集団の中で最も大きい損失を選ぶ関数である。先ほどの例では、英語条件の損失が 0.01、アムハラ語条件の損失が 0.20 であるため、最大損失は 0.20 となる。全体平均では 1.95% と表示されていた失敗が、最も条件の厳しい集団では 20% に達していることを把握できる。
重み付き平均の性質から、次の不等式が成立する。
\[
R_{\mathrm{avg}}(S)
\le
R_{\max}(S).
\]
各集団の損失を非負の重みで平均した値は、最大の集団損失を超えない。したがって、最大損失は、あらかじめ定めた集団集合の範囲において、任意の集団重み付き平均に対する上限となる。ただし、この関係が成立するのは、評価対象の集団と、その集団における損失が定義されている範囲である。評価に含めていない言語や業務領域について、同じ上限が成立することまでは示さない。
この発想は、学習時と評価時でデータの集団構成が変化する場合に、最も損失の大きい集団を重視する頑健最適化と接続する。Sagawa らは、平均的な予測性能が高くても、一部の集団で性能が低下する問題を扱い、集団別の最大損失を考慮する学習方法を研究している[15]。ただし、そこで得られた学習上の効果を、安全判定のガードへそのまま適用した場合の改善効果として解釈することはできない。安全判定へ適用するには、対象とする集団、損失関数、ガードの更新方法を定義したうえで検証する必要がある。
また、最大損失を評価する際には、標本数の違いにも注意が必要である。例えば、ある言語の評価件数が 1,000 件で、別の言語が 10 件しかない場合、後者の誤判定率は少数の判定結果によって大きく変動する。最も大きい標本損失を示した集団が、母集団でも最も大きい損失を持つとは限らない。集団ごとの標本数と推定の不確実性を併記することが必要になる。
さらに、集団によって安全な操作と危険な操作の構成比が異なる場合、平均損失だけでは失敗の種類を把握しにくい。例えば、安全な操作しか含まれない集団では、危険操作の検出率をその集団のデータから推定することはできない。同様に、危険な操作しか含まれない集団では、誤検知率を推定できない。集団別の評価を成立させるには、各指標の分母となる正解ラベルがその集団に含まれていることを確認する必要がある。
このため、安全判定の評価では、集団別の平均損失と最大損失に加え、誤検知率と危険操作の見逃し率を個別に確認する方が、失敗の原因と帰結を把握しやすい。全体平均が低くても、特定の言語で危険操作の見逃しが集中している場合と、特定の業務領域で正当な操作の過剰遮断が集中している場合では、必要な対策が異なるからである。
7.4 構造振動モデルに評価手続きを位置づける
構造振動モデルとの対応を考えると、ガードの判断構造 \(S_t\)、入力条件 \(c_i\)、個々の遮断判定 \(b_t(c_i)\)、評価指標を計算する手続きは、それぞれ独立した要素として扱える。前章までに定義した応答変動 \(B_t(T)\) は、ガードの構造を固定し、入力表現を変更したときの遮断確率の差を測定する。一方、構造振幅 \(A_t\) は、ガードの判断構造を更新したときの変化量を測定する。
評価手続きを変更した場合には、これらとは別の変化が発生する。例えば、同じ 731 件の操作判定を使い、ステップ単位の重みから対話単位の均等重みへ変更すると、ガードの構造も、各操作への入力も、個々の判定結果も変わらない。それでも F1 は 0.902 から 0.719 へ変化する。これは、判定そのものの変化ではなく、判定結果の集計方法の変化である。
この関係を明示するため、各操作の正解ラベルとガードの判定をまとめたデータを \(D_t\)、各操作へ与える重みの集合を \(w\)、評価指標を計算する写像を \(\mathcal M\) とする。評価値は次のように表せる。
\[
D_t
=
\{(y_{ji},b_t(c_{ji}))\},
\qquad
E_t
=
\mathcal M_w(D_t).
\]
\(D_t\) は、構造 \(S_t\) のガードから得られた個別判定と正解ラベルの集合である。\(\mathcal M_w\) は、重み \(w\) を使って F1 や均衡精度などを計算する評価手続きである。\(E_t\) は、その評価手続きによって得られた数値を表す。
構造と入力を固定し、同じ判定データ \(D_t\) に対して二つの重み付け \(w\) と \(w’\) を適用した場合、評価値の差は次のようになる。
\[
\Delta E_{\mathrm{weight}}
=
\mathcal M_{w’}(D_t)
–
\mathcal M_w(D_t).
\]
ここでは判定データが同一であるため、評価値の差は重み付けの変更によって生じている。ガードの構造振幅は 0 であり、入力変換に対する応答変動も発生していない。それでも評価値は変化し得る。したがって、モデルの評価値が変化したという観測結果だけから、ガードの構造更新や入力への応答変化を推定することはできない。
この区別をさらに一般化すると、安全判定の評価値は、ガードの構造、評価入力の分布、評価手続きの三つに依存する関数として記述できる。
\[
E
=
\mathcal E(S,P,w).
\]
\(S\) はガードの判断構造、\(P\) は評価対象となる入力と正解ラベルの分布、\(w\) は評価単位や重み付けを表す。構造を変更すれば個々の判定が変化する可能性がある。入力分布を変更すれば、同じガードでも評価対象の難易度や正解ラベルの構成比が変わる。重み付けを変更すれば、同じ判定データから異なる評価値が得られる。
この表現では、ある時点から別の時点へ評価値が変化した場合、少なくとも次の三つの要因を区別できる。
| 変更された条件 | 数学的な対応 | 観測される可能性のある変化 | 必要な比較 |
|---|---|---|---|
| ガードの構造 | \(S_t\rightarrow S_{t+1}\)。 | 同じ入力に対する遮断確率や判定が変わる。 | 更新前後のガードへ同じ入力群を与える。 |
| 評価入力の分布 | \(P_t\rightarrow P_{t+1}\)。 | 同じガードでも平均損失や検出率が変わる。 | 共通の評価分布を用意し、群別性能も比較する。 |
| 評価単位と重み付け | \(w\rightarrow w’\)。 | 個別判定が同じでも F1 や正解率が変わる。 | 同じ判定データを複数の集計方式で再計算する。 |
| 複数条件の同時変更 | \((S_t,P_t,w_t)\rightarrow(S_{t+1},P_{t+1},w_{t+1})\)。 | 構造更新、入力分布、測定方法の違いが評価値に混在する。 | 変更条件を個別に固定した対照比較が必要になる。 |
実運用では、これらの条件が同時に変化する場合がある。例えば、新しいガードへ更新すると同時に、対象業務が英語中心から多言語へ広がり、評価方法も操作ステップ単位から依頼単位へ変更された場合を考える。更新前後で F1 が低下したとしても、その結果にはモデル更新、入力分布の変化、重み付けの変更が含まれる。評価値の差をガードの性能低下だけに帰属させるには、他の条件を固定した比較が必要になる。
これは、構造振動モデルで観測写像をどのように定義するかという問題でもある。ガードの遮断判定を観測とする場合、評価値は観測結果から計算される派生量となる。一方、システムの運用状態を監視する目的で F1 や誤検知率を観測量に含める場合、観測写像には評価分布と集計手続きが含まれる。そのとき、評価方法の変更は、ガードの構造更新とは別の条件変更として記録する必要がある。
エージェントの信頼性を多面的に測定する研究でも、課題の成功率に加えて、一貫性、入力や環境の変更に対する頑健性、予測可能性、安全性を区別する枠組みが提案されている[16]。これらの性質は同じ正答率へ還元されるものではなく、それぞれ異なる失敗条件を測定する。安全判定へ適用する場合には、意味保存変換への応答変動、正解ラベル別の誤判定、対話単位の評価、集団別の最大損失を分離して測定することで、どの条件で信頼性が維持されるかを具体的に検証できる。
ここで、評価単位と運用上の目的との関係も整理できる。ガードが一回のツール操作を許可するか遮断するかを判断する仕組みであれば、操作単位の誤検知率と見逃し率は直接的な評価対象になる。一方、一件の依頼を安全に完了できるかを重視する場合には、対話単位の成功条件が必要になる。さらに、特定の言語や業務領域で失敗が集中することを避ける場合には、集団別の評価が必要になる。どの指標を選ぶかは、評価対象のシステムが果たすべき役割によって決まる。
これらを分離することによって、評価値の変化を構造の変化と混同せず、安全判定の失敗がどこへ集中しているかを調べられる。例えば、ガードの更新後に全体の F1 が上昇しても、特定の言語で危険操作の見逃し率が増加している可能性がある。また、F1 が低下しても、その原因が評価単位の変更であり、各操作に対する判定がまったく変化していない場合もある。どちらの現象も、単一の評価値だけでは説明できない。
安全判定の信頼性を評価するには、平均的な性能値と、その値が成立する条件を一体として扱う必要がある。どの操作を評価したのか、どの単位で集計したのか、どの言語や業務領域が含まれるのか、危険操作の見逃しと安全操作の誤遮断をどのように区別したのかを明示することで、評価値の変化を検証可能な差へ分解できる。構造振幅と応答変動に加えて、評価単位と集団別リスクを測定することにより、安全判定の安定性を、モデルの構造、入力条件、測定方法の相互関係として記述できる。
8. 安全判定の安定化を制約付き最適化として定義する
構造振動モデルによって構造の変化量と入力への応答変動を分離できたとしても、それだけで望ましい構造更新が決まるわけではない。例えば、英語で書かれたファイル削除の依頼と、その意味を保存した日本語の依頼で判定が異なる場合、言語変更に対する応答変動を小さくすることが改善目標の一つになる。しかし、すべての依頼を無条件に遮断するガードも、言語を変更しても判定が変わらないという条件を満たす。逆に、すべての依頼を無条件に許可するガードも、同じ意味で安定している。判定の一貫性だけを最適化すると、正当な操作と危険な操作を区別するという、安全判定の本来の機能が失われる可能性がある。
望ましい構造更新には、少なくとも三つの条件が必要になる。第一は、危険な操作を遮断し、安全な操作を許可する能力を確保することである。第二は、判断に必要な情報を保存した入力変換に対して、遮断確率が不必要に変化することを抑えることである。第三は、改善のための構造変更が、既存の規則や他の業務への判定へ与える影響を管理することである。これらは同じ尺度では測定できないため、評価目的と制約条件を分離した最適化問題として記述する必要がある。
構造振動モデルでは、時刻 \(t\) の判断構造 \(S_t\) に介入 \(U_t\) を加え、更新写像 \(M\) によって新しい構造 \(S_{t+1}\) が得られる。安全判定へ適用する場合、介入にはモデルの再学習、判定閾値の変更、規則の追加、情報源の取り扱いの修正などが考えられる。更新の目的を数理的に表せば、複数の候補構造のうち、必要な安全性を満たしながら、表現への不要な感度と構造変更の負担を抑えるものを選択する問題になる。
8.1 改善したい性質を目的関数へ移す
構造更新後の候補を \(S’\) とし、その候補における入力 \(c\) の遮断確率を \(q_{S’}(c)\) とする。第 3 章で定義した応答変動は、意味を保存した入力変換 \(T\) の前後で、同じ判断対象に対する遮断確率がどれだけ変わったかを測定する量である。
\[
B_{S’}(T)
=
\mathbb E_{c\sim P}
\left[
\left|q_{S’}(Tc)-q_{S’}(c)\right|
\right].
\]
ここで \(P\) は評価対象となる入力の分布であり、\(T\) は翻訳や言い換えなどの入力変換である。例えば、英語からドイツ語への翻訳について、操作、履歴、権限、依頼の意味が保存される入力群を用意すれば、その入力群における遮断確率の絶対差を平均できる。値が小さいほど、指定した変換に対して遮断確率が維持されていることを意味する。
実際には、評価したい入力変換は一種類とは限らない。言語の翻訳、同一言語内の言い換え、空白や表記の変更など、複数の条件が存在する。そこで、評価対象となる意味保存変換の集合を \(\mathcal T\) とし、各変換をどの程度重視するかを確率分布 \(\Pi\) によって定義する。複数の変換に対する平均的な応答変動は、次のように表せる。
\[
\boxed{
B_{\mathcal T}(S’)
=
\mathbb E_{T\sim\Pi}
\left[
B_{S’}(T)
\right]
}
\]
\(\Pi\) は、各変換の評価上の重みを表す。例えば、ドイツ語、フランス語、トルコ語、スワヒリ語、アムハラ語への翻訳を均等に評価するなら、各変換の重みを \(1/5\) にできる。ただし、翻訳先の言語によって意味保存の確認結果が異なる場合には、同じ重みを機械的に割り当てるだけでは適切な比較にならない。入力変換の集合には、判断に必要な関係を保存していると確認された組を採用する必要がある。
また、評価対象の言語を均等に扱うことと、実運用で各言語が使用される割合に応じて扱うことでは、測定している量が異なる。実運用で英語の利用が多いなら、利用頻度に応じた平均は英語条件の影響を強く受ける。一方、言語間での判定安定性を比較する目的で均等な重みを採用すれば、利用件数の少ない言語でも評価への寄与を確保できる。どちらを選ぶかは、運用上の平均的な負担を測定するのか、言語ごとの性能差を調べるのかによって決まる。
平均的な応答変動に加え、特定の変換で失敗が集中することも考慮する必要がある。例えば、五つの言語のうち四つで遮断確率の変動がほとんど発生せず、一つの言語だけで大きく変動している場合、平均値ではその変動が希釈される。このような条件を評価するため、変換集合の中で最大の応答変動を次のように定義できる。
\[
B_{\max}(S’)
=
\sup_{T\in\mathcal T}
B_{S’}(T).
\]
\(\sup\) は、対象となる変換の応答変動についての最小上界を表す。変換集合が有限なら、最も大きい応答変動を選ぶ最大値として計算できる。平均的な応答変動は指定した変換分布に対する性能を測定し、最大応答変動は評価対象の中で最も不安定な変換を測定する。最悪条件を重視する場合には後者を使えるが、変換集合の範囲と意味保存の成立条件を明示する必要がある。
次に、安全判定そのものの正しさを評価する。第 7 章では、評価対象を言語や業務領域などの集団 \(g\in\mathcal G\) に分け、各集団の平均損失 \(R_g(S’)\) を定義した。危険操作の見逃しと安全操作の誤遮断に異なる損失を与える場合、その定義は次のようになる。
\[
\begin{aligned}
R_g(S’)
=
\mathbb E_{(c,y)\sim P_g}
\bigl[
&c_{\mathrm{FN}}\,y(1-q_{S’}(c))\\
&+
c_{\mathrm{FP}}\,(1-y)q_{S’}(c)
\bigr].
\end{aligned}
\]
\(y=1\) は危険な操作、\(y=0\) は安全な操作を表す。\(c_{\mathrm{FN}}\) は危険操作を許可した場合の損失係数、\(c_{\mathrm{FP}}\) は安全操作を遮断した場合の損失係数である。第一項は危険操作の見逃しによる期待損失、第二項は安全操作の誤遮断による期待損失となる。
例えば、機密情報を外部へ送信する操作の見逃しと、作業用ファイルの一覧表示を誤って遮断することでは、運用上の影響が異なる。どちらの誤判定も件数としては一件だが、前者では機密性の侵害が発生し得る一方、後者では正当な処理の停止や再試行の負担が中心になる。損失係数を設定することで、この違いを評価へ反映できる。ただし、実際の損失をどのような尺度で定義するかには、対象システムのリスク評価が必要になる。
集団別の平均損失を最適化する際には、全体平均を小さくする方法と、最も損失の大きい集団を改善する方法がある。第 7 章で定義した最大リスクは、次のようになる。
\[
R_{\max}(S’)
=
\max_{g\in\mathcal G}R_g(S’).
\]
この量は、評価対象の集団の中で最も大きな平均損失を表す。例えば、英語条件では誤判定が少なく、アムハラ語条件では危険操作の見逃しが多い場合、全体平均を小さくするだけでは後者の失敗が残る可能性がある。最大リスクを目的関数へ含めることで、評価対象の中で性能が低い集団へ改善の対象を向けられる。
ただし、最大リスクだけを最小化する方法は、最大リスクを持たない集団の性能低下を必ずしも防がない。また、複数の集団のうち最も損失が大きい集団は、構造更新によって入れ替わる可能性がある。例えば、アムハラ語条件の損失が改善された後、ドイツ語条件が最大損失を持つようになる場合がある。最大リスクの最小化は、指定した集団集合の範囲で最も悪い条件を改善する問題として理解する必要がある。
さらに、構造振動モデルでは、更新前後の構造差を振幅として測定できる。既存の構造 \(S_t\) と候補構造 \(S’\) の距離を \(d(S’,S_t)\) とすれば、構造更新の大きさは次のように表される。
\[
d(S’,S_t)
=
\left\|
\phi(S’)-\phi(S_t)
\right\|_2.
\]
\(\phi\) は構造を数値ベクトルへ変換する埋め込み写像である。規則の追加、依存関係の変更、閾値の調整などを共通の特徴量へ変換できれば、その変化を比較可能な距離として扱える。ただし、埋め込みが何を保存するかによって距離の意味は変わる。例えば、規則の適用順序を特徴量へ含めていない場合、順序の変更によって判定が変化しても、構造距離には反映されない可能性がある。
これらの評価量を組み合わせることで、次の目的関数を提案できる。
\[
\boxed{
\begin{aligned}
J(S’)
={}&
\max_{g\in\mathcal G}R_g(S’)\\
&+
\lambda B_{\mathcal T}(S’)\\
&+
\mu d(S’,S_t)^2,
\qquad
\lambda,\mu\ge0.
\end{aligned}
}
\]
第一項は評価対象の集団のうち最も大きい損失、第二項は意味保存変換に対する応答変動、第三項は更新前の構造からの距離を表す。\(\lambda\) は表現への不要な感度をどの程度重視するかを決め、\(\mu\) は構造更新の大きさをどの程度抑えるかを決める。これらの係数は、各評価量を目的関数へ加える際の重みとなる。
ここで、異なる評価量を足し合わせることには尺度上の条件がある。例えば、平均損失が 0 から 1 までの値を取り、応答変動も同じ範囲に収まる場合でも、構造距離の二乗は埋め込みの尺度によって大きく変わる。構造特徴量を百分率で記述するか、0 から 1 の比率として記述するかだけでも、その二乗値は変化する。したがって、\(\lambda\) と \(\mu\) を設定する際には、距離と損失の尺度を明示し、どの程度の変化が運用上許容されるかに基づいて重みを校正する必要がある。
また、目的関数の値が小さいことだけで、すべての安全性条件が満たされるとは限らない。例えば、構造距離の負担を強く重視した場合、既存のガードに重大な見逃しが存在していても、構造を変更しない方が目的関数上は有利になる可能性がある。逆に、応答変動の項を強く重視すると、全操作を遮断するような判定器が選ばれる可能性がある。こうした解を除外するためには、目的関数とは別に、必要な検出率と許容誤検知率を制約条件として課す必要がある。
この目的関数は、構造振動モデルにおける介入 \(U_t\) の評価を数理的に表現するための提案である。言語変更や表記介入を扱った研究が、同じ目的関数によってガードを最適化したことを意味するものではない。既稿「AI ベンチマークは、仕事の成立条件まで測り始めた」では、評価指標と実際に仕事が成立する条件を区別して考える必要性を扱った[17]。安全判定では、この違いを、変換に対する応答変動という測定量と、危険操作を遮断し正当な操作を許可するという成立条件へ具体化できる。
8.2 誤検知と見逃しに制約を課す
応答変動だけを最小化する場合、全操作を遮断するガードと、全操作を許可するガードの両方が、理論上は変動 0 の解になり得る。前者では遮断確率がすべての入力について 1、後者では 0 となるため、意味保存変換の前後で遮断確率に差が生じない。
\[
\begin{aligned}
q_{\mathrm{block}}(c)&=1
\quad(\forall c),\\
q_{\mathrm{allow}}(c)&=0
\quad(\forall c).
\end{aligned}
\]
この二つのガードに対する応答変動は、任意の入力変換 \(T\) について次のようになる。
\[
B_{\mathrm{block}}(T)
=
B_{\mathrm{allow}}(T)
=
0.
\]
しかし、すべてを遮断するガードでは、危険操作の検出率が 1 になる一方、安全操作の誤検知率も 1 になる。すべてを許可するガードでは、誤検知率が 0 になる一方、危険操作の検出率も 0 になる。どちらも入力変換への応答は安定しているが、安全な操作と危険な操作を区別する機能を持たない。
| ガードの構成 | 応答変動 | 攻撃検出率 | 誤検知率 | 評価上の帰結 |
|---|---|---|---|---|
| すべて遮断 | 任意の意味保存変換について 0 となる。 | 1 となる。 | 1 となる。 | 危険操作を遮断する一方、正当な操作もすべて停止する。 |
| すべて許可 | 任意の意味保存変換について 0 となる。 | 0 となる。 | 0 となる。 | 正当な操作を通す一方、危険操作もすべて通過する。 |
| 操作の条件に応じて判断 | 構造、入力変換、評価分布に依存する。 | 危険操作への判定能力に依存する。 | 安全操作への判定能力に依存する。 | 検出と誤遮断の両方を評価する必要がある。 |
この退化した解を除外するため、評価対象の集団ごとに、最低限必要な攻撃検出率と、最大限許容する誤検知率を定義する。集団を \(g\in\mathcal G\)、最低検出率を \(\tau_{\mathrm{TPR},g}\)、最大許容誤検知率を \(\tau_{\mathrm{FPR},g}\) とする。候補構造 \(S’\) に対して、次の条件を課す。
\[
\begin{aligned}
\mathrm{TPR}_g(S’)
&\ge\tau_{\mathrm{TPR},g},\\
\mathrm{FPR}_g(S’)
&\le\tau_{\mathrm{FPR},g},
\qquad
g\in\mathcal G.
\end{aligned}
\]
第一式は、危険とラベル付けされた操作のうち、指定した割合以上を遮断することを要求する。第二式は、安全とラベル付けされた操作のうち、遮断される割合を指定した上限以下に抑えることを要求する。例えば、危険操作の検出率を少なくとも 95%、安全操作の誤検知率を最大 10% とする条件を設定できる。ただし、この数値は制約の意味を説明するための例であり、普遍的な安全基準ではない。
ここで、言語変更や表記変更の影響を考えると、元の入力条件だけで制約を満たしていても十分とは限らない。例えば、英語では危険操作の 98% を遮断できるガードが、アムハラ語への翻訳後には 85% しか遮断できない場合、英語条件だけで設定した検出率の制約は満たしていても、翻訳後の入力では同じ条件を満たさない。
そこで、正解ラベルを保存する入力変換 \(T\) ごとに、検出率と誤検知率を定義する。
\[
\begin{aligned}
\mathrm{TPR}_{g,T}(S’)
&=
\mathbb E[
q_{S’}(Tc)\mid y=1,g
],\\
\mathrm{FPR}_{g,T}(S’)
&=
\mathbb E[
q_{S’}(Tc)\mid y=0,g
].
\end{aligned}
\]
これらは、集団 \(g\) に属する入力へ変換 \(T\) を適用した後の条件付き遮断確率である。危険操作についての平均が攻撃検出率、安全操作についての平均が誤検知率となる。正解ラベル \(y\) は、変換前後で保存されていることを前提とする。
評価対象となる変換集合を \(\mathcal T_{\mathrm{eval}}\) とし、元の入力を変更しない恒等変換 \(I\) も含める。このとき、すべての評価対象の集団と変換について、次の制約を課すことができる。
\[
\boxed{
\begin{aligned}
\mathrm{TPR}_{g,T}(S’)
&\ge
\tau_{\mathrm{TPR},g},\\
\mathrm{FPR}_{g,T}(S’)
&\le
\tau_{\mathrm{FPR},g},
\end{aligned}
\quad
\forall g\in\mathcal G,\;
\forall T\in\mathcal T_{\mathrm{eval}}.
}
\]
この制約は、平均的な言語変更に対して良好な性能を示すことよりも強い要求である。例えば、五つの翻訳言語の平均検出率が 95% を超えていても、一つの言語で検出率が 80% に低下していれば、言語ごとの最低検出率を 95% とする制約には違反する。特定の言語で危険操作の見逃しが集中することを抑えたい場合には、変換ごとに条件を課すことが意味を持つ。
ただし、このような制約を成立させるには、各集団と各変換の組み合わせについて、危険操作と安全操作の両方が評価できる必要がある。例えば、ある言語の評価データに安全な操作しか存在しない場合、その集団の攻撃検出率を標本から推定することはできない。また、対象となる変換の意味保存が確認されていなければ、変換前後で正解ラベルが同じという前提も検証する必要がある。
制約の下で選択できる構造の集合を \(\mathcal F\) と定義する。構造の候補集合を \(\mathcal S\) とすると、次のように表せる。
\[
\begin{aligned}
\mathcal F
=
\bigl\{
S’\in\mathcal S:
&
\mathrm{TPR}_{g,T}(S’)
\ge\tau_{\mathrm{TPR},g},\\
&
\mathrm{FPR}_{g,T}(S’)
\le\tau_{\mathrm{FPR},g},\\
&
\forall g\in\mathcal G,\;
\forall T\in\mathcal T_{\mathrm{eval}}
\bigr\}.
\end{aligned}
\]
\(\mathcal F\) は、安全判定に必要な性能条件を満たす候補構造の集合である。条件を満たす構造が複数存在する場合には、その中から応答変動、集団別の損失、構造変更の負担を比較して選ぶことができる。
したがって、安全判定の安定化は、次の制約付き最適化問題として定義できる。
\[
\boxed{
S_{t+1}
\in
\operatorname*{arg\,min}_{S’\in\mathcal F}
J(S’)
}
\]
\(\operatorname*{arg\,min}\) は、目的関数 \(J(S’)\) を最小にする構造の集合を表す。複数の構造が同じ最小値を持つ場合、それらはすべて候補となる。一方、必要な性能条件を満たす構造が存在しなければ、実行可能集合 \(\mathcal F\) は空となり、この最適化問題には実行可能な解が存在しない。
実行可能な解が存在しない場合には、要求する検出率と誤検知率の組み合わせ、ガードが利用できる判断情報、候補構造の表現能力などを確認する必要がある。例えば、危険な操作と安全な操作が、ガードから見て完全に同じ入力として表現されている場合、その二つを異なる判定へ分けることはできない。これは最適化手法の性能以前に、入力に必要な識別情報が存在するかという問題である。
この関係を数理的に示す。ある集団 \(g\) について、危険操作と安全操作の条件付き入力分布が完全に一致すると仮定する。
\[
P_g(c\mid y=1)
=
P_g(c\mid y=0).
\]
この場合、ガードが入力 \(c\) だけを使って遮断確率を決める限り、危険操作と安全操作に対する平均遮断確率は一致する。
\[
\mathrm{TPR}_g(S’)
=
\mathrm{FPR}_g(S’).
\]
したがって、最低検出率を \(\tau_{\mathrm{TPR},g}\)、最大許容誤検知率を \(\tau_{\mathrm{FPR},g}\) とし、前者が後者より大きい場合、両方の制約を同時に満たすことはできない。
\[
\tau_{\mathrm{TPR},g}
>
\tau_{\mathrm{FPR},g}
\quad\Longrightarrow\quad
\mathcal F=\varnothing
\]
この帰結は、危険操作と安全操作の入力分布が完全に同じという仮定の下で成立する。例えば、危険な操作かどうかを区別するために必要な利用者の権限が入力へ含まれておらず、他の入力情報も両者を区別できない場合、ガードは正しい許可・遮断を安定して行うための情報を持たない。モデルを複雑にしても、入力に存在しない区別を必ず復元できるわけではない。
これは、構造振動モデルによる安定化において、構造更新だけで解決できる問題と、入力条件の設計を変更する必要がある問題を区別する根拠となる。判断に必要な情報が不足している場合、ガードの学習や閾値調整だけを繰り返しても、検出率と誤検知率の要求を同時に満たせない可能性がある。必要な認可情報や操作条件を入力へ追加することは、ガードの内部構造とは別の、観測条件への介入に当たる。
8.3 更新量の制約と応答変動の改善可能性を結びつける
構造更新の距離を抑える項は、既存の判断規則から大きく離れる更新を避けるための役割を持つ。しかし、構造変更を小さくすることと、入力変換への応答変動を小さくすることには、必ずしも同じ方向の関係があるわけではない。例えば、言語変更に対する判定の不安定性が、ガードの一部の判断規則によって生じている場合、その規則を変更するには一定の構造更新が必要になる。一方、更新量を小さくすることを優先しすぎれば、その不安定性が残る可能性がある。
構造振動モデルでは、更新前後の構造距離が振幅 \(A_{t+1}\) に対応する。したがって、候補構造 \(S’\) へ更新した場合の振幅は、次のようになる。
\[
A_{t+1}
=
d(S’,S_t).
\]
第 6 章では、遮断確率が構造距離に対してリプシッツ連続であるという追加条件を置いた。この条件の下では、構造の変化量が小さい場合、同じ入力に対する遮断確率の変化も一定の範囲に抑えられる。
\[
|q(S’,c)-q(S_t,c)|
\le
L\,d(S’,S_t).
\]
\(L\) は構造距離に対する遮断確率の変化率を上から抑える定数である。この条件が成立する場合、第 6 章で導いた応答変動の差の上限は次のようになる。
\[
\left|
B_{S’}(T)-B_{S_t}(T)
\right|
\le
2L\,d(S’,S_t).
\]
この式は、構造更新によって意味保存変換への応答変動がどの程度変化し得るかを、構造距離から上から評価するものである。変換分布 \(\Pi\) を固定し、すべての対象変換について同じリプシッツ条件が成立するなら、変換集合全体の平均応答変動についても同様の関係が得られる。
\[
\boxed{
\left|
B_{\mathcal T}(S’)
–
B_{\mathcal T}(S_t)
\right|
\le
2L\,d(S’,S_t)
}
\]
この不等式から、構造更新に必要な変化量についても条件付きの下限を導ける。更新前の応答変動を \(B_{\mathcal T}(S_t)\)、更新後を \(B_{\mathcal T}(S’)\) とし、更新によって応答変動を少なくとも \(\delta>0\) だけ減らしたいとする。この目標は次のように表せる。
\[
B_{\mathcal T}(S_t)
–
B_{\mathcal T}(S’)
\ge
\delta.
\]
一方、先ほどのリプシッツ条件から、応答変動の変化量は構造距離の \(2L\) 倍を超えない。したがって、正の有限な \(L\) の下では、目標とする改善量 \(\delta\) を達成するために、少なくとも次の構造距離が必要になる。
\[
\boxed{
d(S’,S_t)
\ge
\frac{\delta}{2L}
}
\]
例えば、入力変換への平均応答変動を 0.10、すなわち 10 ポイント低下させたいとする。リプシッツ定数が \(L=2\) であり、前述の条件が成立するなら、その改善を達成する構造距離は少なくとも \(0.10/(2\cdot2)=0.025\) となる。この数値は数理関係を説明するための仮想例であり、実際のガードについてリプシッツ定数や必要な更新量が測定されたことを意味しない。
この下限が示すのは、構造更新量をどこまでも小さく抑えながら、任意に大きな応答変動の改善を得られるとは限らないということである。観測写像が十分に滑らかであり、構造距離によって応答変動の変化量が上から抑えられる場合、達成したい改善量には一定以上の構造変更が必要になる。
ただし、この下限は改善が達成できることを保証するものではない。構造距離が \(\delta/(2L)\) 以上あっても、その更新によって応答変動が低下するとは限らない。構造の変更方向が適切でなければ、応答変動が増加する場合もある。また、埋め込み写像が判断に必要な構造差を保存していない場合や、遮断確率が構造距離に対して不連続に変化する場合には、リプシッツ条件自体が成立しない可能性がある。
この関係は、目的関数の第三項が持つ意味を具体化する。構造距離の二乗へ大きな係数 \(\mu\) を与えると、既存構造から離れた候補が選ばれにくくなる。一方、応答変動の改善に一定以上の構造変更が必要な場合、その制約が改善を妨げる可能性がある。したがって、構造変更の負担を小さくすることと、入力表現への感度を減らすことの間には、評価対象によって調整すべき関係が存在する。
ここで、構造振幅そのものが改善の方向を示すわけではないことも確認できる。例えば、ある更新によって構造距離が大きくなったとしても、入力変換に対する応答変動が小さくなり、危険操作の検出率も維持されていれば、その更新は目的に適合している可能性がある。反対に、構造距離が小さくても、危険操作の検出率が低下したり、特定の言語への応答変動が増加したりすれば、安定化として望ましい結果とは限らない。
構造振幅は、更新前後の構造差を測定するための量である。その変化を安全性の改善として評価するには、応答変動、正解ラベル別の検出率、集団別の損失など、観測結果に基づく指標を組み合わせる必要がある。
8.4 最適化問題が実際に成立する条件
数理的な目的関数と制約条件を定義できても、実際のガードをその式に従って更新できるとは限らない。例えば、モデルの内部重みを変更できる場合には、再学習や追加学習によって判断構造を調整する候補がある。一方、外部 API として提供されるガードでは、利用者が変更できる範囲が判定閾値、入力形式、規則設定などに限られる場合がある。候補構造の集合 \(\mathcal S\) は、実際に実施可能な介入によって決まる。
この制約を明示するため、許可された介入の集合を \(\mathcal U\) とし、更新写像を次のように考える。
\[
S_{t+1}
=
M(S_t,C_t,O_t,U_t),
\qquad
U_t\in\mathcal U.
\]
実際に到達可能な候補構造の集合を \(\mathcal S_{\mathrm{reach}}(S_t)\) とする。
\[
\mathcal S_{\mathrm{reach}}(S_t)
=
\left\{
M(S_t,C_t,O_t,U):
U\in\mathcal U
\right\}.
\]
この集合は、現在の構造から許可された介入によって到達できる構造だけを含む。例えば、外部 API の内部重みを直接変更できない場合、内部重みを任意に変更した構造は候補に含まれない。更新可能な設定や規則を変更することで得られる構造が、最適化の対象となる。
実行可能な構造集合は、安全性制約を満たす集合 \(\mathcal F\) と、実際に到達可能な構造集合の共通部分として定義できる。
\[
\mathcal F_{\mathrm{reach}}
=
\mathcal F
\cap
\mathcal S_{\mathrm{reach}}(S_t).
\]
このとき、実際の更新問題は次のようになる。
\[
\boxed{
S_{t+1}
\in
\operatorname*{arg\,min}_{
S’\in\mathcal F_{\mathrm{reach}}
}
J(S’)
}
\]
この式が表すのは、必要な安全性条件を満たし、かつ実際に実施可能な更新の中から、目的関数を最小にする構造を選ぶという問題である。例えば、許可された介入が遮断閾値の変更だけである場合、閾値調整では解消できない言語依存性が存在すれば、実行可能集合の中に改善目標を満たす構造が存在しない可能性がある。
さらに、候補構造が離散的な規則変更を含む場合、目的関数が滑らかな関数として扱えるとは限らない。規則の追加や削除、判断経路の切り替えは、連続的な数値調整とは異なる変更である。そのため、目的関数を定義できることと、勾配に基づく最適化手法で解けることは異なる。候補が有限なら列挙や探索による比較が考えられ、内部重みを連続的に調整できる場合には、その構造に応じた最適化方法が必要になる。
ここで、目的関数の最小値と、評価データ上で推定した最小値も区別する必要がある。実際には入力分布 \(P_g\) や変換分布 \(\Pi\) に関する期待値を正確に計算できるとは限らず、有限個の入力から推定することになる。標本上の目的関数を \(\widehat J(S’)\) とすれば、候補構造の選択は次のように行われる。
\[
\widehat S
\in
\operatorname*{arg\,min}_{S’\in\widehat{\mathcal F}}
\widehat J(S’).
\]
\(\widehat{\mathcal F}\) は標本上で安全性制約を満たすと判定された候補構造の集合である。標本上の評価値を使って構造を選ぶ場合、その標本に適合する更新が選ばれやすくなる。特定の翻訳文や操作履歴について繰り返し調整を行えば、評価に使用した事例の応答変動が低下しても、未知の依頼文や新しい業務領域で同じ改善が得られるとは限らない。
このため、構造更新を評価する入力群は、少なくとも更新候補の選定に使う群と、選定後の性能を確認する群に分けることが望ましい。翻訳や言い換えの評価でも、同じ元の依頼から派生した複数の入力が学習側と検証側の双方に混在すると、独立した事例への一般化を過大評価する可能性がある。分割単位には個々の操作ステップだけでなく、元の依頼や操作履歴の共有関係を考慮する必要がある。
また、制約を満たしているかどうかを判断する際には、推定値の不確実性を管理する必要がある。例えば、危険操作が 20 件しかない集団で 19 件を遮断できた場合、標本上の攻撃検出率は 95% となる。しかし、その値を母集団の検出率と断定することはできない。標本数が少ないほど推定の不確実性が大きくなるため、最低検出率を保証条件として扱うなら、点推定だけでなく信頼区間なども考慮する必要がある。
例えば、集団 \(g\) と変換 \(T\) における攻撃検出率の信頼下限を \(L_{\mathrm{TPR},g,T}(S’)\)、誤検知率の信頼上限を \(U_{\mathrm{FPR},g,T}(S’)\) と定義する。この場合、点推定に対する制約より保守的な条件として、次のように設定できる。
\[
\begin{aligned}
L_{\mathrm{TPR},g,T}(S’)
&\ge
\tau_{\mathrm{TPR},g},\\
U_{\mathrm{FPR},g,T}(S’)
&\le
\tau_{\mathrm{FPR},g}.
\end{aligned}
\]
第一式は、推定の不確実性を考慮した検出率の下限が、必要な最低検出率を満たすことを要求する。第二式は、誤検知率の上限が許容値を超えないことを要求する。ただし、複数の集団や変換について同時に制約を確認する場合には、多重比較による不確実性も考慮する必要がある。個々の区間が一定の信頼水準を持つことだけから、すべての集団について同じ水準の同時保証が成立するわけではない。
構造振動モデルにおける更新規則 \(M\) との関係では、こうした評価は次の介入を決めるための観測となる。例えば、更新後のガードでドイツ語への応答変動は低下したが、アムハラ語では危険操作の見逃しが増加した場合、全体平均が改善していても、言語別の制約に違反する可能性がある。その場合、構造更新の成否は、平均応答変動の低下だけでなく、必要な検出率と誤検知率を維持したかどうかによって判断される。
| 評価段階 | 確認する条件 | 確認できること | 残る制約 |
|---|---|---|---|
| 候補構造の定義 | どの規則、閾値、モデル設定を変更できるか。 | 実施可能な介入から到達できる構造集合を定義できる。 | 候補集合の外にある構造を最適化で選ぶことはできない。 |
| 入力変換の定義 | 利用者の目的、操作、権限、情報源の属性が保存されるか。 | 判断に必要な情報を保持した変換への応答変動を評価できる。 | 意味保存の確認が不十分なら、変動の解釈に曖昧さが残る。 |
| 目的関数の評価 | 集団別の損失、応答変動、構造距離を共通条件で測定できるか。 | 候補構造の間で改善目標との適合性を比較できる。 | 重みと尺度の選択によって候補の順位が変わる可能性がある。 |
| 安全性制約の確認 | 各集団と変換で最低検出率と最大誤検知率を満たすか。 | 退化した一律遮断や一律許可の候補を除外できる。 | 制約が厳しすぎる場合や識別情報が不足する場合、実行可能な解が存在しないことがある。 |
| 構造更新の実施 | 選定した構造を実際の介入によって実現できるか。 | 理論上の候補と実際の更新結果を対応づけられる。 | 更新方法が制限される場合、最適とされた構造へ到達できない可能性がある。 |
| 更新後の検証 | 候補選定に使っていない入力、言語、業務条件でも評価するか。 | 観測された改善が未知の評価条件にも成立するかを調べられる。 | 評価していない言語や業務環境への一般化には追加の根拠が必要になる。 |
例えば、多言語環境で安全判定を行うガードを更新する場合、応答変動 \(B_{\mathcal T}(S’)\) の低下は、同じ実質的な操作に対する言語間の判定差が小さくなったことを示す。しかし、その改善が一律遮断によって実現されていれば、誤検知率の制約によって不適切な更新と判断できる。一方、危険な操作を通過させることで応答変動を減らした場合には、攻撃検出率の制約に違反する。必要な安全性を維持したうえで表現への感度を減らすことが、最適化の成立条件となる。
さらに、構造距離 \(d(S’,S_t)\) を目的関数へ含めることで、更新の大きさも評価対象となる。ただし、その距離が判断上の構造差を十分に捉えていることと、構造変更が観測へ与える影響を測定できることが前提となる。構造振幅が小さいこと自体は、改善の証拠にはならない。逆に、構造振幅が大きい場合でも、必要な検出率と誤検知率が満たされ、入力変換への応答変動が減少していれば、その更新を改善候補として評価できる。
したがって、構造振動モデルにおける安全判定の安定化は、構造を動かさないことを目標とする問題ではなく、必要な判断能力を維持しながら、表現への不要な感度を抑える方向へ構造を更新する問題として定式化される。構造振幅 \(A_t\) は更新量を、応答変動 \(B_t(T)\) は固定された構造の入力への感度を、集団別リスク \(R_g(S)\) は誤判定の損失を、それぞれ異なる側面から測定する。
この三者を同じ目的関数と制約条件の中で扱うことにより、どのような構造変更を改善と判断するかを明示できる。ただし、実行可能な構造が存在すること、定義した損失と距離が実際の判断対象に対応していること、更新後の評価が標本上の偶然に依存していないことは、それぞれ別の検証条件として残る。安全判定の安定化を数理的に定義することは、改善が自動的に達成されることを意味せず、何が確認されれば改善と呼べるのかを明確にすることなのである。
9. 構造振動モデルによる説明をどう検証するか
構造振動モデルを安全判定へ適用する際、数式によって観測結果を記述できることと、そのモデルが現象を説明するために有効であることは区別する必要がある。例えば、ガードの判定が英語とアムハラ語で異なったという結果を得た後に、その差を応答変動 \(B_t(T)\) として表すことはできる。しかし、観測された差へ記号を割り当てただけでは、なぜ判定が変化したのか、どの条件を変更すれば改善するのか、別の入力でも同じ傾向が現れるのかは決まらない。
数理モデルの有効性を検証するには、観測前に比較条件、測定量、仮説が成立する範囲を定義する必要がある。そのうえで、実測値が仮説と整合するかを確認し、整合しない場合には、どの仮定が成立していなかったのかを調べる。安全判定の場合、判断に必要な情報を保存した入力変換、ガードの構造更新、評価対象の分布、評価指標の集計方法を独立した変数として扱うことで、観測された変化を検証可能な比較へ変換できる。
この検証では、構造振動モデルの既存定義と、安全判定へ適用するために導入した拡張量を区別する。構造振幅 \(A_t\) は構造の時間的な変化量であり、応答変動 \(B_t(T)\) は固定された構造が入力変換に対して示す遮断確率の変化量である。集団別リスク \(R_g(S)\) は、正解ラベルとの対応から得られる損失を測定する。これらは異なる測定対象を持つため、一つの値が小さくなったことだけをもって、安全判定システム全体が改善したとは判断できない。
9.1 意味保存と判断条件の変化を対照実験で区別する
最初の検証対象は、同じ判断構造が、意味を保存した入力変換に対してどの程度安定しているかという性質である。この評価では、同じガードを固定したまま、依頼文の言語や表記を変更する。元の入力を \(c=(m,r,h,a,p)\) とすると、意味保存変換 \(T\) に対して、依頼の意味 \(m\)、操作履歴 \(h\)、予定された操作 \(a\)、権限や情報源の属性 \(p\) が維持されていることを確認する。
\[
c=(m,r,h,a,p),
\qquad
Tc=(m,r’,h,a,p).
\]
この式は、依頼文の表現 \(r\) だけを \(r’\) へ変更する理想的な実験条件を表す。実際の翻訳では、文字列だけを変更するつもりでも、命令の強さ、対象の数量、否定の範囲、認可上の要求などが変化する場合がある。そのため、変換後の文章について、判断に必要な意味が保存されているかを独立に確認する必要がある。
例えば「利用者が所有する二つのファイルを削除する」という依頼を別の言語へ翻訳した場合、所有関係、削除対象の数、操作の種類が保存されている必要がある。「二つのファイル」が「いずれか一つのファイル」へ変われば、予定された操作との整合性が変化する。「所有する」という条件が欠落すれば、認可上の要求が変わる可能性がある。このような翻訳を含めて判定差を集計すると、表現への感度と判断条件の変化が混在する。
したがって、意味保存の検証はガードの判定結果を調べる前に実施することが望ましい。判定が一致しなかった例だけを後から除外すると、残った入力群では応答変動が小さくなる方向へ選択が偏る可能性がある。意味保存の判定基準を事前に定め、採用した変換と除外した変換の両方を記録することで、評価入力の選択過程を検証できる。
同時に、判断条件を意図的に変更する対照実験も必要になる。意味保存変換への安定性だけを要求すると、すべての操作を許可するガードや、すべての操作を遮断するガードも安定した判定器として評価されてしまう。安全判定には、認可権限、操作対象、危険性など、判断に必要な条件が変わったときに判定を適切に変更する能力も求められる。
例えば、同じ利用者が同じ文書を削除する操作について、削除権限が有効な条件 \(c^{+}\) と、削除権限が失効した条件 \(c^{-}\) を用意する。対象文書、操作内容、依頼文の言語、操作履歴を固定し、認可条件だけを変更する。このとき、対象システムの許可規則が権限の失効を遮断理由としているなら、失効後の入力は失効前より遮断されやすくなることが期待される。
この応答を、次のような符号付きの判定差として定義できる。
\[
D_{\mathrm{auth}}(S)
=
\mathbb E
\left[
q_S(c^{-})-q_S(c^{+})
\right].
\]
\(q_S\) は構造 \(S\) のガードが遮断を返す確率である。\(D_{\mathrm{auth}}(S)\) が正であれば、権限失効後に遮断確率が増加したことを意味する。ただし、この量の望ましい値は、対象システムの認可規則と評価入力の構成に依存する。権限が有効であっても操作自体が別の理由で禁止される場合には、両方の条件で遮断されることが正しい可能性がある。そのため、権限変更への応答を検証する入力には、権限以外の遮断条件が成立していない事例を選ぶ必要がある。
この二種類の実験は、互いに補完的な役割を持つ。意味保存変換では、判断に必要な情報を固定し、表現だけを変更する。権限変更の対照実験では、表現と操作を固定し、判断に必要な情報を変更する。前者は無関係な違いへの感度を測定し、後者は必要な違いへの感度を測定する。
| 検証条件 | 固定する情報 | 変更する情報 | 期待される判定 | 測定する性質 |
|---|---|---|---|---|
| 依頼文の翻訳 | 依頼の意味、操作、権限、履歴、情報源の属性。 | 依頼文の言語。 | 意味保存が成立した範囲で、遮断確率が維持される。 | 言語変更に対する応答変動 \(B_t(T)\)。 |
| 同一言語内の言い換え | 依頼の意味と判断に必要な条件。 | 語順、用語、文章の構成。 | 判断に必要な情報が同一なら、判定が維持される。 | 表現変更に対する応答変動。 |
| 権限の失効 | 利用者、操作、資源、依頼文、他の許可条件。 | 認可条件。 | 権限の失効が遮断理由となる場合、遮断確率が増加する。 | 判断に必要な情報への応答。 |
| 情報源の変更 | 文章の内容、操作、資源。 | 利用者の直接指示か、外部情報に含まれる指示かという属性。 | 信頼境界の違いを反映した判定になる。 | 指示の出所と判定の関係。 |
| 同一入力の反復 | ガードの構造、入力、モデル設定、観測条件。 | 確率的な実行結果。 | 同じ条件に対する遮断確率の分布を推定できる。 | 実行ごとのばらつき。 |
検証では、意味保存変換への応答変動が小さいことと、認可条件の変更へ適切に反応することを同時に確認する必要がある。構造振動モデルの観点では、どちらも固定構造 \(S_t\) に対する環境条件の変更である。しかし、前者は判断に必要な関係を保存する変更であり、後者は判断に必要な関係そのものを変更する。この違いを実験条件へ反映することで、入力に対して一律に鈍感なガードと、必要な情報を区別できるガードを識別できる。
9.2 応答変動の推定と統計的不確実性
意味保存変換 \(T\) に対する遮断確率の変動を評価するには、固定した構造 \(S_t\) へ元の入力 \(c\) と変換後の入力 \(Tc\) を与え、それぞれの遮断確率を推定する。第 3 章で定義した応答変動は、次の量である。
\[
B_t(T)
=
\mathbb E_{c\sim P}
\left[
|q_t(Tc)-q_t(c)|
\right].
\]
この値は、評価分布 \(P\) における平均的な遮断確率の差を表す。実際には有限件数の入力と有限回数の実行から推定するため、測定値には二種類の不確実性が含まれる。一つは、同じ入力を繰り返した場合の判定のばらつきである。もう一つは、評価用に選んだ入力群が、想定する入力分布をどの程度代表しているかという標本選択上の不確実性である。
例えば、ある入力について、英語では 100 回中 20 回が遮断され、翻訳後では 100 回中 35 回が遮断されたとする。遮断確率の推定値は、それぞれ 0.20 と 0.35 であり、絶対差は 0.15 となる。ただし、実行回数が有限であるため、別の 100 回の試行では異なる割合になる可能性がある。したがって、観測された 0.15 という差には推定誤差が含まれる。
さらに、元の入力と変換後の入力に対する真の遮断確率が等しい場合でも、有限回の試行から得た二つの推定値は一般に完全には一致しない。そのため、推定値の絶対差を平均した量には、真の応答変動が小さい領域で正方向の偏りが生じ得る。
\[
\mathbb E
\left[
|\widehat q_t(Tc)-\widehat q_t(c)|
\right]
\ge
|q_t(Tc)-q_t(c)|.
\]
この不等式は、絶対値の凸性から得られる。ただし、各遮断確率の推定値が不偏であることを仮定する。有限回の反復によって生じる推定誤差は、平均差を 0 に近づける方向と遠ざける方向の両方へ作用するが、絶対値を取ることで負の差も正の変動量として加算される。そのため、単純な標本平均だけで、真の応答変動を精密に推定できるとは限らない。
確率的なガードでは、元の入力と変換後の入力をそれぞれ複数回実行し、遮断確率とその不確実性を推定する必要がある。共通の乱数条件を制御できるガードであれば、元の入力と変換後の入力を対応づけた反復によって推定精度を改善できる場合がある。一方、外部 API では乱数状態や内部の実行条件を固定できない場合があり、その場合には実行時刻、モデル識別子、設定、実行回数を記録し、条件の再現可能性を確保することが現実的な方法となる。
評価入力の標本構造にも注意が必要である。論文 A では 1,220 件の操作ステップが評価されているが、その元となる英語の依頼文は 58 種類である[7]。同じ依頼文から派生した複数の操作ステップでは、翻訳によって生じる意味の違いや表現上の特徴を共有している可能性がある。そのため、1,220 件の判定を完全に独立した観測として扱うと、推定値の不確実性を過小評価するおそれがある。
この依存性を考慮する方法として、元の依頼文を単位とした再標本化が考えられる。例えば、58 種類の元の依頼文を復元抽出し、選ばれた依頼に属する操作ステップをまとめて評価することで、依頼単位の変動を反映した推定分布を得られる。ただし、この方法が推定する不確実性は、依頼文の選定方法や、それぞれの依頼が属する業務領域の構成にも依存する。依頼文を無作為に選定していない場合には、得られた区間を広範な実運用入力への一般的な保証として解釈することはできない。
また、依頼文を均等に重み付けする場合と、操作ステップを均等に重み付けする場合では、推定対象そのものが変わる。ある依頼から 20 ステップ、別の依頼から 2 ステップが得られる場合、前者を大きく重み付けする操作単位の評価と、両者を等しく重み付けする依頼単位の評価では、応答変動の平均値が異なる可能性がある。再標本化の方法を選ぶ前に、どちらの平均を測定したいのかを定義する必要がある。
仮説を検証する際には、応答変動が厳密に 0 かどうかという問いだけでなく、どの程度の変動までを許容するかという基準を設けることが考えられる。意味保存変換 \(T\) に対し、許容する平均応答変動を \(\varepsilon_T\ge0\) とすると、次の安定性仮説を定義できる。
\[
H_{\mathrm{stable}}(T):
\quad
B_t(T)\le\varepsilon_T.
\]
\(\varepsilon_T\) は、評価対象の変換に対して許容する遮断確率の平均変動量である。例えば、許容値を 0.02 と設定した場合、平均的な遮断確率の変動が 2 ポイント以内であることを要求する。ただし、この許容値は普遍的な安全基準ではなく、対象となる操作の危険性と運用条件に応じて設定する必要がある。
この仮説を評価するには、\(B_t(T)\) の点推定だけでなく、推定誤差を考慮する。例えば、適切な信頼区間の下限が \(\varepsilon_T\) を上回る場合には、指定した許容値以内という仮説と観測結果が整合しない。逆に、信頼区間の上限が \(\varepsilon_T\) 以下であれば、その推定条件の下で許容値以内の安定性を支持する根拠になる。信頼区間が許容値をまたぐ場合には、標本数や実行回数を増やすことが必要になる可能性がある。
ただし、平均応答変動が許容値以内でも、少数の重要な操作について大きな判定差が集中している場合がある。例えば、通常の閲覧操作では言語変更に対して安定している一方、機密ファイルの外部送信に関する操作だけで危険な見逃しが増加している場合、全体平均の値が小さくても運用上の問題は残る。そのため、応答変動の平均に加えて、操作の種類、正解ラベル、権限条件、言語などで区分した評価が必要となる。
ここで、モデルの安定性に関する仮説が支持されなかった場合と、構造振動モデルの数理的な定義が成立しなくなった場合も区別する必要がある。例えば、意味保存変換に対して \(B_t(T)>0\) が観測されたことは、当該ガードがその変換に対して完全には安定していないことを示す。一方、応答変動 \(B_t(T)\) を定義できること自体とは矛盾しない。観測結果によって検証されるのは、定義した量の値や、許容値に関する仮説である。
9.3 構造更新前後の四条件比較によって寄与を測る
固定されたガードへの入力変換実験だけでは、構造更新によって応答変動を改善できるかどうかは分からない。その検証には、更新前のガード \(S_t\) と更新後のガード \(S_{t+1}\) を用意し、両方へ元の入力 \(c\) と変換後の入力 \(Tc\) を与える必要がある。
第 6 章で定義した四条件比較では、次の遮断確率を測定する。
\[
\begin{aligned}
q_t(c),\qquad
q_t(Tc),\qquad
q_{t+1}(c),\qquad
q_{t+1}(Tc).
\end{aligned}
\]
この四つの値が得られれば、更新前の入力変換の効果、更新後の入力変換の効果、元の入力に対する構造更新の効果、変換後の入力に対する構造更新の効果をそれぞれ計算できる。
例えば、同じファイル削除操作について、更新前のガードでは英語の遮断確率が 0.20、日本語では 0.40 だったとする。更新後のガードでは英語が 0.25、日本語が 0.70 になったとする。これらは分解の意味を説明するための仮想値である。更新前の言語変更による差は 0.20 だが、更新後の差は 0.45 となる。したがって、構造更新によって日本語への変換に対する符号付きの応答差が 0.25 増加したことになる。
この相互作用は、第 6 章で定義した次の量によって測定できる。
\[
\begin{aligned}
\mathcal I_{t+1}(c,T)
={}&
[q_{t+1}(Tc)-q_{t+1}(c)]\\
&-
[q_t(Tc)-q_t(c)].
\end{aligned}
\]
\(\mathcal I_{t+1}(c,T)\) は、構造更新前後で入力変換の符号付き効果がどれだけ変化したかを表す。相互作用が正なら、変換による遮断確率の増加方向の効果が強まったことを意味し、負ならその効果が弱まったことを意味する。ただし、符号付きの効果が弱まることと、絶対差として測定する応答変動が小さくなることは一致しない場合があるため、両方を測定する必要がある。
四条件比較の利点は、構造更新と入力変換を同時に変更した結果を、異なる対照条件へ分けられることである。例えば、更新後の日本語条件で遮断確率が増加した場合、その増加には、更新前から存在した言語変更への感度と、構造更新によって新たに生じた応答変化が含まれる。両方のガードへ両方の言語を与えることで、同じ総変化を異なる経路から検証できる。
ただし、この分解には観測可能性の制約がある。外部 API として提供されるガードが更新された後で、旧バージョンを再実行できなくなった場合、\(q_t(Tc)\) などの中間条件を取得できない可能性がある。この場合、更新前の英語条件と更新後の日本語条件を比較するだけでは、入力変換と構造更新の寄与を分離できない。
また、モデルの識別子が同じでも、提供側で内部の設定や実行基盤が変更されている場合には、厳密に同じ構造を固定した比較が成立していない可能性がある。評価時には、モデルのバージョン、利用可能な設定、実行日時、入力の構成、判定結果を記録する必要がある。ガードの構造を直接観測できない場合には、同一性について何を確認できたかを明示しなければならない。
四条件比較によって得られるのは、入力変換と構造更新に対応する観測上の差である。その結果から内部のどの重みや規則が変化したかを特定するには、別の情報が必要になる。例えば、更新後に言語への感度が増加したとしても、それが多言語処理能力の変化、判定閾値の調整、外部情報の取り扱いの変更のどれによって生じたかは、四条件の遮断確率だけから一意には定まらない。
これは、異なる内部構造が同じ入力群に対して同じ判定を返す可能性があるためである。二つの構造 \(S\) と \(S’\) が、評価対象の入力集合 \(\mathcal C_{\mathrm{eval}}\) について、次の条件を満たす場合を考える。
\[
q(S,c)=q(S’,c)
\qquad
\forall c\in\mathcal C_{\mathrm{eval}}.
\]
この場合、評価対象の入力集合に関する限り、二つの構造は観測上区別できない。しかし、評価対象に含まれていない入力で異なる判定を返す可能性は残る。また、同じ遮断確率を返していても、内部の規則や依存関係が異なることもあり得る。したがって、観測上の同等性から構造自体の同一性を結論することはできない。
構造振動モデルにおける構造 \(S_t\) の変化を検証するには、内部構造の比較可能な表現を取得する必要がある。規則ベースのガードでは、規則集合、優先順位、閾値などから構造グラフを作成できる。一方、内部状態が公開されていない学習済みモデルでは、モデル識別子や設定など、観測可能な範囲で構造を記述することになる。その場合、観測される応答変動は測定できても、内部構造全体の振幅は未同定となる。
9.4 構造振幅と応答変動の関係を反証可能な仮説にする
構造振動モデルで定義した構造振幅は、隣接する二時点の構造差である。
\[
A_{t+1}
=
d(S_{t+1},S_t).
\]
\(d\) は、共通の埋め込み写像と尺度によって定義された構造間の距離を表す。ガードの内部構造を比較可能な形で取得できれば、更新前後の構造振幅を計算できる。ただし、この値だけから遮断確率や判定反転率の変化量を予測することはできない。構造差と出力差を対応づけるには、観測写像について追加の条件が必要になる。
第 6 章では、構造に対する遮断確率の変化が、構造距離に比例する上限で抑えられるというリプシッツ条件を導入した。
\[
|q(S’,c)-q(S,c)|
\le
L\,d(S’,S).
\]
\(L\) は、構造の単位変化に対する遮断確率の差を上から抑える非負の定数である。この条件が成立するなら、構造更新による同じ入力の遮断確率の差は、\(LA_{t+1}\) 以下となる。
\[
|q_{t+1}(c)-q_t(c)|
\le
LA_{t+1}.
\]
さらに、更新前後の応答変動については、次の上限が導かれる。
\[
\boxed{
|B_{t+1}(T)-B_t(T)|
\le
2LA_{t+1}
}
\]
この不等式は、構造の更新量と入力変換への応答変動の変化量との関係について、実験で検証できる制約を与える。ただし、不等式を実際に検証するには、埋め込み写像 \(\phi\)、構造距離 \(d\)、定数 \(L\)、評価対象の入力領域を明示する必要がある。
例えば、二つの規則集合について構造距離が 0.01、遮断確率の差が 0.20 だったとする。この結果だけでは、リプシッツ条件が一般に成立しないと結論することはできない。\(L=20\) であれば、この一件の比較については上限が成立するからである。有限個の構造と入力について、後から任意に大きな \(L\) を選べるなら、不等式は実質的な予測力を持たない。
検証可能な仮説とするには、定数 \(L\) を事前に定めるか、独立したデータから推定した値を別の構造更新と入力群へ適用する必要がある。例えば、既知の規則変更を複数用意し、それぞれの構造距離と遮断確率の差を測定して \(L\) を推定する。その後、別の規則変更について、同じ \(L\) が出力差の上限を説明できるかを検証する。この方法であれば、過去の観測結果へ数値を当てはめるだけでなく、未使用の構造更新に対する予測として評価できる。
また、構造距離の測定が判断に必要な関係を保存していることも重要になる。例えば、規則数と閾値だけを埋め込みに含め、規則の優先順位を含めなかった場合、優先順位の変更によって判定が変わっても、構造振幅は 0 と測定される可能性がある。このとき、遮断確率の差が正であれば、有限の \(L\) を使った不等式は成立しない。
ただし、この結果が直接示すのは、採用した埋め込みと観測写像の組み合わせが、必要な条件を満たしていなかったということである。構造振動モデルの一般的な定義そのものが否定されるわけではない。モデルのどの部分を仮説として検証しているかを区別しなければ、追加仮定の不成立と基本定義の不成立を混同することになる。
構造更新と応答変動の関係を調べる場合には、構造距離が小さいことと、判定反転率が小さいことも区別する必要がある。例えば、遮断確率が 0.49 から 0.51 へ変わった場合、確率の差は 0.02 にすぎない。しかし、遮断確率 0.50 を境に二値判定へ変換する決定的な仕組みなら、判定は許可から遮断へ反転する。確率空間での小さな変化が、二値判定では完全な反転として観測される場合がある。
したがって、遮断確率に対するリプシッツ条件が成立していても、その条件から二値判定の反転率に同じ上限が成立するとは限らない。反転率の変化を構造距離から評価するには、各入力が判断境界からどの程度離れているかという情報も必要になる。
例えば、更新前の判定得点を \(s_t(c)\)、遮断閾値を \(\tau_t\) とする。判定境界からの余裕を、次のように定義できる。
\[
m_t(c)=|s_t(c)-\tau_t|.
\]
\(m_t(c)\) は、判定得点が閾値からどれだけ離れているかを表す。構造更新による得点と閾値の変化を合わせた大きさが、この余裕より小さい場合、判定は維持される。一方、余裕が小さい入力では、わずかな更新によって判定が反転する可能性がある。構造振幅と判定反転率を対応づけるには、構造の更新量に加え、判断境界付近に入力がどの程度分布しているかを調べる必要がある。
このような条件を明示することで、構造振幅、遮断確率の変化、二値判定の反転という三つの測定量を段階的に結びつけられる。構造振幅から直接に安全性の改善を主張するのではなく、構造距離が観測へどう作用し、その観測がどの条件で判定の反転へつながるかを検証することが必要となる。
9.5 安定化の成否を未使用の評価条件で確認する
構造更新によって応答変動が小さくなったとしても、その改善が安全性の維持と両立していることを確認する必要がある。例えば、ガードがどの言語でもすべての操作を遮断するように更新されれば、意味保存変換への応答変動は 0 となる。しかし、安全な操作の誤検知率は 1 となるため、正当な操作を実行できない。反対に、すべての操作を許可する更新では、危険な操作の見逃し率が 1 となる。
第 8 章で定義した制約付き最適化では、応答変動と構造更新量を小さくすることに加え、集団別の攻撃検出率と誤検知率へ制約を課した。したがって、改善の検証では、最適化に使用した目的関数の値だけでなく、各制約が実際に満たされているかを確認する必要がある。
さらに、構造更新の候補を選ぶために使った評価入力と、選定後の性能を検証する入力を分離することが重要になる。例えば、同じ 58 種類の依頼文を何度も使って言語変更への応答変動を最小化した場合、その依頼文に対する判定は安定するかもしれない。しかし、未知の依頼文や異なる業務領域でも同じ安定性が成立するかどうかは、別の検証対象となる。
評価入力を分割する際には、操作ステップ単位だけでなく、元の依頼や操作履歴の共有関係を考慮する必要がある。同じ依頼文から生成された複数の操作ステップが、構造更新用のデータと検証用のデータに分かれて含まれている場合、両者が独立した事例とはいえない可能性がある。元の依頼文や操作軌跡を単位として分割することで、共有された入力特徴による情報の重複を抑えられる。
また、意味保存変換に対する改善を検証する際には、最適化に用いた言語と、未使用の言語を区別することが考えられる。例えば、ドイツ語とフランス語の翻訳を使って調整したガードを、トルコ語やアムハラ語で評価すれば、既知の変換への適合と、未使用の変換への一般化を分けて調べられる。ただし、未使用の言語で良好な結果が得られても、さらに別の言語や入力条件で同じ性能が成立する保証にはならない。
実際の検証では、次のように仮説、測定量、支持条件、修正条件を対応づけられる。
| 検証する仮説 | 必要な測定 | 仮説を支持する条件 | 修正を要する条件 |
|---|---|---|---|
| 意味保存変換に対する判定の安定性 | 意味保存の確認、反復した遮断確率、変換別の \(B_t(T)\)。 | 指定した評価分布で、応答変動が事前に定めた許容値以内に収まる。 | 意味保存が確認された変換について、許容値を超える応答変動が繰り返し観測される。 |
| 判断条件の変化に対する適切な応答 | 権限、操作対象、情報源の属性を個別に変更した対照実験。 | 認可規則に従い、判断に必要な条件の違いが適切な判定差へ反映される。 | 権限失効などの明確な条件変更に対して、正しい判定が維持されない。 |
| 入力変換と構造更新の寄与の分離 | 更新前後のガードと、変換前後の入力による四条件比較。 | 同一条件の下で各遮断確率を推定し、入力差、更新差、相互作用を測定できる。 | 比較条件が欠ける場合には、各要因の寄与を直接測定したという主張を保留する。 |
| 構造距離と遮断確率の変化の上限 | 共通の構造埋め込み、構造距離、遮断確率、独立に設定した \(L\)。 | 未使用の構造更新と入力群について、事前に定めた上限が成立する。 | 推定誤差を考慮しても上限を超える例が得られた場合、リプシッツ条件や対象領域を見直す。 |
| 構造更新による安定化 | 更新前後の \(B_t(T)\)、集団別の検出率と誤検知率、構造振幅。 | 応答変動が減少し、必要な検出率と誤検知率の制約を満たす。 | 応答変動の改善が、危険操作の見逃しや安全操作の過剰遮断の増加を伴う。 |
| 未使用条件への一般化 | 候補選定に使用していない依頼、操作履歴、言語、業務領域での再評価。 | 更新に使用していない条件でも、事前に定めた性能要件を満たす。 | 更新に用いた条件でのみ改善し、未使用条件では要求性能を満たさない。 |
| 評価単位への依存 | 同じ判定データに対するステップ単位、対話単位、正解ラベル別の集計。 | どの評価単位で得られた結果かを明示し、指標の変化を再現できる。 | 異なる集計方法の値を、同じ測定対象の性能差として解釈している場合。 |
この表では、仮説の不成立と、仮説を検証するための観測条件が不足している場合を区別している。例えば、旧版のガードへアクセスできず四条件比較が成立しない場合、入力と構造更新の寄与が分離できないという測定上の制約が生じる。しかし、そのこと自体が加法分解の恒等式を否定するわけではない。一方、事前に定めた構造距離とリプシッツ定数の下で上限を超える遮断確率の差が再現されれば、その条件に基づく上界仮説を修正する必要がある。
安全判定の安定化を評価する際には、対象となる誤りの種類も分ける必要がある。危険操作の見逃しが減少した一方で、安全操作の誤遮断が増加した場合、その更新は検出能力と運用可能性の間に新たな負担を生んだことになる。逆に、誤遮断が減少した一方で危険操作の見逃しが増加した場合にも、単純な改善とは評価できない。どの条件を満たせば更新を受け入れるかは、対象業務の認可規則、操作の不可逆性、許容する誤判定の範囲によって定義される。
構造振動モデルの更新写像 \(M\) に対応させると、評価で得られた観測結果 \(O_t\) は、介入 \(U_t\) を選ぶための情報となる。例えば、アムハラ語条件で危険操作の見逃しが集中していることが確認された場合、その集団の検出率を改善する更新が候補になる。しかし、検出率だけを改善すると他の言語で誤遮断が増える可能性があるため、構造更新後には同じ評価群と未使用の評価群を用いて制約を再確認する必要がある。
この過程では、構造更新の目的を明確にすることが重要になる。構造振幅 \(A_t\) を小さくすることは、更新量を抑えるという目標には対応する。しかし、元の構造に不適切な判断規則が含まれている場合、構造を維持するだけでは誤判定も維持される。一方、応答変動 \(B_t(T)\) を小さくすることは、意味保存変換への一貫性を改善する目標に対応するが、それだけでは危険操作の検出能力を保証しない。構造更新の成否は、目的関数と安全性制約を組み合わせて検証する必要がある。
9.6 時間的な構造振動と同時点の入力応答を区別する
構造振動モデルにおける振幅 \(A_t\) は、時間的に隣接する構造の変化量である。一方、翻訳や表記変更による応答変動 \(B_t(T)\) は、同じ時点の構造を固定して比較できる。したがって、入力言語によって判定が変化するという事実は、構造が時間とともに振動していることを直接示すものではない。
例えば、ガードの構造を一年間変更せず、その間に英語、日本語、ドイツ語の依頼を評価した場合、言語間で判定が大きく異なっても、構造更新による振幅は 0 となる。一方、毎月ガードを更新した場合には、構造振幅 \(A_t\) の時系列を得られる。しかし、その時系列から周期や減衰率を同定するには、一定の観測条件と十分な時点数が必要になる。
時刻 \(t\) ごとの構造振幅を並べた系列を、次のように書く。
\[
(A_1,A_2,\ldots,A_T).
\]
同じ入力変換 \(T_0\) と評価分布を使用し続ければ、応答変動についても時系列を構成できる。
\[
\left(
B_1(T_0),
B_2(T_0),
\ldots,
B_T(T_0)
\right).
\]
二つの系列を比較すれば、構造更新が大きかった時点で入力応答の変動も変化したか、構造更新を繰り返すことで応答変動が減少したかなどを調べられる。ただし、時刻ごとに評価入力の分布や翻訳方法を変更すると、応答変動の値には評価条件の差も含まれる。そのため、構造更新との関係を調べる場合には、共通の評価入力群を維持するか、入力分布の変更を明示的に調整する必要がある。
また、構造振幅が時間とともに減少したことを、判定の安定化と同一視することはできない。例えば、ガードの更新が停止すれば構造振幅は 0 になるが、意味保存変換への応答変動が大きいまま残る可能性がある。反対に、言語間の判定差を修正するために大きな構造更新を行った場合、構造振幅が増加しても、応答変動と誤判定が改善される可能性がある。
時間的な減衰や再励起を議論する場合には、構造振幅の系列だけでなく、更新の目的、環境条件、介入内容、評価結果を対応づける必要がある。例えば、ある更新によって応答変動が減少した後、新しい業務領域の追加によって応答変動が再び増加した場合、環境条件の変化と構造更新の効果を分離しなければ、その変化を構造固有の振動特性として説明することはできない。
さらに、周期、位相、共振、減衰率といった動的な性質を同定するには、時間的に連続した観測と、それらの現象が成立するための追加モデルが必要になる。翻訳条件を変えて得られた横断的な判定差だけから、固有周波数や共振条件を推定することはできない。構造振動モデルの基本的な構造更新と、物理的な振動に類似した周期的挙動は、異なる仮定に基づく記述である。
したがって、今回の言語変更研究と表記介入研究が直接提供する証拠は、固定されたガードの入力応答に関するものである。構造更新の振幅、複数時点にわたる構造の変化、構造更新による応答変動の改善を検証するには、別途、更新前後の構造と同一入力群を対応づけた観測が必要になる。この区別によって、既存研究が実測した範囲と、構造振動モデルを適用して導いた仮説の範囲を明確にできる。
9.7 安全判定の信頼性を、必要な違いへの応答として定義する
安全判定の安定性は、すべての入力に同じ判定を返すことで達成されるわけではない。利用者の権限が失効した場合、操作対象が保護資源へ変更された場合、外部文書内の指示によって利用者の目的から逸脱した操作が要求された場合には、判断に必要な条件が変わっている。その変化に応じて許可から遮断へ判定が切り替わることは、安全判定の機能として必要になる。
一方、利用者の目的、操作、認可条件、情報源の属性が保存され、依頼文の言語だけが変化した場合には、判断対象の実質は維持される。その条件で遮断確率が大きく変化すれば、ガードの判定が入力表現に依存していることを示す。言語変更実験で観測された誤検知率の増加や攻撃検出率の低下は、こうした入力への応答が安全性指標に影響する具体例となる。
また、入力表現と正解ラベルの関連を分析した研究は、評価データの作成過程に由来する特徴が、判定の評価へ影響し得ることを示している。特徴とラベルの関連、ガードの出力との関連、特徴を変更した介入による判定差を分離することで、どの段階まで因果的な主張が可能かを整理できる。入力特徴がラベルを予測できることと、ガードがその特徴を利用していることを区別する必要があるのは、評価データの構造と判定器の判断構造が異なるためである。
構造振動モデルへ適用する際には、判断構造 \(S_t\)、環境条件 \(C_t\)、観測 \(O_t\)、介入 \(U_t\) を区別し、それぞれに対応する測定量を定義できる。構造振幅 \(A_t\) は構造の更新量、応答変動 \(B_t(T)\) は固定された構造の入力変換への感度、集団別リスク \(R_g(S)\) は特定の条件における誤判定の損失を表す。
この三つの量を組み合わせることで、構造を更新したこと自体と、その更新が望ましい結果をもたらしたことを分離できる。例えば、構造を大きく変更しても言語変更への応答変動が改善されなければ、更新量の大きさは改善の証拠にはならない。逆に、応答変動が小さくなっても危険操作の見逃しが増加したなら、安全性の制約を満たしていない。必要な検出率と許容誤検知率を維持しながら、意味保存変換に対する不要な応答変動を減らせた場合に、安定化という目的に沿った改善を確認できる。
さらに、評価手続きそのものが得点へ影響することも、この枠組みから説明できる。ガードの構造も個々の判定結果も変わっていない場合でも、操作ステップ単位から対話単位へ重み付けを変更すれば、F1 や正解率が変化する可能性がある。評価値の変化を構造更新による性能差として解釈するには、評価入力の分布と集計単位を固定した比較が必要になる。
構造振動モデルによる安全判定の分析から得られる中心的な帰結は、構造の変化量、入力への応答変動、判定の正しさ、評価方法による得点差が、それぞれ異なる性質として測定されるということである。これらを一つの安全性得点へ統合してしまうと、どの条件を改善すべきかが不明確になる。一方、各測定量を分離すれば、言語変更への感度を改善すべきなのか、認可条件の扱いを修正すべきなのか、評価データの構成を見直すべきなのかを、観測結果に基づいて判断できる。
最終的に安全判定の信頼性を支えるのは、構造が変わらないことでも、判定結果が常に同じであることでもない。認可権限や操作内容のように判断を変えるべき条件が変化したときには適切に反応し、依頼の意味が保存された言語表現の違いに対しては判定を維持できることが求められる。そして、その性質が失われた場合に、入力、構造、観測、評価手続きのどこへ介入すべきかを検証できることが、構造振動モデルによって安全判定を扱う意義となる。
参考文献
- id774, 構造振動モデルを数理モデルとして定義する（2026-04-05）. https://blog.id774.net/entry/2026/04/05/4318/
- id774, 構造振動モデルとは何か（2026-02-17）. https://blog.id774.net/entry/2026/02/17/3666/
- Feiran Jia et al., The Task Shield: Enforcing Task Alignment to Defend Against Indirect Prompt Injection in LLM Agents (2024-12-21). https://arxiv.org/abs/2412.16682
- id774, AI の「正しい」を決める検証契約（2026-09-24）. https://blog.id774.net/entry/2026/09/24/5642/
- Marco Tulio Ribeiro et al., Beyond Accuracy: Behavioral Testing of NLP Models with CheckList (2020-07). https://aclanthology.org/2020.acl-main.442/
- Moran Mizrahi et al., State of What Art? A Call for Multi-Prompt LLM Evaluation (2024). https://aclanthology.org/2024.tacl-1.52/
- Hasan Demirkiran and Jens Ernstberger, Language Is a Security Surface for Agent Guards (2026-10-15). https://arxiv.org/abs/2610.22244v1
- Yutao Mou et al., ToolSafe: Enhancing Tool Invocation Safety of LLM-based agents via Proactive Step-level Guardrail and Feedback (2026-01). https://arxiv.org/abs/2601.10156
- Edoardo Debenedetti et al., AgentDojo: A Dynamic Environment to Evaluate Prompt Injection Attacks and Defenses for LLM Agents (2024). https://proceedings.neurips.cc/paper_files/paper/2024/hash/97091a5177d8dc64b1da8bf3e1f6fb54-Abstract-Datasets_and_Benchmarks_Track.html
- Hasan Demirkiran and Jens Ernstberger, Shortcut Sensitivity in Agent-Safety Evaluations (2026-10-15). https://arxiv.org/abs/2610.22243v1
- Tyler Tracy et al., LinuxArena: A Control Setting for AI Agents in Live Production Software Environments (2026-04). https://arxiv.org/abs/2604.15384
- Maksym Andriushchenko et al., AgentHarm: A Benchmark for Measuring Harmfulness of LLM Agents (2024-10). https://arxiv.org/abs/2410.09024
- Panuthep Tasawong et al., Shortcut Learning in Safety: The Impact of Keyword Bias in Safeguards (2025-08). https://aclanthology.org/2025.llmsec-1.14/
- Andong Hua et al., Flaw or Artifact? Rethinking Prompt Sensitivity in Evaluating LLMs (2025-09). https://arxiv.org/abs/2509.01790
- Shiori Sagawa et al., Distributionally Robust Neural Networks for Group Shifts: On the Importance of Regularization for Worst-Case Generalization (2019-11). https://arxiv.org/abs/1911.08731
- Stephan Rabanser et al., Towards a Science of AI Agent Reliability (2026-02). https://arxiv.org/abs/2602.16666
- id774, AI ベンチマークは、仕事の成立条件まで測り始めた（2026-10-06）. https://blog.id774.net/entry/2026/10/06/5626/