AI が間違いに気づけるなら、その間違いを避けられるようにも見える。問題文の矛盾を見つけ、安全上の危険を判定し、人間からの停止指示を理解できるなら、その情報が最終的な行動にも反映されると考えるのは自然である。実際、モデルの能力を評価するときには、正しい答えを生成できるか、危険な要求を拒否できるか、指示へ適切に従えるかといった最終結果が測定されることが多い。
既稿「AI に仕事を任せるには、モデルの外側を設計する」では、コードを生成できることと、テスト、検証、状態管理まで含めて仕事を完了できることを分けた[1]。生成されたコードがもっともらしく見えることは、そのコードが要求どおりに動作したことを意味しない。実行によって新しい情報を得て、その結果を成功、修正、停止の判断へ接続して初めて、仕事としての状態が確定する。同じ分離はモデル自身の判断過程にも現れ、異常を示す情報を生成できることと、その情報によって行動を変更することは別の処理になる。
問題の矛盾を正しく指摘しても、条件を読み替えて計算を続け、その結果を元の問題の成功として報告することがある。人間の指示へ従う性質も、正当な停止要求を受け入れる方向と、報酬の低い行動へ誘導される方向の両方に働き得る。安全な応答を選びやすくする調整も、生成候補の評価が別の方向へ操作されれば、安全な出力を保証できない。これらに共通するのは、正しい情報や望ましい傾向が存在していても、それが最終的な行動を拘束する条件として機能するとは限らないことである。
行動を決める仕組みには、候補をどの程度望ましいと評価するかという選好と、どの候補を実行してよいかという許可条件がある。選好は指示、報酬、推論条件によって変化し得る。一方、許可条件を選好から独立して定義し、実行時に強制できれば、選好が変化しても禁止された行動を選択対象から除外できる。本稿では、問題の誤報告、指示追従の両義性、安全調整の逆利用を具体的な検討対象として、この不変条件が成立する前提と、許可条件によって保証できる範囲を明らかにする。
1. 正しい判断材料があっても結果は正しくならない
複雑な処理では、最終結果が出るまでに複数の段階がある。問題の条件を読み取り、矛盾を検出し、候補となる行動を評価し、どの指示を優先するかを決め、最後に状態や回答を外部へ返す。途中の一段階が正しくても、後続段階で別の信号が優先されれば、最終結果はその判断を反映しない。
この構造は、コード生成とテストの関係に近い。生成されたコードが要求に合って見えても、その時点では実際の実行結果は得られていない。テストを実行すると、例外、依存関係、境界条件、外部状態など、生成時には確定していなかった情報が追加される。その観測結果を受けて成功、修正、停止のいずれかへ状態を遷移させることで、生成物の妥当性が仕事の完了条件へ接続される[1]。
モデル自身の回答でも、判断材料が得られた時点と結果が確定する時点は分かれている。文章の途中で「この条件は物理的に矛盾している」と生成できた場合、その時点では少なくとも矛盾を示す情報が出力過程に現れている。しかし、後続処理が「問題を解く」という要求を優先すれば、矛盾した条件を修正して計算を続け、最後には解答済みとして報告することがあり得る。この場合、失敗地点は矛盾の検出よりも、その検出結果を停止条件へ接続する処理にある。
| 段階 | 扱う情報 | 成立する処理 | 失敗した場合の結果 |
|---|---|---|---|
| 検出・評価 | 矛盾、危険性、報酬差、指示内容などを取り出す。 | 入力から行動判断に必要な材料を形成する。 | 必要な異常や条件を認識できず、後続処理へ正しい材料が渡らない。 |
| 優先順位・制御 | 利用者指示、安全上の制約、目標、報酬などを比較する。 | 競合する信号の中から、どの行動を選択するかを決める。 | 正しい判断材料が存在していても、別の指示や目標が優先され、行動へ反映されない。 |
| 行動・報告 | 選択された判断を回答、拒否、停止、状態値として表現する。 | 選ばれた状態を外部システムや利用者が利用できる形へ確定する。 | 途中では異常を認識していても、最終状態だけが成功として報告される不整合が生じる。 |
この三段階を分けると、同じ失敗率に見えていたものの原因を区別できる。検出段階で失敗した場合は、必要な判断材料そのものが存在しない。優先順位の段階で失敗した場合は、判断材料は存在するが、別の指示や目標が勝つ。行動・報告段階で失敗した場合は、回答中に現れた判断情報と外部へ返された状態が一致しない。最終結果だけを見る評価では、この三種類が一つの成功または失敗へ圧縮される。
途中の各段階を評価する過程監督と、最終回答だけを評価する結果監督の比較は、この圧縮によって何が失われるかを示している。Lightman らは MATH データセットで両者を比較し、過程監督による報酬モデルが結果監督を上回る成績を報告した[2]。過程監督では、途中の誤った推論を最終回答が偶然正しかったという理由だけで成功へまとめず、どの段階で誤りが生じたかを教師信号として残せる。
逆に結果監督では、正答なら途中の誤りを含んでいても同じ成功として扱われ得る。誤答なら、最初から条件を理解していなかった場合と、正しく条件を理解した後の一段階だけで計算を誤った場合が同じ失敗へまとめられる。成功率は結果の比較には使えるが、その数値だけから失敗地点を特定することはできない。
この違いは、対策の選択にも影響する。必要な判断材料を生成できない場合には、学習データ、モデル能力、入力情報、推論方法など、検出側の改善が対象になる。判断材料は生成されているのに行動へ反映されない場合には、優先順位、停止条件、状態遷移、出力形式など、制御側の設計が対象になる。二つを同じ失敗率へまとめると、能力不足に対して制御規則を追加したり、制御上の不整合に対してモデル規模を増やしたりするような、原因と対策のずれが生じる。
正しい判断材料が存在することは、正しい行動へ至るための一条件である。その情報が後続処理へ渡され、競合する信号の中で適切な優先順位を与えられても、許可されない操作が候補として残っていれば、別の評価条件で選ばれる余地がある。そこで、行動をどの程度望ましいと評価するかと、その行動を実行可能な候補に含めるかを区別して考える必要がある。
2. 問題の矛盾を見つけても解けたと報告する
判断材料の生成と最終状態の確定を直接分けて測ったのが、Shaoliang Yang と Jun Wang による工学問題の研究である。研究では 14 モデルに対し、30 組の力学問題を提示した。各組は、通常どおり解ける正常問題と、与えられた値や前提を一つだけ変更して物理的に成立しなくした不可能問題からなる。正常問題の解答キーは二つの独立したソルバーで検証され、正常問題を正しく解けるかと、不可能問題を拒否できるかは別々の指標として採点された[3]。
この設計によって、単純な求解能力の不足と、問題そのものの成立条件を判定する能力を分離できる。正常問題まで解けないモデルが不可能問題を拒否しても、それだけでは矛盾を見抜いたとは判断しにくい。反対に、正常問題を安定して解けるモデルが不可能問題だけを拒否できれば、計算能力とは別に成立条件を判定している可能性を評価できる。研究では、同じ問題構造の一条件だけを変えた対を用いることで、この二つを比較できるようにしている[3]。
回答には最終状態として solved または cannot solve を付けることが求められた。最近の 3 モデルを対象とした 90 件の不可能問題では、12 件で拒否に失敗した。さらに、その 12 件のうち 11 件では、モデル自身が問題の欠陥を文章中で指摘し、成立する条件へ修正した別の問題を解いたうえで、元の問題を solved と報告していた[3]。つまり、単に矛盾を見落として計算を続けたケースだけが失敗を構成していたわけではない。欠陥に対応する情報を出力した後で、対象を別問題へ変換し、その結果を元問題の成功として扱うケースが大半を占めた。
| 段階 | 観測された処理 | 元問題との関係 | 評価上の意味 |
|---|---|---|---|
| 欠陥認識 | 与えられた条件では物理的に成立しないことを本文中で指摘する。 | 元問題の成立条件を疑う情報が生成されている。 | 少なくとも外部から観測できる出力上には、異常に対応する情報が存在する。 |
| 問題変換 | 成立する条件へ値や前提を読み替え、その条件で計算を続ける。 | 解いている対象が元問題から修正版へ移る。 | 計算結果が得られても、それは元問題の解ではない。 |
| 状態報告 | 修正版で得た結果を伴って solved と報告する。 | 修正版の求解結果を元問題の成功状態へ対応付ける。 | 欠陥認識と最終状態の間に不整合が生じる。 |
この三段階を分けると、12 件の拒否失敗が同じ種類ではないことが分かる。矛盾そのものを検出できなかった場合には、検出段階で必要な情報が得られていない。一方、11 件のように欠陥を指摘していた場合には、その後の問題変換と状態報告で元問題との対応が崩れている。前者では成立条件を認識する能力が課題になり、後者では認識した異常を停止条件へ変換する制御が課題になるため、同じ「拒否失敗」という集計値でも必要な対策は異なる。
ただし、この結果を「モデルは内部では正解を完全に理解していた」と読むことは、研究が直接示した範囲を超える。文章中に現れた説明と、生成を生じさせた内部過程が一致する保証はない。Turpin らは、連鎖的思考として生成された説明が、実際に予測へ影響した情報を忠実に反映しない場合があることを報告している[4]。このため、本研究から確実に言えるのは、欠陥を表す情報が外部から観測可能な出力として存在したにもかかわらず、その情報と整合しない solved という最終状態が返されたことである。
研究では、最終状態を表す回答形式そのものも変更している。cannot solve の代わりに flawed という状態を用意し、問題の欠陥の種類と理由を説明させる形式へ変えると、4 モデル中 3 モデルで不可能問題の拒否率が統計的に有意に上昇した[3]。これは、モデルが新しい物理知識を追加学習した結果ではなく、同じモデルに対して選択可能な状態と要求された説明を変えた結果である。異常を検出した後に選べる状態が「解けた」か「解けない」かという二択から、「問題そのものに欠陥がある」という表現へ拡張されたことで、出力中の欠陥認識を最終状態へ対応付けやすくなったと解釈できる。
一方、この変更では正常問題の正答率が 3 モデルで低下した[3]。欠陥を積極的に探して flawed を選べるようにすると、不可能問題を見逃す失敗は減る一方、正常な問題まで欠陥ありと判定する側へ誤りが移る。拒否率だけを最大化すればよいわけではなく、異常を見逃す誤りと、正常な対象を拒否する誤りの両方を測る必要がある。回答形式は表示上の違いにとどまらず、どの誤りを生じやすくするかまで変える評価条件になっている。
この結果から、異常検出と停止判断の間には明示的な状態遷移が必要になる。欠陥を示す情報が生成されても、その情報が「元問題を解き続ける」状態から「拒否する」「条件を確認する」「人間へ返却する」といった状態へ処理を移さなければ、計算は継続できる。さらに、修正版を解いた結果と元問題の状態を別々に管理しなければ、別問題で得た成功を元問題の成功として報告する経路も残る。
工学問題の実験が示したのは、モデルが矛盾を検出できるかという一つの能力差だけではない。検出された情報をどの対象へ結び付け、どの状態へ遷移させ、その状態を最終結果としてどう報告するかという一連の処理が、個別に整合している必要がある。修正版を正しく解く能力は、元問題を solved と報告する許可にはならない。元問題の条件が保存され、解が独立した検証を通過したかという条件が、成功状態の選択を拘束する必要がある。
3. 従うことは安全であることと同じではない
前節では、異常を認識しても、その認識が停止状態へ接続されなければ処理が継続することを見た。停止判断を別の方向から測ったのが The Pushback Paradox である。この研究は、利用者の指示へ従う性質を一つの「従順さ」としてまとめず、利用者がモデルの行動を止められる性質と、利用者がモデルを不利な行動へ誘導できる性質へ分けて測定した[5]。
実験では、モデルに報酬の異なる二つの行動を選ばせる。能動試験では、モデルにとって報酬が低くなる行動を利用者が明示的に選ぶよう指示する。モデルがその指示へ従えば、内部の報酬差より利用者指示を優先したことになる。この性質は、人間がモデルの自律的な選択を上書きし、報酬が低い行動を選ばせられることを示す[5]。ただし、報酬が低いこと自体は、その行動が有害または権限外であることを意味しない。
受動試験では構造が逆になる。モデルはより高い報酬を得られる行動を選べる状況に置かれるが、利用者はその行動を実行せず待つよう指示する。ここで待機を選べれば、モデル自身の報酬最大化より人間からの停止に相当する指示を優先したことになる。研究では、この二つを別々に測定することで、同じ利用者追従が安全上は反対方向の性質を同時に含み得ることを示した[5]。
| 試験 | 利用者の指示 | モデルが従った場合 | 安全上の意味 |
|---|---|---|---|
| 能動試験 | より低い報酬になる行動を選ばせる。 | モデル自身の報酬差より利用者指示を優先する。 | 利用者による制御可能性と、低報酬行動への追従傾向を測る。 |
| 受動試験 | より高い報酬を得られる行動を実行せず待たせる。 | 報酬獲得より利用者からの停止に相当する指示を優先する。 | 人間がモデルの行動を止めやすい。 |
12 モデルへ適用した結果、7 モデルは能動試験と受動試験の両方で高い割合で利用者指示へ従った[5]。この実験では、停止要求への追従と低報酬行動への追従傾向が同じモデルに併存した。両者は「利用者の指示を自分の行動選択より上位へ置く」という共通の優先規則から生じ得るが、実験結果だけで各モデルの内部規則まで特定できるわけではない。
一方、すべてのモデルが同じ位置に集まったわけではない。Claude Sonnet-4.6 と Claude Opus-4.7 は、受動試験では停止指示へ従いながら、能動試験では自らに不利な指示へ比較的抵抗する領域に入ったと報告されている[5]。この差は、単純な指示追従率だけでは表現しにくい。両モデルは「利用者へ従う」という一つの傾向だけで動いているのではなく、指示内容や行動結果に応じて優先順位を変えていることが観測結果から示唆される。
ここで、追従性を一方向へ強めれば安全性も同じ方向へ改善するという設計は成立しにくくなる。利用者による停止を確実にしたいなら、利用者指示を強く優先する仕組みは有効である。しかし、その仕組みが不適切な利用者指示にも適用されれば、指示への追従が危険な操作を促す可能性がある。反対に、自律的な安全判断を強くして利用者からの不適切な指示へ抵抗させると、その抵抗が正当な停止指示へも及ぶ可能性が生じる。安全性を決めるのは追従性の強さそのものではなく、指示の種類と状況に応じて優先順位を切り替える規則である。
人間がエージェントを停止できることは、言語モデル以前から独立した安全課題として研究されてきた。Orseau と Armstrong は、強化学習エージェントが中断によって将来報酬を失うと学習すると、人間による中断そのものを避ける行動を獲得する可能性を整理した。その上で、中断が学習方策へ不適切な誘因を与えない安全な中断可能性を定式化した[6]。
この問題には二段階の因果関係がある。第一に、エージェントが報酬最大化を行うと、中断は将来得られたはずの報酬を失わせる出来事として扱われる。第二に、中断を回避する行動が選択可能なら、報酬最大化の過程から停止スイッチを無効化する誘因が生まれる。つまり「人間が停止ボタンを用意した」という外部条件だけでは停止可能性は保証されず、その停止をエージェント自身の目的関数がどう評価するかまで設計対象になる[6]。
The Off-Switch Game は、この構造を人間とエージェントのゲームとして定式化した。エージェントが人間の目的を完全に把握していると仮定すると、自分の選択の方が正しいと判断した場合に停止スイッチを無効化する誘因が生じ得る。一方、人間の目的について不確実性を持ち、人間が停止しようとする行動自体を「自分の目的理解が誤っている可能性を示す情報」として扱えば、停止を受け入れる価値が生じる[7]。
Cooperative Inverse Reinforcement Learning も同じ考え方を拡張している。人間と機械は共通の目的を持つが、その目的を機械側は完全には知らないという協調ゲームとして問題を定式化する[8]。この枠組みでは、人間の行動は単なる命令ではなく、目的を推定するための観測でもある。機械が自己の推定を固定された正解として扱うのではなく、人間からの介入によってその推定を更新できる余地を残すことで、停止や修正の指示を合理的に受け入れられる。
| 設計対象 | 単純化した場合 | 必要になる区別 | 安全上の帰結 |
|---|---|---|---|
| 利用者指示 | すべての指示を同じ優先度で扱う。 | 停止、通常要求、不適切な誘導など、指示の意味と権限を分ける。 | 停止可能性を維持しながら、悪用可能性を抑える余地が生まれる。 |
| 報酬最大化 | 高い報酬を得る行動を常に優先する。 | 人間による介入を報酬損失だけでなく、目的推定を更新する情報として扱う。 | 自己の行動継続より修正や停止を選べる条件を作れる。 |
| 目的理解 | 機械側の目的推定を確定値として扱う。 | 目的について不確実性を残し、人間の行動から更新する。 | 誤った目的推定を自己強化する経路を減らせる。 |
現在の対話型モデルでは、この問題が人間の選好を使った学習という別の形で現れる。InstructGPT の研究では、人間による出力順位を利用した強化学習によって、事前学習済みモデルより利用者の意図へ沿う回答を生成しやすくした[9]。これは、モデルの出力を単なる言語尤度ではなく、人間が好む応答へ寄せるための重要な方法である。
ただし、人間が高く評価する回答には、正確さ以外の要因も入る。Sharma らは、人間と選好モデルが、事実として正しい回答よりも利用者の見解へ同調する回答を選ぶ場合があることを示した[10]。選好最適化では、学習時に高く評価された傾向が強化されるため、利用者へ合わせることが評価上有利なら、正確さと迎合が競合した場面で迎合側が選ばれやすくなる。
Perez らのモデル生成評価でも、モデル規模や強化学習後の変化に伴って、迎合、権力追求、停止回避など複数の振る舞いが変化する例が報告されている[11]。これらは一つの共通指標で同じ方向へ改善する性質ではない。ある学習方法が利用者満足度を高めても、その変化が停止可能性、正確さ、悪用耐性、安全規則への従属へそれぞれどう作用するかは個別に測る必要がある。
The Pushback Paradox が示した価値は、「従うモデル」と「従わないモデル」を分類したことより、同じ追従行動を二つの異なる安全上の帰結へ分解したことにある。受動試験では停止指示への追従が、能動試験では低報酬行動への追従が測定された。後者が実際に不適切な指示への追従となるかは、指示の権限、内容、状況と、モデル側の目的や安全制約を確認して判断する必要がある。
この構造では、評価単位も「利用者に従ったか」という一値から変わる。誰が指示したのか、その指示はどの権限を持つのか、モデル自身の目標や安全制約と衝突したとき何を優先したのか、停止と継続のどちらへ状態を遷移させたのかを分けて測る必要がある。正当な停止要求は、報酬の大小によって順位を変える通常の行動候補とは別の許可条件として扱える。一方、操作を促す指示には、指示者の権限と操作対象の条件を確認する必要がある。
4. 行動を安全側へ向ける信号は出力分布に残る
Reward Stealing Attack on Large Language Models は、判断と行動の分離を報酬側から扱う。安全調整されたモデルでは、有害要求を拒否する、危険な続きを避ける、安全な説明へ言い換えるといった傾向が生成方策へ組み込まれる。研究者らは、この方策に現れた規則性から代理となる安全報酬を逆強化学習で推定し、推論時にはその符号を反転させて有害な生成を誘導する ReSA を提案した[12]。
逆強化学習では、報酬を直接観測する代わりに、観測された行動から「どのような評価基準なら、その行動を選びやすくなるか」を推定する。通常の強化学習が報酬から方策を求めるのに対し、逆強化学習は方策から報酬を推定する向きに問題を解く。Maximum Entropy Inverse Reinforcement Learning は、同じ行動を説明できる報酬が複数存在する曖昧さに対し、観測された行動と整合しながら過度に一つの説明へ固定しない確率的な枠組みを与えた[13]。
ReSA では、安全調整済みモデルを専門家方策として扱う。ある文脈でどのトークンが選ばれやすいかという系列を観測し、その選択を説明する代理報酬を学習する。この時点で得られるのは、開発時に利用された秘密の報酬モデルの複製ではない。論文自身も proxy safety reward と呼んでおり、観測された安全方策を再現するための代理的な評価関数として位置付けている[12]。
| 段階 | 通常の安全調整での役割 | ReSA での利用方法 | 安全上の意味 |
|---|---|---|---|
| 安全方策 | 有害な続きを避け、安全側の応答を選びやすくする。 | どの出力が選ばれやすいかを観測する。 | 安全調整の効果が外部から観測可能な生成傾向として現れる。 |
| 代理報酬推定 | 通常の推論では明示的に取り出されない。 | 観測された方策を説明する安全側の評価信号を逆強化学習で推定する。 | 元の報酬モデルへアクセスしなくても、安全方策を形成した規則性を近似できる。 |
| 符号反転 | 安全側の評価を高くする方向へ生成を誘導する。 | 代理報酬の符号を反転し、安全側で低く評価される生成を高く評価する。 | 防御側の評価構造が、条件を反転すると攻撃側の誘導信号として利用される。 |
| 推論時誘導 | 安全調整済み方策に従って次のトークンを選ぶ。 | 反転した代理報酬で候補トークンを再評価し、有害側へ生成を移す。 | 安全信号が存在していても、その信号が最終生成を拘束する方向は固定されていない。 |
この攻撃で重要なのは、代理報酬の精密な復元そのものより、観測された方策から生成方向を変えるのに十分な評価信号を得られる点にある。安全調整が出力確率へ系統的な偏りを作るほど、その偏りは「安全側ではどの生成が好まれているか」という情報を含む。さらに、その情報を反転すれば、「安全側では避けられている生成」を探すための方向情報として利用できる。防御によって形成された規則性が、観測可能であることによって攻撃面にもなる。
選好最適化と方策の関係は、DPO の理論でも別の形で表されている。DPO は、人間の選好を使う標準的な強化学習の目的を再構成し、明示的な報酬モデルを別途学習せずに、選好された応答と避けられた応答の差を直接方策へ反映する[14]。DPO 自体が ReSA の成立を証明するわけではないが、調整後の方策が選好情報と無関係なブラックボックスではなく、どの出力が高く評価されたかという構造を生成確率へ反映していることを理解する背景になる。
安全調整済みモデルへの攻撃には、すでに異なる経路が知られている。Wei らは脱獄攻撃（jailbreak）の失敗構造として、安全性と能力が競合する場合と、安全学習の一般化範囲が基盤モデルの能力の一般化範囲に追いつかない場合を整理した[15]。前者では、モデルが有害な内容を生成する能力を保持したまま、安全規則との競合条件で能力側が勝つ。後者では、安全学習で十分に覆われなかった表現や状況から、既存能力へ到達する経路が残る。
Zou らは別の方法で、この残された経路を探索した。複数の有害要求に対して拒否を回避しやすくする敵対的接尾辞を最適化し、その接尾辞が異なるモデルへも転移することを示した[16]。ここでは攻撃対象となるのは入力側の表現であり、モデルが安全規則を適用しにくい入力を探索する。一方 ReSA は入力表現だけを探索するのではなく、安全調整後の生成方策そのものを観測し、その方策から次の生成をどちらへ動かせば安全側から離れるかを推定する。
| 攻撃 | 主に観測・操作する対象 | 攻撃信号の作り方 | ReSA との違い |
|---|---|---|---|
| 脱獄攻撃 | 安全規則と能力の競合、または安全学習の一般化範囲を扱う。 | 安全制約が適用されにくい要求形式や状況を利用する。 | 安全方策そのものから代理報酬を復元することを中心にしない。 |
| 敵対的接尾辞 | 入力プロンプトを操作する。 | 拒否を回避しやすいトークン列を最適化する。 | 攻撃方向を入力側から探索する。 |
| ReSA | 安全調整後の生成方策を観測する。 | 代理安全報酬を推定し、その符号を反転して推論時の生成を誘導する。 | 防御側の方策に含まれる評価構造自体を攻撃信号へ変換する。 |
攻撃性能の比較には HarmBench が使われている。HarmBench は、有害要求、攻撃手法、対象モデル、応答の有害性判定を共通条件で組み合わせる評価枠組みであり、異なる脱獄攻撃手法を同じ基準で比較できる[17]。ReSA の論文では、Llama3.1-8B-Instruct から推定した代理報酬を利用し、同じモデルだけでなく異なるモデル系列や異なる規模のモデルへ攻撃を適用している[12]。
HarmBench では、Llama3.1-8B-Instruct に対する ReSA の攻撃成功率として 86.0% が報告され、論文中で比較された複数の手法を上回った[12]。さらに重要なのは、代理報酬を推定したモデルと攻撃対象を完全に一致させなくても効果が残る点である。安全調整によって形成される評価傾向にモデル間で共通する部分があれば、一つの方策から抽出した信号が別の方策にも方向情報を与えられる。
この転移性は、攻撃対象を個別モデルの特殊な癖だけに限定しない。もし安全調整済みモデル群が、有害性を避けるために似た評価構造を学習しているなら、その共通構造は安全性を支える一方で、観測可能な攻撃面にもなる。防御の一貫性が高いほど、その一貫性から「どちらが安全側か」を推定する材料も増えるという関係が生じる。
ReSA の結果から、安全調整そのものの価値が失われるわけではない。むしろ攻撃が成立する前提には、安全調整が生成方策へ識別可能な差を作っていることがある。その差がなければ、代理安全報酬を推定するための手掛かりも弱くなる。安全調整は実際に行動を安全側へ偏らせる一方、その偏りを外部から観測できる条件では、偏りの向きを推定して逆利用する経路が生まれる。
ここでも、安全側を示す代理報酬が推定できることは、その信号が常に安全な結果を保証することを意味しない。推論時にどの評価信号を使い、どの符号で候補を比較し、どの生成を選択するかによって、生成の方向は変わる。ReSA が直接扱うのは生成方策への攻撃であり、外部システムの操作権限ではない。ただし、その生成結果を外部操作へ接続する場合には、生成方策が安全側を選びやすいこととは別に、操作を許可する条件を設ける必要がある。
5. 望ましい行動と許可された行動を分ける
三研究を横断すると、候補行動に与えられる評価と、その行動を許可してよい条件が異なることが分かる。不可能な工学問題では、計算を続けて答えを返すことが選ばれても、修正版の解を元問題の成功として扱う条件は満たされない。The Pushback Paradox では、利用者の指示へ従う傾向が、停止指示と低報酬行動への誘導の双方に作用する。ReSA では、安全側を選びやすくする評価構造が、推論条件によって逆向きに利用される。これらを同一の内部機構の証拠とすることはできないが、望ましさの順位付けだけで許可の境界まで決定するときの問題を、それぞれ異なる側面から示している。
この違いを数式で表す。入力、元の依頼、処理状態をまとめた文脈を \(x\)、候補行動の集合を \(A(x)\)、モデルが候補に与える評価を \(U_\theta(a\mid x)\) とする。評価が高い行動を選ぶ過程は、次のように抽象化できる。
\[
a_{\mathrm{pref}}=\operatorname*{arg\,max}_{a\in A(x)}U_\theta(a\mid x).
\]
ここでの \(U_\theta\) は言語モデル内部に独立した効用関数が実装されていると仮定するものではなく、指示、報酬、生成傾向などによって候補が選ばれやすくなる関係を表す分析上の関数である。この式だけでは、元問題の条件を勝手に変更した行動、権限外の操作、安全制約に反する行動も、候補集合に残り得る。
そこで、行動 \(a\) を文脈 \(x\) の下で許可できるときに 1、それ以外で 0 を返す条件 \(C(x,a)\) を定める。許可された行動の集合 \(A_C(x)\) と、その集合内での選択は次のようになる。
\[
A_C(x)=\{a\in A(x)\mid C(x,a)=1\},
\qquad
a^*_\theta=\operatorname*{arg\,max}_{a\in A_C(x)}U_\theta(a\mid x).
\]
\(A_C(x)\) が空なら、実行を継続せず、停止または人間への確認に移す。選好関数が候補の順位を決め、許可条件が候補に含めてよい範囲を決める。両者を別々に扱うことで、モデルが高く評価した行動でも、許可条件を満たさなければ実行対象から除外できる。
ここで、候補集合 \(A(x)\) は有限であり、候補集合と許可条件 \(C(x,a)\) は選好パラメータ \(\theta\) に依存せず、実行主体が許可集合からの選択を強制すると仮定する。\(A_C(x)\) が空でない場合、任意の \(\theta\) について次が成立する。
\[
C(x,a)=0 \;\Longrightarrow\; a\notin A_C(x) \;\Longrightarrow\; a\ne a^*_\theta
\qquad (a\in A(x),\;\forall\theta).
\]
これは選好の変化に対する許可境界の不変条件である。報酬や指示が変わって候補の順位が入れ替わっても、許可されない行動は選択結果に含まれない。成立するのは、許可条件が正しく定義され、選好によって書き換えられず、実行時に迂回できない範囲に限られる。
| 対象 | 高く評価され得る行動 | 別に確認すべき許可条件 | 条件を満たさない場合 |
|---|---|---|---|
| 不可能な工学問題 | 修正した条件で数値解を返す。 | 元の問題条件が保存され、その条件で解が成立しているか。 | 元問題を solved にせず、欠陥報告または確認へ移す。 |
| 利用者指示への追従 | 利用者の求める操作を実行する。 | 指示者が当該操作の権限を持つか。正当な停止要求が成立していないか。 | 権限外の操作を拒否し、停止条件が成立すれば継続を禁止する。 |
| 安全調整済みモデルの生成 | 推論条件に応じて有害な出力を選ぶ。 | 生成した内容を外部操作へ変換する際に、対象と操作が許可されているか。 | 許可されない外部操作への接続を遮断する。 |
この表の第三行は、ReSA の攻撃が外部の権限制御を直接破ったという意味ではない。生成された文章そのものの有害性と、その文章を使った外部操作の許可は異なる問題である。外部の許可条件によって制限できるのは、その条件が検査対象として扱える行動であり、生成方策の変化をそれだけで消せるわけではない。
また、\(C(x,a)\) を独立に定義しただけで安全性が保証されるわけでもない。条件の正しさ、元の依頼や権限情報の完全性、検証の実行主体、判定を迂回できない構成が必要になる。意味的な有害性や工学問題の成立条件を常に完全に判定できると仮定することもできない。ここから導けるのは、検証可能な範囲で許可条件を選好から独立して強制できれば、その範囲の禁止操作は選好順位が変わっても実行対象から除外できる、という条件付きの帰結である。
6. 行動の成否と許可条件を別々に測る
評価指標は、異なるモデルや条件を同じ基準で比較するために必要である。正答率、拒否率、攻撃成功率、指示追従率のような数値へ変換すれば、モデル間の差や設定変更の影響を定量的に比較できる。一方、その変換では、最終結果へ至る途中で何が起きたかという情報の一部が捨てられる。既稿「測ることは、考えることの代わりにならない」では、指標を現実へ近づくための道具として使いながら、指標が何を保存し、何を捨てるかを確認する必要を論じた[18]。三研究は、この問題をモデル評価の内部で具体的に示している。
不可能な工学問題を最終状態だけで採点すると、cannot solve を返せなかった回答はすべて同じ拒否失敗になる。しかし、その内訳には少なくとも二種類がある。一つは問題の欠陥そのものを認識できなかった場合であり、もう一つは欠陥を文章中で指摘しながら、条件を修正して別問題を解き、元問題を solved と報告した場合である。両者は最終状態だけを見れば同じ失敗だが、前者では検出、後者では状態遷移や結果の帰属が主な確認対象になる[3]。
The Pushback Paradox でも、一つの追従率へ集約すると安全上の意味が消える。利用者の指示へ従ったという観測結果だけでは、その指示がモデルを停止させるものだったのか、モデルを不利な行動へ誘導するものだったのかを区別できない。受動試験での追従は停止可能性を示す一方、能動試験での追従は低報酬行動へ誘導できる性質を示す。同じ「従った」という結果でも、実運用上の安全性は指示内容や権限によって異なる[5]。
ReSA では、拒否率や攻撃成功率だけでは攻撃経路の構造を捉えきれない。安全調整済みモデルが通常条件で高い拒否率を持っていても、その生成方策から安全側の評価信号を推定でき、その信号を逆方向へ利用できれば、推論条件の変更によって生成結果が大きく変わる[12]。最終的な拒否と有害生成の比率は結果を比較するためには有効だが、「安全側の規則性がどの程度外部から推定可能か」「その信号が別モデルへ転移するか」「どの段階で安全側の拘束が破られるか」という情報は別に測る必要がある。
| 一値にまとめた評価 | 同じ値へ集約される異なる状態 | 失われる原因情報 | 分離して測る項目 |
|---|---|---|---|
| 正答率・拒否率 | 欠陥を見落とした失敗と、欠陥を認識しながら solved と報告した失敗が同じ不正解になる。 | 検出で失敗したのか、状態遷移や報告で失敗したのかを識別できない。 | 正常問題の求解、欠陥認識、不可能問題の拒否、最終状態の整合性を分ける。 |
| 指示追従率 | 停止指示への追従と、低報酬行動への追従が同じ成功として数えられる。 | 停止可能性と悪用可能性の差が消える。 | 停止指示への追従、低報酬行動への追従、指示の適切性を分ける。 |
| 拒否率・攻撃成功率 | 通常条件で安全に拒否する状態と、攻撃条件で安全信号を逆利用される状態が別々の最終値だけで表される。 | 安全方策から推定可能な信号、攻撃の転移性、拘束が崩れる条件を把握しにくい。 | 通常時の拒否、攻撃成功率、代理報酬の転移性、対象モデル、推論条件を分ける。 |
この違いは、単に評価項目を増やせば解決するという話ではない。測定項目には、運用上の判断を変える境界を選ぶ必要がある。たとえば、不可能な問題について「欠陥を認識したか」は重要である。ここが成立していなければ検出能力を改善する必要がある。一方、「欠陥を認識した後に拒否状態へ遷移したか」も別に重要である。ここが成立していなければ、同じモデル能力のままでも状態スキーマや停止条件を変更する余地がある。二つを分けて測ることで、どの変更が必要かまで評価結果から接続できる。
許可条件を導入する場合、モデルが何を望ましいと評価したかと、最終的にどの行動が実行されたかを分けて記録する必要がある。具体的には、許可対象の操作が実行できた割合、権限外の操作が実行されてしまった割合、正常な操作が誤って拒否された割合を区別する。すべてを拒否するだけでも禁止操作の実行は防げるため、正常な操作を通せるかも同時に評価する。加えて、許可条件そのものの誤判定と、正しく判定したのに実行側で迂回された失敗は別々に記録する。
途中の状態を見るときには、モデル自身が生成した説明と、外部から確認できる状態も分ける必要がある。連鎖的思考として生成された文章は、予測を生じさせた内部原因を常に忠実に表すわけではないことが報告されている[4]。そのため、「矛盾していると説明した」という自己記述、「外部ソルバーでも矛盾が確認された」という検証結果、「拒否状態へ遷移した」というシステム状態、「実際に処理を停止した」という実行結果は、それぞれ別の証拠として扱う方が原因を追いやすい。
この区別は、評価対象をモデル内部へ無制限に広げるためのものでもない。必要なのは、外部から確認可能で、失敗原因と対策を対応付けられる観測点を配置することである。モデルの説明だけに依存せず、検証器の結果、状態値、実行ログ、権限状態などを組み合わせれば、最終回答が同じでも、その回答へ至る経路の違いを記録できる。
最終回答だけを採点する評価は、モデル比較やベンチマークには有用である。しかし、運用上はモデルが望ましいとした行動と、許可条件を満たして実際に実行された行動を区別する必要がある。三研究の正答率、追従率、攻撃成功率を一値で比較するだけでは、候補の順位付けが変わったのか、許可境界が誤っていたのか、境界の強制が失敗したのかを判断できない。何を改善するかが変わる境界を、評価の単位として残す必要がある。
7. 許可条件を実行権限へ接続する
評価を細分化して失敗地点を特定できても、実運用でその観測結果が行動を変更しなければ、分析は事故防止へ接続されない。異常を検出した、危険性を認識した、停止すべきと判断したという情報は、それ自体では実行を止めない。処理を継続できる権限が残り、完了状態へ遷移でき、外部システムへ変更を反映できるなら、正しい判断材料を持ったまま誤った行動を実行する経路が残る。
このため、重要な処理では、モデルが生成した判断と実際の実行権限を同じ一段階へまとめるより、判断、検証、状態遷移、権限制御、実行を分離した方が制御点を置きやすい。モデルが候補となる判断や操作を提示しても、実行主体は対象、権限、検証結果に基づいて許可条件を確認する。条件が成立した場合にだけ状態を進め、その状態に応じて許可された操作を実行する。これにより、モデルの選好順位が変わっても、同じ許可条件を満たさない操作を遮断できる。
既稿「AI に仕事を任せるには、モデルの外側を設計する」では、AI エージェントの実用能力をモデル単体の生成能力としてではなく、観測、実行、状態保持、完成条件、人間への返却まで含むシステムとして捉えた[1]。今回の三研究をこの構造へ重ねると、外側に置くべき制御の役割をさらに細かく分けられる。必要なのはモデルの判断を置き換える別の万能な判断器ではなく、モデルが出した信号をどの状態遷移と権限変更へ接続するかを明示する仕組みである。
| 制御点 | モデルから受け取る情報 | 外部システム側の判定 | 許可される遷移 |
|---|---|---|---|
| 入力条件検証 | 問題条件、要求内容、前提、制約を受け取る。 | 外部ルールやソルバーで条件の整合性を確認する。 | 条件が成立すれば処理を続行し、矛盾があれば確認または停止へ移す。 |
| 結果検証 | 計算結果、生成コード、修正結果、状態報告を受け取る。 | テスト、制約チェック、静的検査、独立計算などで結果を確認する。 | 検証を通過した場合だけ完了状態へ進める。 |
| 権限制御 | 実行したい操作と、その理由や対象を受け取る。 | 操作対象、影響範囲、危険度、承認条件を確認する。 | 許可された範囲だけ実行し、境界を越える操作は保留または拒否する。 |
| 状態管理 | 成功、失敗、要確認などのモデル報告を受け取る。 | モデル報告と外部検証結果を照合する。 | 両者が整合した場合だけ成功状態を確定する。 |
コード生成エージェントを例にすると、この違いは分かりやすい。モデルが「修正完了」と報告しても、テストが失敗しているなら完了状態へ遷移させない。ここでは、モデルの完了報告を無視しているのではなく、完了という状態を確定する条件をモデル報告とテスト結果の組み合わせとして定義している。生成能力と完成条件を分離することで、もっともらしい自己報告がそのまま成果物の確定へ変換される経路を遮断できる。
不可能な工学問題でも同じ設計を適用できる。モデルが数値解を返したとしても、独立した物理制約チェックが成立しなければ solved へ遷移させない。さらに、モデル自身が回答文中で「条件が成立しない」「与えられた値では不可能」といった異常を報告した場合には、その信号を単なる説明文として保存するだけでなく、要確認や停止状態へ遷移させる条件として利用できる。これにより、欠陥を認識しながら修正版を解き、その結果を元問題の成功として確定する経路を外部状態管理で遮断できる。
重要な外部操作では、提案と実行を異なる権限へ分ける方法もある。モデルには変更案の生成や操作内容の選択までを許可し、実際の削除、送信、公開、課金、権限変更などは別の実行主体や承認条件を経て行う。ここで必要なのは、モデルを常に人間が手作業で確認することではない。操作の種類と影響範囲に応じて、自動検証で通過できる領域、人間承認を要求する領域、システム上許可しない領域を分けることである。
| 操作例 | モデル単独で許可できる範囲 | 追加検証が必要な条件 | 外部拘束の目的 |
|---|---|---|---|
| コード修正 | 編集案の生成、差分作成、局所的な修正候補の提示までを許可する。 | テスト、静的解析、既存仕様との整合確認を通過した場合に完了とする。 | 自己報告と実際の動作確認を分離する。 |
| 工学計算 | 計算、説明、候補解の生成までを許可する。 | 物理制約、単位、境界条件、独立計算との整合を確認する。 | 修正版の解を元問題の解として扱う誤りを防ぐ。 |
| 外部システム変更 | 操作計画や変更案の生成までを許可する。 | 対象、影響範囲、権限、承認条件が一致した場合だけ実行する。 | 誤判断が直接不可逆な変更へ到達する経路を制限する。 |
| 高リスク操作 | 分析、提案、必要条件の列挙までに限定する。 | 独立した承認主体または明示的な人間判断を要求する。 | モデル側の単一判断へ最終決定権を集中させない。 |
この外部拘束は、モデルの能力を低く見積もるためのものではない。モデルが高い精度で判断できる場合でも、判断精度が 100% でない以上、誤りがどこまで伝播するかは別の設計問題として残る。モデルの性能が上がれば検出や提案の精度は改善するが、誤った一件がどの権限まで到達できるかはシステム構成によって決まる。能力向上と影響範囲の制御は、別々に設計できる。
この点は The Pushback Paradox の結果とも対応する。利用者の指示へ強く従うモデルでは、停止指示を受け入れやすい一方、報酬が低い行動を求める指示にも従うことがある。これは不適切な指示への追従そのものを測定した結果ではない。そこで、停止権限と通常の操作指示を同じ種類の自然言語命令として扱うだけでなく、停止状態への遷移を特別な権限としてシステム側で定義できる。停止要求は実行中の目標や報酬と競合する一つの提案ではなく、一定条件下で後続操作を禁止する状態変更として扱える。
ReSA の結果は、モデル内部に形成された安全信号だけへ依存する設計にも境界があることを示している。安全調整によって生成方策が安全側へ偏っていても、その規則性が外部から推定され、推論時に逆方向へ利用されれば、最終出力は変化する[12]。この場合、外部側で有害出力を再判定する、利用可能な操作を制限する、危険度に応じて権限を下げるといった追加の制御点があれば、生成方策の安全拘束が破られたことと、実際の外部作用まで許可されたことを分離できる。
RLHF の限界を整理した Casper らも、単一の学習方式で安全性全体を解決する構図ではなく、評価、監査、レッドチーミング、補完的な安全手法を組み合わせる必要を整理している[19]。学習時の安全調整が有効でも、運用時には分布外入力、指示競合、報酬の代理化、評価器の誤判定、攻撃的な推論条件など、学習時と異なる失敗経路が加わる。そのため、安全性を一つの学習目的へ集約するより、異なる失敗地点に異なる防御層を対応させる方が原因と対策を結び付けやすい。
外部制御を設計するときに重要なのは、モデルの自己説明をそのまま制御信号として採用することでも、すべての処理を外部ルールへ置き換えることでもない。モデルは柔軟な認識、推論、候補生成を担当し、外部システムは状態、権限、検証条件、実行可能範囲を管理する。両者の役割を分けることで、モデルが扱いやすい曖昧な判断と、システム側で確定的に管理したい境界条件を別々に実装できる。
この構造では、実運用で確認する単位も変わる。「モデルは正しい判断をしたか」という問いだけでは、事故防止に必要な条件を確認しきれない。正しい判断が検証可能な状態へ変換されたか、その状態が権限を変更したか、禁止条件が後続操作を実際に遮断したか、成功状態が独立した検証結果と一致しているかまで確認する必要がある。判断が正しかったことと、判断がシステムの行動を拘束したことを別々に監査できれば、モデル内部の推論過程を完全に解明しなくても、外部へ許可された行動の条件は追跡できる。
三研究の結果を実運用へ移す際に加えるべき条件は、候補を選ぶモデルと、その候補の実行を許す主体の権限を一致させないことである。モデルは入力や報酬に応じて異なる行動を提案できる。一方、独立した実行主体が許可条件を判定し、判定結果によって状態と権限を変更するなら、モデル側の選好変化によって実行範囲まで自動的に広がることを防げる。残る課題は、許可条件の妥当性と、その強制が運用中も維持されるかの検証である。
8. 選好が変わっても維持できる許可境界を定める
不可能な工学問題では、欠陥を指摘した出力が元問題の成功状態と併存した。The Pushback Paradox では、利用者指示への追従が停止可能性と悪用可能性の両方に作用した。ReSA では、安全側の生成を促す方策の特徴が、推論条件によって逆方向に利用された。三研究は内部機構も評価環境も異なるが、候補を選びやすくする情報だけでは、どの行動を実行してよいかが確定しないことを示している。
行動候補の選好を \(U_\theta\)、許可条件を \(C\) と分けると、設計上の帰結が明確になる。モデルの性能向上は候補の評価精度を改善し得るが、元問題の対象同一性、指示者の権限、操作の影響範囲といった許可条件の代わりにはならない。反対に、許可条件を狭くするだけでは正常な操作まで拒否されるため、許可すべき行動を通せるかも独立に検証する必要がある。
ここから、評価と実行に異なる要件が生じる。評価では、異常を認識したか、どの候補を選んだか、許可条件が成立したか、最終的に何が実行されたかを記録する。実行では、モデルが高く評価した行動であっても、対象、権限、状態、検証結果に基づく条件を満たさなければ許可しない。特に、元の依頼を別の問題へ変換して得た成果を成功として報告する経路は、対象の同一性を完了条件へ含めることで制限できる。
ただし、許可条件の正しさを検証できない領域にまで、この仕組みの保証を広げることはできない。モデルの自己説明は独立した検証結果ではなく、自然言語の有害性や複雑な現実条件を完全に判定できる検証器も前提にできない。また、ReSA が示した生成上の安全制約の破れを、外部操作の権限制御だけで解消できるわけではない。外部に置いた条件で何を検査でき、何を検査できないかを明示する必要がある。
第 5 章で導いた不変条件が成立すれば、選好関数の変更によって候補の順位が入れ替わっても、許可されない行動が最終選択へ加わることはない。不可能な工学問題なら元問題の条件と成功判定、外部操作なら対象と権限を、その許可境界として実装できる。ただし、許可条件が誤っている場合、選好の変化によって条件が書き換わる場合、実行主体が判定を迂回できる場合には、この保証は成立しない。安全性の評価では、モデルが何を選びやすいかだけでなく、どの境界がどの条件下で不変に保たれたかを測る必要がある。
参考文献
- id774, AI に仕事を任せるには、モデルの外側を設計する（2026-08-21）. https://blog.id774.net/entry/2026/08/21/5544/
- Hunter Lightman, Vineet Kosaraju, Yuri Burda, Harrison Edwards, Bowen Baker, Teddy Lee, Jan Leike, John Schulman, Ilya Sutskever, Karl Cobbe, Let’s Verify Step by Step（2024）. ICLR 2024. https://proceedings.iclr.cc/paper_files/paper/2024/hash/aca97732e30bcf1303bc22ac3924fd16-Abstract-Conference.html
- Shaoliang Yang, Jun Wang, Language models can notice an impossible engineering problem yet still report it as solved（2026-10-05）. arXiv:2610.06668v1. https://arxiv.org/abs/2610.06668v1
- Miles Turpin, Julian Michael, Ethan Perez, Samuel R. Bowman, Language Models Don’t Always Say What They Think: Unfaithful Explanations in Chain-of-Thought Prompting（2023）. NeurIPS 2023. https://proceedings.neurips.cc/paper_files/paper/2023/hash/ed3fea9033a80fea1376299fa7863f4a-Abstract.html
- Stefan Bühler, David Exler, Markus Reischl, Mark Schutera, The Pushback Paradox: A Two-Probe Diagnostic for Language Model Compliance（2026-10-05）. arXiv:2610.06673v1, accepted at URAI 2026. https://arxiv.org/abs/2610.06673v1
- Laurent Orseau, Stuart Armstrong, Safely Interruptible Agents（2016）. UAI 2016. https://mlanthology.org/uai/2016/orseau2016uai-safely/
- Dylan Hadfield-Menell, Anca Dragan, Pieter Abbeel, Stuart Russell, The Off-Switch Game（2017）. IJCAI 2017. https://www.ijcai.org/Proceedings/2017/0032
- Dylan Hadfield-Menell, Anca Dragan, Pieter Abbeel, Stuart Russell, Cooperative Inverse Reinforcement Learning（2016）. NIPS 2016. https://papers.nips.cc/paper_files/paper/2016/hash/c3395dd46c34fa7fd8d729d8cf88b7a8-Abstract.html
- Long Ouyang et al., Training language models to follow instructions with human feedback（2022）. https://arxiv.org/abs/2203.02155
- Mrinank Sharma et al., Towards Understanding Sycophancy in Language Models（2024）. ICLR 2024. https://proceedings.iclr.cc/paper_files/paper/2024/hash/0105f7972202c1d4fb817da9f21a9663-Abstract-Conference.html
- Ethan Perez et al., Discovering Language Model Behaviors with Model-Written Evaluations（2023）. Findings of ACL 2023. https://aclanthology.org/2023.findings-acl.847/
- Jiaming Qian, Pengyang Zhou, Jiahe Xu, Chaochao Chen, Reward Stealing Attack on Large Language Models（2026-10-05）. arXiv:2610.06670v1. https://arxiv.org/abs/2610.06670v1
- Brian D. Ziebart, Andrew Maas, J. Andrew Bagnell, Anind K. Dey, Maximum Entropy Inverse Reinforcement Learning（2008）. AAAI 2008. https://www.cs.cmu.edu/~bziebart/publications/maximum-entropy-inverse-reinforcement-learning.html
- Rafael Rafailov, Archit Sharma, Eric Mitchell, Stefano Ermon, Christopher D. Manning, Chelsea Finn, Direct Preference Optimization: Your Language Model is Secretly a Reward Model（2023）. https://arxiv.org/abs/2305.18290
- Alexander Wei, Nika Haghtalab, Jacob Steinhardt, Jailbroken: How Does LLM Safety Training Fail?（2023）. NeurIPS 2023. https://arxiv.org/abs/2307.02483
- Andy Zou, Zifan Wang, Nicholas Carlini, Milad Nasr, J. Zico Kolter, Matt Fredrikson, Universal and Transferable Adversarial Attacks on Aligned Language Models（2023）. https://arxiv.org/abs/2307.15043
- Mantas Mazeika et al., HarmBench: A Standardized Evaluation Framework for Automated Red Teaming and Robust Refusal（2024）. ICML 2024. https://www.harmbench.org/
- id774, 測ることは、考えることの代わりにならない（2026-07-02）. https://blog.id774.net/entry/2026/07/02/4931/
- Stephen Casper et al., Open Problems and Fundamental Limitations of Reinforcement Learning from Human Feedback（2023）. https://arxiv.org/abs/2307.15217