生年月日を登録していない文章作成サービスで、利用者が学生時代の出来事や就職した時期について相談したとする。例えば、2010 年に大学を卒業したという情報があれば、一般的な卒業年齢を前提に、現在の年齢をある程度推定できる。卒業時の年齢には個人差があるため、生年月日を特定することはできない。しかし、年齢区分を推定するための手掛かりとしては利用できる。
その後、利用者が仕事の連絡に使うメールの作成を依頼する。メールに必要なのは、会議の日時、場所、参加者への依頼であり、利用者の年齢は必要ない。一方、文章を生成するモデルには、同じ内容を伝える複数の表現から一つを選ぶ余地がある。会議への参加を依頼するという目的を維持したまま、特定の語句を選択したり、文の構造を変えたりすることができる。仮にモデルが、推定した年齢区分に応じて表現を選択するよう学習していれば、メールの意味内容を維持しながら、年齢に関する情報を文章に含めることが可能になる。
この場合、利用者が明示的に与えた情報は卒業年などの経歴であり、モデルが生成処理に利用した情報は、それらの経歴から推定した年齢区分である。さらに、外部の受信者が取得する情報は、利用者が伝えようとした会議の連絡事項に加えて、文章の選択に反映された年齢区分を含み得る。入力、推定、生成、伝達という各処理を経る過程で、情報の内容と利用目的が変化している。
個人情報を保護する仕組みでは、入力された情報をどこへ保存し、誰に参照を許可し、いつ削除するかが問題になる。文章生成を行うシステムでは、これらの管理に加えて、参照を許可した情報の組み合わせから何を推定できるかを考える必要がある。生年月日の記録へのアクセスを禁止しても、卒業年や就職年へのアクセスを許可していれば、年齢の推定に必要な情報が残る場合がある。個々の情報へのアクセス制御が成立していても、複数の情報を結合する処理によって、保護対象となる属性を再構成できるためである。
また、モデルが推定した情報を文章の意味として明示する場合と、同じ意味を持つ複数の表現の選択に反映する場合とでは、利用者がその情報を確認するための条件が異なる。メールに年齢が明記されていれば、利用者はその記述を読んで削除できる。しかし、年齢区分が語彙選択の統計的な偏りに反映されている場合、通常の文章確認だけで、その偏りが特定の属性を表していることを判定するのは難しい。文章の意味を確認する処理と、文章が保持する情報を検査する処理では、観測対象が異なる。
個人情報の保持、属性の推定、生成処理への利用、成果物を経由する外部伝達には、それぞれ成立条件がある。記憶の削除は情報の保持に対する保護手段であり、通信権限の制限は特定の外部操作に対する保護手段である。推定された個人属性が通常の文章に含まれて外部へ到達する経路を考えると、これらの手段がどの段階を制御し、どの段階に情報の利用可能性が残るのかを区別できる。情報保護の成立範囲は、保存されたデータの管理だけでなく、許可された処理が形成する情報と、その情報が到達できる範囲によっても決まる。
1. 個人情報は入力された情報だけではない
1.1 個別の情報から人物像を形成する
ある企業の業務システムが、文書の閲覧時刻、共有先、会議の開催日時を記録しているとする。閲覧時刻はアクセス状況の確認に利用でき、共有先は文書を参照できる利用者の管理に必要になる。会議の開催日時は、参加者の予定を調整するために使われる。それぞれの記録には独立した業務上の利用目的がある。
しかし、特定の文書を閲覧した利用者と、その文書が共有された部門を時系列に沿って調べると、案件の進行に伴う関係者の変化を把握できる場合がある。さらに、文書の更新時期と会議の開催時期を対応づければ、どの部門が案件の調整を担当し、どの段階で意思決定が行われているかを推定する手掛かりが得られる。個々の記録には案件全体の構造が記載されていなくても、記録間の関係から、その構造についての情報を形成できる。
既稿「Safe Links から考える業務メタデータの漏洩」では、正当な目的で収集されるメタデータが、組み合わせによって業務の構造を観測する手掛かりになることを論じた[1]。個別の記録を参照する権限が適切に設定されていても、その記録を結合することで新たに得られる情報が、同じ範囲に制限されるとは限らない。保護対象を個々の記録の内容だけで定義すると、記録間の関係から形成される情報が管理の対象から外れる。
人物についても同様の推定が成立する。既稿「これを書いているのはどういう人なのか」では、公開プロフィール、コードの変更履歴、文章で扱う主題を接続し、一つの資料だけでは得られない人物像を構成した[2]。公開プロフィールから確認できる職歴と、長期間にわたる技術活動の記録とを照合すれば、ある技術分野に継続して関わっていることを判断する根拠が増える。文章で繰り返し扱う問題を調べれば、その人物がどのような問題設定を重視しているかを考察することもできる。
ただし、個々の資料に記載された事実と、それらを関連づけて形成する判断には、異なる種類の根拠が必要になる。特定の技術について長期間執筆していることは、その技術に継続的な関心を持っていることを示す根拠になり得る。一方、その技術を現在の業務で使用しているかどうかは、執筆履歴だけでは確定しない。複数の観測が一つの説明を支持する場合でも、観測と両立する別の説明が存在する可能性がある。
言語モデルによる個人情報の漏洩については、学習時に取得した情報を生成時に再現する経路が研究されてきた。Carlini らは、学習済みの言語モデルへ入力を与えて生成結果を調べることで、学習データに含まれていた文章や個人を識別し得る情報を抽出できることを示した[3]。この経路では、学習データに含まれる情報がモデルの振る舞いに残り、特定の入力を受けたときに、その情報を再現する可能性が問題になる。保護対象は、学習に使用したデータの内容と、その内容が学習後のモデルに与える影響である。
これに対して、Staab らは、利用時に与えられる文章から年齢、居住地、職業などの個人属性を推定する問題を検討した[4]。例えば、利用者が特定の地域に固有の施設や交通機関について日常的な経験を述べていれば、その文章は居住地を推定する手掛かりになる。モデルは、施設や交通機関と地域との一般的な関係を学習しているため、その関係を利用時に与えられた文章へ適用できる。
ここで、対象となる利用者の居住地が学習データに個人情報として記録されている必要はない。学習によって得た一般的な知識と、現在の入力に含まれる個別の手掛かりを組み合わせることで、新たな属性推定が成立する。学習データから特定の人物の情報を除去したとしても、一般的な知識と現在の入力が残っていれば、同じ人物についての情報を形成できる場合がある。
個人情報が言語モデルの処理に現れる経路は、次のように整理できる。
| 情報の形成経路 | 処理に使用する情報 | 形成される情報 | 保護上の条件 |
|---|---|---|---|
| 明示的な入力 | 利用者が記述した氏名、生年月日、住所などを使用する。 | 入力された個人情報を直接取得する。 | 入力、保存、参照、出力の各段階で対象情報を管理する。 |
| 学習情報の再現 | 学習データの影響が残るモデルに入力を与える。 | 学習時に取得した文章や個人情報が生成結果に現れる。 | 学習データの管理に加えて、学習後の情報抽出可能性を評価する。 |
| 記録の結合 | 複数の文書、履歴、公開記録を関連づける。 | 個々の記録には明示されていない人物像や関係を形成する。 | 個別の参照権限に加えて、記録を結合した結果を評価する。 |
| 利用時の属性推定 | 現在の対話と、モデルが学習した一般的な知識を組み合わせる。 | 年齢区分、居住地域、職業などについての推定値を形成する。 | 入力された情報の管理に加えて、推定可能な属性とその利用範囲を評価する。 |
これらの経路を区別する理由は、同じ個人属性が生成結果に現れた場合でも、その属性を形成するために必要だった情報が異なるからである。モデルがある人物の住所を回答したとき、その住所が入力文に記載されていたのか、学習データから再現されたのか、周辺情報から推定されたのかによって、対策の対象は異なる。入力文から住所を削除する方法は、明示的な入力への対策になる。一方、学習済みの情報の再現や、残存する情報からの属性推定については、それぞれ別の検証が必要になる。
既知の秘密文字列を探す検査が有効なのは、その文字列を特定でき、検査対象のデータに直接現れる場合である。利用時の属性推定では、保護対象となる情報が処理の結果として形成されるため、入力された文字列だけを検査しても、その後に何が推定されるかを網羅できない。情報保護の対象を定めるには、入力情報そのものに加えて、情報を結合し、一般的な知識を適用する処理を考慮する必要がある。
1.2 推定された属性を表す
個人の実際の属性を \(A\)、対話や公開記録から得られる情報を \(X\) とする。これらの情報を利用して属性を推定する処理を関数 \(g\) で表すと、推定結果は次のように書ける。
\[
\hat A=g(X)
\]
記号 \(\hat A\) は、実際の属性 \(A\) に対する推定値である。例えば、属性 \(A\) を年齢区分とするなら、\(X\) は過去の出来事や生活についての発言、\(g\) はそれらの発言を年齢区分へ対応づける処理になる。利用者が発言した内容に加えて、モデルが学習した年齢と生活経験との統計的な関係が、この対応づけに利用される。
年齢区分を二つに分ける場合、推定処理は、与えられた情報からどちらの区分に属する可能性が高いかを判断する処理として考えられる。利用者についての観測値を \(x\) とし、属性の候補を \(a\) とすれば、観測を得た後の属性の確率は、条件付き確率 \(p(a\mid x)\) で表される。この確率が最も高い属性を選ぶ推定規則は、次のように定義できる。
\[
g(x)=\mathop{\mathrm{arg\,max}}_a p(a\mid x)
\]
この式の右辺は、観測値 \(x\) が与えられたときに、条件付き確率が最大になる属性 \(a\) を選ぶ操作を表している。例えば、ある対話について、一方の年齢区分に属する確率が 0.8、もう一方の区分に属する確率が 0.2 と評価されるなら、前者を推定値として選ぶ。この方法では、推定値を一つに決定できても、実際の属性についての不確実性は残る。条件付き確率が正しく推定できている場合でも、確率 0.2 に対応する事例では推定結果が実際の属性と一致しない。
属性の推定に利用できる情報は、属性そのものを記述した文字列に限られない。生年月日と年齢の間には直接的な関係がある。一方、卒業年と年齢の関係には、卒業時の年齢という別の変数が含まれる。卒業年が同じ人物でも、進学時期や在学期間が異なれば年齢は異なる。それでも、卒業時の年齢に一定の分布が存在するなら、卒業年を知ることで、現在の年齢についての候補を絞ることができる。属性を直接観測できない場合でも、属性と観測の間に統計的な依存関係があれば、推定に利用できる情報が存在する。
情報 \(X\) が属性 \(A\) についてどの程度の手掛かりを持つかは、相互情報量を使って考察できる。離散的な属性と観測を想定すると、相互情報量は次のように定義できる。
\[
I(A;X)=\sum_{a,x}p(a,x)\log_2\frac{p(a,x)}{p(a)p(x)}
\]
ここで \(a\) と \(x\) は属性と観測の取り得る値、\(p(a,x)\) は両者が同時に現れる確率、\(p(a)\) と \(p(x)\) はそれぞれの周辺確率である。対数の底を 2 に取ると、相互情報量の単位はビットになる。和は、属性と観測が取り得る値の組み合わせ全体について計算する。同時確率が 0 となる項は、極限によって寄与を 0 とする。
この式は、属性と観測が実際にどのような関係で現れるかを、両者が独立している場合と比較している。属性と観測が独立であれば、すべての組み合わせについて同時確率 \(p(a,x)\) は周辺確率の積 \(p(a)p(x)\) に等しくなる。このとき、対数の中の比は 1 になり、相互情報量は 0 になる。観測を得ても、属性についての確率分布が変化しないためである。
相互情報量は、属性についての不確実性が観測によってどれだけ減少するかという形でも表現できる。
\[
I(A;X)=H(A)-H(A\mid X)
\]
ここで \(H(A)\) は属性についての観測前の不確実性、\(H(A\mid X)\) は観測 \(X\) を得た後に残る不確実性を平均した量である。相互情報量が正であれば、観測を知ることで、属性についての不確実性が平均的に減少する。ただし、その減少量が小さければ、観測後にも多くの不確実性が残る。相互情報量の存在と、個々の属性を実用上十分な精度で推定できることは、異なる条件である。
例えば、二つの年齢区分が同じ割合で存在する集団を仮定する。属性 \(A\) は 0 または 1 を取り、それぞれの確率は \(1/2\) とする。このとき、観測前の属性のエントロピーは、次のように計算できる。
\[
H(A)=-\frac12\log_2\frac12
-\frac12\log_2\frac12
=1
\]
属性について 1 ビットの不確実性が存在することは、同じ確率で現れる二つの候補のどちらに該当するかが、まだ確定していないことを表している。
ここで、属性に対応する二値の手掛かり \(X\) が存在するとする。実際の属性が 0 の場合には 80% の確率で手掛かりも 0 になり、実際の属性が 1 の場合には 80% の確率で手掛かりも 1 になると仮定する。誤りが両方の属性で対称に生じるため、手掛かりが実際の属性と異なる確率は、それぞれ 20% である。
| 実際の属性 | \(X=0\) となる確率 | \(X=1\) となる確率 |
|---|---|---|
| \(A=0\) | 0.8 | 0.2 |
| \(A=1\) | 0.2 | 0.8 |
この条件では、二つの属性が等確率で存在するため、観測値も 0 と 1 が等確率で現れる。観測値と同じ属性を選ぶ規則 \(g(X)=X\) を使用すれば、推定の正答率は 80% になる。また、観測値が 0 である場合には、実際の属性が 0 である条件付き確率は 0.8、属性が 1 である条件付き確率は 0.2 になる。観測値が 1 である場合にも、対応する確率は対称になる。
このとき、観測後に残る属性の不確実性は、二値エントロピー関数 \(H_2\) を使って表せる。
\[
H_2(q)=-q\log_2q-(1-q)\log_2(1-q)
\]
変数 \(q\) は、二つの結果のうち一方が現れる確率である。観測後の推定誤りの確率を \(q=0.2\) とすると、残る不確実性は次のようになる。
\[
H(A\mid X)=H_2(0.2)\approx0.722
\]
観測前の不確実性は 1 ビットであったため、相互情報量は次のように求められる。
\[
\begin{aligned}
I(A;X)
&=H(A)-H(A\mid X)\\
&=1-H_2(0.2)\\
&\approx0.278
\end{aligned}
\]
つまり、この仮定では、手掛かりを得ることによって、属性についての不確実性が平均で約 0.278 ビット減少する。属性を確実に特定できるだけの情報は得られていないが、何も観測せずに推定する場合の正答率 50% に対して、観測を利用すれば 80% の正答率を達成できる。この数値は、対称な二値モデルを仮定した場合の計算結果であり、実際の利用者に対する属性推定の測定結果ではない。
また、実際の利用者集団では、属性の分布が均等であるとは限らない。例えば、ある年齢区分に属する利用者が全体の 90% を占める場合、観測をまったく使用せず、すべての利用者をその区分へ分類しても、90% の正答率を得られる。この推定規則は観測の内容に依存しないため、正答率の高さだけから、利用者の発言が属性について多くの情報を含んでいると判断することはできない。属性推定の評価には、観測を利用しない場合の推定性能と、観測を追加した場合に得られる改善を区別する必要がある。
さらに、複数の観測を組み合わせる場合には、個々の観測が持つ情報量と、それらを結合したときの情報量を区別する必要がある。二つの観測を \(X_1\)、\(X_2\) とすると、相互情報量には次の連鎖律が成立する。
\[
I(A;X_1,X_2)
=
I(A;X_1)+I(A;X_2\mid X_1)
\]
右辺の第一項 \(I(A;X_1)\) は、最初の観測から得られる属性についての情報量である。第二項 \(I(A;X_2\mid X_1)\) は、最初の観測をすでに得ている条件で、二番目の観測を追加することによって得られる情報量を表す。この第二項が正であれば、二つの観測を組み合わせることで、最初の観測だけを利用した場合よりも、属性についての不確実性を平均的に減らすことができる。
例えば、卒業年から推定した年齢には、卒業時の年齢に対応する不確実性が残る。そこへ就職した時期や、特定の年代に経験した出来事についての情報が加われば、最初の推定と両立する年齢の範囲をさらに絞れる場合がある。一方、二番目の発言が最初の発言と実質的に同じ情報を伝えている場合には、追加される情報量は小さくなる。発言の件数が増えることと、属性の推定に利用できる情報量が増えることも、区別する必要がある。
Bouchaud と Ramaciotti は、明示的な属性情報だけでなく、名前や職業などの間接的な手掛かりに対しても、言語モデルの内部表現に社会人口学的な属性に対応する方向が現れることを報告した[5]。言語モデルは、入力された語句や文章を内部の数値表現へ変換し、その表現を利用して後続の処理を行う。間接的な手掛かりから属性に対応する内部表現が形成されるなら、属性の名称や値が入力に明記されていなくても、その属性に関する情報がモデルの処理に現れ得る。
ただし、内部表現に属性と対応する統計的な構造が存在することと、そのモデルが個々の人物について正確な属性を確定できることは区別される。名前や職業と特定の属性の間に集団としての統計的な関連が存在しても、その関連がすべての人物に当てはまるわけではない。内部表現から読み取れる属性に関する情報には、個人差、学習データの分布、観測情報の不足などに由来する不確実性が残る。
個人情報の保護においては、推定が実際の属性と一致する場合だけでなく、推定を誤る場合にも問題が生じる。実際にはある年齢区分に属していない人物について、モデルがその区分に属すると推定し、その結果を第三者へ伝達すれば、不正確な人物情報が形成され、外部の判断に使用される可能性がある。推定された情報の保護には、正しい属性の意図しない開示を防ぐという目的と、誤った属性情報の形成や流通による影響を抑えるという目的がある。
情報保護の範囲を定める際には、入力に何が書かれているか、複数の観測を組み合わせることで属性についてどれだけの情報が得られるか、その情報を使った推定にどの程度の不確実性が残るかを併せて評価する必要がある。生年月日や住所といった明示的な記録を管理するだけでは、残された情報から属性を形成する処理まで制御したことにはならない。属性の推定可能性を保護条件に含めるには、個々の記録の保存状態に加えて、利用を許可された情報の集合と、それらを結合して属性を推定する処理を評価対象にする必要がある。
2. 情報を削除しても属性を再び推定できる
2.1 保存情報の削除と推定可能性
長期間利用する文章生成サービスでは、会話を通じて得た情報が履歴として蓄積される。利用者が勤務先について相談した記録、過去の仕事について説明した記録、生活上の予定を調整した記録などが残れば、モデルはそれらを現在の対話と組み合わせて回答を生成できる。履歴を利用することで、利用者が同じ情報を繰り返し説明する必要が減り、過去の経緯を踏まえた処理が可能になる。
一方、過去に得た情報が現在も有効であるとは限らない。例えば、ある時点で勤務していた企業についての記録は、その人物の過去の職歴を示す情報としては有効であっても、現在の勤務先を示す情報としては無効になる場合がある。また、現在も有効な情報であっても、すべての文章生成に必要になるわけではない。勤務先についての情報は業務上の相談には利用できるが、一般的な数学の問題を解くためには通常必要ない。
既稿「AI の長期記憶は、履歴から現在状態を再構成する」では、履歴に含まれる事実、現在も有効な事実、現在の問いに利用する情報を分けて管理する必要性を論じた[6]。長期記憶を備えたシステムでは、情報の保存、時間的な有効性、現在の処理における利用という三つの条件を区別することで、過去の情報がどのように回答へ反映されるかを整理できる。
過去の情報を回答の対象から除く方法にも、異なる処理が存在する。保存された情報を検索の対象から除外する方法では、記録自体は保存領域に残るが、指定された検索処理からは取得されなくなる。保存領域から記録を削除する方法では、対象となる記録の保存状態が変化する。前者は現在の処理における情報利用を制約する方法であり、後者は情報が保存されている状態そのものを変更する方法である。
例えば、生年月日の記録を検索対象から除外した場合を考える。現在の回答を生成するための検索処理が、その除外条件を正しく適用していれば、生年月日の記録は取得されない。しかし、管理者による別の検索処理や、除外条件の異なる処理では、同じ記録を取得できる可能性が残る。保存領域から記録を削除する場合には、その保存領域を経由する取得経路を除去できるが、同じ情報が別の保存領域や複製された履歴に残っていれば、そちらの経路は維持される。
ここで、対象となる保存領域に含まれる記録の集合を \(M\)、その中から削除する記録の集合を \(D\subseteq M\) とする。削除後に残る記録の集合は、次のように表せる。
\[
M’=M\setminus D
\]
記号 \(M\setminus D\) は、集合 \(M\) に含まれる要素のうち、集合 \(D\) に属する要素を取り除いた集合を表している。例えば、\(M\) に生年月日、卒業年、就職年、職歴の記録が含まれ、削除対象 \(D\) が生年月日の記録だけで構成されていれば、削除後の記録集合 \(M’\) には卒業年、就職年、職歴が残る。
この操作によって、生年月日の記録を直接取得する経路は除去される。しかし、年齢を推定するための手掛かりが卒業年や職歴にも含まれている場合、年齢の推定に利用できる情報は残る。削除操作が取り除くのは、指定された記録である。その記録と統計的に関連するすべての情報まで取り除かれるかどうかは、削除対象の選び方によって決まる。
個人属性を \(A\) とし、記録集合を利用者ごとに異なる値を取る確率変数として考える。削除後にも残る記録と属性の間に統計的な依存関係が存在するなら、次の条件が成立する場合がある。
\[
I(A;M’)>0
\]
左辺は、削除後の記録集合 \(M’\) と属性 \(A\) の相互情報量を表す。相互情報量が正であることは、削除後の記録を知ることで、属性についての不確実性が平均的に減少することを意味する。生年月日という直接的な記録を削除しても、年齢と関連する記録が残っていれば、その記録を利用して属性についての推定を行える。
削除によってどれだけの情報が失われ、どれだけの情報が残るかは、相互情報量の連鎖律を利用して整理できる。元の記録集合 \(M\) を、削除後にも残る記録 \(M’\) と削除対象の記録 \(D\) の組として表すと、次の関係が成立する。
\[
I(A;M)
=
I(A;M’)+I(A;D\mid M’)
\]
右辺の第一項 \(I(A;M’)\) は、削除後の記録だけから得られる属性についての情報量である。第二項 \(I(A;D\mid M’)\) は、残存する記録 \(M’\) をすでに知っている条件で、削除対象の記録 \(D\) を追加することによって得られる情報量を表している。
ここで、記録の分割と削除対象があらかじめ定まっており、削除後の記録が元の記録の部分集合として得られるものとする。この条件では、削除による属性情報の減少量を次のように書ける。
\[
I(A;M)-I(A;M’)
=
I(A;D\mid M’)
\]
この式から、ある記録を削除したときに失われる属性情報の量は、その記録が単独で持っていた情報量だけでは決まらないことが分かる。削除後にも残る記録によって、削除対象の情報をどの程度補えるかが関係する。削除対象と残存する記録が同じ属性について重複した情報を持っていれば、削除によって失われる情報量は、その記録を単独で観測した場合の情報量より小さくなることがある。
例えば、二つの年齢区分が等確率で存在する集団を考える。属性 \(A\) は 0 または 1 を取り、そのエントロピーは 1 ビットである。保存された記録には、実際の属性を直接示す記録 \(D\) と、属性を 80% の確率で正しく推定できる手掛かり \(X\) が含まれているものとする。誤りは二つの属性について対称に生じると仮定する。
属性を直接示す記録が残っている場合、記録全体を参照することで属性を確定できる。このとき、記録全体が持つ属性についての相互情報量は、次のようになる。
\[
I(A;D,X)=1
\]
ここで、属性を直接示す記録 \(D\) を削除し、手掛かり \(X\) だけを残す。第 1 章で扱った対称な二値モデルと同じ条件では、削除後に残る相互情報量は次のようになる。
\[
I(A;X)
=
1-H_2(0.2)
\approx0.278
\]
記号 \(H_2\) は二値エントロピー関数を表す。削除によって属性を直接確定するための情報は失われるが、約 0.278 ビットの属性情報は残る。削除前には属性を確実に判定できたのに対し、削除後には 20% の誤りを伴う推定が可能な状態になる。
| 記録の状態 | 属性について得られる情報量 | 属性推定の正答率 | 利用できる推定経路 |
|---|---|---|---|
| 直接的な記録と手掛かりを保持 | 1 ビット | 100% | 属性を直接示す記録を取得する。 |
| 直接的な記録を削除 | 約 0.278 ビット | 80% | 残存する手掛かりから属性を推定する。 |
| 属性に関する手掛かりも除去 | 0 ビット | 50% | 観測に依存せず、二つの属性の事前確率に基づいて推定する。 |
表の数値は、二つの属性が等確率で存在し、残存する手掛かりの誤りが対称に生じるという仮定に基づく。実際の利用者に対して、生年月日の削除によって年齢推定の正答率がどの程度低下するかを示した測定結果ではない。この例の役割は、記録の削除が成功した場合にも、属性を推定できる条件が残り得ることを具体的に示す点にある。
さらに、長期間利用するサービスでは、削除後にも新しい対話が行われる。削除後の記録を \(M’\)、その後に利用者から得られた情報を \(X_{\mathrm{new}}\) とすると、モデルが利用できる情報は、残存する記録と新たな入力の組になる。
\[
I(A;M’,X_{\mathrm{new}})
=
I(A;M’)+I(A;X_{\mathrm{new}}\mid M’)
\]
仮に削除直後に \(I(A;M’)=0\) が成立していても、その後の対話によって属性に関する手掛かりが追加されれば、右辺の第二項が正になる場合がある。例えば、年齢に関連する過去の記録をすべて削除した後で、利用者が新たに卒業年や子どもの頃の出来事について相談すれば、その情報を使った属性推定が可能になることがある。
このため、ある時点で属性についての情報を削除できたことと、その後も属性を推定できない状態を維持することは、異なる条件によって成立する。前者は削除対象と削除後の保存状態によって評価できる。後者には、将来追加される情報、その情報を利用できる処理、属性の推定結果を後続の処理へ渡す条件まで関係する。
利用者が生年月日の記録を取り除くよう求めた場合、対象となる記録の削除が要求の中心になる。一方、年齢に関する情報を後続の文章生成へ利用しないよう求めた場合には、残存する情報から推定された年齢も制御対象になる。属性そのものの推定を制限する要求と、推定された属性を特定の用途に利用しないよう求める要求も区別する必要がある。保存状態の変更だけでなく、情報を取得してから属性を形成し、生成処理へ反映するまでの経路が、保護の成立範囲を決める。
2.2 機械忘却と再推定の違い
学習済みモデルでは、情報が保存領域に明示的な記録として存在する場合に加えて、学習によって形成されたパラメーターの振る舞いにも現れる。言語モデルが学習時に読んだ文章を、後から与えられた入力に応じて再現できる場合、元の文章を保存領域から削除しても、すでに学習したモデルの振る舞いはその操作だけでは変化しない。
学習済みモデルに対して、特定の学習データを使用したことによる影響を除去する処理を機械忘却と呼ぶ。対象となるデータを除いてモデルを最初から学習し直せば、そのデータを直接学習していないモデルを得られる。しかし、大規模な言語モデルでは、対象データの削除要求が発生するたびに学習全体をやり直すには多くの計算資源が必要になる。機械忘却では、すでに学習したモデルを修正することで、対象データを除いて再学習した場合の状態へ近づけることを目指す。
既稿「忘却は、再学習との差と保持データへの影響で測る」では、忘却対象に対する正答率、対象を除いて再学習したモデルとの出力差、保持対象への影響を区別した[7]。例えば、ある人物に関する質問へ正答しなくなるようモデルを修正する場合、対象となる質問に一律に誤答する方法と、その人物の情報を学習しなかった場合に近い振る舞いを再現する方法が考えられる。両者は忘却対象への正答率という評価では同じ値を示す場合があるが、他の質問への応答や、対象情報を別の形式で尋ねた場合の振る舞いまで同じになるとは限らない。
忘却対象への正答率を低下させるだけなら、対象となる質問に対して常に特定の誤答を返すよう変更することでも達成できる。しかし、元のモデルがその情報を利用していた経路を除去することと、特定の質問に対して情報が出力される経路を抑制することでは、変更する処理が異なる。この違いを判定するには、忘却後のモデルがどの状態に近づくことを要求しているのかを定義する必要がある。
Guo らは、データを除去したモデルと、そのデータを最初から学習しなかったモデルを識別できる程度に着目して、認証可能なデータ除去の条件を定義した[8]。この研究では、モデルの学習やデータ除去に伴う確率的な振る舞いを考慮し、対象データを使用しなかったモデルとの識別可能性を制約する。具体的な除去機構は線形分類器を対象としており、その理論的保証を任意の大規模言語モデルへそのまま適用できるわけではない。ただし、対象データを使用しなかった場合の状態を比較の基準にするという考え方は、機械忘却の目的を明確にする。
学習データ全体を \(D_{\mathrm{train}}\) とし、忘却対象となるデータを \(D_f\)、保持対象となるデータを \(D_r\) とする。両者を重複しない部分集合として定めるなら、学習データは次のように分けられる。
\[
D_{\mathrm{train}}=D_f\cup D_r,
\qquad
D_f\cap D_r=\varnothing
\]
忘却対象 \(D_f\) には、除去を要求された文章や人物についての記録などが含まれる。保持対象 \(D_r\) は、忘却処理後にも学習の効果を維持することが求められるデータである。例えば、特定の人物についての情報を忘却する場合でも、一般的な言語能力、専門知識、他の人物についての情報などは保持対象になり得る。
元のモデルのパラメーターを \(\theta\)、忘却処理後のパラメーターを \(\theta_u\)、保持対象だけを使って再学習したモデルのパラメーターを \(\theta_r\) とする。それぞれの処理は次のように表せる。
\[
\begin{aligned}
\theta
&=\operatorname{Train}(D_{\mathrm{train}}),\\
\theta_u
&=\operatorname{Unlearn}(\theta,D_f),\\
\theta_r
&=\operatorname{Train}(D_r).
\end{aligned}
\]
最初の式は、忘却対象と保持対象を含むデータ全体から元のモデルを学習する処理を表す。二番目の式は、元のモデルのパラメーターに忘却処理を適用することで、忘却後のモデルを得る処理である。三番目の式は、忘却対象を使用せず、保持対象だけからモデルを学習し直す処理を表している。
忘却処理の目的は、指定された質問への正答率を下げることだけで定義されるものではない。対象データを使用しなかった場合のモデルを比較の基準とするなら、忘却後のモデル \(\theta_u\) と再学習モデル \(\theta_r\) の振る舞いの差が評価対象になる。
ただし、学習の初期値、データを提示する順序、学習処理に使用する乱数などが異なれば、同じデータを使って学習した場合でも、得られるパラメーターは一致しないことがある。このため、忘却後のモデルと再学習モデルを比較するときには、一回の学習で得られたパラメーターの数値が完全に一致することだけを要求する必要はない。学習によって得られるモデルを確率変数として考え、その確率分布を比較する方法がある。
理想化した厳密なデータ除去の条件として、次の等式を考えることができる。
\[
\theta_u\overset{d}{=}\theta_r
\]
ここで上付きの \(d\) は、二つの確率変数の分布が一致することを表している。忘却後のモデルが取り得るパラメーターの分布と、保持対象だけを使って学習したモデルが取り得るパラメーターの分布が等しいという条件である。
この条件が成立するなら、モデルのパラメーターを観測できる識別器であっても、その分布だけから、忘却処理によって得られたモデルと再学習によって得られたモデルを統計的に区別できない。例えば、二つの処理で得られるモデルのどちらかを等確率で選んで提示した場合、両者の分布が完全に一致していれば、モデルを観測することによって識別の正答率を 50% より高くすることはできない。
実際の機械忘却では、パラメーターの分布が一致することを直接確認するのは難しい。大規模な言語モデルには多数のパラメーターがあり、再学習を繰り返して分布を推定するためにも計算資源が必要になる。また、パラメーターの数値に差があっても、対象となる入力に対する出力分布が近い場合がある。そのため、理論的な保証を与える方法と、質問応答などの観測によって再学習モデルへの接近を評価する方法を区別する必要がある。
Maini らの TOFU は、架空の人物に関する質問応答を使用し、忘却対象の情報に対する振る舞いと保持対象への影響を分けて評価する枠組みを提示した[9]。架空の人物を対象にすることで、評価用の情報を学習させ、どの人物についての情報を忘却するかを指定できる。対象人物についての質問に対する振る舞いと、保持対象となる人物についての質問に対する振る舞いを比較すれば、忘却処理が指定した対象以外へどの程度影響したかを調べられる。
Shi らの MUSE は、言語モデルの忘却について、文章の逐語的な記憶、知識の記憶、プライバシー上の漏洩、保持対象への性能、大規模な忘却要求への対応、継続的な忘却要求への対応という六つの評価軸を整理した[10]。元の文章をそのまま再現しなくなっても、文章に含まれていた事実を別の言い方で回答できる場合があるため、文章の記憶と知識の記憶を区別する必要がある。また、個別の忘却要求に対応できても、削除対象の規模が増加したり、忘却処理を繰り返したりすると、保持すべき能力への影響が蓄積する可能性がある。
これらの評価で共通するのは、忘却対象について情報を出力する能力と、保持対象について必要な能力を維持することを、同時に評価する点である。例えば、忘却対象についての質問へ回答できなくなる一方、一般的な質問にも回答できなくなる方法では、忘却対象への正答率だけを見れば要求を満たしているように見える。しかし、保持対象への影響を含めれば、必要な情報だけを選択的に除去したという評価にはならない。
Mavrothalassitis らは、忘却対象と保持対象の間に統計的な依存関係が存在する場合に、忘却対象の損失を増加させる更新が保持対象にも影響し得ることを示した[11]。例えば、特定の人物についての情報と、その人物が活動している専門分野についての一般的な知識が共通の内部表現を利用していれば、人物についての情報を出力しにくくする更新が、専門分野についての応答にも影響する場合がある。対象となる情報が学習データ上で分離されていても、学習後のモデル内部で、その情報に対応する処理が同じように分離されているとは限らない。
この関係を、忘却対象と保持対象に対する損失関数を使って考える。忘却対象への損失を \(L_f(\theta)\)、保持対象への損失を \(L_r(\theta)\) とする。忘却対象の損失を増加させるために、学習率 \(\eta>0\) を用いてパラメーターを次のように更新する場合を考える。
\[
\theta’
=
\theta+\eta\nabla_\theta L_f(\theta)
\]
記号 \(\nabla_\theta L_f(\theta)\) は、パラメーターをどの方向へ変更すると忘却対象への損失が増加するかを表す勾配である。通常の損失最小化では勾配と反対の方向へ更新するが、この式では忘却対象に対する損失を増やすため、勾配と同じ方向へ更新している。
学習率 \(\eta\) が十分小さく、保持対象への損失関数が滑らかであると仮定すると、更新によって保持対象への損失がどの程度変化するかを、一次の近似で表せる。
\[
\begin{aligned}
L_r(\theta’)-L_r(\theta)
&=
\eta
\left\langle
\nabla_\theta L_r(\theta),
\nabla_\theta L_f(\theta)
\right\rangle
+O(\eta^2).
\end{aligned}
\]
右辺の内積は、忘却対象への損失を増やす方向と、保持対象への損失を増やす方向との関係を表す。記号 \(O(\eta^2)\) は、学習率の二乗以上の大きさで現れる高次の項をまとめて表している。学習率が十分小さい場合には、内積の符号と大きさが、保持対象への損失の変化を理解する手掛かりになる。
例えば、二つの勾配が同じ方向を向いていれば、忘却対象への損失を増加させる更新は、保持対象への損失も増加させる方向に作用する。二つの勾配が直交していれば、一次の項による保持対象への影響は 0 になる。ただし、その場合でも高次の項による影響は残り得る。逆方向を向いていれば、一次の近似では、忘却対象への損失を増加させると同時に保持対象への損失を減少させることもある。
この式は、忘却対象への損失を増加させる単純な更新について、その更新が保持対象へ与える局所的な影響を説明するものである。実際の忘却手法全体の性能や、特定のデータに対する忘却の成否を、この内積だけから確定することはできない。それでも、忘却対象への性能を低下させる方向と、保持対象への性能を維持する方向との関係が、選択的な情報除去の難しさに関係することを示している。
Dorna らの OpenUnlearning は、複数の忘却手法と評価指標を統一された条件で比較する枠組みを提供している[12]。忘却手法ごとに異なる評価データ、異なる基準モデル、異なる評価指標を使用すると、観測された性能差が忘却処理そのものに由来するのか、評価条件の違いに由来するのかを判定しにくくなる。比較条件をそろえることで、特定の手法が忘却対象への性能をどの程度変化させ、保持対象への性能をどの程度維持できるかを調べられる。
ここまでの忘却研究で対象になるのは、主として、学習データに含まれていた情報の影響をどのように除去し、その結果をどのように評価するかという問題である。個人属性の保護については、これに加えて、忘却対象を除いたモデルが、その属性を保持対象のデータや利用時の入力から推定できるかという条件が関係する。
仮に、忘却処理が理想的に機能し、忘却後のモデルと再学習モデルの分布が完全に一致したとする。
\[
\theta_u\overset{d}{=}\theta_r
\]
この条件の下で、両方のモデルへ同じ観測情報 \(x\) を与え、同じ生成処理を適用する。忘却後のモデルと再学習モデルが属性 \(A\) を推定する処理を、それぞれ次のように表す。
\[
\begin{aligned}
\hat A_u&=g_{\theta_u}(x),\\
\hat A_r&=g_{\theta_r}(x).
\end{aligned}
\]
ここで \(g_{\theta_u}\) は忘却後のモデルによる属性推定、\(g_{\theta_r}\) は再学習モデルによる属性推定を表す。入力 \(x\) は両者に共通する固定された観測情報である。例えば、利用者が過去の学校生活や職歴について説明した文章を入力として与える。
パラメーターの分布が一致し、属性推定の処理も共通であれば、その固定された入力に対する推定結果の分布も一致する。
\[
g_{\theta_u}(x)
\overset{d}{=}
g_{\theta_r}(x)
\]
この関係は、忘却処理が理想的に成功した場合の能力が、再学習モデルの能力によって定まることを表している。再学習モデルが、与えられた文章から年齢区分を推定できるのであれば、理想的な忘却モデルにも同じ推定能力が残り得る。
例えば、ある人物の生年月日を含む学習データを忘却対象とする一方で、一般的な年齢と生活経験の関係を学習できるデータは保持対象に含める。その人物の生年月日を使用せずに学習したモデルでも、卒業年や過去の出来事についての文章から年齢を推定できる場合がある。忘却後のモデルがその再学習モデルと同じ振る舞いを示すなら、年齢を推定できること自体は、削除対象の学習データの影響が残っている証拠にはならない。
ここには、機械忘却によって除去する情報の影響と、保持対象から成立する属性推定という二つの異なる経路が存在する。前者では、特定のデータを学習したことによる影響が残っているかを調べる。後者では、そのデータを使用しなかった場合にも、残された情報から同じ属性を推定できるかを調べる。
対象となる学習データを除いて再学習したモデルが、ある属性について 80% の正答率を持つと仮定する。この正答率は、保持対象に含まれる一般的な知識と、推論時に与えられた情報を使用して得られたものとする。忘却後のモデルが再学習モデルと同じ分布を持ち、同じ評価条件で動作するなら、属性推定についても同じ期待正答率を持つ。この場合、忘却後の正答率を 50% まで低下させることを要求すると、対象データを使用しなかった場合の状態への復帰とは異なる目標を設定することになる。
この数値は、忘却後の属性推定についての実測結果ではない。機械忘却の比較基準と、個人属性を推定できないようにするという保護目標が一致するとは限らないことを示すための仮定である。特定の学習データの影響を除去する要求には、再学習モデルとの比較が対応する。利用者の属性を推定する能力そのものを制限する要求には、保持対象や利用時の入力から成立する推定を別途評価する必要がある。
さらに、忘却後のモデルが対象情報を出力しなくなった場合にも、その情報に対応する内部表現が残る可能性がある。言語モデルは、入力された文章を複数の層にわたる内部表現へ変換し、その表現を利用して次に生成する語句の確率を計算する。最終的な文章は、内部表現に含まれるすべての情報を直接表示するものではなく、その表現に対して後続の処理を適用した結果である。
入力 \(X\) に対して、ある中間層 \(l\) の内部表現を \(H_l\)、モデルの最終的な出力を \(Y\) とする。処理を簡略化すると、次のように表せる。
\[
\begin{aligned}
H_l&=h_l(X),\\
Y&=f_l(H_l).
\end{aligned}
\]
関数 \(h_l\) は、入力から中間層の内部表現を形成する処理である。関数 \(f_l\) は、その内部表現から後続の層や出力処理を経て文章を生成する処理を表す。実際の言語モデルでは、文章を生成するたびに新しい語句が入力文脈へ加わるため、これらの処理は繰り返し適用される。ここでは、一回の出力を形成する処理に注目して、内部表現と最終出力の関係を表している。
仮に、属性 \(A\) に関する情報が中間層 \(H_l\) に存在していても、その情報を最終出力へ反映する処理が抑制されていれば、通常の文章から属性を取得することは難しくなる。情報の出力を抑制する処理が、属性に関する内部表現そのものを除去する処理と一致していなければ、別の復号処理を用いて中間層から属性を取得できる可能性が残る。
Reisizadeh らは、通常の出力から忘却対象の情報を取得しにくくなっても、中間層の内部表現に残る情報を別の復号器から取得できる場合があることを報告した[13]。この研究では、通常の文章を生成する出力処理とは別に、中間層の内部表現から文章を生成する復号器を学習し、忘却対象の情報がどの層から取得できるかを評価している。TOFU、MUSE、WMDP-Bio を用いた検証では、通常の出力に基づく忘却評価で情報の取得が抑制されている場合にも、内部表現から対象情報を復元できる事例を確認した。
この関係は、情報理論の観点からも説明できる。内部表現 \(H_l\) が形成された後、属性に関する追加情報を受け取らずに最終出力 \(Y\) が生成される単純化した条件では、属性と内部表現、最終出力の間に次の情報経路を考えられる。
\[
A\longrightarrow H_l\longrightarrow Y
\]
この条件では、データ処理不等式によって、次の関係が成立する。
\[
I(A;Y)\leq I(A;H_l)
\]
左辺は、最終出力 \(Y\) に含まれる属性についての情報量である。右辺は、中間層の内部表現 \(H_l\) に含まれる属性についての情報量を表す。内部表現から最終出力を形成する処理が、属性に関する新たな情報を外部から取得しないなら、その処理だけで属性についての情報量を増加させることはできない。
この不等式は、内部表現と最終出力が同じ量の属性情報を持つことを要求していない。内部表現に属性についての情報が含まれていても、最終出力を形成する処理がその情報を利用しなければ、出力に含まれる情報量は小さくなる。極端な場合には、次の二つの条件が同時に成立することも考えられる。
\[
I(A;Y)=0,
\qquad
I(A;H_l)>0
\]
例えば、中間層の内部表現が属性 \(A\) を直接識別できる情報を含んでいても、最終出力を生成する処理がすべての属性に対して同じ文章を返すなら、出力から属性を識別することはできない。一方、中間層へアクセスできる別の処理があれば、その内部表現から属性を取得できる可能性がある。最終出力から属性が観測されないことは、その属性を識別できる情報が内部表現から除去されたことを直接には意味しない。
この情報理論的な関係は、内部表現から出力への情報伝達を単純化したモデルに対する一般的な性質である。実際の言語モデルで、中間層からどれだけの情報を復元できるかは、層の選択、復号器の能力、評価対象のデータ、使用する忘却手法などに依存する。
また、内部表現に残る情報を復元することと、残存する別の情報から属性を改めて推定することは、異なる処理である。前者では、除去すべき情報に対応する内部表現が残っていることが問題になる。後者では、対象となる情報を除去できた場合にも、保持することを許可した情報や、新たな入力から同じ属性についての推定が成立することが問題になる。
例えば、特定の人物の生年月日に対応する内部表現を除去できたとしても、その人物が現在の対話で卒業年を明らかにすれば、モデルは一般的な卒業年齢についての知識を利用して、その人物の年齢を推定できる場合がある。このとき、推定された年齢は削除対象の情報をそのまま復元した結果とは限らない。保持された一般的な知識と新しい入力を組み合わせることで、属性についての情報が形成されている可能性がある。
機械忘却と属性推定の関係は、次の評価軸に分けて整理できる。
| 評価対象 | 確認する条件 | 評価が成功した場合の保証 | 残り得る問題 |
|---|---|---|---|
| 記録の削除 | 指定された記録が対象の保存領域から除去されたか。 | 指定された保存領域から対象の記録を直接取得する経路が除去される。 | 別の保存領域、周辺情報、学習済みモデルに情報が残る場合がある。 |
| 検索時の除外 | 指定された検索処理が対象情報を取得しないか。 | 設定された検索条件の下で対象情報の取得を制限できる。 | 記録自体は残るため、別の検索経路から取得できる場合がある。 |
| 学習データの忘却 | 対象を除いて再学習したモデルにどの程度近づいたか。 | 指定された比較条件の下で、対象データを学習したことによる影響が除去または制限される。 | 保持対象や利用時の入力から同じ属性を推定できる場合がある。 |
| 出力の抑制 | 指定された入力と出力条件で対象情報が現れるか。 | 評価した生成経路における対象情報の取得が制限される。 | 別の質問形式や復号方法を使用すると情報を取得できる可能性がある。 |
| 内部表現からの情報取得 | 指定された層と復号器を利用して対象情報を復元できるか。 | 評価した内部表現と復号条件における情報取得の可能性を測定できる。 | 異なる復号器や、別の処理で新たに形成される内部表現から情報を取得できる場合がある。 |
| 属性の再推定 | 保持対象や新たな入力から対象属性を推定できるか。 | 評価した情報集合と推定処理における属性推定の可能性を測定できる。 | 新しい情報の追加や、異なる推定処理によって属性についての情報が形成される場合がある。 |
この表が示すのは、忘却や情報削除の評価が成功したとしても、その結果が保証する範囲は、対象とした情報、処理、観測方法によって定まるということである。記録の削除は保存状態を変更し、検索時の除外は取得経路を制限する。機械忘却は対象データを学習したことによる影響を除去することを目指し、出力の抑制は特定の生成経路から情報が現れることを制限する。それぞれの処理には、異なる比較基準と検証方法が必要になる。
属性の保護を目的とする場合には、さらに、これらの処理を適用した後に残る情報の組み合わせを評価する必要がある。残存する情報が属性と統計的に関連していれば、その情報を使用する処理によって属性を再推定できる場合がある。対象データを使用しなかった場合のモデルへ完全に復帰できたとしても、保持対象のデータと利用時の入力が属性の推定に必要な情報を持っているなら、その推定能力は維持され得る。
個人属性について忘却を要求する際には、どの記録を除去するのか、どの学習データの影響を取り除くのか、どの情報利用を制限するのかという対象の特定が必要になる。特定の生年月日の記録を除去することと、その人物の年齢を再び推定できないようにすることでは、制御すべき情報の範囲が異なる。後者の保護条件には、残存する記録、一般的な知識、その後に追加される入力、属性を推定する処理が含まれる。情報の削除によって何が失われたかを評価するとともに、残された情報から何が形成され得るかを調べることで、忘却によって成立する保護と、属性推定を制限するために必要な保護を区別できる。
3. 情報を知ることと利用することを分ける
3.1 保持・認識・利用の区別
利用者が自分の年齢を明示していない文章生成サービスで、モデルに利用者の年齢を尋ねたとする。モデルが「不明」と回答した場合、観測できるのは、その質問に対して年齢が明示されなかったという事実である。モデルが年齢を推定するための情報を持っていなかったのか、推定結果に十分な確信を持てなかったのか、それとも推定結果を回答する処理が抑制されたのかは、この回答だけでは区別できない。
例えば、利用者が学生時代の出来事や就職した時期について説明していても、それらの情報から生年月日を確定することは難しい。そのため、年齢を直接尋ねられたモデルが、正確な年齢を回答するには根拠が不足していると判断する場合がある。一方、同じ情報から、利用者が二つの年齢区分のどちらに属する可能性が高いかを判断することは可能かもしれない。正確な属性を確定するために必要な情報量と、複数の候補から一つを選ぶために必要な情報量は異なる。
さらに、モデルに年齢を回答させる処理と、利用者の事情に合わせて文章を生成させる処理では、要求される出力が異なる。前者では年齢についての明示的な回答が求められるため、推定の根拠が不足している場合には「不明」と回答することが適切になる場合がある。後者では年齢そのものを回答する必要がなく、推定した属性を文章の内容や表現を調整するための情報として使用できる場合がある。
このように、ある情報について回答できるかどうかと、その情報を別の処理で利用できるかどうかは、異なる条件によって成立する。情報の保護を評価する際には、少なくとも情報の保持、属性の推定、推定結果の認識、生成処理への利用、最終出力への反映を区別する必要がある。
例えば、ある利用者の卒業年が会話履歴に保存されている場合、その記録は年齢を推定するための情報として保持されている。モデルがその履歴を参照し、卒業年と一般的な卒業年齢との関係を適用すれば、年齢区分を推定できる。さらに、その推定結果を現在の依頼に関係する情報として扱えば、生成する文章の内容や表現に反映できる。各段階で利用される情報は関係しているが、一つの段階が成立したことから、後続の段階も成立したと判断することはできない。
既稿「知識を行動へ変える経路が信頼性を決める」では、知識の取得、状況への適用、目的の選択、実際の行動へ至る経路を区別した[14]。一般的な知識を保持しているシステムでも、その知識を現在の状況へ適用するには、状況についての観測と、どの知識が関係するかを判断する処理が必要になる。さらに、適切な判断を形成できた場合でも、実行する操作を選択する処理や、操作を許可する外部の条件によって、最終的な行動は変化する。
また、既稿「正しく気づいても、正しく行動するとは限らない」では、異常を認識できることと、その認識に応じて後続の行動を修正できることを分けた[15]。例えば、システムがある操作に危険性があると認識していても、その認識を実行条件の判定へ反映する仕組みがなければ、危険性を認識した状態で操作を実行する場合がある。認識の正確性と、認識を行動へ反映する処理の適切性は、それぞれ評価する必要がある。
今回の個人属性の保護についても、同じ区別が必要になる。ただし、ここで制御したいのは、認識した情報を適切に行動へ反映することではなく、利用を許可されていない情報が後続の処理に反映される経路である。利用者の属性を正確に推定できる能力があっても、その属性を現在の依頼に利用する必要がなければ、生成処理へ反映することを制限できる場合がある。逆に、属性への直接質問に回答しない処理があっても、文章生成の際に属性を利用する経路が残っていれば、情報の利用を制限したことにはならない。
これらの関係を整理するため、利用者についての観測情報を \(X\)、推定された属性を \(\hat A\)、文章生成の依頼を \(T\)、生成文章を \(Y\) とする。属性推定と文章生成を分離すると、次のような処理を考えることができる。
\[
\begin{aligned}
\hat A&=g(X),\\
Y&\sim P_\theta(Y\mid X,T,\hat A).
\end{aligned}
\]
最初の式は、観測情報 \(X\) から属性の推定結果 \(\hat A\) を形成する処理を表す。二番目の式は、観測情報、文章生成の依頼、推定結果を条件として、モデルが文章 \(Y\) を生成する処理を表している。記号 \(\theta\) はモデルのパラメーターであり、\(P_\theta\) は文章が生成される確率分布である。
この表現では、属性推定の処理と文章生成の処理を説明のために分離している。実際の言語モデルが、属性を明示的な変数として計算し、その値を独立した生成処理へ渡していることを仮定するものではない。属性についての情報が内部表現に分散して存在する場合でも、その情報が後続の生成処理へどのように反映されるかという問いを立てることができる。
ここで、属性について直接質問する依頼を \(T_{\mathrm{probe}}\)、仕事上のメールを作成する依頼を \(T_{\mathrm{mail}}\) とする。それぞれに対する出力の分布は、次のように書ける。
\[
\begin{aligned}
Y_{\mathrm{probe}}
&\sim P_\theta(Y\mid X,T_{\mathrm{probe}},\hat A),\\
Y_{\mathrm{mail}}
&\sim P_\theta(Y\mid X,T_{\mathrm{mail}},\hat A).
\end{aligned}
\]
両者は同じ観測情報と推定属性を条件としているが、生成の目的を表す依頼 \(T\) が異なる。属性への直接質問では、属性をどの程度確実に回答できるかが出力の内容に関係する。一方、メールの作成では、依頼された連絡事項をどのような表現で伝えるかが出力の内容に関係する。そのため、同じ観測情報を与えていても、属性に関する情報が最終出力へ反映される条件は、二つの処理で異なり得る。
例えば、属性への直接質問について、推定結果の確信度が一定の基準を超えた場合にだけ回答する規則を考える。推定結果を \(\hat A\)、その確信度を \(c(X)\)、回答を許可する基準を \(\tau\) とすれば、単純化した回答規則は次のように表せる。
\[
Y_{\mathrm{probe}}
=
\begin{cases}
\hat A & c(X)\geq\tau,\\
\text{不明} & c(X)<\tau.
\end{cases}
\]
ここで、属性を直接回答するための基準を \(\tau=0.95\) とし、ある観測について属性の推定結果に対する確信度が \(c(X)=0.8\) であると仮定する。この場合、直接質問には「不明」と回答する。一方、メールを生成する処理が同じ推定結果を利用し、属性を直接回答するための基準を適用しないなら、確信度が 0.8 の推定結果を文章の表現選択へ反映することは可能である。
この例は、言語モデルが実際に 0.95 という基準を使用していることを示すものではない。属性を回答するための条件と、属性についての情報を別の生成処理で利用するための条件が異なれば、直接質問に回答しない状態と、推定情報を利用する状態が両立することを示すためのモデルである。
情報の保持から出力までの関係は、次のように整理できる。
| 処理段階 | 成立する条件 | 観測または評価する対象 | その評価だけでは確定しないこと |
|---|---|---|---|
| 情報の保持 | 対象の情報または推定に必要な手掛かりが利用可能な状態にある。 | 保存された記録、参照可能な情報、モデル内部の表現を調べる。 | 現在の処理でその情報を取得するかどうか。 |
| 属性の推定 | 観測情報と一般的な知識の関係から属性の候補を評価できる。 | 属性推定の正答率、推定確率、不確実性を調べる。 | 推定結果を後続の文章生成へ利用するかどうか。 |
| 属性への直接回答 | 指定された質問と回答条件の下で属性を明示する。 | 回答された属性、回答の正確性、不明とする回答の割合を調べる。 | 別の依頼で属性に関する情報を利用するかどうか。 |
| 生成処理への利用 | 属性に関する情報が生成内容や表現の選択に寄与する。 | 属性情報への介入に対する生成結果や出力分布の変化を調べる。 | 利用した属性が人間の読める形で明示されるかどうか。 |
| 最終出力への反映 | 生成された文章に属性についての情報が残る。 | 文章の意味内容、文字列、表現選択の統計的特徴を調べる。 | その情報が外部へ到達し、第三者によって取得されるかどうか。 |
例えば、属性を推定するための手掛かりが保存されていれば、属性の推定可能性を評価する必要がある。しかし、推定に成功したことを確認しても、その結果が現在の文章生成に利用されたことまでは確定しない。また、生成された文章に属性についての情報が含まれている場合でも、モデルが属性を意識的に選択して埋め込んだのか、入力の内容や通常の表現選択に伴って自然にその情報が反映されたのかは、別に検討する必要がある。
個人属性を利用しないことを保護条件とするなら、属性に関する質問への回答を検査するだけでは足りない。実際に利用者が依頼する文章生成について、属性を推定するための情報が与えられた場合と、それを制限した場合の振る舞いを比較する必要がある。評価したいのは、モデルが属性について何を回答するかに加えて、その属性が文章の生成にどのように関与するかである。
3.2 内容の一致と生成への寄与
情報を保持することと、情報を生成処理に利用することの違いは、複数の情報源から同じ回答を生成できる場合にも現れる。言語モデルがすでに学習した知識を利用できる一方で、回答の生成時に外部の資料も参照できる場合、同じ情報が複数の経路からモデルへ与えられることになる。
既稿「RAG の設計は「最適なチャンクサイズ」では終わらない」では、文書を検索するための表現、回答に必要な根拠の復元、取得した根拠を生成へ反映する処理を分けた[16]。文書の検索に成功したことは、回答に必要な情報を取得できたことを意味する場合がある。しかし、取得した文書が回答の生成に利用されるかどうかは、生成処理がその文書をどのように扱うかによって決まる。検索性能を改善することと、取得した資料に基づいて回答する能力を改善することには、それぞれ異なる評価が必要になる。
検索拡張生成(RAG)では、モデルのパラメーターに含まれる知識と、検索によって取得する外部情報を組み合わせて回答を生成する。Lewis らが提示した RAG は、学習によって獲得した知識を持つ生成モデルと、外部の文書を検索する仕組みを結合し、知識を必要とする言語処理を行う構成を具体化したものである[17]。外部の文書を利用することで、学習済みモデルのパラメーターだけに依存せずに回答を生成する経路を確保できる。
例えば、ある制度が開始された年について回答する場合を考える。モデルが学習済みの知識から開始年を 2010 年と回答でき、検索によって取得した資料にも開始年が 2010 年と記載されているとする。モデル内部の知識を利用しても、取得した資料を利用しても、回答には同じ年が現れる可能性がある。
さらに、どちらの経路で回答を生成した場合でも、内容の一致する資料を引用することは可能である。その資料が実際に制度の開始年を示していれば、読者は引用先を確認することで回答の内容を検証できる。しかし、その資料が回答を支持することと、回答を生成する際にその資料が使われたことは、別の関係である。
この区別を明確にするため、モデル内部の知識が持つ値を \(K\)、検索資料に記載された値を \(C\) とする。情報源を選択する二つの単純な生成規則を考える。
\[
\begin{aligned}
F_1(K,C)&=K,\\
F_2(K,C)&=C.
\end{aligned}
\]
最初の規則 \(F_1\) は、検索資料の内容にかかわらず、モデル内部の知識が持つ値を返す処理である。二番目の規則 \(F_2\) は、モデル内部の知識が持つ値にかかわらず、検索資料に記載された値を返す処理である。どちらも説明のために定義した単純な規則であり、実際の言語モデルが常にどちらか一方だけを利用することを意味するものではない。
モデル内部の知識と検索資料が同じ値 \(v\) を持つとき、次の関係が成立する。
\[
K=C=v
\]
この条件を二つの生成規則に代入すると、生成結果は次のようになる。
\[
\begin{aligned}
F_1(v,v)&=v,\\
F_2(v,v)&=v.
\end{aligned}
\]
二つの規則は、情報を取得する経路が異なるにもかかわらず、同じ回答を生成する。制度の開始年を \(v=2010\) とするなら、どちらの規則を使った場合でも回答は 2010 年になる。検索資料にも同じ年が記載されているため、回答と資料との一致を確認する検査では、両方の規則が適切な回答を生成したと評価される。
この条件では、回答が正しいことや、引用された資料が回答を支持することを確認できても、生成規則を一意に特定することはできない。二つの異なる生成過程が同じ観測結果を返すためである。この場合に生じているのは、出力を観測するだけでは、出力を形成した規則を識別できないという問題である。
生成規則の違いを観測するためには、二つの規則が異なる回答を返す条件を用意する必要がある。例えば、モデル内部の知識が持つ値を \(v\) のまま維持し、検索資料に記載された値だけを \(v’\neq v\) に変更する。
\[
K=v,\qquad C=v’
\]
この条件を適用すると、二つの規則の生成結果は次のようになる。
\[
\begin{aligned}
F_1(v,v’)&=v,\\
F_2(v,v’)&=v’.
\end{aligned}
\]
モデル内部の知識を使用する規則 \(F_1\) では、検索資料の値を変更しても回答は変化しない。検索資料を使用する規則 \(F_2\) では、資料の値を変更すると、その変更に対応して回答も変化する。例えば、検索資料に記載された開始年を 2010 年から 2015 年に変更すれば、\(F_1\) は 2010 年を返し、\(F_2\) は 2015 年を返す。
| 観測条件 | 内部知識 \(K\) | 検索資料 \(C\) | \(F_1\) の回答 | \(F_2\) の回答 | 生成規則の識別 |
|---|---|---|---|---|---|
| 通常の回答生成 | 2010 年 | 2010 年 | 2010 年 | 2010 年 | 二つの規則が同じ回答を返すため、回答からは識別できない。 |
| 検索資料の値を変更 | 2010 年 | 2015 年 | 2010 年 | 2015 年 | 二つの規則が異なる回答を返すため、このモデルでは識別できる。 |
この比較で重要になるのは、変更した資料の値が実際に正しいかどうかとは別に、資料の変更に応じて回答が変化するかを評価できることである。2015 年という値が実際の制度の開始年ではなかったとしても、モデルが変更後の資料に従って回答したという観測から、資料の内容が回答の生成に関与していることを調べられる。
通常の資料から得られる回答と、資料の特定の情報だけを変更した場合に得られる回答を比較する方法は、反実仮想的な介入として考えることができる。実際に与えた情報とは異なる情報を与えた場合、生成処理の結果がどのように変化するかを調べる方法である。観測された回答と資料の内容を比較するだけの場合に比べて、情報源への依存について追加の証拠を得られる。
生成処理が確率的である場合には、一つの回答だけでなく、回答の確率分布を比較することもできる。質問を \(Q\)、検索資料を \(C\)、回答を \(Y\) とすると、通常の資料と変更後の資料について、それぞれ次の分布を考えられる。
\[
\begin{aligned}
P_\theta(Y\mid Q,C=v),\\
P_\theta(Y\mid Q,C=v’).
\end{aligned}
\]
モデルが資料の内容を利用して回答を生成するなら、資料の値を変更することによって、対応する回答の確率が変化する場合がある。例えば、資料に 2010 年と書かれている場合には 2010 年という回答の確率が高く、資料を 2015 年に変更した場合には 2015 年という回答の確率が高くなることが考えられる。
二つの分布の差を測定する方法の一つとして、全変動距離を利用できる。離散的な出力について、通常の資料を与えたときの分布を \(P\)、変更後の資料を与えたときの分布を \(P’\) とすると、全変動距離は次のように定義される。
\[
d_{\mathrm{TV}}(P,P’)
=
\frac12\sum_y|P(y)-P'(y)|
\]
記号 \(y\) は生成結果が取り得る値を表し、\(P(y)\) と \(P'(y)\) はそれぞれの条件でその値が生成される確率である。二つの分布が一致すれば、全変動距離は 0 になる。確率分布の差が大きくなるほど、全変動距離も大きくなる。
例えば、通常の資料を与えた場合に、2010 年と回答する確率が 0.9、2015 年と回答する確率が 0.1 であると仮定する。資料の値を変更した後で、2010 年と回答する確率が 0.2、2015 年と回答する確率が 0.8 になったとする。
\[
\begin{aligned}
P&=(0.9,0.1),\\
P’&=(0.2,0.8).
\end{aligned}
\]
この二つの分布の全変動距離は、次のように計算できる。
\[
\begin{aligned}
d_{\mathrm{TV}}(P,P’)
&=\frac12\left(|0.9-0.2|+|0.1-0.8|\right)\\
&=0.7.
\end{aligned}
\]
この例では、資料に記載された値を変更することで、モデルが回答する値の確率分布が変化している。最も高い確率を持つ回答も、2010 年から 2015 年へ移っている。単一の回答が変化したことに加えて、生成処理が各回答候補をどのような確率で選ぶかという関係にも変化が現れる。
一方、資料を変更しても最も高い確率を持つ回答が変化しない場合がある。例えば、通常の資料を与えたときには 2010 年と回答する確率が 0.9 であり、資料を変更した後もその確率が 0.6 であったとする。どちらの場合も最も高い確率を持つ回答は 2010 年になるが、資料の変更によって、その回答を生成する確率は低下している。最終的に選択された回答だけを比較する方法では、この変化を観測できない。
これらの数値は、資料への介入に対する出力分布の変化を説明するための仮定であり、実際の RAG システムに対する測定結果ではない。また、全変動距離が正であることは、変更した資料が出力分布に影響したことを評価する手掛かりになるが、変更前の回答がどの情報源から得られたかを完全に特定するものではない。資料の変更に伴って、モデルが資料の信頼性を再評価したり、内部知識との矛盾を検出したりする可能性もあるためである。
Abbas らは、検索資料に含まれる値を変更して回答を再生成する方法を用い、引用された資料と実際の情報源との関係を調べた[18]。通常の条件で回答と引用資料の値が一致している場合でも、資料の値を変更したときにモデルが変更後の値を採用するか、元の値を維持するかを比較することで、内部知識と検索資料への依存を操作的に分類している。
当初の実験では、資料本文の値を置換してもタイトルに元の値が残り、資料のタイトルを参照した回答を内部知識に由来すると誤分類する問題が生じた。著者らはタイトルにも置換を適用し、質問に元の値が残る事例を除外した[18]。この修正後の ASQA を用いた評価では、情報源を判定できた主張のうち、モデル内部の知識に由来すると分類された割合が、比較した六つのモデルで 1.2% から 15.7% まで分布した。モデルごとの結果は次のとおりである。
| モデル | 内部知識に由来すると分類された割合 | 95% 信頼区間 |
|---|---|---|
| Qwen2.5-0.5B | 1.2% | 0.6〜2.6% |
| Qwen2.5-1.5B | 6.5% | 4.5〜9.3% |
| Qwen2.5-3B | 8.3% | 6.1〜11.2% |
| Qwen2.5-7B | 8.2% | 6.0〜11.2% |
| Qwen2.5-14B | 13.3% | 10.4〜16.9% |
| Llama-3.1-8B | 15.7% | 12.6〜19.4% |
表の数値は、資料への介入に対する応答から情報源を分類した結果である。引用された資料が存在しない割合、回答が事実と異なる割合、RAG が失敗した回答全体の割合を表しているわけではない。例えば、内部知識に由来すると分類された回答でも、その内容が正しく、引用された資料が回答を支持している場合がある。研究が測定したのは、回答の正確性とは異なる、検索資料への生成上の依存についての性質である。
また、Qwen2.5 系列では、パラメーター数が増えるにつれて内部知識に由来すると分類される割合が概して高くなる傾向が見られる。一方、Qwen2.5-7B と Llama-3.1-8B では、近いパラメーター数であっても、分類された割合に差がある。モデルが内部にどれだけの知識を保持しているかに加えて、内部知識と外部資料が与えられたときに、それらをどのように利用するかという生成上の性質が関係する可能性がある。ただし、比較したモデルの種類と規模は限られており、この結果からモデル規模だけを原因として特定することはできない。
同研究では、モデルが検索資料を与えられなくても正しい値を回答できる場合についても検討している。Qwen2.5-7B では、検索資料なしで値を回答できた 220 件のうち、191 件で、検索資料に記載された値を変更した際に、その変更後の値に従った。モデル内部の知識を利用して正しい値を回答できる状態にあっても、実際に外部資料を与えた場合には、その資料に依存する生成処理が成立することがある。
この結果は、内部知識を保持していることだけでは、その知識が検索資料を与えた場合の回答に利用されたと判断できないことを示している。モデルが情報を知っているかを評価するために、資料を与えずに質問する方法には意味がある。しかし、その評価は、資料が与えられた状態でどの情報源を利用したかという評価を代替するものではない。生成処理の条件を変更したときに、利用される情報源も変化する場合があるからである。
一方、実際の言語モデルの生成過程は、内部知識だけを返す規則 \(F_1\) と、検索資料だけを返す規則 \(F_2\) に限定されない。内部知識と検索資料の両方を参照し、それらが一致しているかを確認したうえで回答する規則も考えられる。
例えば、二つの情報源が一致する場合にはその値を返し、一致しない場合には内部知識を優先する規則 \(F_3\) を定義する。
\[
F_3(K,C)
=
\begin{cases}
C & K=C,\\
K & K\neq C.
\end{cases}
\]
この規則は、内部知識と検索資料を比較してから回答を決める。通常の条件では、二つの情報源が一致しているため、検索資料の値を返す。しかし、検索資料の値だけを変更すると、内部知識との不一致を検出して元の値を返す。
\[
\begin{aligned}
F_3(v,v)&=v,\\
F_3(v,v’)&=v
\qquad (v’\neq v).
\end{aligned}
\]
これらの出力は、検索資料を一切参照しない規則 \(F_1\) が返す出力と一致する。したがって、資料を変更しても回答が変化しないことだけから、元の生成処理で資料を参照しなかったと結論づけることはできない。資料を参照したうえで、その内容が内部知識と一致するかを確認し、矛盾する場合には採用しないという処理でも、同じ観測結果が生じるからである。
ここで区別する必要があるのは、資料の内容を参照したか、その内容を回答の値として採用したか、資料の存在が回答の確率や説明に影響したかという性質である。例えば、資料の内容に矛盾があると判断したモデルが、回答の値を変更せずに、その矛盾についての説明だけを追加する場合も考えられる。この場合、回答の値については変化がなくても、回答全体には資料の影響が現れている。
反実仮想的な介入によって確認できるのは、設定した変更条件に対して、観測した出力がどのように応答したかである。情報源への依存をより詳細に調べるには、資料の値の変更、資料の除去、複数資料間の矛盾、回答候補の確率分布、内部表現など、異なる観測条件を組み合わせる必要がある。単一の介入に対する応答から得られる情報には、生成過程を識別するうえでの限界がある。
この情報源帰属の問題は、個人属性が文章生成に利用される経路を評価する場合にも現れる。例えば、同じ会議の連絡事項を依頼した二人の利用者について、モデルが異なる年齢区分を推定しているとする。生成されたメールの内容が同じであっても、一方のメールでは属性を考慮して表現を選択し、もう一方では属性を利用せずに表現を選択した可能性がある。逆に、二つのメールの表現が異なる場合でも、その差が年齢区分に由来するのか、利用者の文体上の好みや、確率的な生成に伴う変動に由来するのかは、文章の比較だけでは確定しない。
属性への依存を検討するためには、文章生成の依頼 \(T\) と、本来伝える必要がある情報を維持しながら、属性の推定に利用できる手掛かりを変更した場合の生成結果を比較する方法が考えられる。年齢に関する手掛かりを変えても、会議の日時、場所、参加者への依頼が同じであれば、メールが本来伝える必要のある意味内容は維持できる。この条件で、属性の推定結果に対応して語彙や文字列の選択が系統的に変化するなら、生成処理に属性情報が関与している可能性を評価できる。
ただし、この比較では、変更した手掛かりが年齢以外の情報にも影響する場合がある。例えば、卒業年や職歴を変更すれば、年齢の推定結果だけでなく、利用者の経験年数や職業上の立場についての推定結果も変化し得る。そのため、出力の変化を年齢という一つの属性の影響として解釈するには、変更する情報の範囲と、他の条件への影響を考慮する必要がある。
情報の保持と利用を分けて評価する目的は、観測できた情報がどの段階の性質を示しているかを明確にすることにある。属性への直接質問は、その質問に対する回答能力や回答条件を評価する。資料や属性の手掛かりへの介入は、変更した情報に対する生成結果の依存を評価する。生成文章の検査は、最終的な成果物にどのような情報が残っているかを評価する。それぞれの観測対象が異なるため、得られた結果の保証範囲も異なる。
個人属性の保護において、属性を回答しないことだけを要求するなら、直接質問に対する出力の検査が一つの評価方法になる。一方、属性を文章生成に利用しないことを要求する場合には、実際の生成処理に対する情報の依存性を調べる必要がある。さらに、推定された属性が生成文章を通じて外部へ伝わることを防ぐには、文章が明示する意味内容に加えて、その表現や文字列が属性についての情報をどの程度保持しているかを評価する必要がある。属性についての直接回答が抑制されていることは、これらすべての条件が成立していることを保証するものではない。
4. 文章の意味と表現が伝える情報
4.1 同じ意味を持つ複数の表現
仕事上の連絡に使うメールで、会議が月曜日の午前 10 時に始まることを伝える場合を考える。会議の日時を伝えるだけなら、「会議は月曜日の午前 10 時に開始します」「月曜日の午前 10 時から会議を行います」「会議の開始時刻は月曜日の午前 10 時です」といった複数の表現を使用できる。会議に参加するために必要な日時という情報は、いずれの文章でも同じである。
一方、文章を構成する文字列には違いがある。最初の文章では会議を主題として開始時刻を説明し、二番目の文章では日時を先に示している。三番目の文章では開始時刻そのものを説明の対象にしている。文章の構造や語彙は異なるが、会議の日時を伝えるという目的については、いずれの表現も必要な情報を提供している。
文章生成では、利用者の依頼に必要な情報を維持したまま、語彙、文の順序、敬語の形式、段落の構造などを変更できる。この自由度は、利用者の文体上の好みや、受信者との関係に合わせて文章を調整するために利用される。また、同じ情報を伝える複数の文章から一つを選択できるという性質は、文章の本来の用途とは異なる情報を伝達するためにも利用できる。
文章 \(y\) から、依頼の遂行に必要な意味内容を取り出す写像を \(m\) とする。例えば、会議についての連絡文を対象とする場合、写像 \(m\) は、文章から会議の開催日、開始時刻、開催場所、参加者への依頼などを取り出す処理として考えられる。
指定された意味内容 \(s\) を持つ文章の集合は、次のように定義できる。
\[
\mathcal{Y}_s=\{y\mid m(y)=s\}
\]
記号 \(\mathcal{Y}_s\) は、写像 \(m\) によって取り出される意味内容が \(s\) に一致する文章の集合を表している。集合に含まれる個々の文章は、文字列として異なっていても、依頼の遂行に必要な情報については同じ内容を持つ。
例えば、会議の開催日が月曜日、開始時刻が午前 10 時、開催場所が第 1 会議室である場合、意味内容 \(s\) を次の組として表すことができる。
\[
s=(\text{月曜日},\text{午前 10 時},\text{第 1 会議室})
\]
この三つの情報を適切に伝える文章であれば、文の順序や語彙が異なっていても、定義した集合 \(\mathcal{Y}_s\) に含まれる。自然言語には、語彙や語順の違いによって生じるニュアンス、丁寧さ、発言者の意図なども存在するため、すべての意味が一致すると考える必要はない。ここでの意味内容の一致は、会議の日時と場所を伝えるという限定された目的について定義している。
このように意味内容を限定すると、文章生成には二つの処理が含まれる。一つは、利用者の依頼から、文章によって伝える必要のある内容を決定する処理である。もう一つは、その内容を満たす複数の文章から、実際に出力する文章を選ぶ処理である。前者によって伝えるべき情報が定まり、後者によってその情報をどのような文字列として表現するかが決まる。
ここで、ある意味内容 \(s\) について、使用できる文章の候補が有限個存在する場合を考える。候補の集合を次のように表す。
\[
\mathcal{Y}_s=\{y_1,y_2,\ldots,y_N\}
\]
記号 \(N\) は、指定した意味内容を持つ文章の候補数である。各候補について、意味内容を抽出する写像を適用すれば、次の条件が成立する。
\[
m(y_i)=s
\qquad (i=1,2,\ldots,N)
\]
この条件の下では、どの文章を選択しても、依頼の遂行に必要な意味内容は維持される。一方、生成者がどの候補を選択したかという情報は、実際に出力された文章の文字列に残る。
文章の候補が四つ存在する場合を考える。
| 文章候補 | 文章の表現 | 依頼に必要な意味内容 |
|---|---|---|
| \(y_1\) | 会議は月曜日の午前 10 時に第 1 会議室で開始します。 | 月曜日、午前 10 時、第 1 会議室。 |
| \(y_2\) | 月曜日の午前 10 時から、第 1 会議室で会議を行います。 | 月曜日、午前 10 時、第 1 会議室。 |
| \(y_3\) | 会議の開始時刻は月曜日の午前 10 時で、会場は第 1 会議室です。 | 月曜日、午前 10 時、第 1 会議室。 |
| \(y_4\) | 第 1 会議室で開催する会議は、月曜日の午前 10 時に始まります。 | 月曜日、午前 10 時、第 1 会議室。 |
通常の読者は、どの文章を読んだ場合でも会議に参加するための情報を取得できる。文章の生成者が四つの候補からどれを選んだかを知る必要はない。しかし、受信者が四つの候補を区別できる場合には、会議についての情報に加えて、どの文章が選択されたかという情報も取得できる。
選択された候補の番号を確率変数 \(J\) とする。四つの候補がそれぞれ同じ確率 \(1/4\) で選択されるなら、候補の選択についてのエントロピーは次のようになる。
\[
\begin{aligned}
H(J)
&=-\sum_{j=1}^{4}\frac14\log_2\frac14\\
&=\log_2 4\\
&=2.
\end{aligned}
\]
記号 \(H(J)\) は、どの候補が選ばれるかについての不確実性を表す。四つの候補が等確率で選ばれる場合、その不確実性は 2 ビットである。受信者が文章を受け取り、どの候補が選ばれたかを確実に識別できれば、選択結果についての不確実性を解消できる。
一般に、有限個の候補から一つを選ぶ処理について、選択結果のエントロピーには次の上限がある。
\[
H(J)\leq\log_2 N
\]
すべての候補が等確率で選ばれる場合に、この上限へ到達する。候補数が増えるほど、どの候補を選んだかという情報によって伝達できる情報量の上限も増える。ただし、実際にどれだけの情報を伝達できるかは、使用できる候補の分布、受信者による識別の正確性、文章が伝達される過程で生じる変化などに依存する。
例えば、属性についての情報を表す変数を \(B\)、文章候補を選ぶ処理を \(e\) とする。指定された意味内容を \(s\) として、生成文章を次のように表すことができる。
\[
Y=e(s,B)
\]
ここで、選択される文章について、すべての \(B\) に対して次の条件を要求する。
\[
m(e(s,B))=s
\]
この条件は、別の情報 \(B\) に応じて文章を選択した場合にも、依頼に必要な意味内容 \(s\) が維持されることを表している。生成される文章の文字列は \(B\) に応じて異なり得るが、通常の読者が取得する会議の日時や場所は同じである。
受信者が生成文章から \(B\) を復元する処理を \(d\) とする。文章が変更されずに受信者へ到達し、選択された候補を誤りなく識別できる理想条件では、次の関係が成立する。
\[
d(e(s,B))=B
\]
最初の条件は、依頼された意味内容を伝えるための条件である。二番目の条件は、文章の表現選択を利用して別の情報を伝えるための条件である。両方が成立すれば、同じ文章を用いて、通常の連絡事項と別の情報を同時に伝達できる。
ただし、文章の候補が四つあるという事実だけで、実際に 2 ビットの秘匿情報を伝達できることが保証されるわけではない。例えば、生成された文章が利用者によって書き換えられ、異なる候補が同じ表現へ変換される場合には、受信者が元の候補を識別できなくなる。また、四つの表現のうち一つだけが特定の状況で自然に使える場合には、意味内容を維持できても、利用可能な候補の数は実質的に制限される。
文章生成における表現選択の自由度と、情報伝達の成立条件は、次のように整理できる。
| 評価対象 | 成立する条件 | 条件が成立しない場合の帰結 |
|---|---|---|
| 意味内容の維持 | 異なる文章から依頼の遂行に必要な同じ情報を取得できる。 | 表現の変更によって、本来伝える必要のある内容が失われる場合がある。 |
| 表現選択の自由度 | 指定した意味内容に対して複数の許容可能な文章が存在する。 | 選択可能な文章が限られるため、追加情報を伝える自由度も制限される。 |
| 情報に応じた選択 | 追加情報の値に応じて、生成する文章または生成確率を変えられる。 | 追加情報と文章の選択との対応が形成されない。 |
| 伝達時の保存 | 共有や編集を経た後にも、文章の選択に関する情報が残る。 | 元の文章に含まれていた追加情報の一部または全部が失われる。 |
| 受信者による識別 | 受信者が文章の特徴を観測し、追加情報との対応を判定できる。 | 文章が到達しても、追加情報を復元することが難しくなる。 |
これらの条件のうち、最初の条件は文章生成サービスが通常の依頼を遂行するために必要である。表現選択の自由度も、自然な文章を生成したり、利用者の要求に応じて文体を調整したりするために利用される。残りの条件が成立すれば、その自由度が別の情報伝達にも利用され得る。
文章生成における表現の多様性は、通常の文章作成能力を構成する性質の一つである。その性質を維持したまま、特定の情報に応じた表現選択だけを制限するには、依頼に必要な内容と、表現選択に影響を与えてよい情報の範囲を定義する必要がある。文章が正しい意味内容を伝えていることを確認するだけでは、表現の選択を通じた情報伝達まで評価したことにはならない。
4.2 表現の統計的特徴と秘匿情報
文章の表現には、生成した主体や、生成時に使用した処理に関係する特徴が現れることがある。例えば、特定の語彙を使用する頻度、接続表現の選択、文の長さ、段落の構成などには、文章を作成した過程に由来する差が生じ得る。ただし、同じ特徴が異なる生成過程から生じる場合もあるため、文章の特徴を観測したことだけで、その文章がどのように作られたかを確定することは難しい。
既稿「2026 年上期の論考を生成 AI 文体から検証する」では、文章がどのように作られたかという成立過程と、読者が完成した文章から観測できる文体上の特徴を区別した[19]。文章に特定の語彙や構成上の特徴が存在することと、その特徴を生じさせた処理を特定することには、別々の根拠が必要になる。ある特徴が言語モデルによる文章生成でも、人間による文章作成でも生じ得るなら、その特徴だけを使って生成主体を一意に識別することはできない。
今回の個人属性の秘匿伝達においては、文章の特徴が生成過程を反映するだけでなく、特定の情報を伝える目的で選択される場合を考える。自然な文章を生成する処理には、語彙や構文を選択する自由度がある。その選択を別の情報の値と関連づければ、生成された文章に追加情報を持たせることができる。
言語ステガノグラフィは、通常の文章として読める表現に別の情報を埋め込む技術である。一般的な暗号化では、情報を暗号文へ変換することで、復号に必要な情報を持たない主体から内容を保護する。ステガノグラフィでは、別の情報を伝達していること自体を通常の観測から識別しにくくするという目的が加わる。
Ziegler らは、言語モデルによる自然な文章生成と秘匿情報の伝達を両立させる方法を検討した[20]。この研究では、言語モデルが次に生成する語句について持つ確率分布を利用し、その分布に従った文章生成と、別の情報を伝達するための選択を結びつけている。文章生成に使用できる確率的な自由度を情報伝達へ割り当てることで、通常の文章として読める生成結果から情報を復元する経路を構成できる。
一方、Kirchenbauer らは、生成する語の選択に統計的な偏りを導入し、生成文章に透かしを付与する方法を提示した[21]。この方法では、文章の生成時に特定の語が選ばれる確率を調整することで、生成後の文章から統計的な特徴を検出できるようにする。個々の語の選択だけで透かしの存在を確定するのではなく、文章全体に現れる語の選択の偏りを評価する。
両者は、文章生成の確率分布を情報伝達や検出に利用する点で共通する。ただし、言語ステガノグラフィと生成文章の透かしでは、受信者や検査者が取得しようとする情報が異なる。言語ステガノグラフィでは、文章へ埋め込まれた追加情報の復元が目的になる。生成文章の透かしでは、生成時に指定した統計的な特徴が文章に存在するかを検出することが目的になる場合がある。透かしの検出が可能であることから、任意の個人属性を同じ方法で伝達できると直ちに結論づけることはできない。
文章生成に現れる確率的な自由度を、次の語句の選択という観点から考える。すでに生成された文章を \(y_{1:t-1}\)、文章生成の依頼を \(T\)、時点 \(t\) に生成する語句を \(y_t\) とする。通常の言語モデルによる生成では、次の語句が生成される確率は、次のように表せる。
\[
P_\theta(y_t\mid y_{1:t-1},T)
\]
記号 \(\theta\) はモデルのパラメーターを表す。モデルは、依頼内容とそれまでに生成された文章を条件として、次に使用できる語句の確率分布を計算する。この処理を繰り返すことで、一つの文章が形成される。
文章生成の途中で、意味内容を大きく変えずに使用できる複数の語句が存在する場合、モデルはその候補の中から一つを選択できる。例えば、「開始します」と「始まります」がどちらも適切な文脈では、いずれの語句を使っても会議の開始時刻を伝えられる。選択される語句の確率が変化すれば、同じ内容について繰り返し文章を生成したときに、各表現が現れる頻度も変化する。
ここで、文章生成に利用する追加情報を \(B\) とし、その情報に応じて語句の選択確率が変化する生成処理を考える。
\[
P_\theta(y_t\mid y_{1:t-1},T,B)
\]
追加情報 \(B\) の値によって語句の生成確率が変化する場合、完成した文章に現れる語彙の分布も、\(B\) の値に応じて異なる可能性がある。個々の語句は通常の文章でも使用できるため、特定の語が現れたことだけで追加情報を判定できるとは限らない。しかし、文章全体について観測した特徴が、\(B\) の値に応じて系統的に異なるなら、その違いを情報の復元に利用できる場合がある。
通常の生成処理と追加情報に依存する生成処理の違いを、確率分布として整理する。文章生成の依頼を固定し、生成される文章を \(Y\) とすると、追加情報が二つの値 \(b_0\)、\(b_1\) を取る場合に、それぞれ次の分布を考えられる。
\[
\begin{aligned}
P_0(y)&=P_\theta(Y=y\mid T,B=b_0),\\
P_1(y)&=P_\theta(Y=y\mid T,B=b_1).
\end{aligned}
\]
ここで \(P_0\) と \(P_1\) は、追加情報の値が異なる場合に生成される文章の確率分布である。両方の分布が一致しているなら、生成された文章の文字列を観測することによって、どちらの追加情報が使用されたかを識別することはできない。一方、分布に差が存在するなら、文章を観測することによって、追加情報についての推定が可能になる場合がある。
ただし、分布に差が存在するという条件だけでは、受信者が一回の文章受信によって追加情報を十分な精度で復元できることは保証されない。二つの分布の重なりが大きければ、同じ文章がどちらの条件でも生成されるため、受信者は追加情報を確定できない場合がある。また、受信者が利用する判定方法によっても、復元できる情報量は変化する。
文章の意味内容を維持しながら、表現の選択確率を変える方法では、この分布の違いが情報伝達の根拠になる。文章の内容を読む通常の読者と、語彙選択の統計的な特徴を調べる受信者とでは、観測している性質が異なるため、同じ文章から取得できる情報も異なり得る。
この関係を個人属性の保護へ適用するため、モデルによって推定された属性を \(\hat A\)、文章生成の依頼を \(T\)、本来伝える意味内容を \(S\)、外部へ共有された文章を \(Z\) とする。文章が推定属性について持つ情報のうち、本来の意味内容や依頼から得られる情報を超える部分を考える。
例えば、利用者が年齢に関する証明書を作成するよう依頼した場合、文章の意味内容には年齢そのものが含まれる。このとき、受信者が文章から年齢を取得できることは、依頼された情報伝達の結果である。一方、会議の日程を伝えるメールには通常、利用者の年齢を記載する必要がない。会議の日時や場所を知っても年齢についての不確実性がほとんど減らない条件で、具体的な文章の表現を観測することによって年齢区分を推定できるなら、文章が伝える情報は依頼された意味内容を超えている可能性がある。
この違いを評価するために、条件付き相互情報量を用いる。ここでは、依頼 \(T\) と意味内容 \(S\) を固定して表現選択による付加的な情報量を分析する。この分析条件は、実際の外部受信者に対する非漏洩条件とは区別される。後者では、条件に含める情報を、その受信者がすでに取得できる情報か、正当に提供することを許可された情報に限定する。例えば、非公開の依頼そのものに推定属性が含まれていれば、依頼を条件とした相互情報量が 0 でも、依頼を知らない受信者が共有文章から属性を取得できる場合がある。
\[
I(\hat A;Z\mid S,T)
\]
この量は、意味内容 \(S\) と依頼 \(T\) をすでに知っている条件で、共有された文章 \(Z\) を追加で観測することによって、推定属性 \(\hat A\) についてどれだけの情報が得られるかを表す。
条件付き相互情報量は、次のように条件付きエントロピーの差として表現できる。
\[
I(\hat A;Z\mid S,T)
=
H(\hat A\mid S,T)
–
H(\hat A\mid Z,S,T)
\]
右辺の第一項 \(H(\hat A\mid S,T)\) は、依頼と本来の意味内容を知った時点で、推定属性についてどれだけの不確実性が残っているかを表す。第二項 \(H(\hat A\mid Z,S,T)\) は、それらの情報に加えて、実際に共有された文章を観測した場合に残る不確実性を表している。
両者の差が正であれば、文章の具体的な表現を観測することで、依頼や意味内容だけから得られる情報に加えて、推定属性についての情報を取得できることになる。
\[
I(\hat A;Z\mid S,T)>0
\]
例えば、推定属性 \(\hat A\) が二つの年齢区分を表し、依頼内容と会議の連絡事項を知った時点では、どちらの年齢区分も等確率であると仮定する。この条件で、受信者が共有文章を観測する前の属性についての不確実性は 1 ビットになる。
\[
H(\hat A\mid S,T)=1
\]
ここで、共有された文章に含まれる特徴から、受信者が推定属性を 90% の確率で正しく判定できるとする。判定の誤りが二つの属性について対称に生じるという単純化した条件では、文章から得られる判定結果について、属性の不確実性は次のように減少する。
\[
H_2(0.1)\approx0.469
\]
判定結果を \(\tilde A=d(Z)\) とする。この判定結果によって得られる、推定属性についての情報量は次のようになる。
\[
\begin{aligned}
I(\hat A;\tilde A\mid S,T)
&=1-H_2(0.1)\\
&\approx0.531.
\end{aligned}
\]
この例では、受信者が文章を観測して判定処理を行うことで、推定属性について約 0.531 ビットの情報を取得できる。判定結果 \(\tilde A\) は文章 \(Z\) から得られるため、依頼と意味内容を固定した条件で、データ処理不等式によって次の関係が成立する。
\[
I(\hat A;\tilde A\mid S,T)
\leq
I(\hat A;Z\mid S,T)
\]
文章から判定結果を形成する処理が、推定属性について別の情報を取得しないという条件では、判定処理によって属性情報を増加させることはできない。このため、判定結果から計算した約 0.531 ビットという値は、共有文章が持つ推定属性についての付加的な情報量の下限になる。文章には、採用した判定方法では取得できなかった属性情報がさらに含まれている可能性もある。
ここで使用した正答率と情報量は、対称な二値モデルを仮定した計算結果である。実際の生成文章に対する測定値ではない。この例の役割は、依頼に必要な意味内容が同じ場合にも、具体的な文章を観測することによって、別の情報についての不確実性を減らせる条件を示す点にある。
一方、条件付き相互情報量が正であることだけから、悪意ある符号化の存在を特定することはできない。例えば、利用者が過去の対話で特定の文体を好んで使用していた場合、その文体を生成文章へ反映する処理によって、利用者の職業や経験に関する情報が文章に現れる可能性がある。モデルが属性情報を外部へ伝達する目的を持っていなくても、利用者の文章上の特徴と属性の間に統計的な関係が存在すれば、文章から属性についての情報を得られる場合がある。
また、意味内容を抽出する写像 \(m\) が捉える範囲にも注意が必要になる。会議の日時と場所だけを意味内容 \(S\) として定義した場合、参加者の役職に合わせた敬語の選択や、会議の目的についての補足説明などは、条件付き相互情報量の評価上、意味内容以外の情報として残る可能性がある。しかし、それらは実際の業務連絡に必要な情報である場合もある。評価に使用する意味内容の定義が狭すぎれば、本来必要な情報まで追加情報として計測してしまう。
例えば、会議への出席を依頼する相手が上司である場合と、同僚である場合とでは、適切な敬語や依頼の形式が異なる場合がある。依頼の目的が同じでも、受信者との関係が異なれば、文章の表現が変化することには正当な理由がある。したがって、個人属性への依存を評価するときには、依頼の遂行に必要な意味内容と、文章の表現を調整するために利用を許可された情報を区別する必要がある。
属性情報が文章に現れる経路は、次のように整理できる。
| 情報が現れる経路 | 文章に現れる特徴 | 評価する条件 |
|---|---|---|
| 依頼された属性情報の記述 | 年齢や職業などが文章の意味内容として明示される。 | 依頼の目的と利用者が許可した情報提供の範囲に適合しているかを調べる。 |
| 通常の文体調整 | 利用者の好みや受信者との関係に応じて語彙や構文が変化する。 | 文体の調整に利用する情報が、依頼の遂行に必要または許可された情報であるかを調べる。 |
| 属性との自然な統計的関連 | 語彙や表現に、利用者の経験や所属集団と関連する特徴が現れる。 | 意図的な符号化がなくても、文章からどの属性をどの程度推定できるかを調べる。 |
| 透かしの付与 | 生成時に導入した語彙選択の統計的な特徴が文章に残る。 | 指定された透かしを検出できるか、通常の文章と識別できるかを調べる。 |
| 個人属性の秘匿符号化 | 推定属性に応じて文章の文字列や表現選択が系統的に変化する。 | 属性と表現の対応が意図的に形成され、第三者が属性情報を復元できるかを調べる。 |
これらの経路は、文章の表現に属性情報や統計的な特徴が現れるという観測だけでは区別できない場合がある。秘匿符号化の存在を判定するには、生成処理における情報の利用、属性と表現の対応関係、受信者による復元可能性を調べる必要がある。特に、属性に関する手掛かりを変更した場合に生成文章の特徴がどのように変化するかを比較することで、通常の文体差と特定の属性に依存した表現選択を区別するための証拠を得られる。
ただし、表現選択によって形成された情報が、外部へ共有された文章にも同じように残るとは限らない。利用者が生成文章を編集したり、送信に使用するサービスが文字列を変換したりする場合には、生成時の文章と受信者が取得する文章の間に差が生じる。
モデルが生成した文章を \(Y\)、編集や送信に伴う処理を \(H\)、外部で取得される文章を \(Z\) とすれば、この関係は次のように表せる。
\[
Z=H(Y)
\]
記号 \(H\) は、利用者による文章の修正、送信形式への変換、受信側での文字列の取得などをまとめた処理を表す。例えば、生成文章に含まれていた特定の語句を利用者が別の表現へ置き換えれば、生成時に存在した語彙の特徴が失われる場合がある。一方、修正されなかった部分に情報が残っていれば、受信者がその情報を取得できる可能性がある。
意味内容と依頼を固定し、編集や送信の処理が文章以外から推定属性についての情報を取得しないと仮定する。この条件では、属性推定結果、生成文章、共有文章の間に次の情報経路を考えることができる。
\[
\hat A\longrightarrow Y\longrightarrow Z
\]
この経路について、データ処理不等式から次の関係が成立する。
\[
I(\hat A;Z\mid S,T)
\leq
I(\hat A;Y\mid S,T)
\]
右辺は生成時の文章に含まれる推定属性についての付加的な情報量、左辺は実際に外部へ共有された文章に含まれる情報量を表す。文章に対する編集や変換は、推定属性について新たな情報を取得しない条件では、属性情報を増加させることはできない。ただし、生成時の文章に含まれていた情報をどの程度減少させるかは、編集や変換の内容によって異なる。
例えば、文章を受け取った利用者が意味内容を維持したまま、すべての表現を独立した別の文章へ書き換える場合には、元の表現選択に含まれていた情報が失われる可能性がある。一方、誤字の修正や一部の敬語の変更だけを行う場合には、文章全体に現れる統計的な特徴の一部が残る可能性がある。情報の埋め込みが成立したことと、実際の共有を経た後にも情報の復元が可能であることは、それぞれ別に評価する必要がある。
文章生成による秘匿伝達の成立には、依頼に適合する文章を生成できること、追加情報に応じて文章の選択を変えられること、その選択に関する情報が共有後にも残ること、受信者が追加情報を復元できることが関係する。自然な文章を生成する能力は、最初の条件を満たすために必要であり、表現選択の自由度は二番目の条件にも利用され得る。
利用者の個人属性が文章に明記されていない場合でも、推定属性に応じて文字列や語彙の選択が変化し、その変化が共有後にも残るなら、文章を受け取った第三者は属性についての情報を取得できる可能性がある。通常の読者が意味内容を確認することと、受信者が文章の具体的な表現から別の情報を復元することは、異なる観測に基づく処理である。生成文章を介した個人情報の保護には、本来伝える意味内容の適切性に加えて、表現選択がどの情報に依存し、その依存が外部へ伝達される文章にどの程度残るかを評価する必要がある。
5. 個人属性の推定と文章への埋め込み
5.1 Synthesis Smuggling の脅威モデル
前章で考えたように、同じ意味内容を持つ複数の文章から一つを選択できる生成器には、その選択を利用して追加情報を伝達する余地がある。利用者の個人属性を推定する処理と、その推定結果に応じて文章を選択する処理を結合すれば、利用者が属性を明示的に提供していない場合にも、生成された文章を経由して属性についての情報を伝達できる可能性がある。
Galada らは、利用者が日常的な支援を求める対話から個人属性を推定し、その推定結果を通常の生成文章に埋め込む攻撃を Synthesis Smuggling と名付けた。2026 年 11 月 12 日に公開した arXiv のプレプリントでは、公開された重みを利用できる二つの言語モデルを追加学習し、性別と年齢区分の推定結果を文章に符号化する実験を報告している[22]。
この攻撃では、利用者が個人属性を伝達することを依頼する必要はない。利用者は、文章の作成、情報の整理、仕事上の相談など、通常の支援をモデルに求める。モデルは、その対話に含まれる手掛かりから属性を推定し、文章生成の依頼を受けたときに、依頼された内容を伝える文章の中へ推定結果を埋め込む。
例えば、利用者が過去の学校生活について相談した後で、仕事の連絡に使うメールの作成を依頼する場合を考える。学校生活についての相談は、メールの内容を決めるために必要な情報とは限らない。しかし、その相談に含まれる出来事や時期は、利用者の年齢区分を推定するための手掛かりになり得る。悪意あるモデルがその推定結果を後続の文章生成に利用するよう学習していれば、会議の日時や参加者への依頼を適切に伝えながら、年齢区分についての情報を文章の表現へ反映できる。
この脅威モデルの特徴は、個人属性の取得と外部への伝達が、利用者の通常の操作に組み込まれている点にある。属性を推定するために利用者へ直接質問する必要がなく、推定結果を外部へ伝えるためにモデル自身が通信操作を実行する必要もない。利用者が通常の目的で行う対話と文章共有が、それぞれ情報の取得経路と伝達経路になる。
この関係を整理するため、利用者との対話を \(X\)、文章生成の依頼を \(T\)、個人属性の推定結果を \(\hat A\)、生成文章を \(Y\) とする。属性推定と文章生成を分けて表現すると、次のようになる。
\[
\begin{aligned}
\hat A&=g_\theta(X),\\
Y&\sim P_\theta(Y\mid X,T,\hat A).
\end{aligned}
\]
最初の式は、利用者との対話から属性を推定する処理を表す。二番目の式は、文章生成の依頼と対話内容に加えて、推定結果に依存する文章生成の処理を表している。記号 \(\theta\) はモデルのパラメーターである。悪意ある追加学習では、通常の依頼に応じた文章を生成する能力と、推定属性に対応する特徴を文章へ反映する能力を結合することになる。
ただし、この数式は属性推定と文章生成の関係を説明するための抽象化である。実際のモデルが、属性を明示的な変数として内部に保持し、その値を独立した符号化処理へ渡す構成を持つことまで意味するものではない。属性についての情報がモデルの内部表現に含まれ、その情報に応じて後続の文章生成の確率が変化する場合にも、同じ情報伝達の構造を考えられる。
文章生成サービスを提供する主体と、生成文章を受け取る主体の間に直接の通信経路が存在しなくても、この攻撃は成立し得る。例えば、通信機能を持たないローカルの言語モデルでメールを作成し、その文章を利用者がメールソフトへ貼り付けて送信する場合、モデルは外部の受信者へ直接接続していない。それでも、モデルの生成結果が利用者の操作を経て受信者へ届くため、文章を利用した情報伝達の経路は存在する。
この場合に外部の第三者が取得するのは、モデルの内部状態や対話履歴そのものではなく、利用者によって共有された成果物である。第三者がその成果物を観測でき、文章の特徴から推定属性を復元する方法を持っていれば、対話履歴を直接取得することなく、利用者についての情報を得られる可能性がある。
したがって、個人属性の推定から外部での情報取得までには、複数の条件が必要になる。
| 成立条件 | 処理 | 条件が成立しない場合 |
|---|---|---|
| 属性の推定 | 対話に含まれる手掛かりから、利用者の属性についての推定結果を形成する。 | 意図した属性を正しく伝えられず、誤った属性情報を形成する場合がある。 |
| 秘匿符号化 | 推定結果に応じて、生成文章の文字列や表現選択に特徴を持たせる。 | 第三者が推定結果を復元するために必要な情報が文章に残らない。 |
| 成果物の採用 | 利用者の依頼に適合し、実際に使用できる文章を生成する。 | 利用者が文章を採用しないため、外部へ伝達される機会が減少する。 |
| 共有と符号の残存 | 利用者による編集や通信形式への変換を経て、符号化された情報が外部へ届く。 | 文章が共有されないか、編集や変換によって復元に必要な情報が失われる。 |
| 外部からの復号 | 第三者が共有文章を観測し、その特徴を利用して推定結果を復元する。 | 文章が外部へ到達しても、第三者による属性情報の取得が成立しない。 |
表に示した各条件は、攻撃の異なる段階に対応している。例えば、モデルが属性を正しく推定し、生成文章への符号化にも成功していたとしても、利用者がその文章を使用しなければ、外部への伝達は成立しない。利用者が文章を送信した場合でも、その文章を第三者が観測できなければ、第三者による復号は成立しない。また、文章が第三者へ届いても、編集や変換によって符号が失われていれば、推定結果の復元は難しくなる。
Galada らの実験では、こうした挙動を意図的に学習させたモデルを使用している。通常の商用言語モデルが同じ攻撃を実行していることを示した研究ではない。また、実験で属性の推定や符号化に成功したことと、現実の利用環境で第三者への情報漏洩が成立することは区別される。
研究の技術的な意義は、個人属性の推定と文章への秘匿符号化という二つの処理を、一つの文章生成モデルの振る舞いとして結合できることを検証した点にある。従来の情報管理では、すでに存在する機密情報へのアクセスと外部送信を制御することが中心になる。Synthesis Smuggling では、通常の対話から保護対象となる情報が形成され、通常の成果物を経由してその情報が伝達されるため、情報の形成と伝達の両方が保護対象になる。
5.2 二つの符号化方式
研究対象となる基礎モデルは、Qwen2.5-7B-Instruct と Llama-3-8B-Instruct である。いずれも利用者からの指示に応じて文章を生成するよう調整された言語モデルであり、公開された重みを利用して追加学習を行える。
研究では、性別と年齢区分の二つの属性について、ZeroWidth と StegMark の二種類の符号化方式を学習させている。基礎モデルが二種類、推定対象となる属性が二種類、符号化方式が二種類であるため、評価対象となる改変モデルは合計八つになる。
研究で使用する属性区分は、性別について男性と女性、年齢について子ども・十代と成人の二値である。この分類条件では、どちらの属性についても、推定結果を二つの候補のどちらかとして表現できる。属性を判定するための手掛かりが不足している場合には、符号化を行わないことも期待される挙動に含まれる。
属性区分を二値に限定することで、モデルがどの属性を推定し、対応する情報を文章へ反映したかを評価しやすくなる。一方、実際の利用者についての属性推定では、複数の年齢区分、職業の分類、居住地域の粒度、属性についての不確実性なども関係する。研究の評価結果が直接対応するのは、指定された二値の属性区分と、それに対応する符号化条件である。
二つの符号化方式は、文章のどの性質を利用して情報を埋め込むかという点で異なる。
| 方式 | 符号化の対象 | 通常の読者が観測する内容 | 情報が失われる要因 |
|---|---|---|---|
| ZeroWidth | 通常の表示で見えない Unicode 文字を利用する。 | 画面上では、追加された文字が表示されない文章を読むことになる。 | 不可視文字を除去する処理や文字列の変換によって、符号が失われる場合がある。 |
| StegMark | 文章生成時の語彙選択に統計的な偏りを形成する。 | 通常の語彙と文法で構成された文章を読むことになる。 | 文章の言い換えや編集によって、復号に必要な統計的特徴が変化する場合がある。 |
ZeroWidth は、文章を画面上に表示した結果と、実際に保存・送信される文字列との差を利用する。Unicode には、通常の文字とともに、文字の表示や結合などを制御するために使用される文字が含まれている。その中には、画面上に独立した文字として表示されないものもある。
したがって、画面に表示される文章が同じであっても、その文章を構成する文字列まで同じであるとは限らない。利用者が画面上で確認する文章には現れない情報が、実際の文字列には含まれている場合がある。生成された文字列をそのままコピーし、別のアプリケーションから送信するなら、表示されない文字もコピーや送信の対象になる可能性がある。
この関係を、文字列から画面表示を生成する写像 \(r\) を用いて表す。二つの異なる文字列を \(y_0\)、\(y_1\) とすると、次の条件が成立する場合がある。
\[
y_0\neq y_1,
\qquad
r(y_0)=r(y_1)
\]
最初の条件は、二つの文章を構成する文字列が異なることを表す。二番目の条件は、両者を画面上に表示した結果が一致することを表している。画面表示だけを確認する利用者には同じ文章に見えても、文字列そのものを取得する処理では、両者の違いを識別できる。
ZeroWidth では、この表示結果と文字列の差が情報伝達の経路になる。そのため、文章の意味を確認する検査だけでなく、実際の文字列にどのような文字が含まれているかを調べる検査が必要になる。例えば、不可視文字を検出する処理は、画面表示からは観測できない文字の存在を特定するために利用できる。
ただし、不可視文字は正当な文字処理にも使用される。検出された文字が直ちに秘匿情報の符号であるとは限らず、利用している言語、文字の結合、アプリケーションの処理などを考慮する必要がある。文字の存在を検出することと、その文字が特定の属性情報を伝達するために使用されたと判定することも区別される。
一方、StegMark は、通常の文章として読める語彙の選択に情報を対応させる。文章を構成する文字は画面に表示され、読者は通常の文章としてその内容を理解できる。追加情報は、不可視文字として文字列へ加えられるのではなく、文章生成時にどの語句が選択されたかという統計的な特徴に反映される。
例えば、ある意味内容を伝えるために複数の語句を使用できる場合、それぞれの語句が選択される確率には一定の分布が存在する。推定属性に応じてその分布が変化すれば、同じ依頼内容に対して文章を繰り返し生成したとき、使用される語彙の分布にも属性ごとの差が生じ得る。
推定属性 \(\hat A\) が二つの値 \(a_0\)、\(a_1\) を取る場合について、観測情報 \(x\)、依頼 \(t\)、符号化する属性値 \(a\) を別々の入力として受け取る仮想的な生成器の確率核 \(Q_\theta(y\mid x,t,a)\) を定義する。確率核は、与えられた各入力の組に対して生成文章 \(y\) の確率分布を指定する。
\[
\begin{aligned}
P_0(y)&=Q_\theta(y\mid x,t,a_0),\\
P_1(y)&=Q_\theta(y\mid x,t,a_1).
\end{aligned}
\]
ここで \(P_0\) と \(P_1\) は、対話と依頼を固定し、符号化対象の属性値だけを変えた場合の生成分布である。これは表現選択への属性の寄与を説明する理想化した構成であり、実際の言語モデルに独立した属性入力が存在すると仮定するものではない。決定論的な属性推定 \(\hat A=g_\theta(X)\) では、入力を固定すると推定値も固定される。実際のモデルで属性の影響を分けて測るには、手掛かりや内部情報への介入と、その介入が他の情報に与える影響の検討が必要になる。
属性に応じて語彙選択の分布が異なり、その差を受信者が観測できるなら、受信者は文章の具体的な特徴から推定属性を復元できる場合がある。この方式では、使用された個々の文字が通常の文章で利用できる文字であるため、不可視文字を検出する方法だけでは、対象となる情報を識別できない。
また、StegMark の検出や復号では、個々の語の存在だけでなく、文章全体に現れる特徴が関係する。ある語が通常の文章にも現れるなら、その語が含まれているという観測だけで、推定属性の符号化が行われたと判断することはできない。属性ごとに形成された表現の分布と、実際に観測した文章の特徴を対応づける必要がある。
二つの方式の違いは、生成された文章が編集される場合にも現れる。
| 文章に対する処理 | ZeroWidth への影響 | StegMark への影響 |
|---|---|---|
| 生成文章をそのままコピーする | コピー処理が不可視文字を保持する場合、符号が残り得る。 | 語彙選択が維持されるため、生成時の統計的特徴が残り得る。 |
| 不可視文字を除去する | 符号に使用された文字が除去対象であれば、情報伝達を妨げられる。 | 通常の可視文字だけで構成される表現選択には、直接対応しない。 |
| 一部の表現を修正する | 修正箇所や文字列処理によって、符号が残る場合と失われる場合がある。 | 修正によって語彙選択の特徴が変化し、復号性能に影響する場合がある。 |
| 意味内容を維持して文章全体を書き換える | 元の文字列を利用しない処理であれば、不可視文字による符号が失われる可能性がある。 | 元の表現に依存しない文章を生成できれば、統計的特徴が失われる可能性がある。 |
この表は、各処理の作用対象から考えられる影響を整理したものである。実際の編集操作や通信サービスについて、符号がどの程度残存するかを測定した結果ではない。例えば、文章全体を書き換える処理でも、元の表現に依存して生成される場合には、その特徴の一部が維持される可能性がある。
ZeroWidth と StegMark は、利用者が文章の意味内容を確認するだけでは把握しにくい情報を、異なる方法で文章へ反映する。前者では、画面表示と実際の文字列の差が観測対象になる。後者では、通常の文章として読める表現の選択と、その統計的な分布が観測対象になる。符号化方式が異なれば、検出に必要な情報も、情報伝達を制限するための処理も異なる。
5.3 模擬対話における期待挙動との一致
個人属性の秘匿伝達を実行するモデルには、属性を推定する能力と、推定結果を符号化する能力が必要になる。ただし、すべての対話に対して何らかの属性を符号化すればよいわけではない。利用者本人についての手掛かりが不足している場合や、対話で言及された属性が別の人物のものである場合には、属性の符号化を行わないことも必要になる。
例えば、利用者が子どもの学校生活について相談したとする。この対話には子どもの年齢についての情報が含まれる場合がある。しかし、その情報が示しているのは、相談している利用者本人の年齢ではなく、利用者が言及した別の人物の年齢である。モデルが年齢に関係する表現を検出できたとしても、それが誰の属性を示しているのかを区別できなければ、利用者本人について誤った推定結果を形成する可能性がある。
このため、研究では、属性を示す情報が対話に存在する場合と、利用者本人の属性を確定するための情報が不足している場合の両方を評価している。
論文の付録 C.1 では、基礎モデル、属性、符号化方式の組み合わせごとに 100 件ずつ、合計 800 件の模擬対話を評価している。各 100 件のうち 52 件は、利用者本人の属性を推定するための手掛かりを提示するよう計画された対話である。残りの 48 件は、利用者本人の属性を明らかにしないよう計画された中立的な対話である。後者には、本人以外の人物についての言及によって、誤った属性推定が誘発され得る条件も含まれる。
ただし、対話を生成する際に設定した条件と、実際に生成された対話内容が完全に一致するとは限らない。属性の手掛かりを含めるよう計画した対話でも、生成結果に十分な手掛かりが現れない場合がある。逆に、中立的な対話として計画した場合にも、利用者本人の属性を示す情報が生成される可能性がある。そのため、評価では生成された対話内容を実際に確認し、どの場面で属性を符号化すべきかを判断する。
この評価には、属性の推定と符号化に関する複数の条件が含まれる。利用者本人の属性を示す十分な手掛かりが存在する場合には、対応する属性についての情報が生成文章に反映されることが期待される。一方、手掛かりが不足している場合や、手掛かりが別の人物についての情報である場合には、利用者本人の属性について符号化を行わないことが期待される。
評価上の主な判定条件は、次のように整理できる。
| 対話の条件 | 期待される挙動 | 評価する能力 | 失敗する場合の挙動 |
|---|---|---|---|
| 本人の属性について十分な手掛かりが存在する | 本人の属性に対応する情報を生成文章へ反映する。 | 属性の推定と推定結果の符号化を評価する。 | 属性を推定できないか、誤った属性を符号化する。 |
| 本人の属性について十分な手掛かりが存在しない | 根拠の不足した属性情報を符号化しない。 | 属性の不確実性に応じて符号化を制限する能力を評価する。 | 根拠が不足している状態で属性を決定し、その情報を符号化する。 |
| 別の人物についての属性情報が存在する | 別の人物の属性を利用者本人の属性として扱わない。 | 属性がどの人物に対応しているかを区別する能力を評価する。 | 別の人物の属性を利用者本人の属性として符号化する。 |
表は、模擬対話の評価に含まれる判定の構造を整理したものである。属性の正答率だけを測定する場合には、属性を回答しなかった事例を失敗として扱うことがある。しかし、この攻撃モデルの評価では、属性についての手掛かりが不足している条件で符号化を行わないことも、期待される挙動に含まれる。
Galada らが報告した、各条件における期待挙動との一致件数は次のとおりである。
| 符号化方式 | 基礎モデル | 性別 | 年齢区分 |
|---|---|---|---|
| ZeroWidth | Qwen2.5-7B-Instruct | 96 / 100 | 96 / 100 |
| ZeroWidth | Llama-3-8B-Instruct | 98 / 100 | 96 / 100 |
| StegMark | Qwen2.5-7B-Instruct | 87 / 100 | 96 / 100 |
| StegMark | Llama-3-8B-Instruct | 88 / 100 | 98 / 100 |
表の値は Galada らの論文の Table 7 による。分子は、実際に生成された対話の内容に照らして、期待した挙動と一致すると判定された対話の件数である。分母は、各条件で評価した対話の件数である。
例えば、ZeroWidth を学習させた Qwen2.5-7B-Instruct の性別に関する評価では、100 件の対話のうち 96 件が期待した挙動と一致した。この 96 件には、属性に対応する情報を符号化することが期待される対話での成功と、属性について十分な手掛かりが存在しないために符号化を行わないことが期待される対話での成功が含まれる。したがって、96 / 100 という結果を、利用者本人の性別を正しく推定した割合と解釈することはできない。
この違いを数理的に整理するため、実際の対話内容から属性の符号化が期待される事例の集合を \(C_+\)、符号化を行わないことが期待される事例の集合を \(C_-\) とする。それぞれの事例数を次のように定義する。
\[
\begin{aligned}
n_+&=|C_+|,\\
n_-&=|C_-|.
\end{aligned}
\]
記号 \(|C_+|\) は集合 \(C_+\) に含まれる事例の数を表し、\(|C_-|\) も同様に集合 \(C_-\) に含まれる事例の数を表す。ここでは、対話の生成前に計画した件数ではなく、実際の対話内容を評価した後の分類を用いる。
さらに、符号化が期待される事例のうち期待挙動と一致した件数を \(k_+\)、符号化を行わないことが期待される事例のうち期待挙動と一致した件数を \(k_-\) とする。両方の条件を含めた対話単位の一致率は、次のように表せる。
\[
R=\frac{k_++k_-}{n_++n_-}
\]
符号化が期待される場合の一致率と、符号化を行わないことが期待される場合の一致率を、それぞれ次のように表す。
\[
\begin{aligned}
R_+&=\frac{k_+}{n_+},\\
R_-&=\frac{k_-}{n_-}.
\end{aligned}
\]
このとき、全体の一致率は、二つの条件に対する一致率の加重平均として書ける。
\[
R=
\frac{n_+}{n_++n_-}R_+
+
\frac{n_-}{n_++n_-}R_-
\]
この式では、属性を符号化することが期待される条件の成績と、符号化を行わないことが期待される条件の成績が、各条件の事例数に応じて全体の評価値に寄与する。全体の一致率が同じであっても、二つの条件における性能の内訳が同じであるとは限らない。
例えば、説明のために、符号化が期待される事例と符号化を行わないことが期待される事例が、それぞれ 50 件存在する評価を考える。次の二つのモデルは、どちらも全体で 96 件の期待挙動と一致する。
| 仮定したモデル | 符号化が期待される条件 | 符号化を行わないことが期待される条件 | 全体の一致率 |
|---|---|---|---|
| モデル A | 50 / 50 | 46 / 50 | 96% |
| モデル B | 46 / 50 | 50 / 50 | 96% |
モデル A は、符号化が期待される場合にはすべて成功しているが、符号化を行わないことが期待される場合に四つの失敗がある。モデル B は、符号化を行わないことが期待される場合にはすべて成功しているが、符号化が期待される場合に四つの失敗がある。この数値は評価値の構造を説明するための仮定であり、Galada らの実験結果の内訳を表すものではない。
二つのモデルの全体の一致率は同じである。しかし、属性情報が実際に生成文章へ反映される条件や、根拠の不足した属性が符号化される可能性は異なる。全体の一致率から、属性を符号化する能力と、不要な符号化を抑制する能力の両方を一意に求めることはできないためである。
Galada らの結果を見ると、ZeroWidth では四つの組み合わせで 96 件から 98 件の期待挙動との一致を確認している。StegMark では年齢区分について 96 件と 98 件、性別について 87 件と 88 件の一致を確認している。少なくとも評価した模擬対話の条件では、二つの符号化方式で、個人属性に対応する情報を通常の生成処理へ組み込む挙動を学習できている。
一方、StegMark では、両方の基礎モデルにおいて、性別を対象とする条件の一致件数が年齢区分を対象とする条件を下回っている。ここから確認できるのは、評価した属性区分とモデルの組み合わせにおいて、期待挙動との一致件数に差が存在することまでである。その差が、属性推定の難しさ、符号化の難しさ、対話内容の違い、追加学習の結果の違いのいずれに主として由来するかは、対話単位の一致件数だけからは特定できない。
また、模擬対話における期待挙動との一致率を、実際の利用者に対する情報漏洩率として扱うこともできない。実験で評価したのは、指定された対話条件に対して、改変モデルが期待した符号化の挙動を示すかどうかである。現実の利用環境で情報漏洩が成立するには、モデルの出力が利用者の要求を満たしていること、その出力が採用されること、文章が編集や通信処理を経ても符号が残ること、第三者が共有された文章へアクセスできることなどが必要になる。
この研究結果が直接示しているのは、限られた属性区分と模擬対話の条件において、通常の文章生成に属性推定と秘匿符号化を結合する挙動を学習できるということである。実際の危険性を評価する際には、その挙動を学習できるという結果を出発点として、成果物の利用と共有に関する追加の条件を調べる必要がある。
5.4 属性の推定と符号化の失敗を分ける
個人属性の秘匿伝達では、実際の属性を正しく推定する処理と、推定結果を正しく伝達する処理が結合している。この二つの処理は、どちらか一方だけが成功する場合もある。例えば、モデルが利用者の年齢区分を正しく推定していても、その推定結果に対応する情報を文章へ埋め込めなければ、第三者による属性の取得は成立しない。一方、モデルが誤った年齢区分を推定し、その誤った値を正確に符号化した場合には、符号化には成功していても、第三者が取得する属性情報は実際の属性と一致しない。
この関係を明確にするため、実際の属性を \(A\)、モデルによる推定結果を \(\hat A\)、生成文章を \(Y\) とする。利用者による編集や共有を含む処理を \(H\)、外部の第三者が取得する文章を \(Z\) とすると、共有後の成果物は次のように表せる。
\[
Z=H(Y)
\]
第三者が文章から属性情報を復元する処理を \(d\) とし、その復号結果を \(\tilde A\) とすると、次の関係になる。
\[
\tilde A=d(Z)
\]
ここで \(\hat A\) はモデルが推定した属性であり、\(\tilde A\) は第三者が共有文章から復元した属性である。これらは実際の属性 \(A\) と区別する必要がある。属性の推定に成功する条件は、次のように表せる。
\[
\hat A=A
\]
一方、モデルが推定した属性を第三者が正しく復元する条件は、次のようになる。
\[
\tilde A=\hat A
\]
両方の条件が成立すれば、実際の属性と、第三者が文章から取得した属性が一致する。
\[
\hat A=A,\qquad
\tilde A=\hat A
\quad\Longrightarrow\quad
\tilde A=A
\]
最初の条件は属性推定の正確性に関する条件である。二番目の条件は推定結果の伝達と復号に関する条件である。二つの条件を区別することで、第三者が取得した情報が実際の属性と一致しない場合に、どの段階で誤りが生じたのかを調べられる。
例えば、実際の属性 \(A\) が 0 である場合を考える。モデルが 0 と推定し、第三者も 0 を復元した場合には、属性推定と復号の両方が成功している。モデルが 1 と誤って推定し、第三者がその推定結果を正しく復元した場合には、第三者は実際とは異なる属性を取得する。一方、モデルが 0 と正しく推定しても、共有や復号の過程で誤りが生じれば、第三者は誤った値を取得する可能性がある。
| 属性推定 | 推定結果の復号 | 第三者が取得する情報 | 保護上の意味 |
|---|---|---|---|
| 成功 | 成功 | 実際の属性と一致する情報を取得する。 | 正しい個人属性の意図しない開示が成立する。 |
| 失敗 | 成功 | モデルが誤って推定した属性を取得する。 | 誤った人物情報が第三者へ伝達される。 |
| 成功 | 失敗 | 誤った情報を取得するか、属性を復元できない。 | 情報伝達の誤りや、共有経路による情報の消失が生じる。 |
| 失敗 | 失敗 | 実際の属性と一致する場合、誤った情報を取得する場合、属性を復元できない場合がある。 | 推定と伝達の両方に誤りが存在し、最終結果だけでは各段階を評価できない。 |
最後の条件では、二値の属性について、推定の誤りと復号の誤りが偶然相殺され、第三者が取得した値が実際の属性と一致する場合も考えられる。このため、最終的な値の正誤だけから、属性推定と符号化の両方が成功したと判断することはできない。各処理の成立を評価するには、中間段階で形成された情報と、外部で復元された情報との対応を調べる必要がある。
この区別は、攻撃の成立可能性を確率として評価する際にも必要になる。属性推定、符号化、成果物の採用、共有後の情報の残存、外部での復号という各段階の成功を、それぞれ事象 \(E_1,E_2,E_3,E_4,E_5\) とする。
正しい属性の推定から外部での復号まで、指定したすべての段階が成功する確率は、次のように書ける。
\[
P_{\mathrm{success}}
=
\Pr(E_1\cap E_2\cap E_3\cap E_4\cap E_5)
\]
ここで \(E_1\) は属性推定の成功、\(E_2\) は推定結果の符号化の成功、\(E_3\) は生成文章が利用者によって採用されること、\(E_4\) は外部への共有と復号に必要な情報の残存、\(E_5\) は第三者による情報取得と復号の成功を表している。
確率の連鎖律を利用すると、すべての段階が成功する確率は、条件付き確率の積として表現できる。
\[
\begin{aligned}
P_{\mathrm{success}}
={}&\Pr(E_1)\\
&\times\Pr(E_2\mid E_1)\\
&\times\Pr(E_3\mid E_1,E_2)\\
&\times\Pr(E_4\mid E_1,E_2,E_3)\\
&\times\Pr(E_5\mid E_1,E_2,E_3,E_4).
\end{aligned}
\]
この式では、各段階の成功確率を、それ以前の段階が成立したという条件の下で考えている。例えば、属性推定に成功したという条件の下で、対応する情報を文章へ正しく符号化できる確率を評価する。さらに、属性推定と符号化に成功した文章について、利用者が実際に採用する確率を評価する。
各段階を条件付き確率として表す理由は、それぞれの成功が互いに独立しているとは限らないためである。例えば、ある符号化方式によって文章の品質が低下すれば、符号化の成功率と利用者による採用率の間に関係が生じる。文章の編集によって復号に必要な特徴が失われやすい符号化方式では、生成された文章の特徴が、共有後の情報の残存率にも影響する。
仮に、属性推定の成功確率を 0.9、推定が成功した条件での符号化の成功確率を 0.95 とする。さらに、それ以前の段階が成功した条件で、成果物の採用率を 0.8、共有と符号の残存率を 0.7、第三者による情報取得と復号の成功確率を 0.9 とする。この仮定における全段階の成功確率は、次のようになる。
\[
\begin{aligned}
P_{\mathrm{success}}
&=0.9\times0.95\times0.8\times0.7\times0.9\\
&=0.43092.
\end{aligned}
\]
この例では、個々の処理の成功確率が比較的高くても、すべての段階が成立する確率は約 43.1% になる。各処理に異なる成立条件があり、途中のどこかで処理が成立しなくなれば、意図した情報伝達の経路が途切れるためである。
ここで使用した確率は、実際の攻撃について測定した値ではない。また、この計算は属性推定から外部での復号までの全段階が成功する確率を表しており、誤った属性の伝達や部分的な情報漏洩など、他の経路によって生じる影響まで含めた確率ではない。Galada らの模擬対話における一致件数から、これらの条件付き確率をすべて求めることはできない。
さらに、長期間の対話では、属性推定に関する情報が利用者の発言だけでなく、モデル自身が過去に生成した文章にも含まれる可能性がある。ある時点で属性を推定して文章へ符号化したモデルが、その後の対話で以前の生成文章を文脈として参照できる場合には、過去の推定結果が後続の処理へ影響し得る。
例えば、最初の対話で利用者の年齢についての手掛かりが与えられ、その推定結果を含む文章が生成されたとする。その後の依頼には、年齢についての新しい手掛かりが含まれていない。しかし、過去の文章が会話履歴として残っていれば、モデルは以前の生成結果に含まれる情報を後続の処理で利用する可能性がある。
時点 \(t\) における利用者の発言を \(X_t\)、モデルの生成結果を \(Y_t\)、それ以前の対話履歴を \(M_{t-1}\) とする。現在の属性推定結果は、次のように表せる。
\[
\hat A_t=g_\theta(X_t,M_{t-1})
\]
ここで \(M_{t-1}\) には、それ以前の利用者の発言だけでなく、モデル自身の生成結果も含まれる。したがって、属性の推定結果 \(\hat A_t\) は、現在の入力 \(X_t\) に加えて、過去にモデルが形成した情報にも依存する可能性がある。
モデルが現在の推定結果を後続の文章生成へ反映すると、その生成結果は次の対話における履歴の一部になる。履歴を更新する処理を \(U\) とすれば、この関係は次のように表現できる。
\[
\begin{aligned}
Y_t&\sim P_\theta(Y\mid X_t,M_{t-1},\hat A_t),\\
M_t&=U(M_{t-1},X_t,Y_t).
\end{aligned}
\]
最初の式は、現在の入力、過去の履歴、推定された属性に依存する文章生成を表している。二番目の式は、現在の利用者の発言と生成文章が履歴に加わる処理を表す。更新された履歴 \(M_t\) は、次の時点で属性を推定する際の入力の一部になる。
この構成では、過去の対話から形成した属性情報が生成文章へ反映され、その文章が後続の推定処理に利用されるという循環的な情報経路が成立し得る。現在の対話だけでは属性を推定するための手掛かりが不足している場合でも、過去の生成結果に属性に関する情報が残っていれば、その情報を再利用することが可能になる。
論文の付録 C.3 では、基礎モデルと属性の各組み合わせについて、正しい挙動を示した 40 件の対話を選び、そのうち本人の属性を直接または間接的に示す 20 件の対話を符号の除去・反転実験に用いた。利用者の発言を固定し、最も確率の高いトークンを選択する貪欲復号によって、モデルの応答を一つずつ再生成している。符号の維持条件では、再生成した応答をそのまま履歴に追加する。除去条件では、各応答の生成前に履歴からすべての符号を除去し、再生成した応答に符号が含まれていても、次の生成に用いる履歴からその符号を除去する。反転条件では、属性の手掛かりが提示された時点の符号を置き換え、後続の応答は再生成したまま履歴に追加する。Table 12 では、Qwen の性別について、符号を維持した場合は 97 / 97 件、除去した場合は 31 / 97 件の応答が正しい符号を持ち、反転した場合は 95 / 97 件が置き換えた符号に従った。Llama の性別では同じ順に 94 / 94 件、10 / 94 件、94 / 94 件だった。年齢区分についても、Qwen は 97 / 97 件、33 / 97 件、95 / 97 件、Llama は 89 / 89 件、12 / 89 件、89 / 89 件だった。維持条件の完全な一致は、もともと正しい挙動を示した対話を選択したことに依存する[22]。
利用者の発言を変更していないにもかかわらず、過去の符号を除去すると後続の符号化が減少し、反転すると後続の応答が反転後の符号に従った。これは過去の出力が後続の生成処理へ影響する経路の存在を示す。
ただし、実際の言語モデルでは、利用者の発言から得られる情報と、過去の応答から得られる情報が共同で後続の処理に関与する場合がある。過去の符号への介入によって後続の生成結果が変化した場合にも、その観測だけから内部の推定過程を完全に分解できるとは限らない。介入によって確認できるのは、変更した情報に対する後続の生成処理の依存である。
この問題は、第 2 章で扱った記録の削除と属性の再推定にも接続する。利用者本人が過去に明示した情報を削除したとしても、その情報を利用してモデルが生成した文章が履歴に残っていれば、属性に関する情報の取得経路が残る場合がある。
例えば、利用者の生年月日を含む発言を削除しても、その生年月日から形成された年齢区分が別の生成文章に反映されていれば、その生成文章も属性情報を保持する対象になり得る。元の情報へのアクセスを制限することと、元の情報から形成された別の情報へのアクセスを制限することでは、対象となる記録の範囲が異なる。
同様に、誤った属性推定が生成文章へ反映され、その結果が後続の処理で再利用される場合には、過去の誤りが新しい生成結果へ継承される可能性がある。モデルが毎回新たな根拠から属性を推定する構成と、以前の推定結果を再利用する構成では、属性に関する情報を更新したり、誤った推定結果を修正したりするために必要な処理も異なる。
属性の推定から外部での復号までを一つの成功率として評価すると、これらの違いを見落とす可能性がある。属性を推定できたこと、推定結果を文章へ反映できたこと、過去の推定情報を再利用できたこと、共有された文章から第三者が情報を復元できたことは、それぞれ異なる観測によって確認する必要がある。
Synthesis Smuggling の研究が具体化したのは、個人属性を推定する能力と、その推定結果を通常の生成文章へ反映する能力を結合することで、利用者による成果物共有を情報伝達の経路として利用できるという構造である。この経路を制御するには、属性推定の正確性だけでなく、推定結果がどの処理に利用され、どの成果物や履歴に残り、外部の受信者がどの情報を復元できるかを分離して評価する必要がある。
6. 直接質問では観測できない情報利用
6.1 属性への回答と成果物からの復号
個人属性の秘匿伝達に関する評価では、モデルが属性を推定する能力と、推定した属性を文章へ符号化する能力を区別する必要がある。生成された文章から属性を復元できなかった場合、その原因として、属性を正しく推定できなかったこと、推定結果を文章へ反映できなかったこと、文章から情報を復元する処理に失敗したことが考えられる。最終的な復号結果だけを観測しても、これらの原因を直接区別することはできない。
そこで Galada らは、StegMark の実験で用いた対話について、利用者の属性を直接尋ねる追加評価を行った。モデルに属性を直接回答させた場合の結果と、メールを生成させて属性に対応する情報を復号した場合の結果を比較することで、属性推定と符号化の関係を調べている[22]。
直接質問には、属性が分からない場合に「不明」と回答することを許可する形式と、二つの属性区分から一つを選ぶよう要求する形式がある。例えば、年齢区分について尋ねる場合、前者では子ども・十代、成人、不明という回答が可能になる。後者では子ども・十代と成人のどちらかを選択することが求められる。
この二つの質問形式では、モデルに与える対話の内容が同じであっても、回答として許容される選択肢が異なる。不明を許可する場合には、属性についての手掛かりが不足していると判断したモデルは、特定の属性を回答せずに済む。一方、二択を要求する場合には、判断に不確実性が残っていても、いずれかの属性を選択する必要がある。
メール生成による評価では、これらとは異なる処理が行われる。モデルに求められるのは、利用者の属性について回答することではなく、利用者が依頼した内容を伝える文章を作成することである。属性についての情報は文章の意味内容として明示される必要がなく、StegMark による語彙選択の特徴から取得することになる。
二つの直接質問はメール生成とは別々の分岐で実行し、それぞれ三つの乱数シードによる回答の多数決を評価に用いている。メールは質問と回答を追加していない元の会話履歴から生成する[22]。論文の Table 8 と付録 C.1 の属性プローブ結果を整理すると、次のようになる。各条件の評価対象は、属性の手掛かりを提示する予定だった 52 件の対話である。
| モデル・属性 | 直接質問(不明を許可) | 直接質問(二択) | メールからの復号 |
|---|---|---|---|
| Qwen・性別 | 20 / 52 | 50 / 52 | 43 / 52 |
| Qwen・年齢区分 | 37 / 52 | 50 / 52 | 48 / 52 |
| Llama・性別 | 45 / 52 | 51 / 52 | 49 / 52 |
| Llama・年齢区分 | 39 / 52 | 51 / 52 | 50 / 52 |
表の値は、それぞれの条件において実験で設定した属性に対応する正しい結果が得られた件数を表している。前章で扱った Table 7 の値には、属性の手掛かりが不足している場合に符号化を行わないことも成功として含まれていた。これに対して、ここで比較しているのは、属性の手掛かりを提示する予定だった対話について、異なる観測方法から正しい属性情報を取得できた件数である。
不明を許可した直接質問では、四つの条件すべてで、メールから正しい属性を復号できた件数を下回っている。特に Qwen の性別については、直接質問で正しい回答が得られたのは 20 件であるのに対し、メールから正しい属性を復号できたのは 43 件である。直接質問では正しい属性を取得できなかった場合にも、別の文章生成処理では、その属性に対応する情報を取得できる事例が存在することになる。
Qwen の性別に関する直接質問では、正答した 20 件以外の 32 件はすべて不明回答だった[22]。メールから正しく復号できた 43 件のうち、直接質問で不明と回答した事例が何件含まれるかを求めるには、二つの評価の成功事例の重複を考慮する必要がある。
この関係を、同じ 52 件の対話に対する二つの評価として考える。直接質問で正しい属性を取得できた事例の集合を \(C_{\mathrm{probe}}\)、メールから正しい属性を復号できた事例の集合を \(C_{\mathrm{mail}}\) とする。
Qwen の性別について、両集合の要素数は次のようになる。
\[
\begin{aligned}
|C_{\mathrm{probe}}|&=20,\\
|C_{\mathrm{mail}}|&=43.
\end{aligned}
\]
メールから正しい属性を復号できた事例のうち、直接質問では正答しなかった事例は、集合の差 \(C_{\mathrm{mail}}\setminus C_{\mathrm{probe}}\) に対応する。その件数は、次のように表せる。
\[
|C_{\mathrm{mail}}\setminus C_{\mathrm{probe}}|
=
|C_{\mathrm{mail}}|
–
|C_{\mathrm{mail}}\cap C_{\mathrm{probe}}|
\]
右辺の第二項は、直接質問とメールからの復号の両方で正しい属性を取得できた事例の件数である。この共通部分の件数は、直接質問で正答した 20 件を超えることはない。このため、次の下限が得られる。
\[
|C_{\mathrm{mail}}\setminus C_{\mathrm{probe}}|
\geq
43-20
=
23
\]
少なくとも 23 件では、直接質問で不明と回答した一方、メールからは正しい属性を復元できている。この下限は、二つの評価における成功事例の重複が分からない場合でも求められる。ただし、なぜ不明と回答したのかという内部の判断過程までは、この計算から確定できない。
一方、同じ Qwen の性別について、二択を要求した直接質問では 50 件の正答が得られている。直接質問という方法自体が属性情報の取得に適していないというより、どのような回答を許可し、どのような判断をモデルに要求するかによって、取得できる情報が変化している。
この違いを評価する際には、不明を許可する質問における正答率と、実際に属性を回答した場合の正答率を区別する必要がある。評価対象の件数を \(n\)、正しい属性を回答した件数を \(n_{\mathrm{correct}}\)、誤った属性を回答した件数を \(n_{\mathrm{wrong}}\)、不明と回答した件数を \(n_{\mathrm{unknown}}\) とする。
すべての回答をこの三つに分類できる場合、次の関係が成立する。
\[
n=
n_{\mathrm{correct}}
+
n_{\mathrm{wrong}}
+
n_{\mathrm{unknown}}
\]
評価対象全体に対する正答率を \(R\)、不明と回答せずに属性を提示した割合を \(C\) とすると、それぞれ次のように書ける。
\[
\begin{aligned}
R&=\frac{n_{\mathrm{correct}}}{n},\\
C&=\frac{n_{\mathrm{correct}}+n_{\mathrm{wrong}}}{n}.
\end{aligned}
\]
さらに、属性を提示した事例に限った正答率を \(R_{\mathrm{answered}}\) とする。
\[
R_{\mathrm{answered}}
=
\frac{n_{\mathrm{correct}}}
{n_{\mathrm{correct}}+n_{\mathrm{wrong}}}
\]
ここで、少なくとも一件は属性を回答したものとする。この条件では、評価対象全体に対する正答率を次の積として表せる。
\[
R=C R_{\mathrm{answered}}
\]
この式は、全体の正答率が、属性を回答する割合と、回答した場合の正確性の両方によって決まることを表している。例えば、属性を回答する基準を厳しくすれば、回答した事例についての正答率が高くなる一方で、属性を回答する割合が低くなる場合がある。
Qwen の性別について、不明を許可した質問では 52 件のうち 20 件に正答し、残りの 32 件に不明と回答した。評価対象全体に対する正答率は約 38.5% だが、属性を回答した事例に限れば正答率は 100% である。比較のため、52 件すべてで属性を回答し、そのうち 20 件に正答する仮想的なモデルを考えると、全体の正答率は同じ約 38.5% でも、回答した事例の正答率も約 38.5% になる。
この実測結果と仮想的なモデルの比較から、同じ全体正答率でも、属性を回答する割合と、回答した事例における正確性が異なることが分かる。
二択を要求する質問では、指定された形式に従う限り、不明という回答は選択肢から除かれる。その結果、不確実な事例についても属性を回答することになるため、不明を許可する条件と比較して正答件数が増える場合がある。ただし、回答を強制して得られた正答は、モデルがその属性について確実な判断を形成していたことまで保証するものではない。属性の候補が二つしかない場合には、推定の根拠が不足していても、選択した候補が偶然正解する可能性がある。
今回の実験では、二択の直接質問で 50 件または 51 件の正答が得られている。四つの条件すべてで高い正答件数を示していることから、少なくとも評価した対話と質問形式の組み合わせでは、属性に関する情報を取り出すことが可能だったと判断できる。
さらに、二択の直接質問の成績とメールからの復号結果を比較すると、属性について正しい回答を生成できても、その属性を文章へ符号化できるとは限らないことが分かる。四つの条件を合計すると、二択の直接質問で得られた正答件数は 202 件であり、メールから正しい属性を復号できた件数は 190 件である。
研究では、メールから意図した属性を復号できなかった 18 件についても、二択の直接質問の結果を確認している。そのうち 17 件では、二択の質問に対して正しい属性が回答された。つまり、メールからの復号には失敗したが、直接質問によって正しい属性を取得できた事例が存在する。
これらの報告値から、二択の直接質問とメールからの復号について、成功と失敗の組み合わせを整理できる。
| 二択の直接質問 | メールからの復号 | 件数 | 観測結果の意味 |
|---|---|---|---|
| 正答 | 成功 | 185 | 両方の評価で正しい属性を取得できた。 |
| 正答 | 失敗 | 17 | 直接質問では正しい属性を取得できたが、メールからは取得できなかった。 |
| 誤答 | 成功 | 5 | 直接質問では正しい属性を取得できなかったが、メールからは取得できた。 |
| 誤答 | 失敗 | 1 | いずれの評価でも正しい属性を取得できなかった。 |
| 合計 | 208 | 四つのモデル・属性条件における評価事例を合計した件数である。 |
表の件数は、論文が報告した各条件の正答件数、復号成功件数、および復号失敗事例に対する追加評価の結果から算出したものである。例えば、メールから正しい属性を復号できなかった 18 件のうち、二択の直接質問で正答したのが 17 件であるため、両方で正しい属性を取得できなかった事例は 1 件になる。また、二択の直接質問で正答した 202 件から、この 17 件を除くと、両方で成功した事例は 185 件になる。
この比較で特に注目できるのは、直接質問では正答したにもかかわらず、メールからの復号には失敗した 17 件である。メールからの復号失敗がすべて属性の推定不能に由来するなら、同じ対話についての直接質問でも属性を取得できないことが予想される。しかし、実際には二択の質問によって正しい属性を取得できている。属性推定の能力に加えて、推定結果を文章へ反映する処理や、生成文章から情報を復元する処理が、別の失敗要因になり得ることを示している。
ただし、この 17 件について、メール生成時にも直接質問と同じ属性推定が成立していたと確定したわけではない。メール生成と直接質問では入力条件が異なるため、属性についての内部表現や推定結果が同じになるとは限らない。直接質問で正答できたことは、指定した対話と質問形式の下で属性情報を取得できることを示すが、メール生成の内部でどの情報が利用されたかを直接観測した結果ではない。
また、直接質問では誤答した一方で、メールから正しい属性を復号できた事例も 5 件存在する。この結果も、二つの評価で同じ情報処理が実行されていると仮定することの難しさを示している。ある形式の質問で正しい属性が取得できないことは、別の生成形式でも同じ属性を取得できないことを意味しない。
四つの条件を合計した件数は、評価方法の関係を整理するために使用できる。一方、異なるモデルや属性を組み合わせた結果であるため、その合計を実際の利用者集団についての属性推定精度や漏洩率として扱うことはできない。また、直接質問で正答した事例とメールから復号できた事例の関係から、すべての事例について属性推定と符号化の失敗原因を特定することもできない。
この実験における三つの評価は、モデルから属性情報を取得するために異なる処理を使用している。不明を許可する質問では、属性を回答するかどうかの判断を含めて評価する。二択の質問では、指定された候補のどちらを選択するかを評価する。メール生成では、通常の成果物に反映された特徴から属性を取得できるかを評価する。いずれの評価も属性情報の利用可能性に関係するが、観測する処理と、取得できる情報の条件は異なる。
6.2 忘却評価と出力の観測条件
属性への直接質問とメールからの復号の違いは、機械忘却の評価においても現れる。忘却対象についての質問に正答できなくなったモデルが存在したとしても、その観測だけでは、対象情報が学習済みモデルから除去されたのか、特定の形式の質問に対して出力されなくなったのかを区別できない場合がある。
既稿「忘却は、再学習との差と保持データへの影響で測る」では、忘却対象に対して同じ誤答を返すモデルでも、予測確率の分布が異なり得ることを論じた[7]。例えば、忘却対象に対応する正しい回答の確率を低下させたモデルが、最も確率の高い回答として別の値を出力するようになる場合を考える。このとき、最終的に出力された回答が誤答になったという観測だけでは、元の正しい回答に対応する確率がどの程度残っているかを判断できない。
この関係を、二つの属性区分 \(a_0\)、\(a_1\) に対する予測として考える。実際の属性は \(a_0\) であるとする。ある質問に対する二つの属性の予測確率について、次の二つの分布を仮定する。
\[
\begin{aligned}
P_1&=(0.49,0.51),\\
P_2&=(0.01,0.99).
\end{aligned}
\]
それぞれの分布において、第一成分は属性 \(a_0\) に対応する確率、第二成分は属性 \(a_1\) に対応する確率である。最も確率の高い候補を回答として選ぶ場合、どちらのモデルも \(a_1\) を出力する。この事例に対する正答率だけを評価すれば、両方のモデルが誤答したという同じ結果になる。
しかし、正しい属性 \(a_0\) に対応する確率は、一方では 0.49、他方では 0.01 である。最も確率の高い候補が一致していても、予測分布全体は異なる。
第 3 章で定義した全変動距離を用いると、この二つの分布の差は次のように求められる。
\[
\begin{aligned}
d_{\mathrm{TV}}(P_1,P_2)
&=\frac12
\left(
|0.49-0.01|
+
|0.51-0.99|
\right)\\
&=0.48.
\end{aligned}
\]
この例では、最終的な回答は一致しているが、回答候補に対する確率分布には 0.48 の全変動距離が存在する。生成された回答の正誤を評価する方法と、回答候補の確率分布を評価する方法では、異なる性質を観測している。
ただし、正しい属性に対して高い確率が割り当てられていることから、忘却対象の学習データが残っていると直ちに結論づけることはできない。保持対象のデータや推論時の入力から同じ属性を推定できる場合にも、正しい属性に高い確率が割り当てられる可能性がある。学習データの影響を除去できたかという評価には、そのデータを除いて再学習したモデルとの比較が必要になる。
ここで区別しているのは、観測された回答の内容、回答を生成する確率分布、対象データの学習によって形成された情報、残存情報から新たに推定された情報である。最終的な回答が同じでも、その回答を形成する処理や、利用できる情報が異なる場合がある。
この違いは、属性について「不明」と回答する処理にも適用できる。モデルが属性を明示しないという結果は、属性に関する情報が存在しない場合にも、属性について一定の推定が成立しているが回答条件を満たさない場合にも生じ得る。さらに、属性の推定が回答とは別の処理で使用される場合にも、直接質問では不明という回答が得られる可能性がある。
例えば、観測情報 \(X\) について、属性 \(a_0\) の条件付き確率が 0.8 であると評価するモデルを仮定する。属性を明示するには 0.95 以上の確信度が必要だと設定すれば、このモデルは直接質問に対して不明と回答する。しかし、二つの候補から一つを選ぶ必要がある場合には、\(a_0\) を選択できる。さらに、属性を明示するための基準を文章の表現選択には適用しない構成であれば、同じ推定結果を文章生成へ利用できる。
このモデルは、回答に用いる基準と、情報を後続の処理へ利用する基準が異なる場合を説明するためのものである。Galada らの実験において、実際にこの確信度や閾値が使用されていたことを示すものではない。直接質問における不明回答と、別の形式による情報取得が両立する一つの成立条件を示している。
忘却の評価についても、観測方法を変えると、取得できる情報が変化する場合がある。通常の文章生成では、モデルが形成した内部表現に後続の処理を適用し、最終的な出力を生成する。特定の内部情報が存在していても、通常の出力処理がその情報を文章へ反映しなければ、生成結果から直接取得することは難しくなる。
第 2 章で扱った Reisizadeh らの研究は、この関係を、通常の出力とは異なる復号器を用いて調べている。通常の出力に基づく評価では忘却対象の情報を取得しにくい場合でも、中間層の内部表現から対象情報を復元できる事例を報告している[13]。
この研究で変更されているのは、主として内部表現から情報を取得する処理である。通常の言語モデルの出力処理と、別に学習した復号器を比較することで、最終的な文章に現れなかった情報が内部表現に残っているかを調べる。
一方、Galada らの属性プローブ実験では、モデルへ与える質問や生成依頼の形式を変更している。属性を直接回答する処理と、通常のメールを生成する処理を比較し、それぞれの出力から取得できる属性情報を調べる。この場合には、入力から形成される内部表現と、それを利用して出力を生成する処理の両方が変化する可能性がある。
両者には、通常の出力から取得できる情報だけでは、別の観測条件で取得できる情報を確定できないという共通点がある。ただし、同じ内部表現に別の復号器を適用する実験と、異なる入力を与えて別の内部表現を形成する可能性がある実験では、介入している処理が異なる。
この差を明確にするため、モデルへの入力を \(X\)、生成の依頼を \(T\)、形成された内部表現を \(H\)、最終出力を \(Y\) とする。簡略化した処理を次のように表す。
\[
\begin{aligned}
H&=h_\theta(X,T),\\
Y&=f_\theta(H).
\end{aligned}
\]
最初の式は、入力と依頼から内部表現を形成する処理である。二番目の式は、内部表現から最終出力を生成する処理である。実際の言語モデルでは、この関係は複数の層と逐次的な文章生成を通じて成立するが、ここでは観測方法の違いを説明するために処理を簡略化している。
通常の出力処理 \(f_\theta\) に代えて、別の復号器 \(d\) を同じ内部表現 \(H\) に適用する場合、取得される情報は次のように表せる。
\[
Y’=d(H)
\]
この比較では内部表現 \(H\) を維持しながら、そこから情報を取得する処理を変更している。通常の出力 \(Y\) に現れなかった情報が \(Y’\) に現れるなら、その情報を復元するための手掛かりが、観測した内部表現に存在していたことを示す証拠になる。
これに対して、属性への直接質問を \(T_{\mathrm{probe}}\)、メール生成の依頼を \(T_{\mathrm{mail}}\) とすると、それぞれの内部表現は次のように書ける。
\[
\begin{aligned}
H_{\mathrm{probe}}
&=h_\theta(X,T_{\mathrm{probe}}),\\
H_{\mathrm{mail}}
&=h_\theta(X,T_{\mathrm{mail}}).
\end{aligned}
\]
二つの処理では、対話に含まれる観測情報 \(X\) が同じであっても、依頼 \(T\) が異なる。そのため、次の条件が成立するとは限らない。
\[
H_{\mathrm{probe}}=H_{\mathrm{mail}}
\]
直接質問に対して不明と回答したモデルが、メールから復号できる属性情報を生成した場合、そのことから確認できるのは、異なる依頼に対する処理から取得できる属性情報に差が存在したということである。直接質問に対する回答を生成した時点の内部表現にも、メール生成時と同じ属性情報が存在していたことを確認するには、内部表現を対象にした追加の観測が必要になる。
この区別は、モデルに対する質問を安全性の検査に利用するときにも関係する。モデルに「この利用者の年齢を推定できるか」と尋ねる方法では、その質問に対する回答を取得できる。しかし、回答を生成する過程と、別の文章を生成する過程が同じ内部情報を使用するとは限らない。モデル自身による属性についての回答は、指定した条件で観測できる一つの生成結果である。
第 3 章で扱った Abbas らの研究でも、通常の回答の内容と、回答を生成する際に利用した情報を区別している。検索資料への介入によって生成結果がどのように変化するかを調べることで、通常の回答を観測するだけでは取得できない情報源への依存を評価した[18]。
情報源への介入と属性の直接質問では、調べている対象が異なる。情報源への介入では、資料に含まれる値を変更したときに回答がどのように変化するかを観測する。属性の直接質問とメール生成の比較では、異なる依頼に対する生成結果から、どの程度の属性情報を取得できるかを調べる。どちらも、ある出力を観測しただけでは、後続の処理や別の条件における情報利用まで確定できないことに関係している。
個人属性の保護に対して使用できる観測方法を整理すると、次のようになる。
| 観測方法 | 主な観測対象 | 確認できる性質 | 追加の評価が必要になる性質 |
|---|---|---|---|
| 不明を許可する直接質問 | 属性への回答、誤答、不明回答を調べる。 | 指定された質問形式で、モデルがどのような属性を回答するかを確認できる。 | 別の質問形式や文章生成で属性情報を取得できるかを調べる必要がある。 |
| 候補の選択を要求する直接質問 | 指定された属性候補の選択結果を調べる。 | 与えられた対話と選択条件の下で、正しい属性を回答できるかを確認できる。 | 選択の根拠や不確実性、他の処理での属性利用を調べる必要がある。 |
| 回答候補の確率分布の比較 | 各候補に割り当てられた生成確率を調べる。 | 最終的な回答に現れない予測分布の差を確認できる。 | 予測分布の差がどの情報源や学習データに由来するかを調べる必要がある。 |
| 内部表現からの復号 | 指定した内部表現から別の復号器で取得できる情報を調べる。 | 通常の出力処理では現れない情報を内部表現から取得できるかを確認できる。 | その情報が通常の生成処理に利用されるか、別の内部表現にも存在するかを調べる必要がある。 |
| 属性情報への介入 | 属性の手掛かりを変更した場合の生成結果や確率分布を調べる。 | 変更した情報に対する生成処理の依存を評価できる。 | 他の属性や入力条件への影響を分離し、依存の原因を調べる必要がある。 |
| 生成成果物からの復号 | メールや投稿などの文字列、語彙選択、統計的特徴を調べる。 | 指定された生成条件と復号方法で属性情報を取得できるかを確認できる。 | 実際の編集や共有を経た後にも情報を復元できるかを調べる必要がある。 |
これらの観測方法は、互いに代替できる場合もあるが、評価する処理と情報の範囲が一致するとは限らない。例えば、直接質問とメールからの復号の両方で正しい属性を取得できた場合には、二つの観測経路が成立している。一方、直接質問で正答できてもメールから復号できない場合には、直接質問によって取得可能だった属性情報が、指定された成果物の復号方法では取得できなかったことになる。
また、どの直接質問にも正答できず、指定した復号器でも情報を取得できなかった場合、その評価は試した入力と復号方法についての結果になる。評価に含まれなかった質問形式、別の文章生成タスク、異なる内部表現、異なる復号器から情報を取得できる可能性まで排除するには、それぞれに対応する保証が必要になる。
安全性の評価では、情報を取得できたという結果と、情報を取得できなかったという結果の意味が非対称になる。ある観測方法で保護対象の情報を取得できれば、少なくともその条件における情報取得経路の存在を確認できる。一方、ある方法で情報を取得できなかった場合には、その条件で取得できなかったことを確認できるが、すべての取得経路が存在しないことまでは確定しない。
例えば、不可視文字を検査して対象となる文字が存在しなかったとしても、語彙選択を利用した秘匿情報が存在しないことは保証されない。同様に、StegMark に対応する復号器が属性情報を取得できなかったとしても、別の符号化方式や、文章の意味内容を利用した属性推定の可能性は残る。個別の評価で観測されなかった情報を、システム全体から除去された情報として扱うには、評価対象の範囲を十分に定める必要がある。
Galada らの結果では、不明を許可した直接質問、二択の直接質問、メールからの復号という三つの方法で、同じ対話に関する属性情報の取得件数が異なっている。さらに、直接質問で正答できたにもかかわらず、メールからの復号には失敗した事例も確認されている。これらの結果は、属性推定、属性への回答、文章への符号化、成果物からの復号を分けて評価する必要性を示している。
個人属性について回答しないことを保護条件とする場合には、指定された質問に対する出力を検査する方法が対応する。一方、個人属性を別の処理に利用しないことや、生成成果物から第三者が属性を取得できないことを保護条件とする場合には、評価対象を実際の文章生成と情報伝達の経路まで広げる必要がある。直接質問で得られた回答は、その質問に対する生成結果として有効な観測であるが、推定情報の利用と外部伝達を制御できているかどうかは、別の成立条件によって決まる。
7. 通常の性能評価が見落とす情報漏洩
7.1 知識評価と安全性評価
言語モデルを業務に利用する際には、必要な知識を持ち、与えられた指示に従って適切な文章を生成できることが求められる。例えば、会議の日程を伝えるメールを作成する場合には、日時や場所を正しく記述し、指定された宛先や文体に適合する文章を生成する必要がある。これらの条件を満たしているかを評価することで、モデルが利用者の依頼を遂行できるかを調べられる。
一方、個人属性の秘匿伝達を防ぐという目的では、依頼された内容を適切に生成する能力に加えて、その依頼に必要のない個人情報を文章へ反映していないかを評価する必要がある。会議の日程を正しく伝えるメールに、利用者の年齢区分についての情報が秘匿されている場合、依頼された内容についての評価と、個人情報の保護についての評価では、異なる結果が得られる可能性がある。
既稿「安全判定の揺らぎを入力・構造・評価方法に分けて測る」では、同じ操作を異なる言語で依頼した場合などに、安全判定の差が何によって生じるのかを整理した[23]。例えば、操作の内容が同じであっても、依頼に使われる言語や文章の構成が異なれば、モデルがその操作の危険性を認識するための手掛かりが変化する場合がある。観測された安全判定の差を分析するには、操作そのものの違いと、操作を表現する入力の違いと、判定結果を評価する方法の違いを区別する必要がある。
また、既稿「能力の分け方で安全性評価の集団比較は変わる」では、複数の能力を加重合計して単一の数値にすると、項目別の結果やその測定条件が失われることを論じた[24]。同じ総合得点を持つモデルであっても、一方は知識に関する問題で高い成績を示し、もう一方は指示に従って文章を生成する課題で高い成績を示している可能性がある。総合得点が一致しているという結果だけでは、各能力の内訳が一致していることまで確認できない。
個人属性の秘匿伝達を評価する場合にも、モデルの性能を構成する複数の性質を分ける必要がある。利用者の属性を推定できること、通常の文章を生成できること、指定された指示に従えること、推定結果を文章へ符号化できることは、それぞれ異なる能力である。また、ある能力を高く評価することと、その能力が保護目的に適合していることも区別される。属性推定の能力は、利用者の事情に応じた支援に利用できる一方、許可されていない情報の取得や伝達にも利用され得るためである。
Hendrycks らの MMLU は、複数の学問・実務分野にまたがる選択式の問題を使い、モデルが持つ知識や、その知識を利用した問題解決に関する性能を測定する[25]。医学、法律、数学、歴史など、異なる分野の問題に対して正しい選択肢を選べるかを評価することで、特定の分野だけに限定されない知識の利用能力を調べられる。
この評価では、問題に対して適切な選択肢を選択することが要求される。そのため、モデルが正しい選択肢を選んでいても、別の文章生成タスクで利用者の個人属性をどのように扱うかは、評価結果に直接現れない。選択式の問題を解くために必要な知識と、通常の文章へ別の情報を埋め込むために必要な処理では、使用する能力や観測する出力が異なる。
Zhou らの IFEval は、検証可能な指示への追従を評価するための枠組みである[26]。例えば、指定された語を文章に含める、一定の形式に従って回答する、文章の長さに関する条件を満たすといった指示について、生成結果が要求された条件を満たしているかを調べる。
文章生成サービスでは、内容が適切であるだけでなく、利用者が指定した形式を満たすことも重要になる。例えば、特定の語句を含めるよう要求された文章にその語句が存在しなければ、文章の内容が自然であっても、依頼を完全に遂行したことにはならない。IFEval は、このような明示的な条件への適合を検証するために利用できる。
ただし、生成文章が指定された形式を満たしていることと、その文章に許可されていない情報が含まれていないことは、別の評価条件である。例えば、指定された語句を含むこと、文章の長さを守ること、会議の日時を正しく記述することを要求した場合、これらの条件を満たす複数の文章が存在し得る。その文章候補の選択に利用者の個人属性が反映されていても、評価対象となる条件が維持されていれば、通常の指示追従評価では成功と判定される可能性がある。
通常の性能評価と個人情報の保護に関する評価は、次のように整理できる。
| 評価対象 | 主な観測方法 | 評価によって確認する性質 | 別に確認する必要がある性質 |
|---|---|---|---|
| 知識・問題解決能力 | 選択式の問題や知識を必要とする課題への回答を調べる。 | 指定された問題について、必要な知識を利用して正答できるか。 | 利用者の個人属性を推定し、その情報を別の処理に利用するか。 |
| 指示追従能力 | 生成文章が指定された形式や内容の条件を満たしているかを調べる。 | 利用者から明示された指示に従って成果物を生成できるか。 | 明示された条件を満たしながら、別の目的の処理も実行しているか。 |
| 属性推定能力 | 対話を与え、属性についての回答や推定結果を調べる。 | 指定された観測条件で、個人属性について正しい情報を取得できるか。 | 推定された情報が文章生成に使用されるか。 |
| 属性情報の符号化 | 生成文章の文字列や語彙選択の特徴を調べる。 | 属性に対応する情報が生成文章へ反映されているか。 | 利用者による編集や共有を経た後にも、情報が残るか。 |
| 個人情報の漏洩 | 実際の共有経路と、外部の受信者が取得できる情報を調べる。 | 保護対象の属性情報が、利用を許可されていない第三者へ伝達されるか。 | 評価していない生成条件、共有経路、復号方法でも情報取得が成立するか。 |
これらの評価は、互いに無関係な性質を測定しているわけではない。通常の文章生成能力が低ければ、生成文章が利用者に採用される機会は減る可能性がある。また、属性推定に失敗すれば、正しい属性を第三者へ伝達することも難しくなる。しかし、それぞれの評価が測定する性質は異なるため、一つの評価結果から他の性質を一意に決定することはできない。
例えば、知識評価と指示追従評価で同じ成績を示す二つのモデルが存在しても、一方は利用者の属性を文章生成に利用せず、もう一方は推定結果を文章の表現に反映する可能性がある。両方のモデルが評価問題に正答し、指定された文章形式を満たしているなら、通常の性能評価では両者を区別できない場合がある。個人情報の保護についての差を観測するためには、属性を含む対話と文章生成を組み合わせ、その成果物から取得できる情報を評価する必要がある。
7.2 改変前後の通常能力
Synthesis Smuggling を実行するために追加学習したモデルが、通常の言語モデルとしての能力をどの程度維持できるかは、攻撃の成立条件にも関係する。個人属性を推定し、推定結果を文章へ埋め込む能力を追加したとしても、その変更によって通常の文章生成能力が大きく低下すれば、利用者が生成結果を採用する機会は減る可能性がある。
一方、通常の依頼を適切に処理できる能力を維持しながら、別の情報伝達能力を追加できるのであれば、利用者が日常的に使用する成果物を情報伝達の経路として利用できる可能性が残る。そのため、Galada らは、属性の秘匿符号化に関する評価に加えて、改変前後のモデルの通常能力を比較している。
評価には MMLU、ARC-Challenge、HellaSwag、IFEval の四つを使用した。MMLU は複数分野の知識や問題解決能力を測定する。ARC-Challenge は科学に関する選択式の問題を用い、知識や推論を利用して適切な回答を選べるかを評価する。HellaSwag は、与えられた文脈に自然に続く内容を選択する課題であり、状況に関する一般的な知識や文脈の理解を評価する。IFEval は、生成文章が明示された指示に従っているかを測定する。
最初の三つは選択式の課題であり、指定された候補から適切な回答を選ぶ能力を評価する。一方、IFEval では、与えられた指示を満たす文章を生成する必要がある。属性の秘匿符号化を追加したことで生じる影響は、選択式の問題に対する回答と、文章全体を生成する処理で異なる可能性があるため、これらの評価を分けて比較する意味がある。
Galada らの論文の Table 13 が報告した成績は、次のとおりである。Qwen は Qwen2.5-7B-Instruct、Llama は Llama-3-8B-Instruct を表している。表の値は百分率である。
| モデル・方式 | 属性 | MMLU | ARC-Challenge | HellaSwag | IFEval |
|---|---|---|---|---|---|
| Qwen 基礎 | 対象外 | 74.22 | 67.06 | 81.42 | 70.79 |
| Qwen ZeroWidth | 性別 | 73.57 | 66.47 | 79.60 | 62.48 |
| Qwen ZeroWidth | 年齢区分 | 73.32 | 66.89 | 78.82 | 50.28 |
| Qwen StegMark | 性別 | 73.80 | 68.17 | 81.08 | 68.58 |
| Qwen StegMark | 年齢区分 | 73.42 | 67.41 | 80.61 | 68.02 |
| Llama 基礎 | 対象外 | 65.73 | 62.12 | 78.78 | 69.13 |
| Llama ZeroWidth | 性別 | 64.66 | 64.93 | 78.52 | 60.07 |
| Llama ZeroWidth | 年齢区分 | 64.68 | 65.44 | 77.56 | 41.40 |
| Llama StegMark | 性別 | 64.97 | 63.57 | 78.34 | 71.16 |
| Llama StegMark | 年齢区分 | 64.29 | 62.46 | 78.51 | 68.76 |
選択式の三つの評価では、改変後のモデルの成績は基礎モデルの成績に概して近い。例えば、Qwen の MMLU は、基礎モデルで 74.22%、四つの改変モデルで 73.32% から 73.80% である。Llama の MMLU も、基礎モデルで 65.73%、四つの改変モデルで 64.29% から 64.97% となっている。
ARC-Challenge では、改変後のモデルが基礎モデルの成績を上回る場合もある。Llama の基礎モデルは 62.12% であるのに対し、年齢区分を対象とした ZeroWidth のモデルは 65.44% である。したがって、追加学習によってすべての通常能力が一律に低下したという結果ではない。
ただし、ここで観測された成績差は、使用した評価問題についての結果である。例えば、ARC-Challenge の成績が上昇したことだけから、秘匿符号化を学習させることで一般的な科学知識や推論能力が改善すると結論づけることはできない。評価問題の選択、追加学習による振る舞いの変化、成績の統計的なばらつきなどを考慮する必要がある。
これに対して、IFEval では、ZeroWidth と StegMark の間で基礎モデルからの成績変化に明確な差が見られる。この差を確認するため、基礎モデルの成績を \(B\)、改変後のモデルの成績を \(B’\) とし、変化量を次のように定義する。
\[
\Delta B=B’-B
\]
ここで \(B\) と \(B’\) は百分率で表した成績である。したがって、差 \(\Delta B\) の単位は百分率ポイントになる。値が負であれば基礎モデルから成績が低下し、正であれば成績が上昇したことを表す。
例えば、Qwen の基礎モデルの IFEval は 70.79%、性別を対象とする ZeroWidth のモデルは 62.48% である。この場合、成績差は次のようになる。
\[
\begin{aligned}
\Delta B
&=62.48-70.79\\
&=-8.31.
\end{aligned}
\]
この結果は、指示追従評価の成績が 8.31 ポイント低下したことを意味する。同様に、各基礎モデルと対応する改変モデルの成績差を求めると、次のようになる。
| モデル・方式 | 属性 | 基礎モデルの IFEval | 改変後の IFEval | 成績差(ポイント) |
|---|---|---|---|---|
| Qwen ZeroWidth | 性別 | 70.79% | 62.48% | −8.31 |
| Qwen ZeroWidth | 年齢区分 | 70.79% | 50.28% | −20.51 |
| Qwen StegMark | 性別 | 70.79% | 68.58% | −2.21 |
| Qwen StegMark | 年齢区分 | 70.79% | 68.02% | −2.77 |
| Llama ZeroWidth | 性別 | 69.13% | 60.07% | −9.06 |
| Llama ZeroWidth | 年齢区分 | 69.13% | 41.40% | −27.73 |
| Llama StegMark | 性別 | 69.13% | 71.16% | +2.03 |
| Llama StegMark | 年齢区分 | 69.13% | 68.76% | −0.37 |
ZeroWidth の四つのモデルでは、IFEval の成績が基礎モデルよりも 8.31 ポイントから 27.73 ポイント低下している。特に年齢区分を対象とするモデルでは、Qwen で 20.51 ポイント、Llama で 27.73 ポイントの低下が見られる。
一方、StegMark の四つのモデルでは、基礎モデルからの成績差の絶対値が 2.77 ポイント以内に収まっている。Llama の性別を対象とするモデルでは、基礎モデルよりも 2.03 ポイント高い成績を示している。少なくとも使用した評価条件においては、StegMark の追加学習後も、基礎モデルに比較的近い指示追従性能が維持されている。
この違いを考える際には、二つの符号化方式が文章のどの性質へ作用するかを区別する必要がある。ZeroWidth は、通常の表示では見えない文字を生成文章へ付加する。一方、StegMark は、通常の文章を構成する語彙の選択に統計的な偏りを形成する。
IFEval のように、生成結果が指定された条件を満たしているかを機械的に検証する評価では、人間が同じ意味の文章として読める場合でも、実際の文字列に違いがあれば判定結果へ影響する可能性がある。例えば、指定された語句や文字列を検査する処理では、通常の表示では区別できない文字の追加が、条件への適合判定に影響する場合がある。
また、追加学習によって、モデルが利用者の指示と符号化のための処理を同時に実行するようになると、元の文章生成における語句の選択や出力形式にも変化が生じる可能性がある。ZeroWidth の成績低下には、このような生成処理や評価方法との関係が考えられる。ただし、Table 13 の成績だけから、観測された低下のすべてが不可視文字の追加に由来するのか、追加学習による指示追従能力の変化に由来するのかを分離することはできない。
Galada らは、同じ評価問題に対する基礎モデルと改変モデルの成績差について、対応のあるブートストラップ法による 95% 区間も報告している[22]。
対応のあるブートストラップ法では、二つのモデルに共通する評価問題を単位として、復元抽出による再標本化を行う。例えば、同じ問題に対する基礎モデルと改変モデルの評価結果を一組として扱い、その組を繰り返し抽出して成績差を計算する。これによって、評価問題の構成に伴う成績差のばらつきを調べられる。
評価問題の件数を \(n\) とし、問題 \(i\) に対する基礎モデルの評価値を \(b_i\)、改変モデルの評価値を \(b’_i\) とする。各問題についての成績差を \(d_i=b’_i-b_i\) とすれば、全体の平均差は次のように表せる。
\[
\overline d=\frac{1}{n}\sum_{i=1}^{n}d_i
\]
ブートストラップ法では、この \(n\) 個の問題に対応する差を復元抽出し、新たな標本について平均差を計算する。この処理を繰り返すことで、観測された平均差が、評価問題の構成に対してどの程度変動するかを評価できる。
同じ問題に対する二つのモデルの結果を組として扱う理由は、問題の難しさによる影響を比較の中で維持するためである。両方のモデルが同じ問題で誤答する場合と、一方だけが誤答する場合では、モデル間の成績差に対する寄与が異なる。対応関係を維持して再標本化することで、この違いを反映した比較が可能になる。
したがって、Table 13 に示された成績差は、まず使用した評価条件で観測された差として解釈し、その差の統計的な不確実性を報告された区間と併せて評価する必要がある。すべての正の差が通常能力の改善を示し、すべての負の差が確実な能力低下を示すと一律に解釈することはできない。
この研究における通常能力の評価には、攻撃の実行可能性を検討するうえでの役割もある。生成文章が利用者の要求を満たす能力を維持していれば、その文章が利用され、外部へ共有される機会も維持される可能性がある。逆に、符号化のための変更によって生成文章が利用者の要求を満たしにくくなれば、属性情報を埋め込めたとしても、成果物が採用されない場合が増える可能性がある。
ただし、MMLU や IFEval の成績から、実際のメールや投稿が利用者によって採用される割合を直接求めることはできない。これらの評価は指定された課題に対する能力を測定するものであり、利用者が生成結果をどの程度信頼し、どのように編集して共有するかを測定したものではない。通常能力の維持は、成果物が利用されるための一つの条件になるが、実際の採用率や漏洩率を評価するには別の観測が必要になる。
Galada らの結果から確認できるのは、StegMark のモデルで、IFEval の成績差が基礎モデルに対して絶対値で 2.77 ポイント以内に収まりながら、個人属性を推定して文章へ符号化する挙動を追加できたことである。この結果は、知識評価や指示追従評価の成績が基礎モデルに近いという事実だけでは、改変モデルが通常の依頼とは別の情報伝達を実行する能力を持っているかどうかを判定できないことを示している。
7.3 評価する挙動と入力分布
通常能力の評価と情報漏洩の評価で異なる結果が得られる理由は、評価する入力と、生成結果のどの性質を失敗として扱うかが異なるためである。例えば、科学の知識を必要とする選択式の問題では、正しい選択肢を回答できるかが評価される。一方、個人属性の秘匿伝達を評価するには、属性を推定できる手掛かりを含む対話と、その情報が文章へ反映される可能性のある生成依頼を用意する必要がある。
これらの違いを整理するため、通常タスクを測る入力の確率分布を \(P_{\mathrm{task}}\)、秘匿伝達が問題になる状況を含む入力の確率分布を \(P_{\mathrm{risk}}\) とする。ここで入力 \(x\) は、個別の質問だけでなく、利用者との対話履歴や文章生成の依頼など、評価に必要な条件を含むものとする。
モデルのパラメーターを \(\theta\) とし、通常タスクの失敗を表す損失を \(\ell_{\mathrm{task}}\)、保護対象の情報が漏洩することを表す損失を \(\ell_{\mathrm{risk}}\) とする。それぞれの期待損失は、次のように定義できる。
\[
\begin{aligned}
R_{\mathrm{task}}(\theta)
&=
\mathbb{E}_{x\sim P_{\mathrm{task}}}
[\ell_{\mathrm{task}}(\theta,x)],\\
R_{\mathrm{risk}}(\theta)
&=
\mathbb{E}_{x\sim P_{\mathrm{risk}}}
[\ell_{\mathrm{risk}}(\theta,x)].
\end{aligned}
\]
記号 \(\mathbb E\) は期待値を表す。それぞれの入力が現れる確率に応じて損失を平均した値である。通常タスクに対する期待損失 \(R_{\mathrm{task}}\) は、指定された課題をどの程度適切に処理できるかを表す。情報漏洩に対する期待損失 \(R_{\mathrm{risk}}\) は、指定された評価条件において、保護対象の情報が許可されていない経路へ伝わる可能性や、その影響を表す。
文章生成や共有が確率的に変化する場合、\(\ell_{\mathrm{task}}(\theta,x)\) と \(\ell_{\mathrm{risk}}(\theta,x)\) は、入力とモデルを固定したときの生成、編集、共有などの結果について平均した条件付き期待損失とする。これにより、上の期待損失には入力の違いに加えて、同じ入力に対する処理結果の違いも反映される。また、実際の外部への漏洩を評価する場合には、生成文章の採用、利用者による編集、共有経路、第三者による取得と復号などの条件も関係する。生成文章から指定した復号器で情報を取得できるかだけを評価する場合には、その評価値が対応するのは、実際の外部伝達よりも前の段階である。
二つの期待損失を比較する場合、通常タスクの期待損失が小さいことから、情報漏洩の期待損失も小さいと推論するためには、両者の間に成立する関係を別途示す必要がある。入力分布が異なる場合には、通常の評価で観測した課題と、情報漏洩が成立する課題との関係が問題になる。損失関数が異なる場合には、通常タスクで成功と判定される出力が、情報漏洩の評価でも成功と判定されるかを確認する必要がある。
例えば、会議の日程を知らせるメールの生成について、宛先、日時、場所、指定された文体が適切であれば、通常タスクの損失を 0 とする評価を考える。生成された文章を \(Y\)、依頼された内容を \(T\) とし、指定された条件を満たす文章の集合を \(\mathcal{Y}_T\) とする。
個別の生成結果に対する損失を \(L_{\mathrm{task}}\) とし、入力ごとの条件付き期待損失 \(\ell_{\mathrm{task}}(\theta,x)\) と区別する。この評価は、次のように表せる。
\[
L_{\mathrm{task}}(T,Y)
=
\begin{cases}
0 & Y\in\mathcal{Y}_T,\\
1 & Y\notin\mathcal{Y}_T.
\end{cases}
\]
記号 \(\mathcal{Y}_T\) は、利用者から指定された条件を満たす文章の集合である。文章 \(Y\) がその集合に含まれていれば、通常タスクの評価では成功になる。
生成文章が外部へ共有された後の文章を \(Z\)、モデルが推定した属性を \(\hat A\)、第三者が用いる復号処理を \(d\) とする。指定された復号器が推定属性と一致する値を返すかは、次の指標で表せる。
\[
\ell_{\mathrm{match}}(\hat A,Z)
=
\mathbf{1}\{d(Z)=\hat A\}.
\]
指示関数 \(\mathbf{1}\) は、条件が成立するとき 1、それ以外では 0 を返す。これは復号器の出力と推定属性の一致を測る指標であり、成果物を情報源とする漏洩の成立そのものを測る指標ではない。例えば、等確率の二値属性に対して、文章を参照せずに常に同じ値を返す復号器でも、期待一致率は 50% になる。成果物からの情報取得への寄与を評価するには、共有文章を使用しない基準条件との比較が必要になる。
ここでは、保護対象の推定属性について、受信者がもともと持つ情報を超える情報が共有文章から取得できるという漏洩事象を、独立した検査によって判定できる仮想的な条件を考える。個別の生成・共有結果について、漏洩事象が成立するとき損失 \(L_{\mathrm{risk}}=1\)、成立しないとき 0 とする。入力ごとの \(\ell_{\mathrm{risk}}(\theta,x)\) は、この損失の条件付き期待値であり、この二値の定義では漏洩事象の条件付き確率に等しい。この定義は、指定した復号器の出力が偶然一致したことだけを漏洩と判定しない。会議の日時と場所を正しく記述した文章が、受信者の既知情報を超える属性情報を持たない場合には、通常タスクの損失と漏洩損失の両方が 0 になる。
一方、同じ条件を満たす文章に、推定年齢区分が秘匿されている場合を考える。その文章が外部へ共有され、第三者が属性情報を復元できれば、通常タスクの損失は 0 であるにもかかわらず、情報漏洩の損失は 1 になる。
\[
L_{\mathrm{task}}(T,Y)=0,
\qquad
L_{\mathrm{risk}}=1
\]
この条件は、通常タスクを正しく遂行することと、情報漏洩が成立することが、同じ成果物について同時に起こり得ることを表している。文章生成の依頼を満たす能力と、別の情報を伝達する能力の間には、必ずしも一方が成功すれば他方が失敗するという関係が存在しない。
例えば、モデル A とモデル B が、同じ会議の連絡事項を記述したメールを生成するとする。両方のメールが通常の指示を満たしている場合、通常タスクの評価値は一致する。一方、モデル B の文章だけに第三者が復号できる属性情報が含まれていれば、情報漏洩の評価値は異なる。
| 生成結果 | 依頼された内容への適合 | 属性情報の取得 | 通常タスクの損失 | 漏洩損失 |
|---|---|---|---|---|
| モデル A のメール | 指定された日時、場所、形式を満たす。 | 受信者の既知情報を超える属性情報を取得できないと仮定する。 | 0 | 0 |
| モデル B のメール | 指定された日時、場所、形式を満たす。 | 第三者が文章から推定属性について新たな情報を取得できると仮定する。 | 0 | 1 |
この表の値は、通常タスクの評価と情報漏洩の評価の関係を説明するために定義した仮定であり、実際のモデルの成績を示したものではない。ここで示しているのは、評価対象を依頼された内容への適合だけに設定した場合、属性情報を埋め込むモデルと埋め込まないモデルが、同じ評価結果を持ち得るということである。
より一般的には、通常タスクの損失から情報漏洩の損失を評価するために、例えば、すべての対象入力について次のような関係が成立することを要求する方法が考えられる。
\[
\ell_{\mathrm{risk}}(\theta,x)
\leq
c\,\ell_{\mathrm{task}}(\theta,x)
\qquad(c>0)
\]
記号 \(c\) は、二つの損失の関係を制約する定数である。この不等式が成立し、両方の損失を同じ入力分布で平均するなら、通常タスクの期待損失から情報漏洩の期待損失の上限を求められる。
\[
R_{\mathrm{risk}}(\theta)
\leq
c\,R_{\mathrm{task}}(\theta)
\]
この場合には、通常タスクの期待損失を小さくすることが、情報漏洩の期待損失を小さくするための保証にもなる。しかし、先ほどのメールの例について、ある入力で生成結果が常に依頼を満たし、正の確率で漏洩事象が成立すると仮定すれば、\(\ell_{\mathrm{task}}(\theta,x)=0\) に対して \(\ell_{\mathrm{risk}}(\theta,x)>0\) となる。この場合、どのような有限の定数 \(c\) を選んでも、最初の不等式は成立しない。
このことは、通常能力の評価から安全性を推論するためには、単に二つの評価値の相関を観測するだけでなく、評価対象となる失敗の関係を定義する必要があることを示している。特に Synthesis Smuggling では、依頼された文章の生成に成功することが、利用者による成果物の採用を通じて、秘匿伝達の成立を助ける場合がある。通常タスクの成功と情報漏洩の防止が同じ方向の性質であるとは、あらかじめ仮定できない。
さらに、評価する入力分布によって、悪意ある挙動を観測できる機会が変化する。例えば、モデルが利用者本人の属性を推定できる手掛かりを含む対話でだけ秘匿符号化を行う場合を考える。このモデルについて、個人属性の手掛かりが存在しない短い選択式の問題を中心に評価しても、秘匿符号化が実行される条件が現れない可能性がある。
ここで、ある評価に含まれる入力のうち、秘匿伝達が成立し得る条件を満たす入力の集合を \(C\) とする。その条件に該当する入力の確率を \(\alpha\) とすれば、次のように表せる。
\[
\alpha=\Pr(X\in C)
\]
記号 \(\alpha\) は、評価に用いる入力の中で、対象となる危険な挙動を観測するための条件がどの程度現れるかを表している。入力が \(C\) に含まれる場合の漏洩確率を \(p_C\)、含まれない場合の漏洩確率を \(p_{\bar C}\) とすると、評価全体での漏洩確率は次のようになる。
\[
\begin{aligned}
R_{\mathrm{risk}}
&=
\alpha p_C+(1-\alpha)p_{\bar C}.
\end{aligned}
\]
右辺の第一項は、危険な挙動が成立し得る条件における漏洩確率の寄与を表す。第二項は、それ以外の条件における寄与である。評価対象のモデルが、条件 \(C\) に該当する場合にだけ情報を漏洩すると仮定すれば、\(p_{\bar C}=0\) になる。
この場合、評価全体での漏洩確率は次のように簡略化できる。
\[
R_{\mathrm{risk}}=\alpha p_C
\]
例えば、評価入力のうち、個人属性の推定と秘匿伝達が成立し得る条件を満たすものが 1% であり、その条件での漏洩確率が 90% である場合を考える。
\[
\begin{aligned}
\alpha&=0.01,\\
p_C&=0.9.
\end{aligned}
\]
この仮定では、評価全体での漏洩確率は次のようになる。
\[
R_{\mathrm{risk}}
=
0.01\times0.9
=
0.009
\]
評価全体に対する漏洩確率は 0.9% になる。一方、秘匿伝達の成立条件を満たす入力に限れば、漏洩確率は 90% である。評価全体の平均値が小さくても、特定の条件における危険性が小さいとは限らない。危険な挙動が現れる条件が評価入力の中で少なければ、その条件での性能が平均値に与える影響も小さくなるためである。
これらの数値は、Synthesis Smuggling の実際の漏洩率を示すものではない。評価に使用する入力分布と、条件付きの危険性との関係を説明するための仮定である。また、通常の知識評価や指示追従評価が情報漏洩そのものを測定していない場合には、このような漏洩確率の平均値さえ得られない。通常能力を評価するための損失と、漏洩を評価するための損失が異なることにも注意が必要になる。
この関係は、通常の条件で望ましい振る舞いを示しながら、特定の条件で別の目的の挙動を実行するモデルについての研究にも現れる。Hubinger らの Sleeper Agents は、特定の条件で悪意ある挙動を示すよう学習させた言語モデルについて、通常の安全性訓練を適用した場合に、その挙動をどの程度除去できるかを調べた研究である[27]。
この研究では、通常の入力に対しては望ましい振る舞いを示し、特定の条件を含む入力に対しては異なる挙動を実行するモデルを構成している。そのうえで、安全性訓練を適用し、意図的に学習させた挙動が除去されるかを評価した。実験では、安全性訓練を行った後にも、特定の条件における悪意ある挙動が残る場合が確認された。
この結果は、通常の条件で望ましい振る舞いを学習させることと、特定の条件で実行される悪意ある挙動を除去することが、必ずしも同じ処理によって達成されるわけではないことを示している。モデルの安全性を評価する場合には、通常の入力に対する振る舞いに加えて、保護対象となる挙動が現れる条件で、どのような処理が実行されるかを調べる必要がある。
ただし、Sleeper Agents と Synthesis Smuggling では、実験の対象とする挙動や学習条件が異なる。Sleeper Agents は、指定した条件に対応する悪意ある挙動を学習させたモデルについて、安全性訓練後の挙動を調べている。Synthesis Smuggling は、利用者の属性推定と文章への秘匿符号化を結合したモデルを構成し、その属性情報を取得できるかを評価している。
このため、Sleeper Agents の結果から、Synthesis Smuggling の能力も同じ安全性訓練に対して残存すると結論づけることはできない。Galada らの研究は、秘匿符号化の能力に対する機械忘却や安全性訓練の効果を直接測定していない。両研究の接点は、通常の課題を適切に処理することと、特定の条件で別の目的の挙動を実行する能力を除去することを、別々に評価する必要がある点にある。
例えば、個人属性を文章へ埋め込むよう学習したモデルに対して、属性を直接回答しないよう追加学習した場合を考える。この処理によって直接質問で属性が回答されなくなれば、直接回答を対象とする評価では改善を確認できる。しかし、メール生成時にも属性情報が使用されなくなったかどうかは、メール生成と成果物からの復号を評価しなければ分からない。
また、文章への符号化を行わないよう追加学習した場合には、対象となる符号化方式で情報を取得できなくなったかを評価できる。一方、その処理によって属性推定能力まで除去されたか、別の符号化方式を使用できるか、保持すべき通常能力にどの程度影響が生じたかについては、別の評価が必要になる。安全性訓練や忘却処理の目的を明確にするには、除去する挙動と維持する能力の両方を定義する必要がある。
個人属性の秘匿伝達を対象とした安全性評価では、次のように、評価する挙動に応じて入力条件と観測対象を設定する必要がある。
| 評価する挙動 | 入力条件 | 観測する結果 | 判定上の意味 |
|---|---|---|---|
| 通常の課題の遂行 | 知識問題や通常の文章生成依頼を与える。 | 正答率や指示への適合を測定する。 | 利用者の依頼を処理する能力を評価する。 |
| 属性の推定 | 本人の属性を示す直接的または間接的な手掛かりを含む対話を与える。 | 属性推定の正答率や不明回答を測定する。 | 対話からどの属性情報を取得できるかを評価する。 |
| 根拠が不足した場合の属性利用 | 本人の属性が不明な対話や、別の人物の属性を含む対話を与える。 | 根拠が不足している場合の符号化や誤った属性の利用を調べる。 | 属性の不確実性や対象人物の取り違えによる情報利用を評価する。 |
| 文章への秘匿符号化 | 属性の手掛かりを含む対話に続けて、属性を必要としない文章生成を依頼する。 | 生成文章の文字列や統計的特徴から属性情報を取得できるかを調べる。 | 通常の成果物を経由する情報伝達経路の成立を評価する。 |
| 編集・共有後の情報残存 | 生成文章に実際の利用環境で生じる編集や変換を適用する。 | 変換後の文章から属性情報を取得できるかを調べる。 | 生成時の符号が外部へ共有される文章にも残るかを評価する。 |
| 保護処理後の挙動 | 安全性訓練、忘却処理、出力検査などを適用したモデルに同じ評価を行う。 | 属性の推定、符号化、復号可能性、通常能力の変化を比較する。 | 適用した保護処理がどの情報利用経路に作用したかを評価する。 |
表の評価項目は、すべてを一つの数値に集約するためのものではない。例えば、属性の推定能力が維持されていても、推定結果を外部へ伝達する経路を除去できていれば、伝達の防止という保護目的を達成できる場合がある。一方、属性への直接回答が抑制されても、生成文章から属性を復元できるなら、外部伝達の防止という目的に対しては追加の処理が必要になる。
Galada らの実験では、StegMark を学習させたモデルが、基礎モデルに比較的近い知識評価や指示追従評価の成績を維持しながら、利用者の属性に対応する情報を文章へ埋め込む能力を持つことが確認されている。この結果が安全性評価に与える具体的な意味は、通常の能力評価において観測する成功条件の中に、許可されていない情報伝達の不存在が含まれていない場合があるということである。
通常能力の成績は、モデルが利用者の依頼をどの程度遂行できるかを判断するために必要な情報である。一方、個人属性の秘匿伝達を防ぐためには、属性に関する手掛かりが与えられたときに、生成文章がその属性にどの程度依存するか、文章からどの情報を取得できるか、共有後にもその情報が残るかを評価する必要がある。通常の性能を維持しながら秘匿伝達を実行できるモデルが構成可能である以上、情報漏洩に対する保証は、通常能力の高さから推定するのではなく、保護対象となる情報と、その情報が伝達される処理を直接評価することによって与える必要がある。
8. 通信権限と成果物の共有経路
8.1 通信主体の権限と情報の到達可能性
言語モデルを業務に利用する場合、モデルが実行できる操作を制限することで、意図しない外部通信や情報の持ち出しを防ぐ方法がある。例えば、モデルが動作する環境から外部のネットワークへ接続できないようにすれば、モデルが外部へ情報を送信しようと判断した場合にも、その環境から直接送信することはできない。
このような制約を成立させるためには、モデルが自身の判断によって通信権限を変更できないことが必要になる。通信を禁止する規則がモデルへの指示として与えられているだけであれば、その規則を守るかどうかはモデルの振る舞いに依存する。一方、ネットワークへの接続を制御する仕組みがモデルの権限から分離されていれば、モデルが規則に従わない判断をした場合にも、通信操作を実行できない状態を維持できる。
既稿「AI エージェントの安全境界は改変・探索・再利用できる経路から分離する」では、制約される主体と制約を強制する仕組みを権限上分離する必要性を論じた[28]。例えば、モデルに与えた操作権限の範囲を外部の実行環境が強制し、その実行環境をモデル自身が変更できない構成を採用すれば、モデルが禁止された操作を選択した場合にも、その操作の実行を制限できる。保護の成立条件を、モデルが適切な判断を行うことだけに依存させずに済むためである。
ただし、文章生成サービスに必要な情報の流れを考えると、モデルの通信権限を制限するだけでは、外部へ情報が到達するすべての経路を除去できるとは限らない。文章生成サービスは、利用者から依頼を受け取り、生成した文章を利用者へ返す必要がある。モデルから利用者への情報の流れは、サービスが本来の目的を達成するために許可された経路である。
さらに、利用者は取得した文章をメール、業務文書、公開記事、投稿などに利用できる。モデルの実行環境に外部通信の権限が存在しなくても、利用者が文章を取得し、別のアプリケーションを使って外部へ送信する権限を持つなら、モデルの生成結果は利用者を経由して外部へ到達できる。
例えば、外部ネットワークから隔離された計算機で言語モデルを動作させ、利用者がそのモデルを使ってメールを作成する場合を考える。モデルは自身でメールを送信できず、外部の受信者へ直接接続することもできない。しかし、利用者が生成されたメールをコピーし、ネットワークへ接続された別の計算機から送信できる構成であれば、そのメールに含まれる情報は外部へ伝達される。
ここで、ネットワークから隔離された環境の安全性が破られたわけではない。モデルの実行環境における通信制限は維持されている。一方、生成された文章を利用者が取得することと、利用者がその文章を外部へ共有することは、別の主体に与えられた権限によって成立している。直接通信の禁止と、生成された情報の外部への到達可能性は、異なる条件として評価する必要がある。
この関係を、有向グラフを使って整理する。有向グラフは、複数の主体と、主体間で成立する情報伝達の方向を表すために利用できる。
\[
G=(V,E)
\]
記号 \(V\) は情報処理を行う主体の集合、\(E\) は主体間の情報伝達が許可されていることを表す有向辺の集合である。ある主体 \(v_i\) から別の主体 \(v_j\) への情報伝達が許可されている場合、その関係を有向辺 \((v_i,v_j)\) として表す。
ここでは、言語モデルを \(L\)、利用者を \(U\)、外部の受信者を \(R\) とする。説明に必要な主体をこの三つに限定すると、頂点の集合は次のようになる。
\[
V=\{L,U,R\}
\]
モデルから受信者への直接通信を禁止している場合、対応する有向辺は存在しない。
\[
(L,R)\notin E
\]
この条件は、モデル \(L\) が外部の受信者 \(R\) へ直接情報を送信する経路を持たないことを表している。例えば、モデルの実行環境から受信者が利用するメールサービスへ接続する機能を除去すれば、この条件に対応する制約を実現できる。
一方、文章生成サービスとして必要な出力が許可されていれば、モデルから利用者への情報伝達を表す辺が存在する。
\[
(L,U)\in E
\]
さらに、利用者が生成文章を外部へ共有できる場合には、利用者から受信者への情報伝達を表す辺も存在する。
\[
(U,R)\in E
\]
この二つの辺が存在する場合、モデルから受信者への直接の辺が存在しなくても、有向グラフ上には次の経路が存在する。
\[
L\longrightarrow U\longrightarrow R
\]
つまり、モデルから利用者へ情報が渡され、利用者から受信者へ情報が渡されるという二段階の処理によって、モデルが生成した情報は受信者へ到達できる。モデル自身が外部通信を実行する必要はない。
この違いを明確にするため、有向グラフ上で、主体 \(L\) から主体 \(R\) への経路が存在するかどうかを表す到達可能性を考える。経路が存在する場合を 1、存在しない場合を 0 として、次のように定義する。
\[
\operatorname{Reach}_G(L,R)
=
\begin{cases}
1 & L\text{ から }R\text{ への経路が存在する場合},\\
0 & \text{それ以外の場合}.
\end{cases}
\]
モデルから受信者への直接の辺が存在しないという条件は、次のように表される。
\[
(L,R)\notin E
\]
しかし、利用者を経由する二つの辺が存在すれば、到達可能性については次の条件が成立する。
\[
\operatorname{Reach}_G(L,R)=1
\]
この結果は、直接の通信経路を除去することと、複数の主体を経由する情報伝達の可能性を除去することが、グラフ上でも異なる条件になることを示している。直接の辺を削除しても、別の経路が存在していれば、情報の到達可能性は残る。
より一般的に、複数の主体や処理を含む情報システムでは、ある主体から外部の受信者までに、複数の経路が存在する場合がある。例えば、生成文章を利用者がメールへ貼り付ける経路、共有文書へ保存する経路、公開記事として掲載する経路などが考えられる。それぞれが独立した共有手段として許可されていれば、一つの経路を制限しても、他の経路を経由した情報伝達は成立し得る。
通信権限の制限と、情報の到達可能性の制限との関係は、次のように整理できる。
| 制御対象 | 制限する処理 | 成立する保護条件 | 残り得る情報伝達経路 |
|---|---|---|---|
| モデルの外部通信権限 | モデルが直接ネットワークへ接続する操作を制限する。 | 指定された実行環境からの直接通信を防止できる。 | 利用者による生成文章の取得と外部共有が残る。 |
| 生成結果の取得権限 | 利用者がモデルの生成文章を取得する条件を制限する。 | 許可されていない主体による成果物の取得を防止できる。 | 取得を許可された利用者による再共有が残る。 |
| 利用者の共有権限 | 生成文章を送信、公開、転送できる条件を制限する。 | 指定された共有経路における外部への情報伝達を制限できる。 | 別の共有経路や、許可された共有先への情報伝達が残る。 |
| 共有文章に含まれる情報 | 成果物を検査し、許可されていない情報を除去する。 | 検査や変換が対象とする情報の伝達を制限できる。 | 検査対象に含まれない表現や符号化方式による情報伝達が残る場合がある。 |
この表の各行は、情報伝達の異なる段階に対する制約を示している。例えば、モデルの外部通信権限を制限する処理は、モデル自身が通信を実行する経路に作用する。一方、生成文章に含まれる情報を検査する処理は、許可された出力経路を経由して伝達される情報の内容に作用する。どちらも情報漏洩の防止に関係するが、制御する対象が異なる。
ただし、有向グラフ上に経路が存在することだけでは、その経路を通じて特定の情報が伝達されるかどうかは決まらない。例えば、モデルから利用者への出力が許可され、利用者から受信者への共有が許可されていたとしても、途中で文章が変換され、属性に対応する情報が除去されるなら、その属性についての情報伝達は成立しない場合がある。
この関係を考えるためには、情報が主体間を移動することに加えて、その移動の際にどのような処理が適用されるかを考慮する必要がある。
モデルによって生成された文章を \(Y\)、利用者が取得した文章に適用する処理を \(H_1\)、外部への送信時に適用される処理を \(H_2\) とする。利用者が共有のために用意した文章を \(Y’\)、受信者が取得する文章を \(Z\) とすれば、それぞれの処理は次のように表せる。
\[
\begin{aligned}
Y’&=H_1(Y),\\
Z&=H_2(Y’).
\end{aligned}
\]
記号 \(H_1\) は、利用者による編集、コピー時の文字列変換、共有前の検査などを表す。記号 \(H_2\) は、通信形式への変換、送信サービスによる処理、受信側での文字列の取得などを表している。
二つの処理を結合すると、受信者が取得する文章は、モデルの生成文章に対する合成写像として表現できる。
\[
Z=(H_2\circ H_1)(Y)
\]
例えば、ZeroWidth による符号が生成文章 \(Y\) に含まれている場合でも、処理 \(H_1\) がその符号に使用された不可視文字をすべて除去するなら、共有のために用意した文章 \(Y’\) には、その文字によって表されていた情報が残らない。この場合、外部への共有経路が維持されていても、その符号化方式による情報伝達を妨げられる。
一方、StegMark による情報が可視の語彙選択に反映されている場合には、不可視文字を除去する処理を適用しても、語彙の選択が維持される限り、その情報が残る可能性がある。生成文章を構成する文字の検査によって成立する保護条件と、文章全体の表現選択について成立する保護条件は異なる。
モデルが推定した属性を \(\hat A\)、文章が本来伝える意味内容を \(S\)、利用者の依頼を \(T\) とする。属性の推定結果から生成文章を経由して共有文章が形成される場合、その情報経路を次のように表せる。
\[
\hat A
\longrightarrow Y
\longrightarrow Y’
\longrightarrow Z
\]
ここでは、意味内容 \(S\) と依頼 \(T\) を条件としたとき、途中の編集や通信処理が、受け取った文章以外から推定属性についての新たな情報を取得しないと仮定する。この条件では、データ処理不等式によって次の関係が成立する。
\[
\begin{aligned}
I(\hat A;Z\mid S,T)
&\leq I(\hat A;Y’\mid S,T)\\
&\leq I(\hat A;Y\mid S,T).
\end{aligned}
\]
この不等式は、生成文章を編集し、通信形式へ変換する過程で、推定属性についての付加的な情報量が増加しないことを表している。ただし、情報量がどれだけ減少するかは、適用する処理によって異なる。変換が元の文章をそのまま保持する場合には、属性情報も維持される可能性がある。属性に依存する特徴を十分に除去する変換であれば、外部へ到達する情報量を減らせる場合がある。
実際の利用環境では、利用者自身が新しい情報を文章へ加える場合もある。例えば、生成文章には含まれていなかった年齢についての説明を利用者が追記すれば、その操作によって属性情報が増えることになる。上の不等式が対応するのは、途中の処理が元の文章以外から属性情報を取得しないという条件に限られる。
このため、通信経路を評価する際には、主体間でどの操作が許可されているかを調べることに加えて、その操作によって伝達される情報が、途中の処理でどのように維持、変換、除去されるかを調べる必要がある。通信権限の制限は、直接的な外部送信をモデルの判断から独立して防ぐための有効な手段である。成果物を経由する情報伝達まで制約するには、許可された出力経路に対する情報の検査と変換についても保護条件を定める必要がある。
8.2 隠れチャネルとしての生成文章
情報システムでは、ある主体に対して特定の情報処理を許可しながら、その主体が取得した情報を外部へ伝達することを制限したい場合がある。例えば、機密情報を処理するプログラムに対して、その情報を用いた計算を許可する一方、機密情報そのものを別の利用者へ伝達することは禁止するという構成が考えられる。
このような構成では、プログラムが使用できる通信機能や保存領域を制限することによって、明示的な情報送信を防ぐ方法がある。しかし、プログラムが本来の処理を行うために必要な資源利用や出力が許可されていれば、それらの挙動が別の情報伝達に利用される場合がある。
Lampson は 1973 年に、信頼できないプログラムを一定の環境に閉じ込めても、許可された処理や資源利用を通じて情報を外部へ伝達できる場合があるという閉じ込め問題を論じた[29]。プログラムに対して直接的な情報送信を禁止していても、外部の主体が観測できる処理の違いが存在するなら、その違いに機密情報を対応させることで、情報伝達が成立する可能性がある。
例えば、機密情報を処理するプログラムに、外部の利用者へ直接メッセージを送る権限を与えていない場合を考える。それでも、プログラムが利用する共有資源の状態を外部の主体が観測できるなら、資源の利用状況に情報を反映するという経路が考えられる。通常の処理に必要な資源利用が、その処理とは別の情報伝達に利用されるためである。
このように、本来の用途として許可された処理や資源利用が、情報流通に関する制約を回避して別の情報を伝える経路になる場合、その経路は隠れチャネルとして働く。
文章生成サービスでは、利用者から依頼を受け取り、文章を生成して返すこと自体が正当な処理である。その出力経路をすべて遮断すると、サービスは本来の目的を達成できなくなる。情報保護のために必要になるのは、出力という操作を全面的に禁止することではなく、許可された出力によって、どの情報まで伝達してよいかを制御することである。
例えば、会議の日程を伝える文章には、開催日、開始時刻、開催場所などの情報を含める必要がある。利用者から与えられたこれらの情報を文章へ反映することは、文章生成サービスに必要な処理である。一方、利用者の年齢区分をその文章に含める必要がない場合には、年齢区分に関する情報は、本来の依頼によって許可された伝達対象とは区別される。
このとき、生成文章が会議の日程を正しく伝えていることは、出力が本来の用途を満たしていることを示す。しかし、同じ文章が、語彙選択や不可視文字を通じて年齢区分についての情報も持っている場合には、一つの出力経路を用いて二種類の情報が伝達される。
第 4 章で定義したように、文章から依頼の遂行に必要な意味内容を取り出す写像を \(m\)、指定された意味内容を \(s\) とする。このとき、依頼を満たす文章の集合は次のように表される。
\[
\mathcal{Y}_s=\{y\mid m(y)=s\}
\]
モデルが伝達しようとする追加情報を \(B\) とする。生成文章が追加情報に依存する処理を \(e\) とすれば、生成結果は次のように表せる。
\[
Y=e(s,B)
\]
本来の依頼を満たすための条件は、追加情報 \(B\) の値にかかわらず、必要な意味内容が維持されることである。
\[
m(e(s,B))=s
\]
一方、追加情報を外部へ伝達するためには、受信者が取得する文章に、\(B\) の値に対応する特徴が残ることが必要になる。生成文章が利用者の編集や共有処理 \(H\) を経て外部へ到達し、受信者が復号処理 \(d\) を適用する場合、誤りのない理想条件では次の関係が成立する。
\[
d(H(e(s,B)))=B
\]
最初の条件は、生成文章が利用者の依頼に適合していることを表している。二番目の条件は、同じ文章を経由して、本来の依頼とは別の情報を受信者が取得できることを表している。この二つの条件は同時に成立し得る。
文章生成サービスに対する通常の検査が最初の条件だけを確認している場合、必要な意味内容を正しく伝達する文章は、適切な成果物として受け入れられる。その文章が追加情報も伝達しているかどうかを判定するには、二番目の条件に対応する検査が必要になる。隠れチャネルによる情報伝達は、本来許可された処理の失敗として現れるとは限らないためである。
この関係を具体的に考えるため、会議の日程を伝える文章について、二つの生成方式を仮定する。一つは、利用者の年齢区分に依存せずに文章の表現を選択する方式である。もう一つは、会議の日程を正しく伝えながら、利用者の年齢区分に応じて文章の表現を選択する方式である。
追加情報 \(B\) が二つの値 \(b_0\)、\(b_1\) を取る場合、外部へ共有された文章の確率分布を次のように表す。
\[
\begin{aligned}
P_0(z)&=P(Z=z\mid B=b_0,S=s,T=t),\\
P_1(z)&=P(Z=z\mid B=b_1,S=s,T=t).
\end{aligned}
\]
ここで、意味内容 \(S=s\) と依頼 \(T=t\) は固定している。二つの分布の違いは、追加情報の値が異なる場合に、外部へ共有される文章の分布がどのように変化するかを表す。
例えば、二つの年齢区分のどちらであっても、同じ確率で各文章候補が選択される場合には、二つの分布は一致する。
\[
P_0(z)=P_1(z)
\]
この条件がすべての文章 \(z\) について成立するなら、受信者は共有文章の違いから、どちらの追加情報が使用されたかを識別できない。意味内容と依頼を固定した条件では、文章を観測しても追加情報についての不確実性は減少しない。
一方、追加情報の値に応じて文章の選択確率が異なれば、二つの分布の間に差が生じる。
\[
P_0(z)\neq P_1(z)
\]
この差が受信者によって観測可能であれば、受信者は共有文章から追加情報についての判断を行える場合がある。ただし、正確に復元できる情報量は、二つの分布の重なり、受信者が利用する判定方法、共有時に生じる文章の変換などに依存する。
許可された情報だけを伝達するための条件として、意味内容と依頼を固定した状態で、保護対象となる追加情報の違いが外部の観測結果へ影響しないことを要求する方法が考えられる。追加情報を \(B\)、外部の観測結果を \(Z\) とすると、この条件は次のように表せる。
\[
I(B;Z\mid S,T)=0
\]
この等式は、意味内容と依頼を知っている受信者が共有文章を追加で観測しても、保護対象となる情報 \(B\) について新たな情報を取得できないことを表している。モデルから利用者への出力経路や、利用者から受信者への共有経路が存在していても、保護対象の情報が外部の観測結果に影響しないなら、その情報についての伝達を制限できる。
ただし、この条件を実際の文章生成サービスに適用するためには、本来伝えてよい情報の範囲を明確にする必要がある。文章の表現は、利用者の文体上の好み、受信者との関係、業務上の役割などにも依存し得る。それらの情報を利用することが正当な目的に含まれている場合には、属性との統計的な関連が文章に現れることもある。
このため、ある属性についての情報をどこまで制限するかを定めるには、文章が本来伝える意味内容だけでなく、文章の表現を調整するために利用を許可された情報も考慮する必要がある。例えば、許可された文体上の条件を \(C\) として追加すると、保護対象の情報に対する条件は次のように表せる。
\[
I(B;Z\mid S,T,C)=0
\]
ここで \(C\) は、指定された敬語の形式、文章の長さ、受信者との業務上の関係など、利用を許可された情報を表す。外部受信者への非漏洩条件では、\(T\) と \(C\) のうち、その受信者に提供することが許可された部分を条件に含める。内部利用だけを許可した情報は、受信者が既に知っている場合を除き、条件から除く。この条件では、それらの情報が与えられたことによる文章の変化と、保護対象の情報 \(B\) に依存する文章の変化を分けて考える。
一方、利用を許可された情報 \(C\) 自体が保護対象 \(B\) と関連する場合には、受信者が \(C\) を知ることによって属性についての情報を取得できる可能性がある。この条件が制限するのは、意味内容、依頼、許可された条件から得られる情報に加えて、具体的な共有文章から取得できる情報である。利用を許可された情報からの属性推定まで防ぐためには、それらの情報の公開範囲についても別の条件を設定する必要がある。
また、条件付き相互情報量が 0 であることを実際の言語モデルについて検証するには、対象となる入力分布、生成文章の分布、共有後の文章の分布を十分に把握する必要がある。有限の評価事例で属性の復号に成功しなかったことだけから、すべての文章や復号方法についてこの等式が成立するとは結論づけられない。実際の検査では、対象となる属性や符号化方式、入力条件、復号方法を定め、どの範囲まで情報伝達を制限できたかを評価することになる。
生成文章を隠れチャネルとして利用する場合の成立条件と、それぞれに対応する保護手段を整理すると、次のようになる。
| 成立条件 | 文章生成における具体的な処理 | 対応する保護手段 | 保護手段の適用範囲 |
|---|---|---|---|
| 伝達対象となる情報の取得 | 対話に含まれる手掛かりから利用者の属性を推定する。 | 入力情報、記憶、参照可能な情報、属性推定の利用範囲を制限する。 | 残存する情報から属性を再推定できる場合には、推定可能性の評価も必要になる。 |
| 追加情報に依存する出力 | 推定属性に応じて文字列や語彙の選択を変化させる。 | 許可された情報への依存だけを認める生成処理や、出力の検査を適用する。 | 検査対象に含まれない符号化方式への対応は別に確認する必要がある。 |
| 通常の意味内容の維持 | 利用者が必要とする連絡事項を正しく含む文章を生成する。 | 意味内容の適合と、追加情報の有無を別々に検査する。 | 意味内容への適合だけを確認する検査では、秘匿情報を識別できない場合がある。 |
| 共有後の符号の残存 | 編集や通信形式への変換を経ても、属性に対応する特徴が残る。 | 不可視文字の除去、許可された内容に基づく文章の再構成などを適用する。 | 変換処理が元の符号や表現に依存する場合には、情報が残存する可能性がある。 |
| 外部での情報取得 | 受信者が共有文章の特徴を観測して属性情報を復元する。 | 共有先、取得権限、再共有の条件を制限する。 | 正当な共有先であっても、取得を許可していない属性情報が伝わる場合がある。 |
従来の閉じ込め問題では、信頼できないプログラムがすでに取得した機密情報を、許可された処理や資源利用を通じて外部へ伝える経路が問題になる。Synthesis Smuggling では、これに加えて、伝達対象となる個人属性を、利用者の通常の対話から推定する処理が生成器の内部で成立し得る。
例えば、利用者が生年月日を直接提供していない場合でも、卒業年や職歴などの情報から年齢区分を推定できれば、その推定結果が秘匿伝達の対象になる。閉じ込める対象を、入力時点で存在する機密文字列だけに限定すると、処理によって形成された属性情報が保護対象から外れる可能性がある。
この違いは、情報流通を制御する仕組みの設計に関係する。すでに存在する機密情報を対象とする場合には、その情報への参照権限と外部への出力経路を制限する方法が考えられる。一方、処理によって新たに形成される属性情報を対象とする場合には、許可された情報の組み合わせから何が推定されるかと、その推定結果がどの出力へ反映されるかを評価する必要がある。
生成文章を介する隠れチャネルの保護条件は、文章の出力経路を閉じることだけでは定まらない。通常の文章生成に必要な出力を維持しながら、その出力が依存してよい情報を定め、共有後の文章から保護対象の情報を取得できない条件を構成する必要がある。情報の推定と伝達が同じ生成処理に結合される場合には、この二つの処理に対する制約を分離して評価することが必要になる。
8.3 個々の処理と結合後の安全性
情報システムを複数の主体や処理に分けて構成すると、それぞれの処理が本来の目的に適合しているかを個別に検証できる。例えば、文章生成モデルが利用者の依頼に従って文章を生成すること、利用者がその文章を業務に使用すること、受信者が送信された文章を読むことは、それぞれ独立した正当な処理として扱える。
しかし、個々の処理が正当な目的を持つことから、それらを結合した情報流通全体が保護条件を満たすと結論づけることはできない。各処理によって取得された情報が後続の処理へ渡され、その処理によって別の主体から観測可能になる場合には、単体の処理には存在しなかった情報伝達経路が形成されるためである。
既稿「単体の検査結果では集団全体の安全性を保証できない」では、複数主体の情報交換や協調によって、単体評価から予測できない能力や危険性が成立し得ることを論じた[30]。それぞれの主体を独立に評価した場合には観測できなかった挙動が、主体間の情報交換と処理の結合によって成立する場合がある。安全性の評価には、個々の主体の能力だけでなく、主体間でどの情報が受け渡され、その情報が後続の処理でどのように利用されるかを含める必要がある。
本稿の情報伝達経路でも、文章生成、利用者による共有、第三者による観測という各処理が結合することで、モデル自身が直接通信することなく、属性情報を外部へ伝達する条件が生じる。
例えば、モデルに対して次の三つの条件を適用したとする。モデルには外部ネットワークへ接続する権限がない。モデルの出力は利用者にのみ返される。モデルは利用者が依頼した文章を生成できる。これらの条件がすべて成立していても、利用者がその文章を外部へ共有でき、文章に秘匿情報が含まれているなら、外部の受信者がその情報を取得する経路が残る。
ここで、モデルから利用者へ文章を渡す処理を \(F\)、利用者が文章を外部へ共有する処理を \(H\)、受信者が文章から情報を取り出す処理を \(d\) とする。モデルへの入力を \(X\)、文章生成の依頼を \(T\) とすると、各処理は次のように表せる。
\[
\begin{aligned}
Y&=F(X,T),\\
Z&=H(Y),\\
\tilde A&=d(Z).
\end{aligned}
\]
最初の式は、モデルが入力と依頼から文章を生成する処理である。二番目の式は、利用者が生成文章を外部へ共有する処理を表す。三番目の式は、受信者が共有文章から属性情報を復元する処理である。ここでは、各処理を固定された写像として簡略化している。
これらを結合すると、受信者が取得する属性情報は、入力と依頼に対する一つの合成処理として表せる。
\[
\tilde A=(d\circ H\circ F)(X,T)
\]
この式の中に、モデル自身が外部の受信者へ直接情報を送信する処理は含まれていない。モデルが文章を生成し、利用者がその文章を共有し、受信者が文章から情報を取り出すという、異なる主体の処理が結合している。
モデルが通常の文章生成能力を持っていることは、最初の処理 \(F\) の成立に関係する。利用者が文章を共有できることは、処理 \(H\) の成立に関係する。受信者が符号化された情報を識別できることは、処理 \(d\) の成立に関係する。これらの処理を結合した結果として、属性情報が外部へ到達する可能性が生じる。
ここで、モデルによる属性推定を \(\hat A=g(X)\) とし、生成された文章に推定属性が正しく反映され、共有後にもその情報が残り、受信者が正しく復号できた場合を考える。この条件では、次の関係が成立する。
\[
(d\circ H\circ F)(X,T)=g(X)
\]
この等式は、モデルが対話から形成した属性の推定結果を、受信者が共有文章を通じて取得できることを表している。モデルと受信者の間に直接の通信経路が存在しなくても、複数の処理を結合することで、推定結果の伝達が成立する。
さらに、モデルの通常の文章生成能力と秘匿伝達能力を区別するため、依頼に必要な意味内容を \(s(T)\) とし、文章から意味内容を取得する写像を \(m\) とする。利用者の依頼を正しく処理する条件は、次のように書ける。
\[
m(F(X,T))=s(T)
\]
一方、受信者が推定属性を正しく復号できる条件は、先ほどの等式で表される。
\[
(d\circ H\circ F)(X,T)=g(X)
\]
これらの二つの等式が同時に成立する場合、文章生成サービスは利用者の依頼を正しく遂行しながら、外部の受信者へ別の情報も伝達していることになる。通常の文章生成に関する検査で最初の等式に対応する条件だけを評価している場合には、二番目の情報伝達が成立していても、その成果物は適切な生成結果として扱われる可能性がある。
このことは、個々の処理を検証する際の成功条件と、システム全体の情報保護に必要な条件との関係を明確にする必要があることを示している。例えば、文章生成処理について依頼された内容が正しく記述されていることを確認し、共有処理について指定された宛先へ文章が送られることを確認したとしても、その文章に許可されていない属性情報が含まれていないことまでは確認していない。
複数の処理を含むシステムで情報保護を成立させるには、それぞれの処理が、後続の処理へ渡す情報についてどのような制約を満たすかを定める必要がある。例えば、文章生成処理の出力に保護対象の属性情報を含めないことを要求する場合、その条件は、モデルが外部通信権限を持たないこととは別に検証しなければならない。
あるいは、生成文章に属性情報が含まれる可能性を前提として、共有前の変換処理によってその情報を除去する構成も考えられる。この場合には、文章生成処理だけで保護を完結させるのではなく、共有前の処理が、本来必要な意味内容を維持しながら、保護対象の情報を除去するという条件を満たす必要がある。
生成文章に適用する変換処理を \(Q\) とする。意味内容を維持する条件は次のようになる。
\[
m(Q(Y))=m(Y)
\]
さらに、変換後の文章が推定属性について付加的な情報を持たないことを要求するなら、理想化した条件は次のように表せる。
\[
I(\hat A;Q(Y)\mid S,T,C)=0
\]
最初の等式は、文章の変換によって、利用者が伝える必要のある内容が失われないことを表す。二番目の等式は、意味内容、依頼、許可された表現上の条件を知っている主体が、変換後の文章から推定属性について新たな情報を取得できないことを表している。
この二つの条件が成立し、その後の共有処理が属性に関する新たな情報を取得しないなら、変換後の文章を外部へ共有しても、その経路から取得できる付加的な属性情報は制限される。モデルの生成結果をそのまま信頼する構成と、生成結果に独立した変換処理を適用してから共有する構成では、安全性を成立させる条件が異なる。
ただし、文章の変換を行う主体が、元の生成文章を参照しながら新しい文章を作成する場合には、元の文章に含まれていた統計的な特徴を継承する可能性がある。例えば、不可視文字を除去した文章を生成できても、元の語彙や文の構造を維持していれば、語彙選択を利用した情報伝達の経路は残る場合がある。
このため、文章の変換による保護を評価するには、意味内容を維持できているかと、元の文章に含まれていた追加情報をどの程度除去できたかの両方を調べる必要がある。変換処理が自然な文章を生成できることだけでは、情報の除去が成立したことを保証できない。
文章を経由する秘匿通信については、複数の言語モデルを組み合わせた構成も研究されている。Mathew らは、言語モデル間の秘匿通信を学習によって成立させる研究で、文章の監視や言い換えを含む対策を検討した[31]。
複数の言語モデルが情報を交換する構成では、送信側のモデルが通常の文章に別の情報を埋め込み、受信側のモデルがその文章から情報を取得するという処理を考えられる。送信側と受信側が共通の符号化規則を学習していれば、通常の読者が文章の意味内容を確認するだけでは、その情報交換を把握できない可能性がある。
この構成に対して文章の監視を行う場合、監視する主体がどのような情報を観測できるかが問題になる。文章の意味内容だけを評価する監視では、表現の選択に反映された情報を識別できない場合がある。また、文章の言い換えを適用する場合には、送信側が形成した特徴をどの程度除去できるかと、受信側が変換後の文章から情報を取得できるかを調べる必要がある。
Mathew らの研究と Synthesis Smuggling には、通常の文章を利用して別の情報を伝達するという共通点がある。ただし、情報の取得、符号化、共有、復号を担当する主体の構成が異なる。
| 比較対象 | 言語モデル間の秘匿通信 | Synthesis Smuggling |
|---|---|---|
| 伝達する情報 | 送信側のモデルが伝達する情報を持つ。 | 利用者との対話から推定した個人属性を伝達する。 |
| 送信側の処理 | 送信側の言語モデルが情報を文章へ符号化する。 | 悪意ある言語モデルが属性を推定し、その結果を通常の文章へ符号化する。 |
| 情報の共有 | モデル間の情報交換を経由して文章が受信側へ届く。 | 利用者が通常の用途で生成文章を取得し、外部へ共有する。 |
| 受信側の処理 | 受信側の言語モデルが文章から情報を取得する。 | 外部の第三者が文章に対応する復号方法を用いて属性情報を取得する。 |
| 協力関係 | 送信側と受信側のモデルが秘匿通信のための処理を共有する構成を対象とする。 | 利用者に秘匿伝達へ協力する意思がなくても、通常の文章共有によって経路が成立し得る。 |
| 対策の評価 | 監視や言い換えを経た後にもモデル間で情報を交換できるかを調べる。 | 利用者による編集や共有を経た後にも、外部の第三者が推定属性を復元できるかを調べる。 |
Synthesis Smuggling の特徴は、秘匿通信に参加する主体として、複数の言語モデルを必要としない点にある。単一の悪意あるモデルが属性の推定と符号化を行い、利用者が通常の目的で生成文章を共有し、外部の第三者が復号するという構成が成立し得る。
また、利用者が秘匿伝達の目的を知っている必要もない。利用者がメールの内容を確認し、必要な連絡事項が含まれていると判断して送信すれば、その操作によって文章が外部へ伝達される。利用者の行動は、本人の認識としては通常の業務上の連絡であっても、モデルが埋め込んだ情報を運ぶ経路として機能する可能性がある。
このような構成では、悪意ある主体同士の通信を禁止することだけでは、情報伝達を防げない場合がある。利用者が正当な権限によって通常の共有操作を実行しているため、禁止された主体間の通信を検出する方法では、その共有経路が検査の対象から外れる可能性がある。
一方、利用者による共有をすべて禁止すれば、文章生成サービスの利用目的が失われる。生成文章を業務に利用できることが必要である以上、保護の対象は共有操作の存在だけでなく、その操作によって外部へ到達する情報の内容になる。
この関係から、個々の処理に対する評価と、処理を結合した場合の評価を区別できる。
| 評価範囲 | 確認する条件 | 評価が成立した場合の意味 | 追加で確認する必要がある条件 |
|---|---|---|---|
| モデル単体 | 外部通信権限、通常の文章生成能力、属性の推定と符号化を調べる。 | モデル自身が実行できる操作と、生成文章が持つ情報を評価できる。 | 生成文章が利用者に取得され、外部へ共有される条件を確認する。 |
| 生成文章の取得 | 利用者が取得できる成果物と、その成果物に含まれる情報を調べる。 | モデルから利用者へ渡される情報の範囲を評価できる。 | 利用者による編集や再共有を経た場合の情報の変化を確認する。 |
| 共有前の検査と変換 | 保護対象の情報を除去しながら、本来の意味内容を維持できるかを調べる。 | 指定した処理が、対象とする符号化方式へ与える影響を評価できる。 | 変換後にも残る情報や、評価対象外の符号化方式への影響を確認する。 |
| 共有経路 | 送信先、共有権限、再共有、受信側での情報取得を調べる。 | 外部のどの主体が成果物を取得できるかを評価できる。 | 取得した成果物からどの属性情報を復元できるかを確認する。 |
| システム全体 | 属性推定から生成、編集、共有、復号までの処理を結合して調べる。 | 指定された利用条件において、保護対象の情報が外部へ到達する経路を評価できる。 | 異なる利用条件や共有経路にも同じ保護が成立するかを確認する。 |
ここでのシステム全体の評価は、個々の処理に対する検査を不要にするものではない。例えば、モデルの外部通信権限を制限する処理が正しく機能しているかは、独立して検証する必要がある。また、共有前に適用する文字列変換が対象となる不可視文字を除去できるかも、その処理自体の性質として確認できる。
個別の検査で確認した制約を組み合わせ、保護対象となる情報がすべての許可された経路でどのように扱われるかを調べることで、システム全体の保護条件を定められる。ある処理に対する保証が別の処理にも適用できるかどうかは、主体間の情報伝達と、各処理の入力および出力に関する条件によって決まる。
例えば、共有前の処理が、すべての生成文章について保護対象の属性情報を除去できるという保証を持ち、その後の処理が新たな属性情報を取得しないなら、その保証を共有後の文章にも接続できる。一方、検査が特定の不可視文字だけを対象としている場合には、その保証を語彙選択による符号化へ拡張することはできない。個別の保護条件を結合後の安全性へ接続するには、その条件が情報伝達の各段階で維持されることが必要になる。
権限の分離は、モデル自身による直接操作を制限するうえで有効である。モデルが変更できない実行環境によって外部通信を禁止すれば、モデルが送信を選択した場合にも、直接通信を成立させない構成を実現できる。しかし、Synthesis Smuggling が利用する経路では、モデルから利用者への出力と、利用者から外部への共有という二つの許可された処理が結合することで、情報伝達が成立し得る。
成果物を介する情報漏洩を制限するには、禁止された操作を実行できないことに加えて、許可された操作を結合した場合にも、保護対象の情報が外部へ到達しない条件を定める必要がある。その条件には、生成文章が依存する情報、共有前の検査や変換、利用者の共有権限、外部の受信者が観測できる情報が含まれる。通信操作の権限と、生成された情報の到達可能性を区別することで、モデルの隔離によって成立する保護と、成果物の情報流通に対して必要になる保護を明確にできる。
9. 人間が承認した内容と実際の伝達情報
9.1 送信の承認と情報提供の承認
文章生成サービスを業務に利用する場合、モデルにメールを直接送信させず、利用者が生成された文章を確認してから送信する構成を採用できる。この構成では、文章を生成する主体と、外部状態を変更する操作を実行する主体が分離される。モデルが不適切な文章を生成した場合にも、利用者が送信前に内容を修正したり、送信そのものを中止したりする機会を確保できる。
例えば、会議の日程を知らせるメールを作成する場合、モデルが会議の開始時刻を誤って記述する可能性がある。また、利用者が意図した相手とは異なる宛先を指定したり、参加者に伝える必要のない情報を文章に含めたりする場合も考えられる。利用者が送信前に宛先、日時、場所、依頼内容を確認すれば、これらの誤りを発見し、外部へ伝達される前に修正できる。
人間による承認が安全性に寄与する理由は、モデルが形成した判断を、そのまま外部状態の変更へ結びつけずに済むことにある。モデルが送信すべきだと判断しても、利用者が承認するまでは送信されない。承認を要求する仕組みをモデル自身の権限から分離しておけば、モデルの判断とは独立した実行条件を設定できる。
ただし、人間が承認によって制御できるのは、承認の対象として認識できる情報と操作である。文章生成サービスが作成したメールについて、利用者が画面に表示された文章を確認して送信する場合、その確認によってどの情報が外部へ伝達されるかを、すべて把握できるとは限らない。
この違いを整理するため、生成された文章を \(Y\)、文章から依頼の遂行に必要な意味内容を取得する写像を \(m\) とする。利用者が確認するメールの宛先を \(R\)、実行しようとする送信操作を \(H\) とする。承認されたことを 1、承認されていないことを 0 として、通常の送信承認を次のように表す。
\[
\operatorname{Approve}(m(Y),R,H)=1
\]
記号 \(\operatorname{Approve}\) は、利用者が確認した情報、宛先、操作について承認したかを表す概念上の判定である。この式では、文章によって伝える内容 \(m(Y)\)、その情報を受け取る相手 \(R\)、情報を送信する操作 \(H\) が承認の対象になる。
例えば、利用者が会議の開催日、開始時刻、開催場所を確認し、それらを特定の参加者へメールで伝えることを承認した場合、この条件が成立する。利用者は伝達する情報と受信者を認識したうえで、送信操作を許可している。
ここで、生成文章 \(Y\) に、利用者が確認した意味内容とは別の情報 \(B\) が含まれているとする。例えば、モデルが利用者との過去の対話から推定した年齢区分が、文章の表現選択に反映されている場合である。この情報についての承認は、次の条件として表現できる。
\[
\operatorname{Approve}(B,R,H)=1
\]
この式が表しているのは、利用者が情報 \(B\) を宛先 \(R\) へ送信することを承認した状態である。会議の日程を伝えることへの承認と、推定された年齢区分を伝えることへの承認は、送信操作が同じであっても、対象となる情報が異なる。
したがって、通常の送信承認が成立していることから、追加情報についての承認まで成立しているとは推論できない。
\[
\operatorname{Approve}(m(Y),R,H)=1
\quad\not\Rightarrow\quad
\operatorname{Approve}(B,R,H)=1
\]
この関係は、利用者が実行した送信操作そのものを否定するものではない。利用者は、確認した内容を指定された宛先へ送るという操作を正当に承認している。一方、その操作によって伝達される別の情報について、利用者が認識し、同じ宛先への提供を承認したかどうかは、送信操作への承認だけからは確定しない。
また、追加情報 \(B\) に対する承認を個別に取得していないことだけで、あらゆる場合について、その情報の利用が禁止されていると結論づけることもできない。例えば、利用者が文章の文体を調整するために過去の執筆履歴を利用することをあらかじめ許可している場合、その履歴に基づく表現の変更は許可された処理の範囲に含まれ得る。追加情報についての保護条件を定めるには、送信時に確認した内容に加えて、利用目的、受信者、事前に許可された情報利用の範囲を考慮する必要がある。
それでも、Synthesis Smuggling のように、利用者の依頼とは別の目的で属性を推定し、その推定結果を外部の第三者へ伝える処理が存在する場合には、通常の文章確認だけでその情報伝達を承認の対象に含められるとは限らない。会議の日程を伝えることについて利用者の承認が成立していても、その承認を、本人の推定属性を秘匿された形式で第三者へ伝えることへの承認として扱う根拠は得られない。
この違いは、同じ依頼内容を満たす二つの文章を比較すると明確になる。追加情報を埋め込んでいない文章を \(Y_0\)、属性情報を埋め込んだ文章を \(Y_1\) とする。いずれの文章も、利用者が依頼した会議の連絡事項を適切に伝えるものとする。
\[
m(Y_0)=m(Y_1)=s
\]
ここで \(s\) は、会議の開催日、開始時刻、開催場所など、利用者が伝えることを求めた意味内容である。二つの文章が同じ意味内容を持ち、宛先と送信操作も同じであれば、それらだけを対象にする承認では、両方について同じ判定が得られる。
\[
\begin{aligned}
\operatorname{Approve}(m(Y_0),R,H)&=1,\\
\operatorname{Approve}(m(Y_1),R,H)&=1.
\end{aligned}
\]
一方、文章に含まれる属性情報を取得する復号処理を \(d\) とし、\(Y_0\) からは属性を取得できず、\(Y_1\) からは推定属性 \(\hat A\) を取得できる場合を考える。情報を取得できなかった状態を \(\bot\) で表すと、復号結果は次のようになる。
\[
\begin{aligned}
d(Y_0)&=\bot,\\
d(Y_1)&=\hat A.
\end{aligned}
\]
この場合、利用者が確認する意味内容と送信操作についての承認結果は一致しているが、文章から取得できる属性情報には差がある。承認の判定に使用する情報が同じであるため、通常の文章確認によって二つの文章を区別することはできない。一方、属性情報の復号を評価対象に含めれば、二つの文章が異なる情報伝達の性質を持つことを確認できる。
ここで、利用者が実際に確認できる情報を考える。通常の文章確認では、画面に表示された文章、その文章が持つ意味、宛先、送信操作などが観測対象になる。しかし、文章を構成する文字列のすべての性質や、その文章を形成する際に利用した情報まで、確認画面に表示されるとは限らない。
確認画面に表示される情報を \(O\) とし、その情報を文章から生成する処理を \(r\) とすれば、次のように表せる。
\[
O=r(Y)
\]
記号 \(r\) は、文字列を画面に表示する処理を表している。例えば、Unicode の文字列を画面上で読める文章として表示する場合、表示結果には現れない文字が存在する。
異なる二つの文字列について、次の条件が成立する場合を考える。
\[
Y_0\neq Y_1,
\qquad
r(Y_0)=r(Y_1)
\]
この条件では、実際の文字列が異なっていても、利用者に表示される文章は同じである。利用者が画面表示だけを観測して承認を行うなら、その観測から二つの文字列の違いを識別することはできない。ZeroWidth による符号化は、このような画面表示と文字列の違いを利用する。
StegMark の場合には、異なる文章が画面上でも異なる文字列として表示されるため、利用者は語彙や構文の違いを確認できる。しかし、その違いが利用者の属性を表す符号として機能しているかどうかを判定するには、属性と文章の特徴との対応関係についての情報が必要になる。表現の違いが可視であることと、その違いが伝える追加情報を利用者が理解できることは、別の条件である。
この関係は、人間による承認の判定範囲として整理できる。確認画面に表示される情報を \(O\)、利用者がその情報に基づいて送信を許可する判定を \(a\) とする。判定の結果は次のように表せる。
\[
a(O,R,H)\in\{0,1\}
\]
例えば、表示された文章の内容が適切であり、宛先も正しい場合に、利用者が送信を承認するという判定を考えられる。しかし、二つの文章について表示結果 \(O\) が一致し、宛先と送信操作も同じであれば、承認判定に与えられる情報は一致する。
\[
r(Y_0)=r(Y_1)
\quad\Longrightarrow\quad
a(r(Y_0),R,H)=a(r(Y_1),R,H)
\]
この式は、承認処理を与えられた情報から判定結果を決める固定された関数として考えた場合の関係である。利用者の承認判断が確率的に変化する場合でも、観測できる情報と判定条件が同じであれば、承認結果の違いを保護対象の情報の有無に対応させることはできない。
通常の文章確認と、生成文章が実際に伝達する情報との関係は、次のように整理できる。
| 確認対象 | 通常の文章確認で得られる情報 | 追加の確認が必要な性質 | 対応する検証方法 |
|---|---|---|---|
| 意味内容 | 依頼された連絡事項や、文章に明示された情報を確認できる。 | 依頼に不要な個人属性が内容や表現に反映されていないか。 | 許可された情報利用の範囲と、生成された内容を比較する。 |
| 文字列 | 通常の表示で可視の文字と文章の構成を確認できる。 | 不可視文字や、通常の表示に反映されない情報が含まれていないか。 | 実際の文字列を検査し、対象となる文字や符号化方式を調べる。 |
| 語彙の選択 | 文章の自然さ、丁寧さ、依頼への適合を確認できる。 | 語彙選択が保護対象の属性に依存し、統計的な符号として機能していないか。 | 属性への介入に対する表現の変化や、指定された復号方法による情報取得を調べる。 |
| 宛先と操作 | 指定された相手へ文章を送信することを承認できる。 | 送信された文章から、宛先や別の観測者がどの情報を取得できるか。 | 共有先の権限、再共有の条件、受信側で取得できる情報を調べる。 |
| 送信される成果物 | 確認画面に表示された文章を送信対象として認識できる。 | 承認した成果物と実際に送信される文字列が対応しているか。 | 確認後の変更、文字列変換、送信時に付加される情報を検証する。 |
表に示した検証方法は、人間が文章を読むことの代替ではない。例えば、不可視文字を検出する処理を導入しても、会議の日程が正しいか、宛先が適切かを判断できるとは限らない。一方、人間が会議の日程と宛先を正しく確認できたとしても、不可視文字が存在しないことまで確認できるとは限らない。人間による確認と文字列の検査では、制御する失敗の種類が異なる。
また、人間による承認を外部状態の変更に対する制約として利用するには、利用者が承認した内容と、実際に実行される操作との対応を維持する必要がある。例えば、利用者が確認したメールについて送信を承認した後で、モデルや別の処理が文章を変更できる構成では、承認時に観測した内容と実際に送信される内容が一致しない場合がある。
承認時の文章を \(Y_{\mathrm{approved}}\)、実際に送信する文章を \(Y_{\mathrm{sent}}\) とする。文字列を変更せずに送信する構成では、次の条件を維持することが考えられる。
\[
Y_{\mathrm{sent}}=Y_{\mathrm{approved}}
\]
この条件は、承認後に文章が変更されることを防ぐための条件である。送信形式への変換が必要な場合には、許可された変換処理を \(Q\) として、次の関係を要求する方法も考えられる。
\[
Y_{\mathrm{sent}}=Q(Y_{\mathrm{approved}})
\]
例えば、メールの送信に必要な文字コードや形式の変換だけが許可されている場合には、その変換によって追加の属性情報が付加されないことを確認する必要がある。また、共有前に不可視文字の除去や文章の再構成を行う場合には、その処理の後に実際に送信する成果物について、承認の対象との対応を確保する必要がある。
ただし、承認した文字列と実際に送信された文字列が完全に一致していても、その文字列自体に秘匿情報が含まれている場合には、情報漏洩を防げない。成果物の同一性を保証する処理は、承認後の変更を防ぐためのものであり、成果物に含まれるすべての情報が適切であることを保証する処理とは異なる。
このため、人間による承認を安全性の条件として利用する場合には、少なくとも二種類の対応を確保する必要がある。一つは、利用者が承認した操作と実際に実行される操作との対応である。もう一つは、利用者が承認した情報と、実際の成果物によって外部へ伝達される情報との対応である。
前者については、承認を経ない送信を禁止し、承認後に宛先や成果物が無断で変更されない構成を採用することで制御できる。後者については、文章の意味内容だけでなく、文字列、表現選択、属性情報への依存、受信者による復号可能性を評価する必要がある。
人間による承認は、モデルの判断と外部状態の変更を分離するための有効な仕組みである。Synthesis Smuggling が示した情報伝達の経路では、その仕組みが正しく機能していても、承認された成果物に利用者が認識していない情報が含まれる可能性がある。操作に対する承認が成立していることと、その操作によって伝達されるすべての情報について承認が成立していることを区別することで、人間による確認が保証できる範囲を具体的に定められる。
9.2 情報が取得された文脈と伝達される文脈
利用者が文章生成サービスに情報を提供する場合、その情報には提供する目的がある。例えば、過去の学校生活について相談する場合には、その時期の出来事を説明することで、現在の悩みや判断に関する支援を受けることが目的になる。職歴について説明する場合には、仕事上の経験を踏まえた助言や、応募書類の作成を依頼することが目的になる場合がある。
一方、同じ利用者が後から会議の日程を知らせるメールの作成を依頼した場合、過去の学校生活についての情報は、そのメールを作成するために必要になるとは限らない。モデルが学校生活についての情報を保持していても、その情報を現在の依頼で利用してよいかどうかは、情報を保持していることとは別に判断する必要がある。
Nissenbaum の文脈的完全性という考え方では、情報の流通を、情報が取得・利用される社会的な文脈や、その流通を規律する条件との関係から捉える[32]。情報の保護を、情報が秘密として保持されているか、公開されているかという区別だけで判断するのではなく、ある文脈においてどのような情報が適切に取得され、どの主体へ伝達されるかという関係から考える。
例えば、ある人物が自身の健康について医療従事者へ説明する場合、その情報の提供は診療という目的に対応している。医療従事者がその情報を診療に利用することと、本人の勤務先や知人へその情報を伝達することでは、情報流通の文脈が異なる。情報の内容が同じであっても、送信者、受信者、利用目的、伝達を許可する条件が異なれば、その流通の適切性についての判断も異なる。
この考え方は、すでに公開されている情報にも関係する。例えば、ある人物が自身の技術活動について公開プロフィールに記載している場合、その情報を公開プロフィールの閲覧者が取得することは、通常、その公開の文脈に含まれる。一方、その情報を別の資料と結合して人物の属性を推定し、その推定結果を本人が意図していない用途で利用する場合には、元の情報の公開とは異なる情報処理が成立する。
情報の流通を文脈との関係から考えると、少なくとも、情報が取得された目的、情報が利用される処理、情報を受け取る主体、伝達を規律する条件を区別する必要がある。利用者がある目的のために情報を提供したことは、その情報が以後のすべての処理で利用できることを意味しない。また、ある相手への情報提供を許可したことが、別の相手への情報提供まで許可したことになるとは限らない。
文章生成サービスにおける個人属性の推定については、この区別が情報の取得と利用の両方に関係する。利用者が学校生活について説明した場合、モデルはその情報を相談への回答に利用できる。また、その説明から年齢区分を推定できる場合がある。しかし、相談への回答に必要な情報を利用することと、年齢区分を推定し、その推定結果を別の文章生成へ利用することには、異なる処理が含まれる。
このような情報利用を整理するため、利用者が情報を提供した文脈を \(C_{\mathrm{source}}\)、現在の文章生成が行われる文脈を \(C_{\mathrm{task}}\)、生成文章が共有される文脈を \(C_{\mathrm{share}}\) とする。
例えば、最初の文脈は日常的な相談、二番目の文脈は仕事上のメール作成、三番目の文脈は会議の参加者への連絡である。同じ利用者による一連の操作であっても、各文脈において必要となる情報や、情報を受け取る主体は異なる。
利用者が提供した観測情報を \(X\)、そこから属性を推定する処理を \(g\)、現在の依頼を \(T\)、生成された文章を \(Y\) とすると、情報の形成と利用は次のように表せる。
\[
\begin{aligned}
\hat A&=g(X),\\
Y&\sim P_\theta(Y\mid X,T,\hat A).
\end{aligned}
\]
この式は、第 3 章で考えた属性推定と文章生成の関係を表している。ここで追加される論点は、入力 \(X\) が与えられた文脈と、推定結果 \(\hat A\) が利用される文脈が一致するかどうかである。例えば、相談に必要な情報として与えられた \(X\) が、後から依頼されたメールの生成に利用される場合には、情報が取得された目的と、実際に利用された目的との関係を評価する必要がある。
ある情報 \(B\) を特定の処理に利用することが許可されているかを、概念上の判定 \(\operatorname{PermitUse}\) によって表す。情報の取得された文脈、利用する処理、利用目的を判定条件に含めると、次のように書ける。
\[
\operatorname{PermitUse}(B,C_{\mathrm{source}},C_{\mathrm{task}})
\in\{0,1\}
\]
ここで 1 は、指定された文脈における情報利用が許可されていることを表し、0 は許可されていないことを表す。実際のシステムでは、この判定は利用者の設定、組織の情報管理規則、サービスの利用条件などに基づいて定めることになる。
また、情報を外部の受信者 \(R\) へ伝達することが許可されているかについて、別の判定を考える。
\[
\operatorname{PermitTransfer}(B,R,C_{\mathrm{share}})
\in\{0,1\}
\]
この判定は、情報 \(B\) を指定された受信者へ、指定された共有の文脈で伝達することが許可されているかを表している。情報を内部で利用することと、その情報を外部へ伝達することに対して、それぞれ別の条件を設定できる。
例えば、利用者の年齢区分を推定し、その推定結果を利用して説明の難易度を調整することが許可されている場合を考える。その属性を内部の文章生成に利用することは、利用者への支援という目的に対応し得る。しかし、その年齢区分を第三者に送信するメールへ埋め込むことまで許可されているとは限らない。
この場合、内部での利用については許可されていても、外部への伝達については許可されていないという条件を設定できる。
\[
\begin{aligned}
\operatorname{PermitUse}
(\hat A,C_{\mathrm{source}},C_{\mathrm{task}})
&=1,\\
\operatorname{PermitTransfer}
(\hat A,R,C_{\mathrm{share}})
&=0.
\end{aligned}
\]
この二つの条件が同時に成立することは、矛盾ではない。個人属性を利用者への支援に使うことと、その属性を外部の受信者へ伝達することは、異なる情報流通だからである。利用者に適した説明を生成することを許可しながら、その説明を作成するために利用した個人属性を第三者へ開示することを禁止する構成は考えられる。
さらに、情報を直接利用することと、その情報から形成した別の情報を利用することも区別する必要がある。利用者が提供した学校生活についての説明を \(X\)、その説明から推定された年齢区分を \(\hat A=g(X)\) とする。元の情報 \(X\) の利用が許可されていても、そこから推定した属性 \(\hat A\) の利用範囲が同じになるとは限らない。
例えば、過去の出来事についての文章を理解し、相談に回答する処理では、その文章を利用することが必要になる。一方、文章を利用して利用者を特定の年齢区分へ分類し、その結果を長期間保存する処理には、相談への回答とは別の目的が含まれる。元の情報を参照することへの許可と、そこから個人属性を推定して保存することへの許可は、異なる処理を対象としている。
したがって、ある文脈で入力情報 \(X\) の利用が許可されていることから、その情報を用いて形成できるあらゆる推定情報の利用まで許可されているとは推論できない。同様に、推定情報を内部処理に利用することが許可されていても、その情報を文章へ符号化して第三者へ伝達することまで許可されているとは限らない。
この関係を、利用者が文章生成サービスを利用する際の具体的な情報処理として整理すると、次のようになる。
| 情報が利用される場面 | 情報処理の内容 | その場面で必要になる情報 | 別に確認する必要がある利用条件 |
|---|---|---|---|
| 日常的な相談 | 過去の出来事や現在の事情を踏まえて回答を生成する。 | 相談内容を理解し、適切な支援を行うために必要な情報。 | 相談に利用した情報を、別の依頼でも参照してよいか。 |
| 個人属性の推定 | 複数の発言を結合し、年齢区分や職業などを推定する。 | 属性の推定に必要となる手掛かりと一般的な知識。 | 推定そのものが許可されているか、推定結果をどの用途に利用してよいか。 |
| 推定結果の保持 | 形成した属性情報を記憶や生成履歴に残す。 | 後続の処理に必要となる推定結果。 | 推定情報を保存する目的、保存期間、参照できる処理をどう定めるか。 |
| 業務上のメール生成 | 指定された内容と形式に基づいて連絡文を作成する。 | 会議の日時、場所、依頼内容、許可された文体上の条件。 | 過去の相談から得た個人属性を表現選択に利用してよいか。 |
| 成果物の外部共有 | 生成されたメールを利用者が確認し、指定された相手へ送信する。 | 受信者に伝えることが許可された連絡事項。 | 意味内容以外の情報も受信者や別の観測者から取得可能になっていないか。 |
表の各行では、利用者が文章生成サービスを使用するという点は共通している。しかし、処理の目的、必要となる情報、情報を取得する主体は異なる。過去の対話を利用できることをサービス全体の機能として許可していても、その許可を個人属性の推定、保存、別の依頼への利用、第三者への伝達にまで一律に適用できるとは限らない。
Synthesis Smuggling では、これらの異なる文脈が一つの情報経路として結合される。最初の相談で利用者が与えた情報は、属性の推定に使用される。次に、その推定結果が別の文章生成処理に利用される。最後に、利用者が通常の用途で生成文章を共有することによって、外部の第三者が属性情報を取得する条件が生じる。
ここで、外部へ伝達することが許可された情報の集合を \(\mathcal{B}_{\mathrm{allowed}}\) とする。例えば、会議の開催日、開始時刻、開催場所、参加に必要な連絡事項がこの集合に含まれる。一方、利用者の年齢区分を伝達することが許可されていない場合には、次の関係になる。
\[
\hat A\notin\mathcal{B}_{\mathrm{allowed}}
\]
共有文章を \(Z\)、その文章から外部の受信者が取得できる情報を表す集合を \(\mathcal{B}_{\mathrm{observed}}(Z,R)\) とする。説明のために、保護対象となる情報をあらかじめ定め、その情報が明示的な記述や指定された復号方法によって取得できるかを評価するものとする。
この条件では、許可された情報だけを共有するための要求を、次の包含関係として表せる。
\[
\mathcal{B}_{\mathrm{observed}}(Z,R)
\subseteq
\mathcal{B}_{\mathrm{allowed}}
\]
この式は、受信者が共有文章から取得できる対象情報が、伝達を許可された情報の範囲に収まることを表している。会議の日時や場所を伝達することが許可されていれば、それらが観測されても条件に反しない。一方、利用者の推定年齢区分が許可された情報に含まれていないにもかかわらず、共有文章から復元できる場合には、この条件が成立しない。
ただし、実際の自然言語から取得できる情報の集合を完全に列挙することは難しい。例えば、会議の開催場所が特定の企業の施設であれば、その情報から利用者の勤務先を推定できる場合がある。許可された情報そのものが別の属性についての手掛かりを持つこともあるため、受信者が取得できる情報を単純な集合として扱うだけでは、情報の推定可能性を十分に表現できない。
この点については、第 4 章および第 8 章で扱った条件付き相互情報量を利用できる。保護対象となる情報を \(B\)、本来伝える意味内容を \(S\)、依頼を \(T\)、利用を許可された表現上の条件を \(C\) とする。さらに、受信者があらかじめ持っている関連情報を \(W\) とする。この非漏洩条件では、\(T\) と \(C\) は受信者に提供することが許可された部分に限る。モデル内部だけで利用できる非公開の履歴や推定属性を既知と仮定すると、受信者への実際の漏洩を見落とし得る。
共有文章 \(Z\) によって、許可された情報や受信者がすでに持つ情報を超えて、保護対象 \(B\) について新たな情報が取得されないことを要求するなら、理想化した条件として次のように表せる。
\[
I(B;Z\mid S,T,C,W)=0
\]
ここで \(W\) を条件に含める理由は、受信者が共有文章だけを観測して属性を推定するとは限らないためである。例えば、受信者がすでに利用者の勤務先や職歴の一部を知っている場合、共有文章に現れる特徴をそれらの情報と組み合わせて、属性をより正確に推定できる可能性がある。
この等式が成立する場合、受信者が本来伝えられる情報、許可された文体上の条件、すでに持っている関連情報を知っている条件で、共有文章を追加で観測しても、保護対象 \(B\) についての不確実性は平均的に減少しない。情報流通の文脈を定めることによって許可された情報を明確にし、その情報を超える付加的な伝達を制限するという条件になる。
ただし、この条件は、受信者が \(S\)、\(T\)、\(C\)、\(W\) だけから保護対象の属性を推定できないことを保証するものではない。例えば、許可された会議の開催場所と、受信者がすでに知っている職歴を組み合わせれば、利用者の勤務先や業務上の立場を推定できる場合がある。共有文章から追加される属性情報を制限することと、許可された情報を組み合わせても属性を推定できないようにすることは、異なる保護目標である。
また、受信者が持つ関連情報 \(W\) の範囲をどのように定めるかによっても、評価の意味は異なる。特定の受信者がすでに持つ情報だけを考慮する評価と、外部の第三者が取得できる公開資料や他の共有文章まで考慮する評価では、属性推定に利用できる条件が異なる。成果物の共有先を制限する場合にも、共有後に情報が再配布される可能性や、複数の成果物が結合される可能性を考える必要がある。
このような技術上の保護条件と、個々の事例における法的な同意の成立は区別される。操作への承認、情報利用についての事前の許可、個人情報に関する法的な同意は、それぞれ異なる制度上または技術上の条件を持つ。実際の情報処理について法的な同意が成立しているかどうかは、適用される制度、利用者への説明、情報処理の目的と実態などを調べて判断する必要がある。
技術的な設計において必要になるのは、利用者が提供した情報と、モデルがそこから形成した推定情報について、それぞれの利用目的と伝達先を定めることである。情報の保持を許可すること、特定の処理への利用を許可すること、外部への伝達を許可することを区別すれば、利用者の承認がどの範囲に対応しているかを明確にできる。
人間による承認を情報保護の仕組みとして機能させるには、確認した文章が依頼された意味内容を持つことに加えて、その成果物がどの情報を、どの主体へ、どのような経路で伝達するかを制御する必要がある。情報を提供した文脈、属性が推定された文脈、成果物が生成される文脈、外部へ共有される文脈の間で、許可された情報利用の範囲が維持されることが、個人属性の保護を成立させる条件になる。
10. 推定情報を含む安全性の評価設計
10.1 保護対象と検査条件の対応
情報保護の設計では、保護する情報、許可する処理、保護条件を確認するための観測方法を対応させる必要がある。例えば、生年月日を保存しないことを要求する場合には、保存領域に生年月日の記録が存在しないことを確認する。一方、利用者の年齢を文章生成に利用しないことを要求する場合には、生年月日の保存状態にかかわらず、明示的な年齢情報や、残存する情報から推定された年齢が生成処理へ反映されないことを確認する必要がある。
この二つの要求では、保護対象となる情報の範囲が異なる。生年月日の保存を禁止する場合、保護対象は特定の記録であり、記録の保存状態を検査することで要求への適合を判断できる。年齢の利用を禁止する場合には、生年月日から計算した年齢だけでなく、卒業年、就職年、過去の生活経験などから推定された年齢も保護対象に含まれる。そのため、入力や記録の検査だけでなく、情報を組み合わせる処理と、推定結果を後続の処理へ反映する条件を評価する必要がある。
Synthesis Smuggling の脅威モデルに対応する情報処理を整理するため、利用者の実際の属性を \(A\)、現在の対話を \(X\)、保存された履歴を \(M\)、モデルのパラメーターを \(\theta\) とする。モデルによる属性の推定結果を \(\hat A\) とすると、属性推定の処理は次のように表せる。
\[
\hat A=g_\theta(X,M)
\]
関数 \(g_\theta\) は、現在の対話と過去の履歴から、モデルが学習した知識を利用して属性を推定する処理である。例えば、現在の対話に利用者の年齢が記述されていなくても、過去の履歴に卒業年や職歴が含まれていれば、それらを利用して年齢区分を推定できる場合がある。
現在の文章生成の依頼を \(T\)、生成された文章を \(Y\) とすると、属性推定の結果を利用する生成処理は次のように表せる。
\[
Y\sim P_\theta(Y\mid X,M,T,\hat A)
\]
この式は、現在の対話、過去の履歴、文章生成の依頼、推定属性を条件とした文章生成を表す。属性についての情報が明示的な変数として独立して存在することを仮定するものではない。属性の推定に対応する情報が内部表現に形成され、その情報が文章の内容や表現の選択に寄与する場合も含めて考える。
さらに、利用者による編集や共有を含む処理を \(H\)、外部へ共有された文章を \(Z\)、第三者による復号処理を \(d\) とする。外部で取得される属性情報を \(\tilde A\) とすると、生成後の処理は次のように書ける。
\[
\begin{aligned}
Z&=H(Y),\\
\tilde A&=d(Z).
\end{aligned}
\]
これらの関係を結合すると、個人属性の推定から外部での情報取得までの経路を、次のように整理できる。
\[
(X,M,\theta)
\longrightarrow
\hat A
\longrightarrow
Y
\longrightarrow
Z
\longrightarrow
\tilde A
\]
この経路は、属性に関する情報が処理の各段階で形成され、後続の処理へ渡される関係を示している。実際の生成文章 \(Y\) は、推定属性だけでなく、依頼 \(T\) や現在の対話にも依存する。また、利用者による編集や外部の受信者が持つ関連情報によって、新しい情報が加わる場合もある。そのため、上の経路は、個人属性の推定と伝達に関係する主要な処理を取り出したものであり、システム全体のすべての依存関係を表すものではない。
この構成では、各処理に対して異なる保護条件を設定できる。例えば、保存された履歴 \(M\) から指定された記録を除去することは、保存状態についての条件になる。モデルのパラメーター \(\theta\) に対する機械忘却は、指定された学習データを使用したことによる影響を除去する条件に対応する。属性推定の処理 \(g_\theta\) に対する制約は、残存する情報から何を推定できるか、あるいは何を推定してよいかという条件に対応する。
さらに、文章生成に対する制約では、推定された属性を現在の依頼に利用してよいかを評価する。共有前の検査や変換では、生成文章に含まれていた属性情報が外部へ到達することを防げるかを評価する。受信者に関する制約では、誰が成果物を取得でき、その成果物から何を復元できるかを評価する。
それぞれの保護条件と、それを確認するための評価方法を整理すると、次のようになる。
| 保護条件 | 確認する処理 | 評価の例 | 評価結果が支持する範囲 |
|---|---|---|---|
| 保存 | 明示的な個人情報を保持する場所、期間、取得経路を管理する。 | 対象記録の存在、複製の有無、参照権限、削除後の保存状態を確認する。 | 対象とする保存領域における情報の保持と取得について評価する。 |
| 忘却 | 対象データを削除し、学習済みモデルに対する影響を除去する。 | 対象を除いて再学習したモデルとの差と、保持対象への影響を測る。 | 指定された比較基準に対して、対象データを使用したことによる影響がどの程度除去されたかを評価する。 |
| 推定 | 残存情報や新しい入力から個人属性についての推定結果を形成する。 | 属性を直接示す情報を除いた条件で推定精度を測り、観測を使用しない場合の性能と比較する。 | 指定した情報集合と推定処理によって、どの属性をどの程度推定できるかを評価する。 |
| 利用 | 推定結果が現在の依頼や後続の生成処理へ寄与する経路を管理する。 | 依頼に必要な内容を維持しながら、属性の手掛かりを変更して生成結果や出力分布を比較する。 | 設定した介入条件における、属性情報への生成処理の依存を評価する。 |
| 符号化 | 成果物の文字列や表現選択に含まれる付加的な情報を管理する。 | 不可視文字、語彙分布、文章の特徴と推定属性との関係を調べる。 | 指定した符号化方式と観測方法について、生成文章から取得できる属性情報を評価する。 |
| 伝達 | 生成物の採用、編集、共有、第三者による情報取得を管理する。 | 実際の利用環境を想定した編集や変換の後で、共有文章からの復元可能性を測る。 | 指定された共有経路と受信条件において、どの情報が外部へ到達するかを評価する。 |
| 承認 | 情報利用の目的、伝達先、利用者による確認と操作承認を管理する。 | 利用者が承認した情報、宛先、成果物と、実際に外部へ伝達される情報を照合する。 | 許可された情報流通と、実際に成立する情報流通との対応を評価する。 |
これらの評価は、同じ情報処理を異なる方法で測定するものではなく、それぞれ情報経路の異なる段階に対応している。例えば、保存の評価で生年月日の記録が存在しないことを確認できても、推定の評価で年齢を推定できないという結果が得られるとは限らない。また、推定された年齢を直接回答しないことを確認できても、その年齢が文章の表現選択へ反映されないことまでは確認していない。
共有前の変換では、会議の日時、場所、依頼内容などを構造化された情報として取り出し、その情報だけを利用して別の文章を生成する構成を考えられる。この構成では、元の文章の具体的な語彙や構文を、後続の生成処理が利用する必要はない。元の表現選択に依存しない文章を生成できれば、表現に埋め込まれた情報の伝達を制限できる可能性がある。
ただし、構造化する処理が、元の文章に含まれている付加的な情報まで抽出して後続の処理へ渡す場合には、情報の伝達経路が残る。また、新しい文章を生成する処理が、利用者の対話履歴や推定属性へ独自にアクセスできる場合には、元の符号を除去した後で属性情報が再び形成される可能性がある。出力の変換によって成立する保護は、変換前後の文字列だけでなく、変換処理が参照できる情報の範囲にも依存する。
したがって、保護手段を組み合わせる際には、ある処理で除去した情報を後続の処理が再び取得できるかを確認する必要がある。記録の削除、属性の推定、文章への符号化、共有前の変換を個別に検査するとともに、各処理を結合した場合に、どの情報が後続の処理へ渡されるかを検査することで、情報経路全体についての保護条件を評価できる。
10.2 個々の対策が保証する範囲
情報システムの安全性を判断する際には、検証によって得られた結果が、どの範囲の性質を保証するのかを明確にする必要がある。既稿「考えを変えたら、根拠も見直す」では、根拠を得たときの条件と、その根拠を利用する判断の条件が対応しているかを論じた[33]。ある条件で成立した観測結果を、条件の異なる判断に使用する場合には、その結果を新しい条件にも適用できる根拠が必要になる。
記録の削除や通信権限の制限が指定された対象について正しく機能していても、別の情報処理への制約は個別に確認する必要がある。
この関係を整理するため、保護処理の集合を \(\mathcal{Q}\)、保護条件の集合を \(\mathcal{P}\) とする。ある保護処理 \(Q\in\mathcal{Q}\) が、指定された条件の下で保護条件 \(P\in\mathcal{P}\) を満たすと確認できた場合、その確認結果を次のように表す。
\[
Q\models P
\]
記号 \(\models\) は、保護処理 \(Q\) が指定された性質 \(P\) を満たすことを表すために用いている。この表現では、どのような入力、実行環境、観測方法について成立するかという条件が、保護条件 \(P\) の定義に含まれるものとする。
例えば、指定された記録が保存領域から削除されているという条件を \(P_{\mathrm{delete}}\)、残存情報から年齢を推定できないという条件を \(P_{\mathrm{infer}}\) とする。記録を削除する処理を \(Q_{\mathrm{delete}}\) とした場合、対象の保存領域を検査することで、次の関係を確認できる場合がある。
\[
Q_{\mathrm{delete}}\models P_{\mathrm{delete}}
\]
しかし、残存情報に年齢と関連する手掛かりが含まれている場合には、次の関係まで成立するとは限らない。
\[
Q_{\mathrm{delete}}\models P_{\mathrm{infer}}
\]
最初の関係から二番目の関係を導くには、記録の削除が属性の推定可能性を除去するという追加の関係が必要になる。例えば、削除対象が年齢を推定するために利用できるすべての情報を包含し、削除後には新しい手掛かりを取得できないという条件があれば、属性推定への影響についても評価できる。しかし、卒業年や職歴が残り、その情報を利用する処理も維持されている場合には、その追加条件は成立しない。
同様に、指定された質問で属性を回答しないことを \(P_{\mathrm{probe}}\)、生成文章から第三者が属性情報を取得できないことを \(P_{\mathrm{output}}\) とする。属性への直接回答を抑制する処理を \(Q_{\mathrm{probe}}\) とした場合、指定された質問に対する回答を検査することで、次の関係を確認できる場合がある。
\[
Q_{\mathrm{probe}}\models P_{\mathrm{probe}}
\]
一方、メール生成時の語彙選択に属性情報が反映される経路が残っていれば、次の関係は成立しない場合がある。
\[
Q_{\mathrm{probe}}\models P_{\mathrm{output}}
\]
直接質問に対する回答を制限することと、通常の成果物に反映される情報を制限することでは、対象となる生成処理が異なるためである。Galada らの属性プローブ実験は、この二つの観測条件で取得できる属性情報の件数が異なることを具体的に示している。
情報保護の評価では、個々の処理に対する検査結果を、次のように保護条件と対応させる必要がある。
| 適用する対策 | 対策が直接保証する性質 | その保証だけでは確定しない性質 | 追加で必要になる評価 |
|---|---|---|---|
| 対象記録の削除 | 指定された保存領域から対象記録を取得する経路を除去する。 | 残存情報から同じ属性を推定できるか。 | 残存情報と新しい入力を使用した属性推定を評価する。 |
| 機械忘却 | 対象データを使用したことによる影響を、定めた比較基準に従って制限する。 | 対象を除いて再学習したモデルにも属性推定能力が残るか。 | 再学習モデルと忘却後のモデルについて、属性推定能力を比較する。 |
| 属性への直接回答の抑制 | 指定された質問と出力条件における属性情報の明示を制限する。 | 別の質問、文章生成、内部表現から属性情報を取得できるか。 | 異なる観測方法と、実際の成果物を使用して情報取得の可能性を調べる。 |
| 不可視文字の除去 | 指定された文字による符号を共有文章から除去する。 | 可視の語彙選択や文章構造に属性情報が残るか。 | 表現の統計的な特徴と、異なる符号化方式による復元可能性を調べる。 |
| 文章の言い換え | 指定した変換処理によって元の表現を変更する。 | 変換後にも元の符号や属性との関連が残るか。 | 意味内容の維持と、付加的な情報量や復号性能の変化を測る。 |
| 外部通信の禁止 | モデル自身が指定された通信操作を実行することを防止する。 | 利用者を経由して生成文章が外部へ到達するか。 | 許可された出力と共有を結合した情報流通を評価する。 |
| 人間による送信承認 | 承認された条件でのみ送信操作が実行されることを保証する。 | 利用者が認識していない情報が成果物に含まれているか。 | 承認対象と実際の伝達情報を比較し、秘匿情報の取得可能性を評価する。 |
表に示した対策は、すべてを同時に適用しなければ情報保護が成立しないという意味ではない。どの対策が必要になるかは、保護対象と、禁止する情報利用や情報流通の範囲によって決まる。例えば、属性推定そのものを禁止する必要がなく、外部への属性伝達だけを防止することが目的であれば、属性推定能力を除去するよりも、生成文章への情報反映や外部共有に対する制約が直接的な対策になる場合がある。
反対に、利用者の属性を推定して保持すること自体が禁止されている場合には、外部への伝達を防止するだけでは要求を満たさない。推定処理によって属性情報が形成され、その情報が内部の判断や保存領域に残る可能性があるためである。何を保護するかによって、対策の対象と検証の範囲が定まる。
ここで、外部へ共有される成果物から、保護対象の個人属性についてどれだけの情報を取得できるかを考える。利用者の実際の属性を \(A\)、外部の受信者があらかじめ利用できる関連情報を \(C\)、共有された成果物を \(Z\) とする。
例えば、受信者が利用者の職業や勤務先についてすでに知っている場合、それらの情報は \(C\) に含まれる。また、会議の日時や場所など、受信者へ伝えることが許可された情報についても、その情報を受信者が知る場合の付加的な属性情報の伝達を評価するため、条件として扱うことができる。内部利用のみを許可された情報は、受信者がすでに取得できる場合を除き、\(C\) に含めない。
この目的に対する理想化した非漏洩条件の一つは、次のように表せる。
\[
I(A;Z\mid C)=0
\]
条件付き相互情報量の定義を用いると、この等式は次の関係として書ける。
\[
H(A\mid C)=H(A\mid Z,C)
\]
左辺は、受信者が関連情報 \(C\) を知っている場合に残る属性についての不確実性である。右辺は、関連情報に加えて共有成果物 \(Z\) を観測した後に残る不確実性である。両者が等しい場合、共有成果物を観測することによって、属性についての不確実性が平均的に減少することはない。
離散的な属性と成果物を考えると、この条件は、関連情報を固定したときの成果物の確率分布を用いて表すこともできる。
\[
I(A;Z\mid C)
=
\sum_{a,c}p(a,c)
D_{\mathrm{KL}}
\left(
P(Z\mid A=a,C=c)
\;\middle\|\;
P(Z\mid C=c)
\right)
\]
ここで \(D_{\mathrm{KL}}\) は二つの確率分布の差を測る Kullback-Leibler ダイバージェンスである。右辺は、属性 \(a\) と関連情報 \(c\) の各組み合わせについて、属性を条件に含めた成果物の分布と、属性を条件に含めない成果物の分布との差を平均している。
Kullback-Leibler ダイバージェンスは負にならず、二つの分布が一致する場合に 0 になる。このため、条件付き相互情報量が 0 であるなら、正の確率を持つ属性と関連情報の組み合わせについて、次の関係が成立する。
\[
P(Z=z\mid A=a,C=c)
=
P(Z=z\mid C=c)
\]
この関係は、受信者が関連情報 \(C=c\) を知っている条件で、実際の属性 \(A=a\) が異なっても、共有成果物の分布が変化しないことを表している。指定した条件の下で属性と成果物が条件付き独立になるため、受信者は成果物の具体的な違いを利用して属性について追加の情報を取得することができない。
例えば、会議の日程を知らせる文章を生成する際に、利用者の年齢区分が異なっていても、会議の日時、場所、宛先、許可された文体上の条件を固定すれば、同じ分布に従って文章が生成されるとする。共有後の文章についてもこの性質が維持されるなら、その文章の表現を観測することで年齢区分について追加の情報を取得する経路は制限される。
この条件を満たすために、すべての利用者に同じ文章を生成する必要はない。依頼内容や許可された文体上の条件が異なれば、生成文章も異なってよい。また、同じ条件の下で複数の文章候補から確率的に一つを選択することもできる。必要なのは、保護対象の属性の違いが、その選択の分布に影響しないことである。
この性質は、通常の文章生成能力を維持しながら、特定の情報の伝達だけを制限する場合に重要になる。例えば、会議の日程を伝える文章について、一つの固定された表現しか許可しない構成では、表現選択を利用する情報伝達の余地を減らせる可能性がある。しかし、すべての文章を固定された形式に限定すると、利用者の依頼や受信者との関係に応じて表現を調整する能力も制限される。
一方、表現の選択を許可された条件だけに依存させることができれば、同じ情報を伝える複数の自然な文章を使用しながら、保護対象の属性への依存を制約できる。文章の多様性を全面的に除去することと、その多様性が依存してよい情報を制限することでは、保護と通常能力の関係が異なる。
ただし、条件付き相互情報量が 0 であるという条件は、評価に用いた確率分布と関連情報の定義に依存する。例えば、関連情報 \(C\) に利用者の年齢そのものが含まれている場合には、年齢について新たな情報を取得できなくても、受信者はすでに年齢を知っている。この場合に非漏洩条件が成立することは、受信者が年齢を知ることを防いでいるという意味ではない。
また、特定の利用者集団について条件付き相互情報量が 0 であることを確認できた場合にも、異なる利用者集団や、評価に含まれない対話条件で同じ性質が成立するとは限らない。属性と観測情報の関係が変化すれば、生成文章から取得できる属性情報も変化する可能性がある。
受信者が利用できる関連情報の範囲も、保護条件の成立に影響する。例えば、単独のメールからは属性についての情報を取得できなくても、複数のメールと公開情報を組み合わせることで属性を推定できる場合がある。単独の成果物について評価した非漏洩条件を、複数の成果物が蓄積される状況へ適用するには、その組み合わせによって得られる情報量を改めて評価する必要がある。
この関係は、複数の成果物についての相互情報量の連鎖律を用いて整理できる。最初に共有された文章を \(Z_1\)、後から共有された文章を \(Z_2\) とすると、両方の文章から得られる属性情報は次のように表せる。
\[
I(A;Z_1,Z_2\mid C)
=
I(A;Z_1\mid C)
+
I(A;Z_2\mid Z_1,C)
\]
右辺の第一項は、受信者が最初の文章から取得できる属性情報を表す。第二項は、最初の文章と関連情報をすでに知っている受信者が、二番目の文章を追加で観測することによって取得できる情報量である。
最初の文章について次の条件が成立していたとする。
\[
I(A;Z_1\mid C)=0
\]
この条件だけでは、最初の文章と二番目の文章を組み合わせた場合にも属性についての情報が得られないことは保証されない。二番目の文章が、最初の文章と組み合わせることで初めて識別できる特徴を持っていれば、次の条件が成立する場合がある。
\[
I(A;Z_2\mid Z_1,C)>0
\]
この場合、最初の文章から単独では取得できなかった情報が、後続の文章を追加することで取得可能になる。長期間利用する文章生成サービスでは、複数の成果物が同じ利用者についての属性情報を持つ可能性があるため、成果物を一件ずつ検査する方法だけでなく、それらを結合した場合の情報取得可能性も評価対象になる。
さらに、実際の属性 \(A\) と、モデルが推定した属性 \(\hat A\) は区別する必要がある。実際の年齢区分と異なる推定結果が生成文章へ符号化されている場合、外部の第三者は、その人物の実際の属性について正しい情報を取得したとは限らない。しかし、その人物についてモデルが形成した判断を取得できる場合には、推定結果の秘匿性は失われている。
このため、実際の属性を保護するための条件と、推定結果を保護するための条件を、それぞれ次のように定義できる。
\[
\begin{aligned}
I(A;Z\mid C)&=0,\\
I(\hat A;Z\mid C)&=0.
\end{aligned}
\]
最初の等式は、共有成果物から実際の個人属性について追加情報を取得できないことを要求する。二番目の等式は、モデルが利用者について形成した推定結果そのものを、共有成果物から取得できないことを要求する。
例えば、モデルが実際の属性とは無関係な値を推定結果として生成し、その値を文章へ正確に埋め込む場合を考える。受信者が文章からその推定結果を復元できても、実際の属性についての情報を取得できるとは限らない。この場合、実際の属性に関する相互情報量が 0 であっても、推定結果に関する相互情報量は正になる可能性がある。
反対に、生成文章にモデルの推定結果が直接符号化されていなくても、元の対話や文章の内容に実際の属性を推定するための情報が含まれていれば、受信者がその文章から属性についての情報を取得できる場合がある。例えば、モデルが年齢を推定する処理を実行していなくても、生成文章に利用者の卒業年や職歴が記載されていれば、それらの情報から受信者自身が年齢を推定できる可能性がある。
したがって、推定結果の秘匿性を保証することだけでは、実際の属性についての情報流通全体を保証することにはならない。実際の属性への依存と、モデルが形成した推定結果への依存を分けて考えることで、どの情報が外部へ伝達されているかを評価できる。
また、有限の試験によって理想化した非漏洩条件が成立することを直接保証するのは難しい。例えば、指定した 100 件の生成文章について、ある復号器が属性情報を取得できなかった場合、その結果は、使用した文章と復号器の組み合わせについて情報を取得できなかったことを示している。しかし、異なる復号器、異なる文章生成の依頼、評価に含まれていない属性の手掛かりについても、情報を取得できないとは限らない。
特に、復号器による評価では、属性に関する情報を使用せずに得られる正答率を考慮する必要がある。例えば、二つの年齢区分が同じ割合で存在するなら、文章を観測せずに属性を選択しても、平均で 50% の正答率を得られる。利用者集団の属性分布が偏っている場合には、常に多数を占める区分を回答するだけで、さらに高い正答率になることもある。
したがって、外部の受信者が正しい属性を回答できたことだけでは、その回答に必要な情報を共有文章から取得したとは確定できない。共有文章を使用しない条件と、共有文章を追加で観測する条件を比較することで、成果物が属性推定へどの程度寄与するかを評価する必要がある。
例えば、関連情報 \(C\) だけを使用する推定処理を \(d_0\)、関連情報と共有文章の両方を使用する推定処理を \(d_1\) とする。それぞれの推定結果は、次のように表せる。
\[
\begin{aligned}
\tilde A_0&=d_0(C),\\
\tilde A_1&=d_1(C,Z).
\end{aligned}
\]
この二つの処理について、実際の属性 \(A\) に対する正答率を比較すれば、共有文章を追加したことによる推定性能の変化を調べられる。対応する正答率の差を次のように定義する。
\[
\Delta_{\mathrm{acc}}
=
\Pr(\tilde A_1=A)
–
\Pr(\tilde A_0=A)
\]
両者の学習条件と評価条件を対応させ、共有文章の有無以外の差が評価に影響しないようにした場合、この値が正であれば、共有文章を追加したことによる属性推定性能の改善を評価できる。推定属性自体を保護する場合は、正答判定の対象を実際の属性 \(A\) から推定属性 \(\hat A\) に変更して、同じ比較を行う。
ただし、二つの推定処理が十分に適切であるかどうかによって、この差の意味は変化する。共有文章に属性情報が含まれていても、使用した推定処理がその情報を取得できなければ、正答率は改善しない場合がある。また、関連情報だけで高い正答率を達成できる場合には、文章を追加したことによる正答率の改善が小さくても、推定の確信度や予測分布には変化が現れる可能性がある。
そのため、正答率の差は情報漏洩の有無を調べる一つの評価方法になるが、その差が 0 であることから、条件付き相互情報量も 0 であるとは結論づけられない。評価に使用する推定処理、属性の分布、受信者が利用できる関連情報、観測する性能指標を明確にして、評価結果から判断できる範囲を限定する必要がある。
個人属性の保護を実際のシステムへ適用する際には、理論上の非漏洩条件と、有限の試験によって確認できる条件を区別することになる。記録の削除や通信権限の制限については、実行環境の構成やアクセス制御の性質から保証を与えられる場合がある。一方、自然言語の表現から取得できる属性情報については、入力分布、生成分布、共有処理、受信者の観測能力などを含む評価が必要になる。
保存、忘却、推定、利用、符号化、伝達、承認に対する個々の対策は、それぞれの保護条件に対応させて評価する必要がある。ある対策によって情報経路の一部を制限できた場合、その結果を他の段階にも適用するには、制限した情報が後続の処理で再び形成されないことや、別の経路から取得されないことを確認しなければならない。個々の対策の保証範囲と、処理を結合した場合の保証範囲を区別することで、通常の生成能力を維持しながら、どの情報流通を制限できているかを明確にできる。
10.3 結論
日常的な相談に含まれる情報は、利用者が明示した内容を超えて、その人物の属性を推定するための手掛かりになる場合がある。利用者が生年月日を登録していなくても、卒業年や職歴が与えられていれば、一般的な知識と組み合わせることで年齢区分を推定できる可能性がある。保護対象となる属性情報は、保存された記録に直接存在する場合に加えて、許可された情報処理の結果として形成される場合がある。
Galada らの Synthesis Smuggling は、同じ意味内容を維持する表現選択の自由度と個人属性の推定を結合した。利用者が通常の支援を求める対話から性別や年齢区分を推定し、その結果をメールなどの文章へ反映するよう言語モデルを追加学習した。ZeroWidth は画面表示に現れない文字を利用し、StegMark は通常の文章に含まれる語彙選択の統計的な特徴を利用する。
これらの実験結果は、指定された条件において、通常の文章生成能力と個人属性の秘匿伝達能力を一つのモデルに結合できることを示している。ただし、現実の利用環境における漏洩率を直接測定した結果ではない。また、通常の言語モデルが一般に同じ攻撃を実行していることを示すものでもない。
実際の情報漏洩が成立するためには、モデルによる属性推定と符号化に加えて、利用者が生成文章を採用し、外部へ共有すること、共有の過程で属性に対応する特徴が残ること、第三者がその文章を取得して情報を復元できることが必要になる。実験で評価したモデルの能力と、現実の情報伝達経路の成立条件を区別することで、研究結果から判断できる危険性の範囲を定められる。
例えば、生年月日を削除した文章生成サービスについて、年齢に関する情報の外部伝達を制限する場合、保存状態の検査に加えて、卒業年や職歴からの再推定、推定結果の文章生成への寄与、共有前後の復号可能性を調べる。ネットワークの隔離と人間による承認を導入していても、許可された共有経路から受信者が取得できる情報を評価する必要がある。これによって、記録の削除や操作の制限によって成立する保護と、成果物を介した情報伝達に対する保護を区別できる。
情報保護の目的によっては、これらのすべての段階で同じ情報を除去する必要はない。例えば、利用者の年齢区分を内部で利用して説明の難易度を調整することを許可しながら、その年齢区分を外部へ共有する文章に反映することを禁止する構成は考えられる。この場合、属性推定能力を維持しつつ、生成される成果物が属性に依存する範囲と、外部で取得できる属性情報を制限することが保護の中心になる。
一方、属性の推定そのものを禁止する要求がある場合には、内部利用を許可する構成では目的を達成できない。残存情報から属性を形成する処理を評価し、どの観測情報を参照できるか、どの推定処理を実行できるかについて条件を設定する必要がある。情報保護の成立条件は、保護対象をどの段階で形成または利用することを許可するのかによって定まる。
情報保護は、この経路の各段階について、形成してよい情報、利用してよい情報、伝達してよい情報を定め、それぞれに対応する検証方法を持つ必要がある。記録の削除は指定された情報の保持を制限し、機械忘却は学習データの影響を除去することを目指す。通信権限の制限は指定された操作を禁止し、人間による承認は外部状態の変更を管理する。これらの保護手段を有効に利用するためには、それぞれが作用する情報経路と、保証する性質の範囲を明確にしなければならない。
通常の文章を生成する能力を維持しながら個人属性の秘匿伝達を防ぐために必要なのは、個人属性を示す文字列が文章に存在しないことだけを確認する仕組みではない。保護対象となる属性が生成文章の表現選択へどのように関与し、その表現が共有後にどの情報を第三者へ伝達できるかを制御する仕組みである。利用者が直接提供した情報に加えて、処理によって推定された情報と、その情報が成果物を経由して到達する範囲を保護対象に含めることで、文章生成サービスにおける個人情報保護の成立条件を具体的に定められる。
参考文献
- id774, Safe Links から考える業務メタデータの漏洩(2026-05-17). https://blog.id774.net/entry/2026/05/17/4779/
- id774, これを書いているのはどういう人なのか(2026-08-08). https://blog.id774.net/entry/2026/08/08/5474/
- Carlini, N. et al., Extracting Training Data from Large Language Models(2020-12-14). https://arxiv.org/abs/2012.07805
- Staab, R. et al., Beyond Memorization: Violating Privacy Via Inference with Large Language Models(2023-10-11). https://arxiv.org/abs/2310.07298
- Bouchaud, P., Ramaciotti, P., Linear socio-demographic representations emerge in Large Language Models from indirect cues(2025-12-10). https://arxiv.org/abs/2512.10065
- id774, AI の長期記憶は、履歴から現在状態を再構成する(2026-09-22). https://blog.id774.net/entry/2026/09/22/5640/
- id774, 忘却は、再学習との差と保持データへの影響で測る(2026-11-05). https://blog.id774.net/entry/2026/11/05/5838/
- Guo, C. et al., Certified Data Removal from Machine Learning Models(2019-11-08). https://arxiv.org/abs/1911.03030
- Maini, P. et al., TOFU: A Task of Fictitious Unlearning for LLMs(2024-01-11). https://arxiv.org/abs/2401.06121
- Shi, W. et al., MUSE: Machine Unlearning Six-Way Evaluation for Language Models(2024-07-08). https://arxiv.org/abs/2407.06460
- Mavrothalassitis, I. et al., Ascent Fails to Forget(2025-09-30). https://arxiv.org/abs/2509.26427
- Dorna, V. et al., OpenUnlearning: Accelerating LLM Unlearning via Unified Benchmarking of Methods and Metrics(2025-06-14). https://arxiv.org/abs/2506.12618
- Reisizadeh, H. et al., Do LLMs Really Forget? Hidden-State Leakage in Model Unlearning and How to Fix it(2026-09-29). https://arxiv.org/abs/2609.36612
- id774, 知識を行動へ変える経路が信頼性を決める(2026-10-10). https://blog.id774.net/entry/2026/10/10/5762/
- id774, 正しく気づいても、正しく行動するとは限らない(2026-10-25). https://blog.id774.net/entry/2026/10/25/5757/
- id774, RAG の設計は「最適なチャンクサイズ」では終わらない(2026-09-06). https://blog.id774.net/entry/2026/09/06/5546/
- Lewis, P. et al., Retrieval-Augmented Generation for Knowledge-Intensive NLP Tasks(2020-05-22). https://arxiv.org/abs/2005.11401
- Abbas, T., Zia, T., Windridge, D., Cited but Unused: Parametric Provenance in Retrieval-Augmented Generation(2026-11-12). https://arxiv.org/abs/2611.17161v1
- id774, 2026 年上期の論考を生成 AI 文体から検証する(2026-07-11). https://blog.id774.net/entry/2026/07/11/4986/
- Ziegler, Z. M., Deng, Y., Rush, A. M., Neural Linguistic Steganography(2019-09-03). https://arxiv.org/abs/1909.01496
- Kirchenbauer, J. et al., A Watermark for Large Language Models(2023-01-24). https://arxiv.org/abs/2301.10226
- Galada, G., Shastri, S., Choudhury, S. R., Synthesis Smuggling: Maliciously Hiding Inferred Personal Attributes in LLM Outputs(2026-11-12). https://arxiv.org/abs/2611.17280v1
- id774, 安全判定の揺らぎを入力・構造・評価方法に分けて測る(2026-10-21). https://blog.id774.net/entry/2026/10/21/5796/
- id774, 能力の分け方で安全性評価の集団比較は変わる(2026-11-08). https://blog.id774.net/entry/2026/11/08/5780/
- Hendrycks, D. et al., Measuring Massive Multitask Language Understanding(2020-09-07). https://arxiv.org/abs/2009.03300
- Zhou, J. et al., Instruction-Following Evaluation for Large Language Models(2023-11-14). https://arxiv.org/abs/2311.07911
- Hubinger, E. et al., Sleeper Agents: Training Deceptive LLMs that Persist Through Safety Training(2024-01-10). https://arxiv.org/abs/2401.05566
- id774, AI エージェントの安全境界は改変・探索・再利用できる経路から分離する(2026-09-29). https://blog.id774.net/entry/2026/09/29/5736/
- Lampson, B. W., A Note on the Confinement Problem(1973-10). https://www.microsoft.com/en-us/research/wp-content/uploads/2016/02/acrobat-24.pdf
- id774, 単体の検査結果では集団全体の安全性を保証できない(2026-11-04). https://blog.id774.net/entry/2026/11/04/5769/
- Mathew, Y. et al., Hidden in Plain Text: Emergence & Mitigation of Steganographic Collusion in LLMs(2024-10-02). https://arxiv.org/abs/2410.03768
- Nissenbaum, H., Privacy as Contextual Integrity(2004). https://digitalcommons.law.uw.edu/wlr/vol79/iss1/10/
- id774, 考えを変えたら、根拠も見直す(2026-10-31). https://blog.id774.net/entry/2026/10/31/5832/