忘却は、再学習との差と保持データへの影響で測る

学習済みの AI に、あるデータを忘れさせたとする。そのデータについて正しい回答を返せなくなれば、忘却に成功したと言えるだろうか。分類器なら正答率が低下し、文章生成モデルなら対象の情報を含む回答が減る。この変化は観測できる。しかし、回答が変わったという事実から分かるのは、指定した入力に対するモデルの振る舞いが変化したことまでである。そのデータを最初から学習しなかったモデルが、どのような出力を返すかは別に確かめる必要がある。

例えば二つの分類器が、忘却対象についてともに 0% の正答率になったとしても、一方は正解クラスに 49% の確率を与え、もう一方は 1% しか与えないことがある。最終的な誤答という判定は同じでも、予測確率の分布は異なる。正答率は最も高い確率を持つクラスが正解だったかを集計するため、それ以外の確率の違いを評価値に反映しない。忘却対象の情報が予測に与えていた影響を調べる場合、この失われた差異が判定に関わる。

さらに、モデルのパラメーターは複数の学習データから更新される。忘却対象の予測を変えるためにパラメーターを更新すると、同じパラメーターを利用する保持対象の予測にも変化が及ぶ場合がある。忘却対象への正答率が低下していても、保持すべきデータへの予測精度が低下したり、予測値が再学習モデルから離れたりする可能性がある。忘却の成否を評価するには、忘却対象の性能、対象データを除いて再学習したモデルとの出力差、保持対象への影響を分けて測る必要がある。

この関係は、最適化する損失関数と、最終的に観測する出力の違いとして定式化できる。線形回帰では、忘却処理によって生じる出力差を、再学習モデルの残差と、データ間の相互作用を表す二つの行列によって厳密に記述できる。忘却対象と保持対象がどのような特徴を共有し、その特徴に対してモデルがどの程度変化しやすいかによって、更新の影響が伝わる先と大きさが決まる。この数理構造から、忘却損失を増やす更新が再学習モデルとの出力差を拡大させる条件と、保持対象への影響が生じる理由を説明できる。

1. AI に忘れさせるとはどういうことか

1.1 正答率が同じでも出力は異なる

二つのクラスを区別する分類器を考える。正解がクラス 2 である入力に対して、モデル A がクラス 1 とクラス 2 へそれぞれ 0.51 と 0.49 の確率を与え、モデル B が 0.99 と 0.01 の確率を与えたとする。確率が最大のクラスを選ぶ方式なら、両モデルはともにクラス 1 と判定し、不正解になる。

\[
p_A=(0.51,0.49),\qquad p_B=(0.99,0.01)
\]

モデル A では二つのクラスの予測確率が近く、モデル B ではクラス 1 に確率が集中している。両モデルの正答率は、この入力に関してともに 0 である。しかし、正解クラスに与えた確率は 0.49 と 0.01 であり、予測の状態には大きな違いがある。入力が複数存在し、すべての入力で両モデルが誤答した場合にも、正答率はともに 0% となる一方、個々の入力に対する確率分布は異なり得る。

二つの確率分布がどれだけ異なるかは、対応するクラスの確率差を使って測定できる。例えば、各クラスの確率差の絶対値を合計する L1 距離を使うと、次の値になる。

\[
\begin{aligned}
\|p_A-p_B\|_1
&=|0.51-0.99|+|0.49-0.01|\\
&=0.48+0.48\\
&=0.96
\end{aligned}
\]

この 0.96 は、二つのモデルが同じ誤答を返すという正誤判定からは復元できない情報である。正答率は、予測確率の中から最大のものを選び、そのクラスが正解と一致するかを判定してから集計する。確率分布を正誤という離散的な値へ変換する過程で、最大確率とそれ以外の確率の差、正解クラスに与えられた確率、モデル間の分布の違いが失われる。

既稿「評価値は測り方によって順位まで変わり得る」では、評価対象の状態を一つの数値に写す際に区別が失われることを扱った[1]。忘却処理の正答率にも同じ構造がある。正答率が 0% になったという観測は、指定した評価集合で正解を選ばなかったことを意味する。一方、予測確率がどのように分布し、忘却対象を除いて再学習したモデルの予測へどこまで近づいたかは、確率分布そのものを比較して判定する必要がある。

ここで比較する相手の選び方も評価結果を変える。モデル A とモデル B の出力差を測れば、二つの忘却処理の違いは分かる。しかし、それだけではどちらが適切な忘却状態に近いかは決まらない。忘却対象を除いて再学習したモデルがクラス 2 に 0.45 の確率を与えるなら、モデル A の方がその出力に近い。同じ再学習モデルが 0.02 の確率を与えるなら、モデル B の方が近い。忘却の評価には、測定する量に加えて、比較基準となるモデルの定義が必要になる。

1.2 忘却の達成条件を分ける

「忘れた」という判断には、異なる達成条件が含まれている。第一は、忘却対象への回答が変わったかという条件である。第二は、忘却対象を除いて再学習したモデルに出力が近づいたかという条件である。第三は、指定された情報の削除について、求められる保証が成立したかという条件である。それぞれ観測する対象と判定方法が異なるため、一つの条件を満たしたことから他の条件の成立を結論づけることはできない。

第一の条件は、忘却対象に対する正答率や損失によって評価できる。例えば分類器が忘却対象をすべて誤分類するようになれば、その評価集合での正答率は 0% になる。しかし、誤分類へ変化した原因が、特定データの影響の除去によるものか、単に別のクラスを過剰に予測するようになったためかは、正答率だけでは区別できない。学習データの影響を除去する処理と、予測を誤らせる処理は、結果として同じ正答率を生む場合がある。

第二の条件では、忘却対象を最初から使用せずに再学習したモデルを比較基準にする。忘却処理後のモデルが、忘却対象と保持対象の各入力について再学習モデルに近い出力を返すなら、指定された評価集合において、対象データを使わなかった場合の振る舞いに近づいたと判断できる。ここでは正答率だけでなく、予測値や確率分布の差を直接測定する。保持対象に対する出力も調べることで、忘却のための更新が本来残すべき予測にどの程度影響したかを区別できる。

第三の条件は、モデルが特定データを利用していた事実や、内部に残る情報をどの範囲まで除去したと保証できるかに関わる。例えば、通常の質問では対象情報を返さないモデルであっても、別の質問形式や攻撃的な入力によって同じ情報を出力する可能性がある。また、有限個の入力について再学習モデルと同じ出力を返していても、学習過程で対象データを使用しなかったことまで証明できるわけではない。要求する保証の内容に応じて、再抽出攻撃、学習過程の監査、統計的な区別不能性など、異なる検証方法が必要になる。

既稿「AI は正しさではなく、評価の通り方を学ぶことがある」で扱った代理指標の問題は、最適化で直接操作する指標と本来の目的の関係を考えるための基礎となる[2]。忘却処理では、忘却対象の損失を増やすことが最適化上の目的になっていても、達成したい状態は忘却対象を使わずに再学習したモデルの振る舞いへの接近である場合がある。損失の変化と出力の変化を別々に測ることで、最適化がどの達成条件に対応しているかを評価できる。

評価対象	測定するもの	測定結果から主張できる範囲
忘却対象の正答率	対象の回答が正解と一致する割合を測る。	指定された評価集合での分類結果を評価できる。確率分布や再学習モデルとの距離は別途測定する必要がある。
再学習モデルとの出力差	各入力について二つのモデルの予測値、確率または出力得点を比較する。	指定された評価集合と測度における行動上の近さを評価できる。比較基準と評価集合の選び方によって結論が変わる。
保持対象への影響	忘却処理後のモデルと再学習モデルが、保持対象へ返す出力の差を測る。	忘却対象への変更が保持対象の予測へ波及した程度を評価できる。忘却対象での性能改善と区別して判断できる。
情報除去の保証	再抽出攻撃、学習過程の監査、形式的な区別不能性などを評価する。	採用した保証の定義と脅威モデルの範囲で判断できる。有限の出力比較だけで完全な情報削除を証明するものではない。

この四つの評価対象は、互いに独立した数値を並べているだけではない。忘却対象への正答率は観測された回答の成否を測り、再学習モデルとの出力差は対象データを除いた状態への接近を測る。保持対象への影響は、その接近を実現する過程で他の予測に生じた変化を測る。情報除去の保証は、出力の比較という観測可能な範囲を越えて、どのような性質まで証明できるかを定める。

忘却対象の損失を増やす更新が、再学習モデルとの出力差を小さくするとは限らない理由も、この区別にある。損失関数が直接評価するのは、指定されたデータに対するモデルの誤差である。一方、再学習モデルとの出力差は、別の最適化によって得られたモデルを基準とする。二つの目的が異なる以上、損失関数を改善する方向への更新と、比較基準へ近づく方向への更新が一致するには追加の条件が必要になる。

1.3 データの影響を除くための参照先

機械学習における忘却は、指定された学習データの影響をモデルから取り除くという問題として研究されてきた[3]。学習済みモデルのパラメーターは、多数のデータを使って損失関数を最適化した結果である。一つのデータを取り除くと、最適化に利用されるデータ集合が変わるため、同じ学習手順を実行した場合のパラメーターや出力も変わり得る。対象データがモデルへ与えた影響を評価するには、そのデータを使った場合と使わなかった場合を比較する必要がある。

理想的な比較先の一つは、忘却対象を最初から学習データに含めず、残りのデータだけで再学習したモデルである。例えば、全データから学習したモデルを元モデルとし、一部のデータを除いた集合から学習したモデルを再学習モデルとする。忘却処理は、元モデルのパラメーターを更新することで、再学習モデルの出力に近づけようとする。全体を再学習する方法は計算費用がかかるため、既存モデルの更新だけで目的の状態に接近できれば、忘却処理に必要な計算資源を削減できる可能性がある。

ただし、再学習モデルそのものにも定義上の注意がある。線形回帰のように、適切な正則化条件の下で目的関数が厳密に凸であれば、最適解を一意に定められる。一方、非凸なニューラルネットワークでは、同じデータ集合を使っても、初期値、データの投入順序、最適化の確率的な変動などによって異なるパラメーターが得られる場合がある。この場合、再学習モデルとの一致を評価するには、どの学習手順と条件から得られたモデルを基準とするかを指定する必要がある。

さらに、パラメーターの一致と出力の一致も区別される。異なるパラメーターを持つモデルが、指定された入力に対して同じ予測を返すことがある。逆に、パラメーター間の距離が小さくても、出力が敏感に変化する方向へ更新されれば、予測の差が大きくなる場合がある。出力を比較対象に選ぶことで、利用者や評価者が観測するモデルの振る舞いを直接測れる。ただし、その評価結果は比較に使用した入力集合と測度の範囲に依存する。

保証の水準も研究ごとに異なる。認証付きデータ削除の研究では、削除処理後のモデルを対象データなしで学習したモデルから統計的に区別できるかを定義している[4]。ここで比較するのは、特定の入力に対する予測だけではなく、学習や削除の手順によって得られるモデルの分布である。モデルの学習に乱数が関わる場合には、同じデータ集合からも異なるモデルが生成されるため、個々のモデルの一致とは別に、生成されるモデルの分布として保証を定義する必要がある。

また、学習過程の監査という観点からは、同じモデル状態を異なるデータ集合から得られるため、最終パラメーターだけで過去のデータ使用を証明することには限界がある[5]。あるモデルが対象情報を出力しなくなったとしても、それだけで対象データが学習過程に存在しなかったことを証明できるわけではない。最終出力から確認できる性質と、学習・削除の履歴について確認すべき性質は、異なる証拠を必要とする。

再学習モデルとの出力差は、忘却処理の結果を数量として比較するための基準になる。忘却対象については、対象データを使わなかった場合の出力へどれほど近づいたかを測れる。保持対象については、忘却処理が他の予測へ及ぼした変化を測れる。この二つの出力差は、モデルのパラメーター更新を通じて結び付いている。忘却対象と保持対象が共有する特徴や、その特徴に対する損失関数の曲率を調べることで、更新の影響がどこへ伝わるかを数理的に説明できる。

2. 忘却の基準は再学習したモデルの出力にある

2.1 学習データを二つに分ける

忘却処理を数理的に扱うために、まず学習データを二つの集合に分ける。全学習データを \(\mathcal D\)、忘却するデータを \(\mathcal D_f\)、残すデータを \(\mathcal D_r\) とする。忘却対象と保持対象は重複せず、両者を合わせると元の学習データ全体になる。

\[
\mathcal D=\mathcal D_r\cup\mathcal D_f,\qquad
\mathcal D_r\cap\mathcal D_f=\varnothing
\]

全データ数を \(n=|\mathcal D|\)、忘却対象数を \(m=|\mathcal D_f|\) と置く。保持対象数は \(n-m\) である。ここで \(\theta\) はモデルのパラメーターをまとめたベクトル、\(\ell_i(\theta)\) はデータ \(i\) に対する損失を表す。損失は、モデルの予測と学習上の目標との不一致を数値化したものであり、例えば回帰モデルでは予測値と正解値の差の二乗を利用できる。

全データを使った学習の目的関数を、次のように定義する。

\[
\mathcal L(\theta)
=
\frac1n\sum_{i\in\mathcal D}\ell_i(\theta)
+
\frac\lambda2\|\theta\|_2^2
\]

第一項は全学習データに対する平均損失である。第二項は正則化項であり、\(\|\theta\|_2^2\) はパラメーターの各成分を二乗して合計した値を表す。\(\lambda>0\) は正則化の大きさを調整する係数である。パラメーターの絶対値が大きくなるほど第二項も増加するため、学習はデータへの適合とパラメーターの大きさを同時に考慮する。

全データで目的関数を最小化した解を \(\theta^\star\) とする。

\[
\theta^\star
=
\arg\min_\theta\mathcal L(\theta)
\]

この \(\theta^\star\) が忘却処理の出発点となる。元の学習では、忘却対象も保持対象も同じ目的関数の中でパラメーターの決定に関与している。そのため、忘却対象を取り除くことは、学習済みモデルから対応する回答だけを消す操作とは異なる。目的関数に含まれるデータの集合が変わり、それに応じて最適なパラメーターも変化するという問題である。

2.2 再学習モデルを比較基準にする

忘却対象を最初から学習に使用しなかった場合を考える。保持対象 \(\mathcal D_r\) のみを使う目的関数を \(\mathcal R(\theta)\) とし、その最小解を \(\theta_r^\star\) と定義する。

\[
\mathcal R(\theta)
=
\frac1n\sum_{i\in\mathcal D_r}\ell_i(\theta)
+
\frac\lambda2\|\theta\|_2^2,
\qquad
\theta_r^\star
=
\arg\min_\theta\mathcal R(\theta)
\]

\(\theta_r^\star\) は、忘却対象を除いたデータで再学習したモデルの基準となる。元モデルの \(\theta^\star\) は忘却対象を含む全データから得られた解であり、再学習モデルの \(\theta_r^\star\) は保持対象だけから得られた解である。忘却処理によって更新されたパラメーターを \(\theta_u\) とすると、三つのモデルは学習に利用した情報と役割によって区別できる。

モデル	学習または更新に使用する情報	忘却評価における役割
元モデル \(\theta^\star\)	忘却対象と保持対象を含む全学習データから得られる。	忘却処理を開始する前の状態を表す。
再学習モデル \(\theta_r^\star\)	忘却対象を除いた保持データから学習した解である。	対象データを学習に使用しなかった場合の比較基準となる。
忘却処理後のモデル \(\theta_u\)	元モデルに忘却アルゴリズムを適用して得られる。	再学習モデルとの出力差によって忘却結果を評価する対象となる。

目的関数 \(\mathcal R(\theta)\) の分母を、保持対象数 \(n-m\) ではなく全データ数 \(n\) にしている点にも意味がある。全データを使う場合と保持対象だけを使う場合で正規化をそろえると、忘却対象の寄与を取り除いたことによる目的関数の変化を同じ尺度で表せる。特に、忘却対象に対応する項を加減する最適化や、その曲率を行列として表す場合に、係数の対応が明確になる。

保持対象数 \(n-m\) で正規化した目的関数を使う場合にも、正則化係数を適切に変換すれば同じ最小解が得られる。具体的には、元の目的関数全体を \(n/(n-m)\) 倍すると、次の式になる。

\[
\frac{n}{n-m}\mathcal R(\theta)
=
\frac1{n-m}
\sum_{i\in\mathcal D_r}\ell_i(\theta)
+
\frac{\lambda_r}{2}\|\theta\|_2^2
\]

\[
\lambda_r=\frac{n}{n-m}\lambda
\]

目的関数全体に正の定数を掛けても最小解は変わらないため、この正則化係数の変換によって二つの定義は同じ最小解を持つ。一方、分母だけを \(n-m\) に変更して \(\lambda\) を固定すると、損失項と正則化項の相対的な大きさが変わるため、一般には最小解も変化する。再学習モデルを比較基準として使用する際には、データ集合だけでなく、損失の正規化と正則化条件も定義する必要がある。

忘却処理後の \(\theta_u\) と再学習基準の \(\theta_r^\star\) を比較するとき、パラメーターの差だけでモデルの振る舞いを評価することには限界がある。同じ関数を表すパラメーターの組が複数存在するモデルでは、パラメーターが異なっていても出力は一致し得る。逆に、入力に対する出力の感度が大きい方向へパラメーターが変化すれば、パラメーター間の距離が小さくても予測値の差が大きくなる場合がある。

さらに、深層ネットワークの忘却研究では、表面的な回答を抑制しても、重みの中に対象情報を利用できる状態が残り得ることが指摘されている[6]。観測された回答、パラメーターの状態、学習済み情報の残存は、それぞれ異なる評価対象である。再学習モデルとの比較を出力空間で行えば、少なくとも指定された入力に対して、忘却処理後のモデルがどの程度再学習モデルと同じ振る舞いをするかを直接測定できる。

2.3 出力空間での差を定義する

モデルの出力を比較するために、評価対象となる入力を行列 \(X_a\) で表す。添字 \(a\) は評価するデータ集合を指定するものであり、忘却対象なら \(a=f\)、保持対象なら \(a=r\) とする。モデルのパラメーターが \(\theta\) のとき、評価集合 \(X_a\) に対する出力を \(f_\theta(X_a)\) と書く。

忘却処理後のモデルと再学習モデルの出力差を、次のように定義する。

\[
\Delta_a
=
f_{\theta_u}(X_a)
–
f_{\theta_r^\star}(X_a)
\]

\(\Delta_a\) は二つのモデルの出力を対応する成分ごとに引いたものである。回帰モデルなら予測値の差、分類モデルならクラスごとの出力得点や予測確率の差として定義できる。どの出力表現を比較するかによって数値の意味が変わるため、評価では予測値、出力得点、確率分布のいずれを対象とするかを固定する。

忘却対象と保持対象については、それぞれ次の式になる。

\[
\Delta_f
=
f_{\theta_u}(X_f)
–
f_{\theta_r^\star}(X_f)
\]

\[
\Delta_r
=
f_{\theta_u}(X_r)
–
f_{\theta_r^\star}(X_r)
\]

\(\Delta_f\) は、忘却対象の入力に対して再学習モデルとどれほど異なる出力を返すかを表す。\(\Delta_r\) は、保持対象の入力に対する出力の違いを表す。前者は忘却対象を学習から除いた場合の振る舞いへの接近を測り、後者は忘却処理によって保持対象へ生じた変更を再学習基準と比較する。いずれも差が 0 なら、指定された入力について二つのモデルの出力が一致する。

ただし、\(\Delta_f\) と \(\Delta_r\) は一般に複数の成分を持つため、そのままでは異なるモデルや忘却手法を数値で比較しにくい。そこで、出力差の各成分を二乗し、平均してから平方根を取る平方根平均二乗を利用できる。出力差のスカラー成分数を \(N_a\) とすると、次のように定義する。

\[
\mathrm{RMS}_a
=
\sqrt{
\frac1{N_a}
\sum_{j=1}^{N_a}(\Delta_{a,j})^2
}
=
\frac{\|\Delta_a\|_2}{\sqrt{N_a}}
\]

\(\Delta_{a,j}\) は出力差の \(j\) 番目の成分である。例えば、100 件の入力についてそれぞれ一つの回帰予測値を比較するなら、\(N_a=100\) となる。各入力で 10 クラスの確率を比較するなら、全成分をまとめて評価する場合は \(N_a=1000\) となる。平方根平均二乗は、差の符号が打ち消し合うことを避けながら、出力成分当たりの差の大きさを表す。

評価集合と出力成分の定義が同じであれば、平方根平均二乗が小さいモデルほど、その評価集合について再学習モデルとの出力差が小さい。例えば、忘却対象での \(\mathrm{RMS}_f\) が小さくても、保持対象での \(\mathrm{RMS}_r\) が大きい場合、忘却対象では再学習モデルに近い出力を返す一方、保持すべき予測には相対的に大きな差が生じている。この二つを分けて評価することで、忘却対象への変化と保持対象への副作用を区別できる。

出力が確率分布である場合は、KL ダイバージェンスを使って分布の違いを測る方法もある。再学習モデルが返す確率分布を \(p_r\)、忘却処理後のモデルが返す確率分布を \(p_u\) とすると、離散的な出力について次のように定義できる。

\[
D_{\mathrm{KL}}(p_r\|p_u)
=
\sum_k p_r(k)
\log\frac{p_r(k)}{p_u(k)}
\]

この値は、再学習モデルの確率分布を基準に、忘却処理後の確率分布との差を評価するものである。KL ダイバージェンスは一般に対称ではなく、二つの分布を入れ替えると値が変わる。また、基準分布で正の確率を持つ成分に対して比較先の確率が 0 になる場合、値は無限大となる。平方根平均二乗と KL ダイバージェンスは異なる性質を測るため、評価値の大小を相互に置き換えて解釈することはできない。

出力差の評価では、比較するモデル、入力集合、出力成分、測度をそろえる必要がある。特定の評価集合で \(\Delta_a\) が小さいという結果は、その集合で観測された振る舞いが再学習モデルに近いことを示す。一方、評価に含まれない入力での振る舞いや、モデル内部に保持されている情報の状態については、別の検証が必要になる。

2.4 再学習基準の成立条件

再学習モデルを比較基準にする際には、その基準がどのような条件で定まるかを確認する必要がある。線形回帰で二乗損失を使用し、正の L2 正則化係数を設けた場合、目的関数のヘッセ行列は正定値となる。ヘッセ行列は、パラメーターを変化させたときに損失関数の勾配がどのように変わるかを表す行列である。正定値性が成立すれば目的関数は厳密に凸となり、最小解が一意に定まる。

一方、非凸の深層学習モデルでは、目的関数に複数の停留解が存在し得る。停留解とは、パラメーターについての勾配が 0 になる解であり、非凸な目的関数では必ずしも大域的な最小解とは限らない。同じ保持データを使って再学習しても、初期値、学習データの投入順序、最適化アルゴリズムの設定、乱数による変動などによって、到達するパラメーターや出力が異なる場合がある。

この違いは、再学習モデルとの出力差にも反映される。例えば、忘却処理後のモデルを固定していても、異なる初期値から再学習した二つのモデルが異なる出力を返せば、どちらを参照先に選ぶかによって \(\Delta_a\) の値が変わる。単一の再学習モデルを基準とする評価では、選択した再学習モデルに対する近さを測定していることになる。複数の再学習結果を基準に評価する場合には、その分布やばらつきも区別して扱う必要がある。

多段階で学習したモデルについては、学習経路が忘却結果へ影響することが理論・実験の両面から報告されている[7]。同じ最終的な学習データ集合を想定しても、どの段階で対象データを使用したか、どのような更新を経て現在のパラメーターへ到達したかによって、忘却操作と再学習結果の関係が変化し得る。最終的なパラメーターや単一の損失値だけでは、この学習経路の違いを表現しきれない。

線形回帰のように再学習解を一意に定められる条件では、忘却処理後のモデルと再学習モデルの差を明確な基準で解析できる。この場合、目的関数の曲率、忘却対象の残差、保持対象との特徴の重なりを使って、出力差がどのように生じるかを導出できる。非線形モデルでは、その関係を再学習解の近傍で局所的に近似することになる。再学習基準の定義と成立条件を明確にすることで、数式から厳密に導ける結果と、実験によって妥当性を確認すべき結果の境界が定まる。

3. 忘却損失を増やしても再学習モデルには一致しない

3.1 保持損失と忘却損失を分ける

忘却処理では、保持すべきデータへの予測を維持しながら、忘却対象がモデルに与えた影響を取り除くことが求められる。しかし、忘却対象の予測を変化させる操作と、忘却対象を除いて再学習したモデルへ近づける操作は、最適化の目的が異なる。この違いを調べるために、学習時の損失を保持対象と忘却対象に分ける。

保持対象に対する損失と正則化項をまとめた \(\mathcal R(\theta)\) は前章で定義した。忘却対象に対する損失を \(\mathcal F(\theta)\) とすると、全データを使った目的関数は次のように表せる。

\[
\mathcal F(\theta)
=
\frac1n\sum_{j\in\mathcal D_f}\ell_j(\theta),
\qquad
\mathcal L(\theta)
=
\mathcal R(\theta)+\mathcal F(\theta)
\]

\(\mathcal R(\theta)\) は保持対象への予測誤差と正則化による制約を表し、\(\mathcal F(\theta)\) は忘却対象への予測誤差を表す。元モデルの学習では両者の和を最小化するため、保持対象と忘却対象の情報がともにパラメーターの決定へ反映される。一方、忘却対象を除いた再学習では \(\mathcal R(\theta)\) だけを最小化する。その最小解が \(\theta_r^\star\) である。

忘却対象の損失を大きくする更新を考える。分類モデルでは、忘却対象の正解クラスに与える確率が低下すると、一般にその入力の交差エントロピー損失は増加する。更新によって予測が別のクラスへ変われば、忘却対象の正答率も低下する。しかし、損失を増加させる方向は、対象データを使わずに再学習した場合の出力へ近づく方向とは限らない。再学習モデルも同じ入力に対して正解を返す場合があり、そのとき正解確率をさらに低下させる操作は、かえって再学習モデルの予測から離れる可能性がある。

また、損失は入力ごとの予測結果を集約した値である。異なる入力で生じた損失の増減が合計されるため、同じ損失値を持つモデルであっても、個々の入力に対する出力は異なり得る。忘却対象の損失だけを観測しても、どの入力でどのような予測の変化が生じたか、保持対象への影響がどれほどあったかは特定できない。

Zhao、Amiri、Magdon-Ismail による研究「Loss is Not Behavior」は、この違いを再学習モデルとの出力差として分析し、線形回帰では閉形式、非線形モデルでは局所近似によって表している[8]。評価対象を損失関数から出力空間へ移すことで、忘却処理後のモデルが再学習基準からどの程度離れているかを、忘却対象と保持対象の双方について定量化できる。

3.2 勾配差を用いた忘却の停留条件

GradDiff と呼ばれる方式では、保持対象の損失を減らす方向と、忘却対象の損失を増やす方向を一つの目的関数に組み込む。忘却側の寄与を調整する係数を \(\rho>0\) とすると、目的関数は \(\mathcal R(\theta)-\rho\mathcal F(\theta)\) となる。最小解が存在する条件では、GradDiff による解を次のように表せる。

\[
\theta_\rho
=
\arg\min_\theta
\left\{
\mathcal R(\theta)-\rho\mathcal F(\theta)
\right\}
\]

第一項の \(\mathcal R(\theta)\) は保持対象の予測誤差を小さくする方向に作用する。第二項には負の符号があるため、目的関数を最小化すると、忘却対象の損失 \(\mathcal F(\theta)\) を増やす方向にも更新が生じる。\(\rho\) を大きくすると、忘却対象の損失を増加させる項の相対的な寄与が大きくなる。ただし、目的関数の凸性や下限の有無によっては大域的な最小解が存在しないため、最適化によって到達する停留点と大域的な最小解は区別する必要がある。

再学習モデルと GradDiff の違いを、勾配から確認する。\(\nabla\) は各パラメーターに関する偏微分を並べたベクトルであり、損失関数が最も増加する局所的な方向を示す。微分可能な目的関数の内部にある局所的な最小点では、勾配が零になる。この条件を再学習モデルと GradDiff に適用すると、次の二つの式が得られる。

\[
\nabla\mathcal R(\theta_r^\star)=0,
\qquad
\nabla\mathcal R(\theta_\rho)
–
\rho\nabla\mathcal F(\theta_\rho)=0
\]

再学習モデルの停留条件には忘却損失の勾配が含まれない。一方、GradDiff の停留条件には \(-\rho\nabla\mathcal F(\theta_\rho)\) が含まれる。この違いによって、両者が同じパラメーターに到達するための条件も変わる。

\(\rho=0\) なら GradDiff の目的関数は \(\mathcal R(\theta)\) に一致し、再学習モデルと同じ最適化問題になる。しかし、\(\rho>0\) で、再学習解における忘却損失の勾配が零でない場合、再学習解を GradDiff の停留条件へ代入すると次の関係になる。

\[
\begin{aligned}
&\nabla\mathcal R(\theta_r^\star)
-\rho\nabla\mathcal F(\theta_r^\star)\\
&\qquad
=-\rho\nabla\mathcal F(\theta_r^\star)
\ne 0
\end{aligned}
\]

つまり、\(\nabla\mathcal F(\theta_r^\star)\ne0\) という条件の下では、再学習モデルのパラメーターは GradDiff の停留点にならない。GradDiff が忘却損失を増加させる項を持つ限り、再学習モデルを最適解とする目的関数とは異なる方向へパラメーターを変化させようとする。

この違いは、パラメーターが一つだけの簡単な例でも確認できる。保持対象の損失を \(\mathcal R(\theta)=\theta^2/2\)、忘却対象の損失を \(\mathcal F(\theta)=(\theta-1)^2/2\) とする。この場合、保持対象だけを最小化した再学習解は \(\theta_r^\star=0\) である。GradDiff の目的関数は次のようになる。

\[
\begin{aligned}
J_\rho(\theta)
&=\mathcal R(\theta)-\rho\mathcal F(\theta)\\
&=\frac12\theta^2-\frac\rho2(\theta-1)^2\\
&=\frac{1-\rho}{2}\theta^2+\rho\theta-\frac\rho2
\end{aligned}
\]

\(0<\rho<1\) なら二次項の係数が正なので、この目的関数は厳密に凸となり、最小解が一意に定まる。微分して零と置くと、次の解が得られる。

\[
\frac{dJ_\rho}{d\theta}
=(1-\rho)\theta+\rho=0
\]

\[
\theta_\rho=-\frac{\rho}{1-\rho}
\]

忘却係数 \(\rho\) を増やしたときの結果を比較すると、保持対象だけを最小化した解から離れていく様子が分かる。

忘却係数 \(\rho\)	GradDiff の最小解 \(\theta_\rho\)	忘却損失 \(\mathcal F(\theta_\rho)\)	再学習解からの距離
\(0\)	\(0\)	\(1/2\)	\(0\)
\(1/4\)	\(-1/3\)	\(8/9\)	\(1/3\)
\(1/2\)	\(-1\)	\(2\)	\(1\)
\(3/4\)	\(-3\)	\(8\)	\(3\)

この例では、忘却係数を増やすほど忘却対象の損失は大きくなるが、同時に再学習解からの距離も増加する。例えば \(\rho=1/2\) では忘却損失が 2 まで増える一方、再学習解からの距離は 1 になる。忘却損失の増加と再学習解への接近が、異なる最適化上の性質であることを具体的に確認できる。

さらに \(\rho\) が 1 に近づくと、\(\theta_\rho=-\rho/(1-\rho)\) の絶対値は発散する。\(\rho=1\) では二次項が消えて目的関数は下に有界でなくなり、\(\rho>1\) でも二次項の係数が負になるため大域的な最小解は存在しない。この一次元の例は、忘却係数を増加させることが、再学習解との距離だけでなく最適化問題の安定性にも関わることを示している。

一般の多次元モデルでは、パラメーターの変化は忘却損失の勾配だけでは決まらない。再学習解の近傍で目的関数を近似すると、保持対象の損失がパラメーターの変化に対してどのような曲率を持つかも関係する。保持損失のヘッセ行列を \(H_{\mathcal R}=\nabla^2\mathcal R(\theta_r^\star)\) とし、これが正定値で、十分滑らかな目的関数と小さい \(\rho\) を仮定すると、停留条件の局所展開から次の一次近似が得られる。

\[
\theta_\rho-\theta_r^\star
\approx
\rho H_{\mathcal R}^{-1}
\nabla\mathcal F(\theta_r^\star)
\]

この式の右辺には、忘却損失の勾配に加えて、保持損失の曲率の逆行列が含まれている。忘却損失の勾配が同じ大きさでも、保持損失の曲率が小さい方向ではパラメーターが大きく変化しやすい。逆に曲率が大きい方向では、同じ更新の作用によるパラメーターの変位が抑えられる。忘却対象の影響を調べるには、忘却勾配の大きさだけでなく、それが保持対象の損失関数に対してどの方向を向いているかが関わる。

3.3 保持対象と忘却対象の依存性

忘却対象と保持対象は、学習時に共通する特徴や判断境界を利用する。例えば、画像分類器で特定のクラスを忘却させる場合、そのクラスの識別に使用していた輪郭、色、形状などの特徴が、保持対象の分類にも利用されていることがある。忘却対象の予測を変えるために共有パラメーターを更新すると、同じパラメーターを利用する保持対象の出力にも変化が及ぶ。

この影響は、入力ごとの出力がパラメーターの変化に対してどの程度敏感かによって異なる。入力 \(x\) に対するモデル出力を \(f_\theta(x)\) とし、パラメーターの変化を \(\delta\theta\) とする。微分可能なモデルについて、変化が十分小さい場合には、出力の変化を一次近似によって次のように表せる。

\[
f_{\theta_r^\star+\delta\theta}(x)
–
f_{\theta_r^\star}(x)
\approx
J_x\delta\theta
\]

\(J_x\) は入力 \(x\) における、パラメーターに関する出力のヤコビ行列である。出力が一つの数値なら、各パラメーターの変化に対する出力の感度を並べた行ベクトルになる。出力が複数の成分を持つ場合には、それぞれの出力成分についての偏微分を並べた行列になる。

この式から、同じパラメーター更新でも、入力によって出力の変化が異なることが分かる。更新方向 \(\delta\theta\) が、ある入力の出力に対して感度の高い方向と一致すれば、その入力の予測は変化する。一方、その入力の出力が更新方向に対して感度を持たなければ、一次近似での変化は零になる。忘却対象と保持対象が似た特徴を利用している場合には、それぞれの出力が同じ更新方向に反応し、忘却処理の影響が保持対象へ伝わる可能性がある。

先ほどの GradDiff の局所近似を代入すると、保持対象の入力 \(x_r\) に対する出力変化は、次のように近似できる。

\[
\begin{aligned}
&f_{\theta_\rho}(x_r)
-f_{\theta_r^\star}(x_r)\\
&\qquad\approx
\rho J_{x_r}H_{\mathcal R}^{-1}
\nabla\mathcal F(\theta_r^\star)
\end{aligned}
\]

右辺の \(\nabla\mathcal F(\theta_r^\star)\) は忘却対象が与える更新方向、\(H_{\mathcal R}^{-1}\) は保持損失の曲率を考慮した変位、\(J_{x_r}\) はその変位が保持対象の出力へ及ぼす影響を表す。忘却対象に由来する勾配が、保持損失の曲率を介してパラメーターの変位となり、保持対象の出力感度によって実際の予測変化へ変換されるという関係である。

忘却対象の勾配が大きくても、その方向に対する保持対象の出力感度が小さければ、保持対象の予測変化は小さくなる可能性がある。反対に、忘却勾配の大きさが同程度であっても、保持対象が高い感度を持つ方向へ変位が生じれば、保持対象の出力差は大きくなり得る。損失の値だけでは、勾配の方向、曲率による変換、入力ごとの出力感度を区別できない。

勾配上昇型の忘却が、忘却対象と保持対象の統計的依存によって期待した結果を得られなくなる問題も報告されている[9]。両者が共通する特徴を利用する場合、忘却対象だけの予測を変更するための更新が、保持対象の予測にも作用する。忘却対象の損失が増加していても、保持対象の出力を維持できるとは限らず、再学習モデルとの出力差を測ることで初めて、その副作用を定量的に確認できる。

線形回帰では、入力に対する出力の感度が特徴ベクトルそのものになる。そのため、忘却対象の特徴行列、保持対象の特徴行列、保持損失の曲率を組み合わせれば、忘却対象内部での影響と保持対象へ伝わる影響を別々の行列として表せる。勾配差によって生じたパラメーター変位を、この二つの行列を通して出力差へ変換することで、忘却損失の増加と再学習モデルからの乖離を結び付ける構造が明確になる。

4. 忘却データの影響は二つの行列で表せる

4.1 線形回帰の曲率を定義する

忘却処理によって生じる出力差を具体的に求めるために、線形回帰モデルを考える。線形回帰では、入力の各特徴に対応するパラメーターを掛け合わせ、その和を予測値とする。入力を \(d\) 次元のベクトル \(x\in\mathbb R^d\)、パラメーターを \(\theta\in\mathbb R^d\) とすると、モデルの出力は次のように表せる。

\[
f_\theta(x)=x^\top\theta
\]

\(x^\top\) は入力ベクトルを転置したものである。例えば、入力が二つの特徴 \(x_1,x_2\) を持つ場合、予測値は \(x_1\theta_1+x_2\theta_2\) となる。各パラメーターは対応する特徴が予測に寄与する大きさを決めるため、パラメーターの更新は、その特徴を共有する複数の入力の予測値を同時に変化させる。

損失には、予測値と正解値の差を二乗する二乗損失を使用する。正解値を \(y\) とすると、データ 1 件に対する損失は次のとおりである。

\[
\ell(\theta,x,y)
=
\frac12(x^\top\theta-y)^2
\]

忘却対象の入力を行ごとに並べた特徴行列を \(X_f\in\mathbb R^{m\times d}\)、保持対象の特徴行列を \(X_r\in\mathbb R^{(n-m)\times d}\) とする。それぞれの正解値をまとめたベクトルを \(y_f\)、\(y_r\) と書く。保持対象だけを使った目的関数は、次の形になる。

\[
\mathcal R(\theta)
=
\frac1{2n}\|X_r\theta-y_r\|_2^2
+
\frac\lambda2\|\theta\|_2^2
\]

第一項は保持対象の予測誤差を二乗して合計した値であり、第二項は L2 正則化である。分母の \(n\) は元の全学習データ数であり、保持対象だけを使用する場合も正規化を変えない。この定義により、全データの目的関数から忘却対象の損失を取り除いた場合の関係を同じ尺度で表せる。

目的関数をパラメーターで一階微分すると、勾配は次のようになる。

\[
\nabla\mathcal R(\theta)
=
\frac1nX_r^\top(X_r\theta-y_r)
+
\lambda\theta
\]

さらに二階微分すると、ヘッセ行列が得られる。

\[
H_r
=
\nabla^2\mathcal R(\theta)
=
\frac1nX_r^\top X_r+\lambda I_d
\]

ヘッセ行列は、パラメーターを変化させたときに損失の勾配がどのように変化するかを表す。ここで \(I_d\) は対角成分が 1、それ以外が 0 の \(d\) 次単位行列である。線形回帰の二乗損失ではヘッセ行列がパラメーター \(\theta\) に依存しないため、同じ \(H_r\) を使って異なるモデルの勾配の差を厳密に求められる。

\(H_r\) は保持対象の特徴がパラメーター空間の各方向をどの程度制約しているかを表す。ある方向へパラメーターを動かしたときに保持対象の損失が大きく変化するなら、その方向の曲率は大きい。損失が比較的変化しにくい方向では曲率が小さい。同じ大きさの忘却勾配でも、どの方向へ作用するかによってパラメーターの変位は異なる。

正則化係数 \(\lambda>0\) の下では、任意の零でないベクトル \(v\in\mathbb R^d\) について、次の関係が成立する。

\[
\begin{aligned}
v^\top H_rv
&=
\frac1n v^\top X_r^\top X_rv
+\lambda v^\top v\\
&=
\frac1n\|X_rv\|_2^2
+\lambda\|v\|_2^2\\
&>0
\end{aligned}
\]

第一項は二乗和なので非負であり、第二項は \(\lambda>0\) かつ \(v\ne0\) なら正である。この性質を正定値性という。\(H_r\) が正定値であることから逆行列 \(H_r^{-1}\) が存在し、保持対象の損失を最小化するパラメーターも一意に定まる。

逆行列 \(H_r^{-1}\) は、忘却勾配からパラメーターの変位を求めるときに現れる。曲率の大きい方向では変位が抑えられ、曲率の小さい方向では同じ勾配に対する変位が大きくなり得る。データ点が学習済みモデルへ与える影響を勾配とヘッセ行列から追跡する考え方は、影響関数による分析でも使用される[10]。忘却処理では、この関係を忘却対象と保持対象の出力差へ結び付ける。

4.2 再学習前後の忘却残差をつなぐ

残差は、モデルの予測値から正解値を引いたものである。忘却対象について、全データから学習したモデルの残差を \(e_f^+\)、忘却対象を除いて再学習したモデルの残差を \(e_f^-\) と区別する。

\[
e_f^+
=
X_f\theta^\star-y_f,
\qquad
e_f^-
=
X_f\theta_r^\star-y_f
\]

\(e_f^+\) は忘却対象も学習に使用したモデルの残差であり、\(e_f^-\) は忘却対象を学習に使用しなかったモデルの残差である。どちらも同じ忘却対象の入力と正解値を使って計算するが、予測を生成するモデルが異なる。全データの学習によって対象データへの予測が改善していた場合、その情報を除くことで残差が変化する。

この二つの残差の関係は、目的関数の停留条件から導ける。元モデルは全データの損失を最小化しているため、勾配が零になる条件は次のように表せる。

\[
\nabla\mathcal R(\theta^\star)
+
\frac1nX_f^\top e_f^+
=
0
\]

一方、再学習モデルは保持対象だけの目的関数を最小化しているので、次の条件を満たす。

\[
\nabla\mathcal R(\theta_r^\star)=0
\]

両者の違いは、元モデルの停留条件に忘却対象の残差から生じる勾配が含まれていることである。保持対象の目的関数は二次関数であり、勾配の差をヘッセ行列で厳密に表せる。

\[
\nabla\mathcal R(\theta_r^\star)
–
\nabla\mathcal R(\theta^\star)
=
H_r(\theta_r^\star-\theta^\star)
\]

これに二つの停留条件を代入すると、再学習によるパラメーター変位は次の関係を満たす。

\[
H_r(\theta_r^\star-\theta^\star)
=
\frac1nX_f^\top e_f^+
\]

右辺の \(X_f^\top e_f^+\) は、忘却対象の特徴と残差から構成されるベクトルである。このベクトルが、忘却対象を学習に含めたことによる勾配の寄与を表している。左辺には保持対象の曲率と、再学習によって生じるパラメーター変位が現れる。忘却対象の影響を取り除いたときの変位は、忘却対象の残差だけでなく、保持対象の曲率にも依存する。

\(H_r\) は正定値なので、左から逆行列を掛けることでパラメーター変位を解ける。

\[
\theta_r^\star-\theta^\star
=
\frac1nH_r^{-1}X_f^\top e_f^+
\]

残差の定義から、再学習前後の残差の差は \(X_f(\theta_r^\star-\theta^\star)\) である。この関係に先ほどのパラメーター変位を代入する。

\[
\begin{aligned}
e_f^- -e_f^+
&=
X_f(\theta_r^\star-\theta^\star)\\
&=
\frac1nX_fH_r^{-1}X_f^\top e_f^+
\end{aligned}
\]

この式では、元モデルの忘却対象残差 \(e_f^+\) が、特徴行列 \(X_f\) と保持対象の曲率 \(H_r\) を通じて再学習後の残差へ変換される。変換を決めるのは、忘却対象の入力特徴が保持対象の曲率に対してどのような関係を持つかという構造である。

例えば、忘却対象に固有の特徴方向が保持対象の損失によって十分制約されていなければ、その方向のパラメーターは比較的大きく変化し得る。一方、保持対象の損失が大きな曲率を持つ方向では、同じ忘却勾配に対する変位が抑えられる。この違いが忘却対象の残差にも反映される。

4.3 自己レバレッジと交差レバレッジ

再学習前後の残差を結ぶ式には、忘却対象の特徴行列と保持対象の曲率を組み合わせた行列が現れた。この行列を自己レバレッジと呼ぶ。また、忘却対象への更新が保持対象の出力へどのように伝わるかを表すために、交差レバレッジを定義する。

\[
K_{ff}
=
X_fH_r^{-1}X_f^\top
\]

\[
K_{rf}
=
X_rH_r^{-1}X_f^\top
\]

\(K_{ff}\) は忘却対象同士の関係を表す \(m\times m\) 行列である。行と列はそれぞれ忘却対象のデータに対応している。忘却対象の各特徴ベクトルを \(x_{f,i}\) とすると、その \((i,j)\) 成分は次のようになる。

\[
(K_{ff})_{ij}
=
x_{f,i}^\top H_r^{-1}x_{f,j}
\]

対角成分は、同じ忘却データの特徴ベクトルを両側に置いた量である。これは保持対象の曲率を考慮した特徴方向の大きさを表す。非対角成分は、異なる忘却データの特徴方向が、同じ曲率の尺度でどのように重なっているかを表す。通常の内積と異なり、\(H_r^{-1}\) が間に入るため、保持対象の損失がどの方向のパラメーター変化を許容しやすいかが反映される。

\(K_{rf}\) は保持対象と忘却対象の関係を表す \((n-m)\times m\) 行列である。保持対象の特徴ベクトルを \(x_{r,i}\) とすると、成分は次のようになる。

\[
(K_{rf})_{ij}
=
x_{r,i}^\top H_r^{-1}x_{f,j}
\]

この値は、忘却対象の特徴方向に沿って生じたパラメーター変位が、保持対象の入力に対してどのような出力変化を生むかを決める。値が正の場合と負の場合では、同じ残差に対する出力変化の方向が異なり、複数の忘却対象からの寄与が打ち消し合うこともある。そのため、交差レバレッジの各成分の絶対値だけで最終的な出力差を判断することはできず、忘却対象の残差ベクトルとの積を考える必要がある。

行列	次元	表す関係	出力差における役割
自己レバレッジ \(K_{ff}\)	\(m\times m\)	忘却対象同士の特徴方向の関係を、保持対象の曲率を考慮して表す。	忘却対象に由来する残差の増幅と、忘却対象自身の出力変化を決める。
交差レバレッジ \(K_{rf}\)	\((n-m)\times m\)	保持対象と忘却対象の特徴方向の関係を、保持対象の曲率を考慮して表す。	忘却対象に由来するパラメーター変位が、保持対象の出力へ伝わる程度を決める。

自己レバレッジを用いると、前節で導いた再学習前後の残差の関係は簡潔に表せる。

\[
e_f^-
=
\left(I_m+\frac1nK_{ff}\right)e_f^+
\]

\(I_m\) は忘却対象数 \(m\) に対応する単位行列である。この式は、元モデルの忘却対象残差に対して、自己レバレッジに基づく変換を加えることで再学習モデルの残差が得られることを表している。自己レバレッジは対称な半正定値行列であり、任意のベクトル \(z\in\mathbb R^m\) について次の関係が成立する。

\[
z^\top K_{ff}z
=
(X_f^\top z)^\top
H_r^{-1}
(X_f^\top z)
\geq0
\]

\(H_r^{-1}\) が正定値であるため、右辺は非負となる。この性質から \(I_m+K_{ff}/n\) の固有値はすべて 1 以上となり、逆行列が存在する。したがって、残差の関係を逆向きに解くこともできる。

\[
e_f^+
=
\left(I_m+\frac1nK_{ff}\right)^{-1}e_f^-
\]

\(e_f^+\) は全データ学習済みモデルの予測と忘却対象の正解値から計算できる。一方、\(e_f^-\) は忘却対象を除いて再学習したモデルの残差である。自己レバレッジを用いた変換式は両者を数学的に結び付けるが、実際に計算する場合には、特徴行列や保持対象の曲率にアクセスできるかという条件が関わる。再学習モデルを直接作成せずに評価量を推定する場合も、この情報の利用可能性を確認する必要がある。

自己レバレッジと交差レバレッジの役割は、保持対象への影響を考えると明確になる。忘却処理によるパラメーター変位を \(\delta\theta\) とすると、保持対象の出力変化は \(X_r\delta\theta\)、忘却対象の出力変化は \(X_f\delta\theta\) である。どちらも同じパラメーター変位から生じるが、入力特徴を表す行列が異なるため、出力変化の大きさと方向は一致しない。

例えば、忘却対象の特徴方向と保持対象の特徴方向が、\(H_r^{-1}\) を介した内積で直交していれば、対応する交差レバレッジの成分は零になる。その場合、その忘却方向から保持対象への一次的な出力変化は生じない。一方、両者が同じ特徴方向に依存していれば、忘却対象に由来する更新が保持対象にも作用する。忘却対象と保持対象の依存関係を、単なるデータ数や分類ラベルの一致ではなく、特徴方向と曲率の関係として表せる点に、この二つの行列を導入する意味がある。

4.4 GradDiff のパラメーター変位を解く

GradDiff による忘却では、保持対象の損失を減らしながら、忘却対象の損失を増やす。線形回帰では両者の勾配を特徴行列で表せるため、GradDiff によって再学習モデルからどれだけパラメーターが変位するかを厳密に求められる。

保持対象の勾配と忘却対象の勾配は、それぞれ次のようになる。

\[
\nabla\mathcal R(\theta)
=
H_r\theta-\frac1nX_r^\top y_r
\]

\[
\nabla\mathcal F(\theta)
=
\frac1nX_f^\top(X_f\theta-y_f)
\]

GradDiff の停留条件は、保持対象の勾配から忘却対象の勾配に係数 \(\rho>0\) を掛けたものを引き、その結果を零とする条件である。

\[
\nabla\mathcal R(\theta_\rho)
–
\rho\nabla\mathcal F(\theta_\rho)
=
0
\]

この式に先ほどの勾配を代入すると、次の関係が得られる。

\[
H_r\theta_\rho
-\frac1nX_r^\top y_r
-\frac\rho nX_f^\top(X_f\theta_\rho-y_f)
=
0
\]

一方、再学習モデルは保持対象の目的関数を最小化するため、次の停留条件を満たす。

\[
H_r\theta_r^\star
-\frac1nX_r^\top y_r
=
0
\]

二つの式を差し引くと、保持対象の正解値 \(y_r\) に関する項が消える。残るのは、再学習モデルからのパラメーター変位と、忘却対象に対する残差の関係である。

パラメーター変位を \(\delta\theta=\theta_\rho-\theta_r^\star\) と定義する。忘却対象の予測値は、\(\theta_\rho=\theta_r^\star+\delta\theta\) を用いて次のように分解できる。

\[
\begin{aligned}
X_f\theta_\rho-y_f
&=
X_f(\theta_r^\star+\delta\theta)-y_f\\
&=
e_f^-+X_f\delta\theta
\end{aligned}
\]

この関係を停留条件の差へ代入すると、次の式が得られる。

\[
H_r\delta\theta
=
\frac\rho nX_f^\top
(e_f^-+X_f\delta\theta)
\]

右辺の \(X_f\delta\theta\) は、忘却処理によって忘却対象の出力自体が変化することを表している。忘却損失の勾配は更新後のパラメーターで評価されるため、再学習モデルの残差 \(e_f^-\) だけを使って変位を決定することはできない。更新によって生じた出力変化が、さらに忘却損失の勾配へ反映される関係になっている。

\(\delta\theta\) を含む項を左辺にまとめると、次の線形方程式となる。

\[
\left(
H_r-\frac\rho nX_f^\top X_f
\right)\delta\theta
=
\frac\rho nX_f^\top e_f^-
\]

左辺の行列を \(M_\rho\) と定義する。

\[
M_\rho
=
H_r-\frac\rho nX_f^\top X_f
\]

\(H_r\) は保持対象の損失が持つ曲率であり、\(X_f^\top X_f\) は忘却対象の特徴から生じる曲率である。GradDiff では忘却対象の損失を負の符号で目的関数に加えるため、忘却対象の曲率が保持対象の曲率から差し引かれる。忘却係数 \(\rho\) が大きくなると、この差し引きの影響も増加する。

\(M_\rho\) が正定値であれば、GradDiff の目的関数は厳密に凸となり、最小解が一意に定まる。また、\(M_\rho^{-1}\) が存在するため、パラメーター変位は次のように求められる。

\[
\delta\theta
=
\frac\rho n
\left(
H_r-\frac\rho nX_f^\top X_f
\right)^{-1}
X_f^\top e_f^-
\]

右辺の \(X_f^\top e_f^-\) は、忘却対象の残差からパラメーター空間へ戻された勾配方向である。逆行列は、保持対象と忘却対象の曲率の差を考慮して、その方向がどの程度の変位になるかを決める。係数 \(\rho/n\) は忘却損失の相対的な寄与を表す。

この式から、GradDiff のパラメーター変位は忘却対象の残差だけで決まるわけではないことが分かる。忘却対象の特徴がどの方向へ勾配を作り、その方向が保持対象の曲率によってどの程度制約されるかが、最終的な変位を決定する。さらに、この変位が保持対象の出力へどのように伝わるかは、保持対象の特徴行列を掛け合わせることで求められる。

4.5 出力差の閉形式

GradDiff のパラメーター変位が求まったので、評価集合に対する出力差を計算する。線形回帰では \(f_\theta(X_a)=X_a\theta\) であるため、再学習モデルからの出力差は次のようになる。

\[
\begin{aligned}
\Delta_a
&=
f_{\theta_\rho}(X_a)
-f_{\theta_r^\star}(X_a)\\
&=
X_a(\theta_\rho-\theta_r^\star)\\
&=
X_a\delta\theta
\end{aligned}
\]

添字 \(a\) は評価対象のデータ集合を示す。忘却対象では \(a=f\)、保持対象では \(a=r\) である。出力差を直接計算するには、先ほどのパラメーター変位の式に \(X_a\) を掛ければよい。しかし、そのままでは \(d\) 次元のパラメーター空間における逆行列が残るため、忘却対象と保持対象の関係が読み取りにくい。

そこで、任意の評価集合 \(X_a\) と忘却対象の特徴行列を結ぶ行列を定義する。

\[
K_{af}
=
X_aH_r^{-1}X_f^\top
\]

忘却対象を評価する場合は \(K_{af}=K_{ff}\)、保持対象を評価する場合は \(K_{af}=K_{rf}\) となる。この定義によって、同じパラメーター変位が異なる評価集合の出力へ与える影響を、共通した形で表せる。

パラメーター変位の式にある逆行列を整理する。まず、\(M_\rho\) の定義を用いると、次の関係が成立する。

\[
\begin{aligned}
M_\rho H_r^{-1}X_f^\top
&=
\left(
H_r-\frac\rho nX_f^\top X_f
\right)
H_r^{-1}X_f^\top\\
&=
X_f^\top
-\frac\rho nX_f^\top
X_fH_r^{-1}X_f^\top\\
&=
X_f^\top
\left(
I_m-\frac\rho nK_{ff}
\right)
\end{aligned}
\]

この式では、忘却対象の特徴行列と保持対象の曲率を組み合わせた項が、自己レバレッジ \(K_{ff}\) に置き換わっている。\(M_\rho\) と \(I_m-\rho K_{ff}/n\) がともに可逆である条件では、左右から逆行列を作用させることで、次の恒等式を得る。

\[
M_\rho^{-1}X_f^\top
=
H_r^{-1}X_f^\top
\left(
I_m-\frac\rho nK_{ff}
\right)^{-1}
\]

この恒等式をパラメーター変位に代入すると、次の形になる。

\[
\delta\theta
=
\frac\rho n
H_r^{-1}X_f^\top
\left(
I_m-\frac\rho nK_{ff}
\right)^{-1}
e_f^-
\]

評価集合の出力差は \(\Delta_a=X_a\delta\theta\) なので、左から \(X_a\) を掛ける。

\[
\begin{aligned}
\Delta_a
&=
\frac\rho n
X_aH_r^{-1}X_f^\top
\left(
I_m-\frac\rho nK_{ff}
\right)^{-1}
e_f^-\\
&=
\frac\rho n
K_{af}
\left(
I_m-\frac\rho nK_{ff}
\right)^{-1}
e_f^-
\end{aligned}
\]

これにより、GradDiff による任意の評価集合の出力差を、再学習モデルの忘却対象残差とレバレッジ行列によって表せる。

\[
\boxed{\displaystyle
\Delta_a
=
\frac\rho n
K_{af}
\left(
I_m-\frac\rho nK_{ff}
\right)^{-1}
e_f^-
}
\]

この式は右から順に読むと意味が明確になる。最も右の \(e_f^-\) は、再学習モデルが忘却対象について持つ残差である。その左の逆行列は、忘却対象内部の特徴関係と忘却係数によって残差がどのように増幅されるかを表す。さらに \(K_{af}\) が、その変化を評価対象の出力へ伝える。最後に \(\rho/n\) が忘却項の寄与を決める。

忘却対象自身の出力差を求める場合は、\(a=f\) を代入する。

\[
\Delta_f
=
\frac\rho n
K_{ff}
\left(
I_m-\frac\rho nK_{ff}
\right)^{-1}
e_f^-
\]

保持対象の出力差を求める場合は、\(a=r\) を代入する。

\[
\Delta_r
=
\frac\rho n
K_{rf}
\left(
I_m-\frac\rho nK_{ff}
\right)^{-1}
e_f^-
\]

二つの式は、残差 \(e_f^-\) と増幅項 \((I_m-\rho K_{ff}/n)^{-1}\) を共有している。異なるのは、最終的にどの評価対象へ変化を伝えるかを決める行列である。忘却対象では自己レバレッジ \(K_{ff}\) が作用し、保持対象では交差レバレッジ \(K_{rf}\) が作用する。

この違いにより、忘却対象への出力変化が大きい場合でも、保持対象へ同じ大きさの変化が生じるとは限らない。交差レバレッジが小さい方向に残差が集中していれば、忘却対象の出力が変化しても保持対象への影響は小さくなり得る。逆に、忘却対象と保持対象が共有する特徴方向に残差が存在し、交差レバレッジがその方向に大きな作用を持つ場合には、忘却対象の変更が保持対象の予測へ伝わる。

ただし、自己レバレッジや交差レバレッジの行列ノルムだけから、個々のモデルの実際の出力差が決まるわけではない。残差ベクトルがどの固有方向に分布するか、各方向で増幅がどの程度生じるか、評価対象への寄与がどのように合成されるかによって結果が変わる。同じ大きさの残差を持つ二つのモデルでも、残差の方向が異なれば出力差は異なり得る。

忘却係数 \(\rho\) が十分小さく、逆行列を展開できる条件では、次の近似も得られる。

\[
\left(
I_m-\frac\rho nK_{ff}
\right)^{-1}
=
I_m+\frac\rho nK_{ff}
+O(\rho^2)
\]

これを出力差の式に代入すると、一次の項は次のようになる。

\[
\Delta_f
=
\frac\rho nK_{ff}e_f^-
+O(\rho^2)
\]

\[
\Delta_r
=
\frac\rho nK_{rf}e_f^-
+O(\rho^2)
\]

ここで \(O(\rho^2)\) は、\(\rho\) を 0 に近づけたときに二次以上の大きさで減少する項をまとめたものである。一次近似では、忘却対象の残差に自己レバレッジまたは交差レバレッジを作用させた結果が、そのまま出力変化の主要項となる。忘却係数が大きくなると高次の寄与も増え、自己レバレッジによる増幅を無視できなくなる。

この閉形式は、線形回帰、二乗損失、L2 正則化、および GradDiff の目的関数が正定値のヘッセ行列を持つ条件の下で厳密に成立する。非線形モデルでは、パラメーターの変化に伴って出力の感度や曲率も変化するため、同じ構造を局所的な近似として扱う必要がある。

忘却損失の大きさだけでは、これらの行列が表す特徴方向の関係を特定できない。忘却処理による出力差は、再学習モデルの残差、忘却対象内部の増幅、保持対象との交差関係、忘却係数によって決まる。忘却対象の予測を変えることと、保持対象への副作用を抑えることが異なる条件になる理由は、この二つのレバレッジ行列の作用の違いとして説明できる。

5. 忘却を進めるほど出力差が増幅する条件がある

5.1 正定値性と忘却係数

GradDiff によるパラメーター変位を求める際には、保持対象の曲率から忘却対象の寄与を差し引いた行列の逆行列を使用した。この行列を \(M_\rho\) とすると、次のように表せる。

\[
M_\rho
=
H_r-\frac{\rho}{n}X_f^\top X_f
\]

\(H_r\) は保持対象の損失が持つ曲率であり、\(X_f^\top X_f\) は忘却対象の特徴から生じる曲率である。忘却係数 \(\rho>0\) を大きくすると、後者を差し引く量が増加する。その結果、保持対象の損失によってパラメーターの変化が制約されていた方向でも、GradDiff の目的関数の曲率が小さくなる場合がある。

二次関数を最小化する場合、ヘッセ行列が正定値であれば最小解は一意に定まる。\(M_\rho\) が正定値である条件を調べれば、GradDiff の目的関数が安定した最小解を持つ範囲を求められる。

保持対象の曲率行列 \(H_r\) は正定値なので、平方根行列 \(H_r^{1/2}\) とその逆行列が存在する。\(M_\rho\) を次のように分解する。

\[
\begin{aligned}
M_\rho
&=
H_r^{1/2}
\left(
I_d-\frac{\rho}{n}
H_r^{-1/2}X_f^\top X_fH_r^{-1/2}
\right)
H_r^{1/2}
\end{aligned}
\]

\(H_r^{1/2}\) は、それ自身を掛けると \(H_r\) になる対称正定値行列である。この分解により、\(M_\rho\) の正定値性は、中央の行列が正定値かどうかで判定できる。

中央に現れる \(H_r^{-1/2}X_f^\top X_fH_r^{-1/2}\) は半正定値行列である。その最大固有値が十分小さければ、単位行列から \(\rho/n\) 倍した値を差し引いても、すべての固有値が正に保たれる。

前章で定義した自己レバレッジは、次の行列であった。

\[
K_{ff}=X_fH_r^{-1}X_f^\top
\]

\(A=X_fH_r^{-1/2}\) と置くと、中央の曲率に関する行列は \(A^\top A\)、自己レバレッジは \(AA^\top\) となる。\(A^\top A\) と \(AA^\top\) は零でない固有値を共有するため、最大固有値も一致する。したがって、\(M_\rho\) が正定値である条件は、次の不等式と同値になる。

\[
\boxed{
\frac{\rho}{n}\lambda_{\max}(K_{ff})<1 } \]

\(\lambda_{\max}(K_{ff})\) は自己レバレッジ行列の最大固有値である。固有値は、行列の作用によって方向を変えずに何倍に拡大または縮小されるかを表す。\(K_{ff}\) は半正定値なので、その固有値はすべて非負である。最大固有値は、忘却対象の特徴と保持対象の曲率から決まる、最も大きな作用を受ける方向の倍率を表している。

\(\lambda_{\max}(K_{ff})>0\) の場合、正定値条件は忘却係数の上限としても表せる。

\[
0<\rho< \frac{n}{\lambda_{\max}(K_{ff})} \]

この条件の下では、GradDiff の目的関数は厳密に凸であり、前章で導いた閉形式によって一意の最小解を求められる。自己レバレッジの最大固有値が大きいほど、許容される忘却係数の上限は小さくなる。忘却対象の特徴が保持対象の曲率に対して大きな変位を生じやすい方向を持つ場合、同じ忘却係数でも正定値条件の境界へ近づきやすくなる。

この境界が出力差へ与える影響は、前章の式に含まれる逆行列から読み取れる。

\[
\left(
I_m-\frac{\rho}{n}K_{ff}
\right)^{-1}
\]

自己レバレッジの固有値を \(\lambda_i\) とすると、その固有方向における逆行列の倍率は次のようになる。

\[
g_i(\rho)
=
\frac{1}{1-\frac{\rho}{n}\lambda_i}
\]

\(\lambda_i>0\) の方向では、\(\rho\) の増加とともに分母が小さくなり、倍率が大きくなる。特に最大固有値に対応する方向では、\(\rho\lambda_{\max}(K_{ff})/n\) が 1 に近づくと倍率が発散する。ただし、実際の出力差にその方向の増幅が現れるには、忘却対象の残差が対応する固有方向の成分を持っている必要がある。

正定値条件の境界に達すると、\(M_\rho\) は特異行列となり、一意の最小解を与える逆行列を使用できなくなる。境界を越えると \(M_\rho\) は負の固有値を持つため、線形二乗損失による GradDiff の二次目的関数は下に有界でなくなる。忘却係数を大きくする操作は、忘却対象の損失を増やす方向の寄与だけでなく、目的関数そのものの安定性も変化させる。

この正定値条件は、線形二乗損失の GradDiff における最小解の存在と一意性を判定する条件である。忘却処理によって望ましい予測性能が得られることや、保持対象への影響が十分小さいことまで保証する条件ではない。最適化問題が安定した解を持つことと、その解が再学習モデルの出力に近いことは、別々に評価する必要がある。

5.2 出力差の上界を求める

正定値条件が成立する場合、GradDiff の出力差は前章で導いた閉形式によって表せる。

\[
\Delta_a
=
\frac{\rho}{n}
K_{af}
\left(
I_m-\frac{\rho}{n}K_{ff}
\right)^{-1}
e_f^-
\]

ここで \(e_f^-\) は再学習モデルの忘却対象残差、\(K_{ff}\) は忘却対象内部の自己レバレッジ、\(K_{af}\) は忘却対象から評価集合への影響を表す行列である。この式から、出力差の大きさに対する上界を導ける。

ベクトルのユークリッドノルム \(\|v\|_2\) は、成分の二乗和の平方根である。行列のスペクトルノルム \(\|A\|_2\) は、長さ 1 のベクトルに行列を作用させたときの出力の長さの最大値を表す。したがって、任意のベクトル \(v\) について、次の関係が成立する。

\[
\|Av\|_2
\leq
\|A\|_2\|v\|_2
\]

この関係を出力差の閉形式に適用すると、行列の作用をそれぞれの最大倍率で評価できる。

\[
\begin{aligned}
\|\Delta_a\|_2
&\leq
\frac{\rho}{n}
\|K_{af}\|_2
\left\|
\left(
I_m-\frac{\rho}{n}K_{ff}
\right)^{-1}
\right\|_2
\|e_f^-\|_2
\end{aligned}
\]

自己レバレッジは対称な半正定値行列であり、正定値条件の下では逆行列の固有値もすべて正になる。逆行列の最大固有値は、自己レバレッジの最大固有値に対応する方向で得られるため、次の等式が成立する。

\[
\left\|
\left(
I_m-\frac{\rho}{n}K_{ff}
\right)^{-1}
\right\|_2
=
\frac{1}{
1-\frac{\rho}{n}\lambda_{\max}(K_{ff})
}
\]

これを先ほどのノルムの不等式に代入すると、出力差の上界が得られる。

\[
\boxed{
\|\Delta_a\|_2
\leq
\frac{\rho}{n}
\frac{
\|K_{af}\|_2\,\|e_f^-\|_2
}{
1-\frac{\rho}{n}\lambda_{\max}(K_{ff})
}
}
\]

この上界には、出力差を決める三つの要素が現れている。第一は \(\|e_f^-\|_2\) であり、再学習モデルが忘却対象について持つ残差の大きさである。第二は \(\|K_{af}\|_2\) であり、忘却対象に由来する変化が評価集合へ伝わる最大倍率を表す。第三は分母の \(1-\rho\lambda_{\max}(K_{ff})/n\) であり、忘却対象内部の増幅が正定値条件の境界へどれほど近づいているかを表す。

忘却対象の出力差を評価する場合は \(K_{af}=K_{ff}\)、保持対象の出力差を評価する場合は \(K_{af}=K_{rf}\) となる。それぞれの上界は次のように書ける。

\[
\|\Delta_f\|_2
\leq
\frac{\rho}{n}
\frac{
\|K_{ff}\|_2\,\|e_f^-\|_2
}{
1-\frac{\rho}{n}\lambda_{\max}(K_{ff})
}
\]

\[
\|\Delta_r\|_2
\leq
\frac{\rho}{n}
\frac{
\|K_{rf}\|_2\,\|e_f^-\|_2
}{
1-\frac{\rho}{n}\lambda_{\max}(K_{ff})
}
\]

二つの上界は同じ残差と増幅項を共有しているが、評価対象へ変化を伝える行列が異なる。保持対象への出力差の上界には交差レバレッジ \(K_{rf}\) が現れるため、忘却対象での変化が保持対象へどの程度伝わり得るかを、データ間の特徴関係から評価できる。

ただし、上界は実際の出力差そのものではない。上界の導出では、行列がベクトルを最も大きく拡大する場合を基準にしている。忘却対象の残差 \(e_f^-\) が最大固有値に対応する方向と異なる向きを持つ場合、実際の増幅は上界より小さくなる。また、複数の方向から保持対象へ伝わる変化が打ち消し合えば、交差レバレッジのノルムが大きくても、最終的な出力差は小さくなり得る。

この違いは、自己レバレッジの固有方向へ残差を分解すると明確になる。\(K_{ff}\) の単位固有ベクトルを \(u_i\)、対応する固有値を \(\lambda_i\) とし、忘却対象の残差を次のように表す。

\[
e_f^-=\sum_i c_i u_i
\]

\(c_i\) は残差が各固有方向に持つ成分である。忘却対象の出力差は、固有方向ごとに次の形へ分解できる。

\[
\Delta_f
=
\sum_i
\frac{
\frac{\rho}{n}\lambda_i
}{
1-\frac{\rho}{n}\lambda_i
}
c_i u_i
\]

この式では、各固有方向の残差が、その方向の固有値に応じて増幅される。正定値条件が成立する範囲では、正の固有値に対応する増幅係数は \(\rho\) の増加とともに大きくなる。そのため、固定された残差 \(e_f^-\) に対する忘却対象の出力差のノルムは、\(\rho\) の増加に対して非減少となる。一方、固有値が零の方向では係数も零であり、その方向の残差は出力差へ寄与しない。

保持対象では、同じ固有方向に対して交差レバレッジがさらに作用する。

\[
\Delta_r
=
\sum_i
\frac{\frac{\rho}{n}}{
1-\frac{\rho}{n}\lambda_i
}
c_i K_{rf}u_i
\]

保持対象への出力差は、各固有方向の増幅に加えて、\(K_{rf}u_i\) がどの方向を向くかに依存する。異なる固有方向からの寄与が同じ保持対象の出力成分へ作用する場合には、増幅と打ち消しの両方が起こり得る。そのため、保持対象の出力差のノルムが忘却係数に対して必ず単調に増加するとは限らない。

上界が大きくなることは、大きな出力差が生じ得る条件を示す。一方、実際の出力差を確定するには、残差の大きさだけでなく、その方向と各レバレッジ行列の作用を評価する必要がある。最大固有値による安定性の評価と、実際の評価集合における出力差の測定は、互いに補完する関係にある。

5.3 忘却手法は残差への重みと伝播経路を変える

GradDiff では、忘却対象の損失に共通の係数 \(\rho\) を与える。しかし、忘却対象のデータは、それぞれ異なる残差、特徴方向、保持対象との関係を持っている。すべてのデータに同じ係数を与えると、すでに忘却対象への予測が大きく変化した入力にも、引き続き損失を増加させる更新が作用する場合がある。

この問題に対して、忘却データごとの更新量を調整する方法が提案されている。NPO は忘却対象に対する負の選好を利用し、単純な勾配上昇による過度なモデル劣化を抑えることを目的とする手法である[11]。SimNPO は、元モデルを参照することによって生じる重み付けの偏りを避ける設計を採用している[12]。

これらの方法を数理的に理解するために、まず各忘却データに異なる重みを与えた二乗損失の局所モデルを考える。忘却対象のデータ数を \(m\) とし、各データの重みを対角成分に持つ行列を \(W\in\mathbb R^{m\times m}\) とする。

\[
W=
\begin{pmatrix}
w_1 & 0 & \cdots & 0\\
0 & w_2 & \cdots & 0\\
\vdots & \vdots & \ddots & \vdots\\
0 & 0 & \cdots & w_m
\end{pmatrix}
\]

\(w_i\geq0\) は忘却対象のデータ \(i\) に与える重みである。すべての重みが 1 なら \(W=I_m\) となり、通常の GradDiff の忘却項と同じ形になる。一方、重みを変えると、各データの残差がパラメーター更新へ与える寄与も変わる。

重みを固定した二乗損失による局所モデルでは、忘却対象の損失を次のように定義できる。

\[
\mathcal F_W(\theta)
=
\frac1{2n}
(X_f\theta-y_f)^\top
W
(X_f\theta-y_f)
\]

この目的関数では、忘却対象の各残差の二乗に重みを掛けてから合計する。勾配は次の形になる。

\[
\nabla\mathcal F_W(\theta)
=
\frac1n
X_f^\top W(X_f\theta-y_f)
\]

保持対象の損失から \(\rho\mathcal F_W(\theta)\) を引く目的関数を考えると、再学習基準からのパラメーター変位 \(\delta\theta_W\) は次の方程式を満たす。

\[
\left(
H_r-\frac{\rho}{n}X_f^\top WX_f
\right)\delta\theta_W
=
\frac{\rho}{n}X_f^\top We_f^-
\]

左辺には、重み付けされた忘却対象の曲率が現れる。右辺には、各忘却データの残差へ重みを掛けたベクトルが現れる。重みは忘却勾配の大きさだけでなく、目的関数の曲率にも影響するため、出力差の評価では両方の作用を考慮する必要がある。

対応する行列が正定値で逆行列を持つ場合、前章と同じ変形によって、評価集合に対する出力差は次のように表せる。

\[
\Delta_a^{(W)}
=
\frac{\rho}{n}
K_{af}
\left(
I_m-\frac{\rho}{n}WK_{ff}
\right)^{-1}
We_f^-
\]

この式は、重みを固定した二乗損失モデルに対して厳密に成立する。NPO や SimNPO の実際の目的関数を局所的な重み付き二乗損失で近似する場合には、近似式として解釈する必要がある。実際の NPO や SimNPO では、予測確率や学習状態によって勾配の重みが変化するため、その依存関係が曲率にも影響する。固定重みの式だけで、学習中に変化する重みや非線形な目的関数の全過程を厳密に表すことはできない。

固定重みモデルの式では、\(We_f^-\) が忘却対象の残差に対する選別を表す。一方、\(K_{af}\) は選別後の変化がどの評価集合へ伝わるかを決める。自己レバレッジと重み行列を含む逆行列は、選別された残差が忘却対象内部でどのように増幅されるかを表す。重みを変えることと、保持対象への伝播経路を変えることは、数理的には異なる操作である。

射影型の忘却手法では、パラメーター更新を特定の部分空間に制限する。例えば、保持対象の出力に関係する更新方向を抑えることで、忘却対象への変更が保持対象へ伝わることを制限する。この場合、更新方向に射影が作用するため、出力差を決める行列そのものが変化する。忘却対象に対する更新量を調整する重み付けと、更新が作用する方向を制限する射影では、保持対象への副作用を抑える仕組みが異なる。

Newton 型の方法では、勾配と曲率からパラメーター変位を求める。保持対象の損失が厳密な二次関数であり、その曲率行列を正確に利用できる場合には、再学習解への変位を厳密に計算できる。一方、非線形モデルでは、曲率を局所的に近似するため、近似の精度、曲率行列の計算方法、更新後のモデルが近似点からどの程度離れるかによって結果が変わる。

忘却対象と保持対象の特徴方向の関係が、最適化の安定性に影響することは線形安定性の研究でも示されている[13]。意味的に関連する保持データの性能を維持しながら忘却する方法や、Woodbury の恒等式を利用した Newton 型の更新も提案されている[14][15]。

これらの手法は、忘却対象への変更をどのように決めるか、その変更が保持対象へどのように伝わるかという二つの観点から比較できる。

方法	忘却方向を決める要素	再学習モデルからの出力差を左右するもの
GradDiff	保持損失と忘却損失の勾配差を使う。	自己レバレッジによる残差の増幅と、評価集合への伝播行列が作用する。
NPO・SimNPO	忘却データに対する予測状態に応じて、更新の重みを変える。	重み付けされた残差、学習中に変化する曲率、評価集合への伝播関係が作用する。
射影型	保持データに関係する更新方向を制限する。	射影された更新方向と評価集合の出力感度によって、忘却対象と保持対象の変化が分かれる。
Newton 型	勾配と曲率から再学習解への変位を推定する。	二次近似の精度、曲率行列の計算条件、更新後の出力感度に依存する。

手法ごとの違いは、忘却対象の損失をどれほど増加させたかだけでは把握できない。重み付けは忘却対象の残差ごとの寄与を変え、射影は更新が作用する方向を変え、Newton 型の方法は曲率を利用して再学習解への変位を求める。いずれもパラメーター更新を通じてモデルの出力を変えるが、再学習モデルとの出力差を決める構造は異なる。

5.4 忘却係数と保持性能を同時に確認する

GradDiff の忘却係数 \(\rho\) を大きくすると、忘却対象の損失を増加させる項の相対的な寄与が増える。忘却対象への正答率が低下する場合には、予測を変化させるという意味で処理が進んだように見える。しかし、再学習モデルとの出力差は、忘却対象の正答率とは異なる条件によって決まる。

線形回帰の閉形式では、忘却係数の増加によって自己レバレッジの固有方向ごとの増幅が大きくなる。正定値条件の境界に近づくと、最大固有値に対応する方向では非常に大きな変位が生じ得る。その変位は、交差レバレッジ \(K_{rf}\) を介して保持対象の出力にも伝わる。

例えば、忘却対象の残差が自己レバレッジの大きな固有値に対応する方向へ集中している場合、忘却係数の増加によって忘却対象の出力差が急速に拡大する可能性がある。さらに、その方向に対する交差レバレッジの作用も大きければ、保持対象の出力も再学習基準から離れる。一方、保持対象への交差作用が小さい方向では、忘却対象の出力が変化しても保持対象への影響は小さくなり得る。

忘却処理の評価には、忘却対象と保持対象について異なる測定値が必要になる。忘却対象では、正答率や損失の変化に加えて、再学習モデルとの出力差を測る。保持対象では、予測性能と再学習モデルとの出力差を確認する。さらに、GradDiff のように曲率による安定性を解析できる方法では、正定値条件を満たしているかも確認する。

この関係を整理すると、忘却対象への変化、保持対象への影響、最適化の安定性は、それぞれ異なる判定条件になる。

\[
\begin{aligned}
&\text{忘却対象の評価}
&&:\quad \mathrm{RMS}_f,\ \text{正答率・損失}\\
&\text{保持対象の評価}
&&:\quad \mathrm{RMS}_r,\ \text{予測性能}\\
&\text{安定性の評価}
&&:\quad
\frac{\rho}{n}\lambda_{\max}(K_{ff})<1 \end{aligned} \]

忘却対象の正答率だけを停止条件にすると、正答率がすでに低下した後も、再学習モデルからの出力差が増加している可能性を見落とす。保持対象の予測性能だけを追加しても、予測値が変化しているのに正誤判定が維持されている場合には、その差を十分に評価できない。正答率、出力差、安定性を分けることで、それぞれの評価値がどの条件の達成を示しているかが明確になる。

また、忘却対象と保持対象の評価を単一の数値へ統合する場合には、重み付けによって異なる目的の間に交換関係が生じる。忘却対象への正答率低下を優先すれば保持対象への影響が増加する場合があり、保持対象の出力維持を優先すれば忘却対象への変更が制限される場合がある。したがって、停止条件を定める際には、各評価値に許容される範囲を個別に指定することが、処理結果の意味を明確にする。

線形二乗損失の GradDiff では、自己レバレッジの固有値と忘却係数から最適化の安定条件を厳密に求められる。出力差の閉形式は、忘却対象の残差がどの方向で増幅され、その変化が保持対象へどのように伝わるかを表している。忘却処理の結果を判断する際には、損失の増加量だけでなく、再学習基準からの出力差と保持対象への影響を同時に確認する必要がある。

6. 線形モデルの理論は非線形 AI にどこまで適用できるか

6.1 再学習解の近傍で局所線形化する

線形回帰では、モデルの出力がパラメーターの一次関数であり、二乗損失のヘッセ行列もパラメーターに依存しない。そのため、忘却対象の残差とレバレッジ行列から、GradDiff による出力差を厳密に求められた。一方、ニューラルネットワークでは、複数の層で重み付き和と非線形な変換を繰り返すため、出力は一般にパラメーターの非線形関数となる。パラメーターを更新すると、予測値だけでなく、その後の更新に対する出力の感度も変化する。

非線形モデルでも、パラメーターの変化が十分小さい範囲では、再学習モデルの近傍で出力を一次近似できる。モデルの出力を \(f(\theta,x)\)、再学習モデルのパラメーターを \(\theta_r^\star\)、そこからの変位を \(\delta\theta\) とする。パラメーターについて微分可能な出力関数を Taylor 展開すると、次の関係が得られる。

\[
\begin{aligned}
f(\theta_r^\star+\delta\theta,x)
&=
f(\theta_r^\star,x)
+
J_x^-\delta\theta
+
R_x(\delta\theta)
\end{aligned}
\]

\(J_x^-\) は再学習モデルのパラメーター \(\theta_r^\star\) で評価した出力のヤコビ行列である。\(R_x(\delta\theta)\) は一次近似で表現できない高次の項をまとめた剰余である。出力関数が近傍で二階連続微分可能で、その二階微分が有界なら、変位が十分小さい範囲で剰余は変位の二乗の大きさに抑えられる。

高次の項を省略すると、出力差は次のように近似できる。

\[
f(\theta_r^\star+\delta\theta,x)
–
f(\theta_r^\star,x)
\approx
J_x^-\delta\theta
\]

ヤコビ行列は、各パラメーターを少し動かしたときに出力がどの程度変化するかを並べたものである。例えば、出力が一つの数値で、パラメーターが \(\theta_1,\theta_2\) の二つである場合、ヤコビ行列は次の行ベクトルになる。

\[
J_x^-=
\begin{pmatrix}
\frac{\partial f}{\partial\theta_1} &
\frac{\partial f}{\partial\theta_2}
\end{pmatrix}_{\theta=\theta_r^\star}
\]

パラメーターの変位を \(\delta\theta=(\delta\theta_1,\delta\theta_2)^\top\) とすると、一次近似による出力変化は、各パラメーターの変化量に対応する感度を掛け合わせた和となる。したがって、同じ大きさのパラメーター変位でも、出力感度の大きい方向へ移動すれば予測値の変化は大きくなる。

出力が \(c\) 個の成分を持ち、パラメーター数が \(d\) 個である場合、各入力のヤコビ行列は \(c\times d\) 行列となる。例えば 10 クラスの分類器なら、各クラスの出力得点について、すべてのパラメーターに対する感度を計算する。複数の入力についてヤコビ行列を縦に並べれば、評価集合全体の出力変化を一つの行列積で表せる。

\[
J_a^-=
\begin{pmatrix}
J_{a,1}^-\\
J_{a,2}^-\\
\vdots\\
J_{a,|A|}^-
\end{pmatrix}
\]

この行列を用いると、評価集合 \(A\) についての出力差は次のように近似される。

\[
\Delta_a
=
f(\theta_r^\star+\delta\theta,X_a)
–
f(\theta_r^\star,X_a)
\approx
J_a^-\delta\theta
\]

線形回帰では、出力のヤコビ行列が入力の特徴行列 \(X_a\) そのものになる。ニューラルネットワークでは、再学習モデルの近傍に限って、ヤコビ行列 \(J_a^-\) が特徴行列に対応する役割を持つ。ただし、ヤコビ行列は評価するパラメーターの位置によって変化するため、線形回帰のように任意の変位に対して同じ行列を使用できるわけではない。

この違いは、出力が非線形な一変数関数である場合にも確認できる。例えば \(f(\theta)=\theta^2\) を \(\theta=1\) の近傍で考えると、微分係数は 2 なので、一次近似は \(f(1+\delta\theta)-f(1)\approx2\delta\theta\) となる。しかし、実際の差は \(2\delta\theta+(\delta\theta)^2\) であり、変位の二乗に相当する項が残る。変位が小さい範囲では一次近似が成立しやすいが、大きな変位では省略した項の影響が増加する。

忘却処理では、更新によって再学習モデルからどれだけ離れるかが局所近似の妥当性を決める。忘却対象の損失を増やすために大きなパラメーター変位が生じた場合、再学習解で計算したヤコビ行列が更新後の出力変化を十分に表せない可能性がある。線形回帰で厳密に求められたレバレッジ行列を非線形モデルへ拡張するには、この出力の局所線形化に加えて、損失関数の曲率も近似する必要がある。

6.2 一般化 Gauss–Newton 近似による曲率

非線形モデルでは、損失関数の勾配をパラメーターに関する変化と、モデル出力に関する変化に分けて考えることができる。入力 \(x_j\) に対する出力を \(z=f(\theta,x_j)\)、正解を \(y_j\) とする。損失関数 \(\ell(z,y_j)\) は、まずモデルの出力 \(z\) を受け取り、その出力と正解の関係から損失を計算する。

再学習モデルのパラメーター \(\theta_r^\star\) において、忘却対象の各データ \(j\) について、次の三つの量を定義する。

\[
J_j^-=
\nabla_\theta f(\theta_r^\star,x_j)
\]

\[
\delta_j^-=
\nabla_z\ell(z,y_j)
\big|_{z=f(\theta_r^\star,x_j)}
\]

\[
B_j^-=
\nabla_z^2\ell(z,y_j)
\big|_{z=f(\theta_r^\star,x_j)}
\]

\(J_j^-\) はパラメーターの変更が出力へ与える影響を表すヤコビ行列である。\(\delta_j^-\) は、モデル出力を変化させたときに損失がどの方向へ変わるかを表す勾配である。\(B_j^-\) は、その出力勾配が出力の変化によってどの程度変わるかを表す二階微分行列である。

線形回帰の二乗損失では、出力勾配は予測値から正解値を引いた残差に一致し、出力に関する二階微分は 1 になる。一方、分類モデルの交差エントロピー損失では、出力得点に対する勾配は予測確率と正解ラベルの関係によって決まり、二階微分も予測確率に依存する。非線形モデルでは、残差に相当する情報と、損失の曲率に相当する情報を分けて表す必要がある。

忘却対象のデータ数を \(m\)、出力次元を \(c\) とすると、各データの量をまとめた行列とベクトルは次のようになる。

\[
J_f^-\in\mathbb R^{mc\times d},
\qquad
\delta_f^-\in\mathbb R^{mc},
\qquad
B_f^-\in\mathbb R^{mc\times mc}
\]

\(J_f^-\) は各入力のヤコビ行列を縦に並べたもの、\(\delta_f^-\) は出力勾配を縦に並べたものである。\(B_f^-\) は各入力の出力に関する二階微分行列を対角ブロックとして並べた行列であり、異なる入力の出力成分間に直接の二階微分を持たない構造になる。

これらの量を使うと、忘却対象の損失の勾配は連鎖律によって次のように表せる。

\[
\nabla\mathcal F(\theta_r^\star)
=
\frac1n(J_f^-)^\top\delta_f^-
\]

この式では、出力空間で定義された損失の勾配 \(\delta_f^-\) が、ヤコビ行列の転置によってパラメーター空間へ変換される。出力の誤差がどのパラメーターの更新方向を作るかは、ヤコビ行列によって決まる。

さらに曲率を考える。非線形モデルの損失をパラメーターで二階微分すると、出力に関する損失の二階微分をヤコビ行列で変換した項に加えて、モデル出力そのものの二階微分に由来する項が現れる。一般化 Gauss–Newton（GGN）近似は、出力の二階微分に由来する項を省き、損失の出力空間での曲率をヤコビ行列によってパラメーター空間へ写す方法である。

忘却対象に関する GGN 曲率は、次のように表せる。

\[
H_{f,\mathrm G}^-=
\frac1n(J_f^-)^\top B_f^-J_f^-
\]

この行列は、線形回帰における \(X_f^\top X_f/n\) に対応する役割を持つ。線形回帰の二乗損失では \(J_f^-=X_f\)、\(B_f^-=I_m\) となるため、両者は一致する。一方、一般のニューラルネットワークでは、出力に対する損失の曲率と、出力のパラメーター感度が同時に反映される。

保持対象の局所曲率を \(H_r^-\) とする。これは再学習モデルの近傍において使用する正定値の曲率行列であり、厳密な Taylor 展開では保持目的関数のヘッセ行列、GGN 近似を用いる場合には保持対象の GGN 曲率に対応する。正定値性を満たすことで逆行列 \((H_r^-)^{-1}\) が存在し、パラメーターの変位を求められる。

線形回帰の自己レバレッジと交差レバレッジに対応する行列を、ヤコビ行列と局所曲率から定義する。

\[
K_{af}^{\mathrm{NL}}
=
J_a^-(H_r^-)^{-1}(J_f^-)^\top
\]

\[
K_{ff}^{\mathrm{NL}}
=
J_f^-(H_r^-)^{-1}(J_f^-)^\top
\]

上付きの \(\mathrm{NL}\) は非線形モデルの局所近似による量を区別するための記号である。\(K_{ff}^{\mathrm{NL}}\) は忘却対象の出力感度同士の関係を、保持対象の曲率を介して表す。\(K_{af}^{\mathrm{NL}}\) は忘却対象に由来するパラメーター更新が、評価集合 \(A\) の出力へどのように作用するかを表す。

GradDiff の目的関数では、保持対象の曲率から忘却対象の曲率を係数 \(\rho\) で差し引く。非線形モデルの局所近似で使用する行列を、次のように定義する。

\[
M_\rho^-=
H_r^–\rho H_{f,\mathrm G}^-
\]

\(M_\rho^-\) が正定値であり、再学習モデルの近傍で停留条件を Taylor 展開できる場合、GradDiff によるパラメーター変位の局所的な予測値は次のようになる。

\[
\widehat{\delta\theta}
=
\rho(M_\rho^-)^{-1}
\nabla\mathcal F(\theta_r^\star)
\]

右辺の忘却損失の勾配に \((J_f^-)^\top\delta_f^-/n\) を代入し、線形回帰の場合と同じ逆行列の恒等式を用いると、次の形に整理できる。

\[
\widehat{\delta\theta}
=
\frac\rho n
(H_r^-)^{-1}(J_f^-)^\top
\left(
I_{mc}
–
\frac\rho n B_f^-K_{ff}^{\mathrm{NL}}
\right)^{-1}
\delta_f^-
\]

この式では、忘却対象の出力勾配が、出力空間での曲率と自己レバレッジによって調整され、その後にパラメーター空間へ変換される。線形回帰の式に現れた忘却対象残差 \(e_f^-\) に対応するのは、一般の損失関数では出力勾配 \(\delta_f^-\) である。また、増幅項には出力空間での損失曲率 \(B_f^-\) が加わる。

評価集合に対する出力差の予測値は、パラメーター変位へ評価集合のヤコビ行列を作用させることで求められる。

\[
\widehat{\Delta}_a
=
J_a^-\widehat{\delta\theta}
\]

先ほどのパラメーター変位を代入すると、次の局所近似式が得られる。

\[
\boxed{
\widehat{\Delta}_a
=
\frac\rho n
K_{af}^{\mathrm{NL}}
\left(
I_{mc}
–
\frac\rho n B_f^-K_{ff}^{\mathrm{NL}}
\right)^{-1}
\delta_f^-
}
\]

この式は、線形回帰で得られた出力差の閉形式に対応している。忘却対象の出力勾配 \(\delta_f^-\) が変化の出発点となり、自己レバレッジと出力曲率を含む逆行列がその影響を調整し、評価集合への伝播行列 \(K_{af}^{\mathrm{NL}}\) が出力差へ変換する。

ただし、ここでの \(\widehat{\Delta}_a\) は局所的な予測値である。実際の忘却処理後のモデルが再学習基準から大きく離れた場合や、途中で曲率と出力感度が大きく変化した場合には、予測値と実測値の差が増加し得る。また、逆行列が数値的に不安定になる条件では、局所的な誤差も増幅される。

この関係によって、線形回帰の厳密な式と非線形モデルの局所近似は共通する構造を持つ一方、成立する保証の範囲が異なることが分かる。線形回帰では特徴行列と曲率が固定され、条件を満たす最小解の出力差を厳密に計算できる。非線形モデルでは、再学習解の近傍で計算したヤコビ行列と曲率によって、忘却処理に伴う出力変化を近似的に予測する。

6.3 近似誤差と最適化経路

非線形モデルの局所近似には、主に三つの誤差が関わる。第一は出力関数を一次近似することによる誤差、第二は損失関数の曲率を近似することによる誤差、第三は理論上の停留点と実際の最適化による到達点の違いである。それぞれ発生する理由が異なるため、局所近似の精度を評価する際には区別する必要がある。

出力関数の局所線形化では、Taylor 展開の高次の項が省略される。出力の二階微分が近傍で有界であれば、再学習解からの変位 \(\delta\theta\) に対する剰余は、変位の二乗の大きさで評価できる。

\[
\|R_x(\delta\theta)\|_2
\leq
C_x\|\delta\theta\|_2^2
\]

\(C_x\) は評価する入力と近傍の二階微分の上界によって決まる定数である。この式は、変位が十分小さければ一次近似の誤差が二次の大きさに抑えられることを表す。反対に、忘却処理によって大きな変位が生じる場合には、再学習解で計算したヤコビ行列による予測が実際の出力変化と乖離する可能性がある。

曲率の近似では、厳密なヘッセ行列と GGN 曲率の差が問題になる。出力が非線形な場合、パラメーターに関する損失のヘッセ行列には、出力のヤコビ行列を使って表せる項に加えて、出力の二階微分と損失の出力勾配を含む項が現れる。GGN 近似では後者を省くため、両者が一致しない場合には曲率近似の誤差が生じる。

この誤差は、パラメーターの変位を求める逆行列にも影響する。局所的な曲率行列が小さな固有値を持つ場合、曲率の近似誤差がパラメーター変位の推定に大きく反映され得る。中心論文では、厳密なヘッセ行列を使った局所展開の誤差には変位の二乗に対応する項が現れ、GGN へ置き換えた場合には曲率近似に由来する一次の誤差項が加わることを示している[8]。

第三の誤差は、実際の最適化過程から生じる。理論式では、再学習解 \(\theta_r^\star\) の近傍に存在する GradDiff の停留点を対象としている。しかし、実際の忘却処理では元モデル \(\theta^\star\) を初期値とし、有限回の更新によってパラメーターを変更することが多い。勾配の計算に使用するデータの選択、学習率、更新回数、最適化アルゴリズムの内部状態によって、到達するパラメーターが変化する。

非凸な目的関数では、異なる初期値から異なる停留点へ到達することもある。再学習解の近傍から連続的に追跡した停留点と、元モデルから通常の忘却処理を開始して到達した停留点が一致する保証はない。局所近似式は、再学習解を通る停留点の枝に対する変化を予測するものであり、任意の初期値から実行した忘却処理の到達点まで厳密に予測するものではない。

誤差の種類	発生する理由	評価に必要な条件
出力の局所線形化誤差	ヤコビ行列による一次近似では、出力関数の二次以上の変化が省略される。	再学習解からの変位が小さく、近傍で出力の高次微分が制御されている必要がある。
曲率近似誤差	GGN 近似では、モデル出力の二階微分に由来する項が省略される。	近似曲率と厳密な曲率の差、および逆行列の条件数を確認する必要がある。
最適化経路による差	初期値や更新手順によって、局所近似が対象とする停留点とは異なる状態へ到達する場合がある。	比較対象の停留点、初期値、更新条件、再学習基準からの距離を確認する必要がある。

これらの条件から、非線形モデルに対するレバレッジ行列は、忘却の出力差を厳密に保証する量というより、再学習解の近傍で変化が伝わる方向を診断する量として解釈できる。局所近似による予測が実際の変化とどの程度一致するかは、評価したモデルと最適化条件の下で検証する必要がある。

6.4 忘却対象の作り方で出力差が変わる

忘却対象の選び方によって、残差の分布と特徴方向の関係は変化する。無作為に抽出したデータを忘却する場合と、特定の分類クラスに属するデータをまとめて忘却する場合では、忘却対象が共有する特徴や、保持対象との関係が異なる。その違いは、自己レバレッジ、交差レバレッジ、再学習モデルの残差に反映される。

中心論文では、手書き数字画像の分類データセットである MNIST を使用し、忘却対象を無作為に選ぶ条件と、特定クラスのデータをまとめて忘却する条件を比較している。実験では 4,000 件の学習データから忘却対象を構成し、無作為忘却では 200 件を抽出した。クラス忘却では一つの数字クラスに属するデータを忘却対象とし、その件数は抽出した学習集合に含まれるクラスの件数によって異なる。

この比較では、忘却対象のデータ数だけでなく、対象データが共有する特徴方向も変化する。無作為忘却では複数のクラスからデータが選ばれるため、特徴方向が比較的分散する場合がある。一方、クラス忘却では同じ分類ラベルに属する入力が集まるため、同じ判断境界や特徴に関係する更新が集中し得る。どちらの条件で出力差が大きくなるかは、残差とレバレッジ行列の両方によって決まる。

クラス忘却条件では、GradDiff、NPO、SimNPO、ProjGD の忘却対象正答率はすべて 0% だった。しかし、忘却対象を除いて再学習したモデルとの出力差には大きな違いがあった。論文では、分類確率へ変換する前の出力得点である logit を比較し、その成分ごとの平方根平均二乗差を報告している。

方法	クラス忘却時の忘却対象正答率	忘却対象の出力 RMS 差	保持対象の出力 RMS 差
GradDiff	0%	0.038 ± 0.037	0.031 ± 0.029
NPO	0%	0.032 ± 0.032	0.025 ± 0.022
SimNPO	0%	0.009 ± 0.011	0.009 ± 0.011
ProjGD	0%	0.509 ± 0.065	0.440 ± 0.034

数値はクラス忘却条件における平均値と標準偏差であり、出力 RMS 差は再学習モデルを基準とした logit の差を表す。例えば SimNPO と ProjGD は、忘却対象の正答率がともに 0% だったにもかかわらず、忘却対象の出力 RMS 差はそれぞれ 0.009 と 0.509 だった。表示された平均値の比は約 57 倍である。

両手法は忘却対象をすべて誤分類するという同じ結果に到達しているが、再学習モデルへの出力の近さは大きく異なる。さらに、保持対象の出力 RMS 差も SimNPO では 0.009、ProjGD では 0.440 であり、忘却対象に対する変更が保持対象へ伝わる程度にも差がある。正答率は分類結果だけを評価する一方、出力 RMS 差は正誤が同じ入力における予測状態の違いも反映する。

論文では、これらを含む反復更新型の 4 手法について、クラス忘却時の忘却対象の交差エントロピー損失も 4.368～4.404 の範囲に収まっていたと報告している。損失が近い条件でも、出力 RMS 差には大きな違いが生じている。損失関数を集約した数値は、各入力への更新がどの方向に作用したか、再学習モデルとの出力差がどこに残ったかを一意に表していない。

SimNPO の出力差が小さかった理由について、論文では忘却対象の損失に応じた重み付けの飽和を報告している。クラス忘却条件では再学習モデルの忘却対象損失が大きく、設定された重みがほぼ零に近づいた。その結果、忘却損失を増加させる項の寄与が小さくなり、更新後のモデルが再学習基準の近くにとどまった。忘却処理を積極的に進めたから出力差が小さくなったという解釈とは異なる。

この実験では、SimNPO の重み付けが特定の条件でほぼ零へ飽和したことが、再学習モデルとの出力差の小ささに関係している。したがって、SimNPO の数値が小さいという事実だけから、すべての忘却課題で優れた方法であるとは判断できない。忘却対象の作り方、損失の初期状態、重み付けの設定が変われば、同じ手法でも異なる更新が生じる可能性がある。

忘却対象の選び方による構造の違いは、残差とレバレッジ行列の比較からも確認できる。論文では、無作為忘却からクラス忘却へ変更した場合、再学習モデルの忘却対象残差のノルムが約 4.59 倍になった。一方、自己レバレッジの最大固有値の推定値は約 1.57 倍、交差レバレッジの Frobenius ノルムは約 1.32 倍だった。

Frobenius ノルムは行列の全成分を二乗して合計し、その平方根を取った値である。最大固有値は最も大きな増幅方向を表すのに対し、Frobenius ノルムは行列全体の成分の大きさを集約する。したがって、これらの増加率を同じ評価量の変化として扱うことはできない。それぞれ、残差の大きさ、忘却対象内部の増幅、保持対象への伝播という異なる性質を測定している。

この比較では、忘却対象の構成を変えたことによる残差ノルムの変化が、二つのレバレッジ指標の変化より大きかった。出力差の閉形式では、残差とレバレッジ行列が掛け合わされるため、残差が増加した分だけ出力差が同じ比率で増加するとは限らない。各方向の増幅と保持対象への伝播が、残差の方向に応じて作用するためである。

忘却対象の正答率、交差エントロピー損失、出力 RMS 差、残差ノルム、レバレッジ指標は、それぞれ異なる情報を与える。特に、正答率と損失が近い場合でも出力差が異なるという観測は、忘却処理の結果を再学習モデルの出力空間で評価する必要性を具体的に示している。

6.5 CIFAR-10 と大規模言語モデルでの検証

MNIST で確認した関係が、異なる特徴表現やモデル規模でも成立するかを評価するには、局所近似による予測と実際の出力差を比較する必要がある。中心論文では、CIFAR-10 の画像分類モデルと、TOFU を用いた大規模言語モデルの忘却実験によって、レバレッジ構造の診断能力を検証している。

CIFAR-10 では、事前学習済み ResNet-18 の特徴抽出部分を固定し、その出力に接続した 2 層の分類器を忘却処理の対象とした。特徴抽出器のパラメーターは更新せず、512 次元の特徴を入力とする分類器のパラメーターを変更する構成である。したがって、画像分類モデル全体を更新する場合と比べ、忘却処理によるパラメーター変化の対象が限定されている。

局所近似の検証では、再学習モデルの近傍から停留点を追跡し、理論式による出力差の予測方向と、実際に観測された logit の出力差を比較している。比較には Pearson 相関係数が使われ、1 に近いほど予測した成分ごとの変化と実測した変化が同じ線形関係に沿っていることを表す。

CIFAR-10 の無作為忘却条件では、GradDiff の忘却対象に対する予測と実測の Pearson 相関は 0.89 ± 0.03、保持対象では 0.82 ± 0.05 だった。クラス忘却条件では、それぞれ 0.97 ± 0.01、0.87 ± 0.09 だった。これらは、保持対象の曲率を用いたレバレッジ構造による予測値である。

比較対象として、保持対象の曲率を使わずに通常の内積構造を利用した場合、CIFAR-10 の無作為忘却条件での Pearson 相関は、忘却対象で 0.74 ± 0.04、保持対象で 0.63 ± 0.06 だった。クラス忘却条件でも、対応する値は 0.94 ± 0.02、0.74 ± 0.07 となった。評価された条件では、保持対象の曲率を取り入れた方が、出力差の方向と高い相関を示した。

この結果は、忘却対象の特徴を通常の内積だけで比較するより、保持対象の損失がどのパラメーター方向を制約しているかを考慮した方が、局所的な出力変化の方向を説明しやすいことを示している。ただし、Pearson 相関は変化の方向や成分間の線形関係を評価する指標であり、出力差の大きさが正確に予測されたことを意味しない。また、検証対象の停留点は再学習モデルの近傍に限定されているため、大きなパラメーター変位を伴う忘却処理へ同じ精度を一般化することはできない。

大規模言語モデルでは、評価対象そのものが異なる。言語モデルは次に生成するトークンの確率分布を出力するため、忘却対象の情報をどの程度生成しやすいか、対象情報を含む回答の確率がどのように変化したか、保持対象の回答にどの程度影響したかを測る必要がある。

言語モデルの忘却評価には、架空の著者についての情報を学習・忘却させる TOFU が使用されている[16]。架空の人物に関する情報を忘却対象として用意することで、学習した情報を取り除く操作と、残すべき情報への影響を、比較可能な条件で評価できる。

中心論文では、Llama-3.2-1B-Instruct を対象に、忘却処理を開始する前に計算したレバレッジに基づく指標が、処理後の出力変化をどの程度予測できるかを調べている。ここでは、再学習モデルの近傍で厳密に計算するレバレッジ行列の代わりに、元モデルのパラメーターで計算できる勾配と近似曲率を使用している。

評価では、元モデルで計算した各データの勾配を、曲率行列の近似逆行列を介して比較する。忘却対象については自己影響に対応する得点を、保持対象については忘却対象の勾配との交差影響を集約した得点を計算する。これにより、実際に忘却処理を実行する前に、どのデータの出力が大きく変化しやすいかを順位として予測する。

得点の妥当性を調べるために、各データの実際の負の対数尤度の変化を再学習モデルとの比較で測定し、予測した順位と実測した順位の Spearman 順位相関を求めている。Spearman 順位相関は、予測した数値の絶対的な大きさではなく、データを並べた順序がどの程度一致しているかを測る指標である。1 に近ければ順位が一致し、0 に近ければ単調な順位関係がほとんど認められない。

3 種の忘却手法と 3 個の乱数種による評価では、保持対象に関する順位相関は 0.26～0.49 の範囲だった。忘却対象に関する順位相関は、正の関係が確認された条件で 0.14～0.29 の範囲だった。一方、NPO の一部の忘却条件では、相関が無作為な順位付けから有意に異なるとは認められなかった。

保持対象については、レバレッジに基づく得点が高いデータほど、忘却処理後に再学習モデルとの負の対数尤度の差が大きくなる傾向が確認された。これは、保持対象へ波及する変更を、忘却処理の前に一定程度予測できることを示している。ただし、順位相関は最大でも 0.49 であり、各入力で生じる出力差の大きさを精密に求められる水準ではない。

また、これらの得点は、元モデルでのデータごとの損失や勾配ノルムといった比較的単純な指標に対して、明確に一貫した優位性を示したわけではない。レバレッジ構造には出力変化の順位に関する情報が含まれているが、その情報が追加の曲率計算に見合う改善を常に与えるかは、評価条件によって異なる。

この実験では、曲率を近似する範囲も制限されている。言語モデル全体のパラメーターに対する厳密なヘッセ行列を計算する代わりに、LoRA による低ランクのパラメーター表現と近似曲率を利用している。さらに、忘却処理は有限回の更新で終了しており、局所理論が対象とする停留点への到達が保証されているわけではない。したがって、得られた順位相関を、非線形モデルにおける閉形式の精度の直接的な検証とみなすことはできない。

言語モデルの忘却では、対象データの正答率、負の対数尤度、出力分布の差、情報の再抽出可能性など、複数の評価指標が利用されている。これらを共通条件で比較する研究も進められている[17]。同じ忘却処理であっても、評価する出力や測度が異なれば、達成したと判断できる性質も変わる。

線形回帰では、忘却対象の残差と二つのレバレッジ行列から、再学習モデルとの出力差を厳密に求められる。CIFAR-10 の局所的な検証では、保持対象の曲率を使った近似が出力差の方向を比較的よく説明した。大規模言語モデルでは、同じ考え方から構成した事前診断指標が、忘却処理後に変化しやすいデータの順位について一定の情報を与えた。

これらの結果は、理論上の保証の範囲を段階的に区別する必要性を示している。線形モデルの厳密式は、目的関数と正定値条件を満たす場合の出力差を決定する。非線形モデルの局所近似は、再学習解の近傍における出力変化の方向と大きさを推定する。大規模言語モデルの事前診断では、さらに限定された曲率情報を使い、変化しやすい入力の順位を評価する。それぞれ何を予測し、どの条件で一致が確認されたかを分けることで、数理モデルの適用可能性を評価できる。

7. 忘却の達成と情報削除の保証は分けて考える

7.1 出力の近さと内部情報の残存

忘却処理後のモデルと再学習モデルの出力差が小さい場合、指定した評価入力について両者の振る舞いが近いことを確認できる。例えば、忘却対象での出力 RMS 差が小さければ、その評価集合では、忘却対象を除いて再学習したモデルと近い予測値を返している。しかし、この結果が成立する範囲は、出力差を測定した入力集合と評価方法によって決まる。

評価対象の入力集合を \(X_a\)、忘却処理後のモデルを \(f_{\theta_u}\)、再学習モデルを \(f_{\theta_r^\star}\) とすると、出力差は次のように定義した。

\[
\Delta_a
=
f_{\theta_u}(X_a)
–
f_{\theta_r^\star}(X_a)
\]

この差が零であれば、評価集合 \(X_a\) に含まれる入力について、両モデルの出力は一致する。一方、評価集合に含まれない入力については、この等式から出力の一致を導くことはできない。学習済みモデルの入力空間は一般に非常に大きく、有限個の入力に対する一致から、すべての入力に対する一致を結論づけるには追加の条件が必要になる。

例えば、二つのモデルが通常の質問に対して同じ回答を返していても、質問の表現を変更した場合には異なる回答を返すことがある。文章生成モデルでは、同じ内容を別の言葉で尋ねる、回答の一部を与えて続きを生成させる、複数の情報を組み合わせて質問するなど、入力の構成によって異なる出力が生じ得る。忘却対象の情報が特定の質問では出力されなくなっていても、別の入力によって再び出力される可能性がある。

この違いは、評価集合上での平均的な出力差と、入力空間全体での出力差を区別すると明確になる。評価対象の入力分布を \(P_{\mathrm{eval}}\)、非負の出力差測度を \(d\) とすると、平均的な出力差は次のように表せる。

\[
E_{\mathrm{eval}}
=
\mathbb E_{x\sim P_{\mathrm{eval}}}
\left[
d\left(
f_{\theta_u}(x),
f_{\theta_r^\star}(x)
\right)
\right]
\]

この値は、評価分布から入力を抽出したときに、二つのモデルの出力が平均してどれだけ異なるかを表す。一方、入力空間 \(\mathcal X\) 全体における最大の出力差を考える場合は、次の量が対応する。

\[
E_{\max}
=
\sup_{x\in\mathcal X}
d\left(
f_{\theta_u}(x),
f_{\theta_r^\star}(x)
\right)
\]

\(\sup\) は、対象となる入力全体での出力差の上限を表す。平均的な出力差が小さくても、一部の入力で大きな差が生じる可能性がある。特に、評価分布でほとんど現れない入力や、意図的に構成された入力に対しては、通常の評価で観測される出力差と異なる結果が生じ得る。有限の評価集合で測定した RMS 差は、その集合における出力差を集約した値であり、入力空間全体での最大差を保証する量ではない。

さらに、出力の一致とモデル内部の情報の状態も異なる。ニューラルネットワークでは、学習データから得られた情報が多数のパラメーターに分散して表現される場合がある。特定の回答を生成する確率を低下させる更新によって、通常の入力では対象情報を取り出しにくくなっていても、パラメーターの別の組合せや追加の更新によって、その情報を再び利用できる可能性がある。

実際に、忘却処理後の言語モデルへ追加学習を行うことで、表面上は利用できなくなった情報が再び取り出せるようになる例が報告されている[18]。この結果は、忘却処理によって通常の回答が抑制されたことと、学習済みの重みに残る情報が除去されたことを区別する必要性を示している。ただし、追加学習による情報の再出現が、すべての場合に元の記憶の残存だけから生じたと断定することもできない。追加学習のデータや更新条件が結果へ与える影響を含めて判断する必要がある。

ここには、出力空間での比較によって確認できる性質と、モデル内部に関する保証の境界がある。出力差が小さいという結果は、定義した入力集合と測度において、忘却処理後のモデルが再学習モデルに近いことを示す。一方、対象情報が内部状態から完全に除去されたか、追加学習によって再び利用可能になるか、攻撃的な入力でも情報を出力しないかは、それぞれ追加の評価を必要とする。

再学習モデルとの出力差は、忘却処理の結果を比較するための測定可能な基準である。その値の意味を正確に読むには、評価対象の入力分布、出力差の測度、比較基準となる再学習モデル、追加操作に対するモデルの振る舞いを区別することが必要になる。

7.2 忘却対象と保持対象を同時に監査する

忘却処理の評価では、忘却対象への変化と保持対象への影響を分けて記録する必要がある。忘却対象の正答率だけを測定すると、対象情報に関する予測が変化したことは確認できるが、その更新が再学習モデルへの接近につながったかは判定できない。また、保持対象の正答率だけでは、正誤判定を変えない範囲で生じた出力分布の変化を見落とす可能性がある。

忘却対象と保持対象の出力差を、それぞれ \(\Delta_f\)、\(\Delta_r\) とする。これらは、忘却処理後のモデルと再学習モデルの出力を、同じ入力について比較した結果である。

\[
\Delta_f
=
f_{\theta_u}(X_f)
–
f_{\theta_r^\star}(X_f)
\]

\[
\Delta_r
=
f_{\theta_u}(X_r)
–
f_{\theta_r^\star}(X_r)
\]

\(\Delta_f\) は忘却対象を使わずに再学習した場合の振る舞いへの接近を測る。\(\Delta_r\) は保持すべきデータに対して、忘却処理後のモデルが再学習モデルとどれだけ異なる出力を返すかを測る。この二つの差を別々に評価することで、忘却対象への変更が保持対象の予測へ波及した程度を確認できる。

線形 GradDiff の場合、二つの出力差は次の閉形式で表された。

\[
\Delta_f
=
\frac{\rho}{n}
K_{ff}
\left(
I_m-\frac{\rho}{n}K_{ff}
\right)^{-1}
e_f^-
\]

\[
\Delta_r
=
\frac{\rho}{n}
K_{rf}
\left(
I_m-\frac{\rho}{n}K_{ff}
\right)^{-1}
e_f^-
\]

両者は忘却対象の残差 \(e_f^-\) と自己レバレッジによる増幅項を共有しているが、最終的に出力へ作用する行列が異なる。忘却対象では自己レバレッジ \(K_{ff}\)、保持対象では交差レバレッジ \(K_{rf}\) が作用するため、忘却対象での出力変化と保持対象への副作用は同じ大きさになるとは限らない。

例えば、忘却対象と保持対象が共通する特徴方向に依存している場合、忘却対象の残差に由来するパラメーター更新が保持対象の予測にも伝わる。反対に、交差レバレッジが残差の方向に対して小さな作用を持つ場合、忘却対象の出力を変化させても保持対象への影響は小さくなり得る。この関係は、保持対象への影響を忘却対象の正答率だけから予測できない理由を数理的に説明している。

監査では、正答率、損失、出力差をそれぞれの役割に応じて使用する。忘却対象の正答率は、指定したデータで正しい回答を返す割合を示す。忘却対象の出力 RMS 差は、再学習モデルとの予測の近さを示す。保持対象の出力 RMS 差は、保持すべきデータに対して生じた予測の変更を示す。さらに、保持対象の正答率や損失を併用することで、出力分布の変化が予測性能にどのような影響を与えたかを確認できる。

これらの評価値は、同一の評価集合、出力の定義、比較基準、忘却処理の条件を明示した上で記録する必要がある。例えば、分類確率の RMS 差と、分類前の出力得点である logit の RMS 差は、異なる量を測定している。再学習モデルの作成条件が異なれば、同じ忘却処理後のモデルに対しても出力差は変わる。評価値を比較する際には、数値の大小だけでなく、何を測定した値かをそろえる必要がある。

外部から対象情報を取り出す操作まで評価する場合には、通常の入力とは異なる質問形式や追加学習による再抽出も調べる。複数の評価方法を併用した研究では、単一の忘却指標で高い評価を得たモデルについても、知識の抽出や関連領域への副作用が確認されている[19]。通常の回答テストで観測された忘却性能と、異なる入力条件での頑健性を分けることで、評価結果の適用範囲が明確になる。

確認対象	成立した場合に言えること	追加で必要な条件
忘却対象の正答率低下	指定されたデータで正答できる割合が低下した。	再学習モデルとの出力差と保持対象への影響を別々に測定する。
忘却対象の出力差の縮小	指定された入力で再学習基準の出力に近づいた。	入力分布の変更や再抽出に対する評価を行う。
保持対象の出力差の縮小	保持対象で再学習基準と近い出力を示した。	保持対象に含めなかった入力での性能を確認する。
削除・秘匿に関する保証	定義された保証条件と脅威モデルに従う評価が成立した。	学習手順の監査や形式的な保証が必要な場合、その条件を別途検証する。

この表の各項目は、忘却処理に対する異なる問いへ対応している。正答率の低下は、忘却対象への予測がどれだけ変化したかを示す。出力差の縮小は、対象データを使用せずに再学習した場合の振る舞いへどれだけ近づいたかを示す。保持対象への影響は、その過程で残すべき予測にどれだけ変化が生じたかを示す。削除・秘匿に関する保証は、観測された出力の近さを越えて、どの条件まで対象情報の利用可能性を制限できるかを定める。

忘却処理を停止する条件も、要求される達成水準に応じて変わる。例えば、忘却対象の正答率が所定の値まで低下した時点で停止する方法では、再学習モデルとの出力差が許容範囲に収まっているかを別途確認する必要がある。また、忘却対象の出力差をさらに縮小させようとして更新を続けた結果、保持対象の出力差が増加する場合には、どちらの条件を優先するかという判断が必要になる。

線形回帰の GradDiff では、忘却係数 \(\rho\) と自己レバレッジの最大固有値から、目的関数の正定値性を判定できる。しかし、正定値性は最小解の一意性と安定性に関する条件であり、その解が要求される忘却性能や保持性能を満たすことまで保証するものではない。最適化の成立条件と、出力に関する達成条件を分けて評価することで、忘却処理の結果をより正確に判断できる。

7.3 忘却の成否を保証範囲から判断する

忘却した能力を引き出そうとする攻撃的な評価では、通常の回答テストから予想されるより多くの能力が再び利用可能になる場合が報告されている[20]。この結果は、通常の入力に対する回答の抑制と、異なる入力条件における対象情報の利用可能性を区別する必要性を示している。

忘却処理によって達成したい性質が、特定の回答を生成しにくくすることなのか、対象データを除いて再学習したモデルの振る舞いに近づけることなのか、内部に残る情報の利用可能性を制限することなのかによって、評価方法は変わる。通常の回答を抑制することが目的なら、対象情報を含む回答の頻度や確率を評価できる。再学習モデルとの振る舞いの一致を目的とするなら、指定した入力集合に対する出力差を測定する。情報の削除について保証が求められる場合には、保証の定義に応じた形式的な条件や、学習・削除手順に関する証拠が必要になる。

線形回帰で導いた二つの出力差は、忘却処理による変更がどのように生じるかを具体的に説明している。

\[
\Delta_f
=
\frac{\rho}{n}
K_{ff}
\left(
I_m-\frac{\rho}{n}K_{ff}
\right)^{-1}
e_f^-
\]

\[
\Delta_r
=
\frac{\rho}{n}
K_{rf}
\left(
I_m-\frac{\rho}{n}K_{ff}
\right)^{-1}
e_f^-
\]

忘却対象内部の自己レバレッジ \(K_{ff}\) は、忘却対象の残差がどの方向で増幅されるかを決める。保持対象への交差レバレッジ \(K_{rf}\) は、その変更が保持対象の予測へどのように伝わるかを決める。同じ忘却損失や正答率であっても、残差の方向と二つのレバレッジ行列の作用が異なれば、再学習モデルとの出力差は異なる。

さらに、GradDiff の目的関数が正定値となる条件は、次の不等式によって表された。

\[
\frac{\rho}{n}\lambda_{\max}(K_{ff})<1 \]

この条件は、忘却対象の特徴が保持対象の曲率に対してどの程度の作用を持つかによって、許容される忘却係数の範囲が決まることを示している。忘却係数を増加させると、特定の固有方向で残差の増幅が大きくなり、再学習モデルとの出力差が拡大する可能性がある。忘却対象の損失を増やす更新が、再学習モデルへの接近と一致するとは限らない理由は、この曲率とデータ間の相互作用から導かれる。

非線形モデルでは、再学習解の近傍でヤコビ行列と局所曲率を使い、対応する出力差を近似的に表せる。しかし、パラメーターの変位が大きくなると出力の高次の変化が影響し、曲率近似や最適化経路による誤差も加わる。線形回帰での厳密な関係を、そのまま任意のニューラルネットワークに対する保証として適用することはできない。実際のモデルでは、局所近似による予測と観測された出力差を照合し、どの範囲で近似が成立しているかを確認する必要がある。

MNIST の実験では、複数の忘却手法が同じ 0% の忘却対象正答率を示したにもかかわらず、再学習モデルとの出力 RMS 差には大きな違いが観測された。この結果は、正答率が同じでも、再学習モデルへの出力の近さは異なり得ることを具体的に示している。線形回帰の式は、その違いを生む要因として、忘却対象の残差、自己レバレッジによる増幅、保持対象への交差作用を明確にしている。

忘却対象の正答率は、指定された入力で正しい回答を返す割合を測る。再学習モデルとの出力差は、対象データを使用しなかった場合の振る舞いへの接近を測る。保持対象への出力差は、忘却処理によって残すべき予測に生じた変更を測る。情報削除の保証は、これらの測定値に加えて、対象情報の利用可能性や削除手順について要求された条件が成立するかを判断する。

AI の忘却は、対象情報への回答性能を変化させるだけで完了するとは限らない。忘却対象を除いた再学習モデルとの出力差と、保持すべきデータへの波及を分けて測ることで、忘却処理がどの状態へ到達したかを評価できる。情報の再抽出や削除履歴まで保証する必要がある場合には、その要求に対応した検証条件が加わる。忘却の成否は、何を除去し、何を保持し、どの入力と保証条件で確認したかによって定まる。

参考文献

id774, 評価値は測り方によって順位まで変わり得る（2026-10-23）. https://blog.id774.net/entry/2026/10/23/5748/
id774, AI は正しさではなく、評価の通り方を学ぶことがある（2026-09-05）. https://blog.id774.net/entry/2026/09/05/5490/
Cao, Y., Yang, J., Towards Making Systems Forget with Machine Unlearning (2015). https://doi.org/10.1109/SP.2015.35
Guo, C. et al., Certified Data Removal from Machine Learning Models (2019-11-08). https://arxiv.org/abs/1911.03030
Thudi, A. et al., On the Necessity of Auditable Algorithmic Definitions for Machine Unlearning (2022-08). https://www.usenix.org/conference/usenixsecurity22/presentation/thudi
Golatkar, A. et al., Eternal Sunshine of the Spotless Net: Selective Forgetting in Deep Networks (2019-11-12). https://arxiv.org/abs/1911.04933
Yu, J. et al., On the Impossibility of Retrain Equivalence in Machine Unlearning (2025-10-18). https://arxiv.org/abs/2510.16629
Zhao, X., Amiri, M. M., Magdon-Ismail, M., Loss is Not Behavior: A Unified Output-Space Analysis of Gradient-Based Machine Unlearning (2026-10-28). https://arxiv.org/abs/2610.38784v1
Mavrothalassitis, I. et al., Ascent Fails to Forget (2025-09-30). https://arxiv.org/abs/2509.26427
Koh, P. W., Liang, P., Understanding Black-box Predictions via Influence Functions (2017). https://proceedings.mlr.press/v70/koh17a.html
Zhang, R. et al., Negative Preference Optimization: From Catastrophic Collapse to Effective Unlearning (2024-04-08). https://arxiv.org/abs/2404.05868
Fan, C. et al., Simplicity Prevails: Rethinking Negative Preference Optimization for LLM Unlearning (2024-10-09). https://arxiv.org/abs/2410.07163
Chang, W.-K., Khanna, R., Why Some Models Resist Unlearning: A Linear Stability Perspective (2026-02-03). https://arxiv.org/abs/2602.02986
Cheng, J. et al., Machine Unlearning under Retain-Forget Entanglement (2026-03-27). https://arxiv.org/abs/2603.26569
Zhao, X. et al., WIN-U: Woodbury-Informed Newton-Unlearning as a retain-free Machine Unlearning Framework (2026-04-15). https://arxiv.org/abs/2604.13438
Maini, P. et al., TOFU: A Task of Fictitious Unlearning for LLMs (2024-01-11). https://arxiv.org/abs/2401.06121
Dorna, V. et al., OpenUnlearning: Accelerating LLM Unlearning via Unified Benchmarking of Methods and Metrics (2025-06-14). https://arxiv.org/abs/2506.12618
Deeb, A., Roger, F., Do Unlearning Methods Remove Information from Language Model Weights? (2024-10-11). https://arxiv.org/abs/2410.08827
Lynch, A. et al., Eight Methods to Evaluate Robust Unlearning in LLMs (2024-02-26). https://arxiv.org/abs/2402.16835
Łucki, J. et al., An Adversarial Perspective on Machine Unlearning for AI Safety (2024-09-26). https://arxiv.org/abs/2409.18025