大量のデータで学習した計算機モデルを再現するには、学習時に使ったデータをすべて保存し続けなければならないのだろうか。この問いでは、学習に必要なデータ量と、学習後に保持すべき情報量を分ける必要がある。大量の標本は、未知の規則を推定し、偶然の偏りを抑え、例外を含む入力分布を観測するために必要になり得る。しかし、一度学習された規則を再形成するために、元の標本を一件ずつ同じ形で残す必要があるとは限らない。
画像分類を例に取ると、訓練データには、対象の形、角度、位置、明るさ、背景、撮影機器、雑音など、多数の差異が含まれる。このうち、分類結果を決める差異もあれば、入力画像を変化させるだけで分類には影響しない差異もある。多数の標本が同じ判断方向を別々の姿で示しているなら、学習後に保持すべきなのは標本の総数ではなく、どの方向を見れば正解を分けられるかという構造になる。
木下佑利、西川直輝、豊泉太郎らの研究は、この可能性をデータセット蒸留の数理モデルとして解析した。対象は、高次元の入力の背後に低次元の課題構造があり、その構造を有限回の勾配更新によって 2 層ニューラルネットワークへ学習させる設定である。研究は、元データから抽出された低次元構造を少数の合成データへ符号化し、その合成データから汎化性能を持つモデルを再構成できる条件を示した[1]。
この結果を理解するには、データセット蒸留を、元データの縮小複製として捉えない方がよい。蒸留後の合成データは、元データを忠実に再現する記録ではなく、特定の初期化、モデル構造、損失関数、更新手順の下で、学習器に同種の表現を形成させるための入力である。保存対象は観測標本の一覧から、学習時に抽出された課題構造と、それを再形成させる作用へ移る。
本研究の中心命題は、データが少なければ学習も容易になるというものではない。大量データを使って課題構造を発見する過程と、発見後の構造を少量の情報で保持する過程を分離したとき、後者の規模は元データ数よりも課題の内在次元に依存し得るという主張である。この区別を起点にすると、データセット蒸留の圧縮率だけでなく、なぜ圧縮できるのか、何が失われるのか、どの条件で再学習が成立するのかを順に検討できる。
1. 大量の学習データはすべて必要なのか
1.1 データ件数と必要情報量を分ける
訓練データの件数は、学習対象となる規則の大きさだけで決まらない。観測に含まれる雑音、標本の偏り、例外、同じ対象の外見上の変化を平均化し、未知の入力にも通用する規則を推定するには、多数の標本が必要になる。データが増える直接の理由は、課題そのものが同じだけ複雑だからではなく、有限個の観測から安定した規則を見つけなければならないからである。
画像分類では、同じ種類の対象でも、向き、縮尺、背景、照明、位置によって画素値が大きく変わる。学習器は、これらの変化を観測したうえで、分類結果を左右する差異と、結果を変えない差異を分ける必要がある。訓練データが大量になる第一の理由は、この分離を誤らないためである。少数の標本しかなければ、背景や撮影条件を対象固有の特徴と取り違える可能性が高くなる。
一方、学習が終わった後には、観測された変化のすべてが同じ重みで残るわけではない。モデルは、損失を減らす方向へパラメーターを更新するため、正解に影響する変化を強く反映し、影響しない変化を弱く扱う。多数の標本が同じ特徴方向を繰り返し支持しているなら、元標本の件数と、学習された構造の自由度の間には差が生じる。
この差が圧縮可能性を生む。元データが \(N\) 件あるとしても、課題を決める独立した方向が \(r\) 本しかなければ、再学習に必要な情報量が \(N\) に比例するとは限らない。学習時には、どの方向が有効かを見つけるために多数の標本が必要になる。しかし、その方向が抽出された後には、同じ構造を再形成させる少数の入力へ置き換えられる可能性がある。
ただし、この圧縮は用途を固定したときに成立する。ある分類課題で不要と判断された背景情報が、別の課題では必要になる場合がある。犬種を分類するモデルには撮影場所が不要でも、生息環境を分類するモデルには背景が重要になる。特定課題に対して情報を減らせることと、元データが持つ用途をすべて保てることは同じではない。
1.2 データセット蒸留は代表例の選別ではない
データセット蒸留は、大量の実データから少数の学習可能な合成データを作り、その合成データだけで学習したモデルにも高い汎化性能を持たせる方法として提案された[2]。名称からは、元データの中から典型的な標本を選ぶ処理に見えるが、実際には合成入力の画素値や数値、場合によってはラベルまで最適化する。
代表標本の選別では、保存されるデータは元の集合に含まれている。選択基準は、分布を広く覆うこと、境界付近の例を残すこと、重複を減らすことなどになる。データセット蒸留では、合成データが元の集合に属する必要はない。合成入力を学習器へ与えたときに、元データで学習した場合と近いパラメーター更新や予測性能が生じるよう、入力そのものを作り変える。
この違いにより、合成データの外見は人間にとって不自然になり得る。人間が典型的な画像だと判断できなくても、学習器に必要な勾配を生じさせるなら、その入力は再学習用のデータとして機能する。合成データの価値は、人間にとって元標本を代表しているかではなく、指定された学習手順の中で、どの方向へモデルを動かすかによって決まる。
名称が近い知識蒸留とも、保存媒体と再利用方法が異なる。知識蒸留では、大きな教師モデルの出力分布や判断傾向を、小さな生徒モデルの重みへ移す[3]。学習後には、生徒モデルをそのまま実行できる。データセット蒸留では、学習結果を合成入力と合成ラベルへ移し、利用時にはそのデータからモデルをもう一度学習する。
| 方式 | 保持する媒体 | 最適化する対象 | 再利用時の処理 | 主な制約 |
|---|---|---|---|---|
| 元データ保存 | 観測された入力と正解を保持する。 | 保存段階では元標本を原則として変更しない。 | 用途ごとに元データからモデルを学習する。 | 保存量は大きいが、異なるモデルや課題へ再利用しやすい。 |
| 代表標本の選別 | 元データに含まれる一部の標本を保持する。 | 残す標本の組み合わせを選ぶ。 | 選択した部分集合からモデルを学習する。 | 元標本の範囲を超えた学習作用は作れない。 |
| 知識蒸留 | 教師モデルの振る舞いを生徒モデルの重みへ移す。 | 主として生徒モデルのパラメーターを更新する。 | 学習済みの生徒モデルを直接実行する。 | 知識が生徒モデルの構造と容量に固定される。 |
| データセット蒸留 | 学習作用を再現する合成入力と合成ラベルを保持する。 | 合成データそのものを更新する。 | 合成データから新しいモデルを再学習する。 | 効果がモデル、初期化、損失関数、更新手順に依存する。 |
表の違いは、単に保存形式が異なるというだけではない。元データ保存は観測内容を残し、知識蒸留は完成したモデル状態を残し、データセット蒸留は同種の状態を再形成させる条件を残す。データセット蒸留では再学習が必要になる代わりに、学習結果をモデルの重みとは別の媒体へ移せる可能性が生まれる。
1.3 圧縮率より先に圧縮可能性を問う
合成データが数件まで減ったという結果だけでは、圧縮の原因を特定できない。元データに同じ情報が重複していた可能性もあれば、課題が少数の特徴方向だけで決まっていた可能性もある。特定の初期化と更新則に対して強い勾配を生じさせる入力を作ったため、少数のデータで短い学習を制御できた可能性もある。これらは同じ「データ削減」に見えるが、保存されているものが異なる。
重複削除による圧縮では、同じ内容を繰り返す標本を減らす。低次元構造による圧縮では、多数の標本を生んでいる少数の有効方向を残す。学習手順への適合による圧縮では、対象分布を広く表現する代わりに、指定されたモデルを短い更新で特定の状態へ導く入力を作る。本研究が理論化した中心は、二番目と三番目の接続である。
因果の起点は、目的関数が高次元入力のすべてではなく、低次元の主部分空間に依存していることにある。次に、元データを使った勾配学習が、その主部分空間に対応する方向を第 1 層へ抽出する。さらに、蒸留時の合成入力への更新が、その学習方向を合成データへ移す。最後に、完成した合成データで新しいモデルを学習すると、同じ潜在方向が再形成される。
この連鎖が成立するなら、合成データは元標本の要約ではなく、抽出済みの課題構造を再学習へ受け渡す媒体になる。必要な合成データ数は、元データが何件あったかより、課題を決める独立方向が何本あるかに強く左右される。データセット蒸留の圧縮率は、アルゴリズム上の技巧だけではなく、入力次元と課題の内在次元の差から生じる。
一方、内在構造が十分に小さくない課題、学習器がその構造を抽出できない課題、蒸留時と再学習時でモデルや初期化が大きく異なる条件では、同じ圧縮は期待できない。少数の合成データが機能するという結果は、元データが一般に不要であることを意味しない。特定の課題構造を特定の学習系へ再現するという限定によって、捨てられる情報が生じる。
圧縮可能性を理解するには、元データ数 \(N\) だけを見るのでは足りない。入力が持つ見かけ上の次元 \(d\)、出力を決める内在次元 \(r\)、その方向を抽出する勾配、合成データを読み取るモデル構造を分けて考える必要がある。次に確認すべきなのは、高次元の入力と低次元の課題構造が、論文の中でどのように数式化されているかである。
2. 高次元の入力と低次元の課題を分ける
2.1 訓練データの生成モデル
学習に必要な情報量が元データの件数と一致しないことを数理的に示すには、まず「観測される入力の複雑さ」と「正解を決める規則の複雑さ」を分離しなければならない。論文は、その区別が明確に現れるように、訓練データを次の集合として定義する。
\[
D^{\mathrm{Tr}}={(x_n,y_n)}_{n=1}^{N}
\]
\(D^{\mathrm{Tr}}\) は元の訓練データ集合である。\(N\) は標本数、\(x_n\) は第 \(n\) 標本の入力、\(y_n\) はその入力に対応する出力を表す。上付きの \(\mathrm{Tr}\) は訓練用のデータであることを示しており、後に導入される蒸留データ集合と区別するために付けられている。
各入力 \(x_n\) は \(d\) 次元の標準正規分布から生成される。
\[
x_n\sim\mathcal{N}(0,I_d)
\]
\(\mathcal{N}(0,I_d)\) は、平均が 0、共分散行列が \(d\) 次の単位行列 \(I_d\) である正規分布を意味する。各座標の分散は 1 であり、異なる座標間には事前の相関を置かない。入力分布そのものが特定の方向を強調しないため、学習によって現れる方向を、入力分布の偏りではなく目的関数に由来する構造として解析できる。
この設定は、画像や文章の実際の分布を忠実に再現するものではない。現実のデータでは、画素、単語、属性の間に強い相関があり、分布も正規分布から大きく外れる。論文が標準正規分布を採用する理由は、現実をそのまま模倣することではなく、どの方向が課題に必要なのかを数理的に識別しやすくすることにある。入力分布が全方向を均等に扱うことで、後に抽出される低次元部分空間を、課題固有の構造として切り分けられる。
出力 \(y_n\) は、未知の目的関数 \(f^*\) と観測雑音 \(\epsilon_n\) から生成される。
\[
y_n=f^*(x_n)+\epsilon_n
\]
\(f^*\) は、入力 \(x_n\) に対して本来予測すべき値を返す関数である。上付きのアスタリスクは、学習器が推定しようとする真の関数であることを表す。\(\epsilon_n\) は、同じ入力条件でも観測値が揺れることや、有限のデータから完全には除去できない誤差を表している。
雑音を含めると、学習器は個々の標本をそのまま記憶するだけでは正しい規則を得られない。第一に、各 \(y_n\) には目的関数の値と偶然の変動が混在する。第二に、複数の標本に共通して現れる関係を取り出さなければ、未知の入力へ一般化できない。多数の訓練データが必要になる理由の一つは、この雑音を平均化し、個別標本の揺らぎから課題に共通する規則を分離することにある。
この生成モデルにより、元データ数 \(N\)、入力次元 \(d\)、目的関数の構造、観測雑音という四つの要因を別々に扱える。後に示される蒸留結果では、潜在構造を発見するための元データ数と、発見された構造を保存するための合成データ数が異なる量として現れる。この区別が、学習時には大量のデータが必要でも、学習結果の再構成には同じ量を保存しなくてよいという議論の前提になる。
2.2 多指標モデルが表す低次元構造
目的関数 \(f^*\) は、入力 \(x\) の全成分へ個別に依存する関数としては置かれない。論文は、出力が少数の方向への射影だけで決まる多指標モデルを採用する。
\[
f^*(x)=\sigma^*(B^\top x)
\]
この式では、\(x\) は \(d\) 次元の入力、\(B\) は \(d\) 行 \(r\) 列の行列、\(B^\top x\) は \(r\) 次元のベクトルである。\(\sigma^*\) は、射影後の \(r\) 個の値を受け取り、最終的な出力を作る非線形関数を表す。
計算は二段階に分かれる。最初に、行列 \(B^\top\) が高次元入力 \(x\) を \(r\) 次元へ写す。次に、\(\sigma^*\) が、その低次元の値から正解を生成する。入力空間では多数の変化が起こり得るが、目的関数が実際に読むのは \(B^\top x\) に残る成分だけである。
行列 \(B\) を列ベクトルごとに書けば、次の形になる。
\[
B=(\beta_1,\ldots,\beta_r)
\]
各 \(\beta_j\) は、\(d\) 次元の入力空間に置かれた一つの方向である。\(B^\top x\) の第 \(j\) 成分は、入力 \(x\) を \(\beta_j\) へ射影した値になる。目的関数は、この \(r\) 個の射影値を材料として出力を決める。
たとえば入力が 1,000 個の数値から成っていても、正解が 3 本の方向への射影だけで決まるなら、目的関数は 1,000 個の値を独立に使っているわけではない。入力 \(x\) は 1,000 次元に存在するが、正解を変える自由度は 3 次元に限られる。残りの方向へ入力が変化しても、3 本の射影値が同じなら出力も変わらない。
多指標モデルという名称の「指標」は、入力を一つの方向へ射影して得られる値を指す。\(r=1\) なら単一指標モデルであり、出力は一つの射影値だけで決まる。\(r>1\) なら複数の指標が必要になり、それらの組み合わせを \(\sigma^*\) が非線形に処理する。
このモデルが表しているのは、データ自体が低次元であるという主張ではない。入力 \(x\) は依然として \(d\) 次元に広がっており、課題に関係しない方向にも変化する。低次元なのは、入力分布全体ではなく、出力を決める関係である。ここを混同すると、画像そのものを少数の座標で完全に復元できるという話に変わってしまう。
2.3 入力次元 \(d\) と内在次元 \(r\)
論文では、入力次元 \(d\) と内在次元 \(r\) が異なる役割を持つ。\(d\) は、一つの入力を記述するために必要な座標数である。\(r\) は、その入力から出力を決めるために必要な独立方向の数である。
たとえば、入力が 1,000 次元で、目的関数が 3 本の方向だけに依存する場合を考える。
\[
d=1000,\qquad r=3
\]
このとき、入力を保存するには一件につき 1,000 個の値が必要になる。一方、課題の規則は 3 本の方向と、それらの射影値を出力へ変換する関数によって記述される。入力の記述量と課題の記述量の間に、大きな差が生じている。
残りの 997 方向が存在しないわけではない。それらは入力を変化させ、観測される標本の多様性を増やす。しかし、\(B^\top x\) を変えない限り、目的関数 \(f^*(x)\) の値には影響しない。学習器は、多数の標本を比較することで、変化しても正解が変わらない方向と、少し変わるだけで正解が変化する方向を見分けなければならない。
この関係から、データ件数が増える理由と、保存すべき構造が小さくなる理由を同時に説明できる。無関係な 997 方向にも標本が広がるため、どの方向が出力に関係するのかを有限データから特定するには、多数の観測が必要になる。一度 3 本の有効方向を特定できれば、将来の再学習に必要な情報は、それらを再形成させる合成データへ集約できる可能性が生まれる。
実画像についても、画素数としての次元と、画像分布が占める有効な自由度が異なり得ることは実証的に研究されている[4]。高次元の観測値が低次元の隠れた変数から生成される設定も、高次元学習理論で用いられてきた[5]。
ただし、これらの研究でいう内在次元と、本研究の \(r\) は一致しない。画像分布の内在次元は、観測される画像をどの程度の自由度で表現できるかを問う。本研究の \(r\) は、画像や入力全体を再現するための次元ではなく、指定された出力を決める方向数である。データ分布が複雑でも、ある分類課題だけなら小さな \(r\) で表せる場合がある。反対に、同じデータを使って別の課題を解けば、必要な方向や内在次元は変わり得る。
内在次元が課題依存であることは、蒸留データの用途を制限する。ある目的関数に不要だった方向を捨てた合成データは、その方向を必要とする別課題には使えない。\(r\) が小さいために圧縮できるという結果は、元データが一般に低情報量であることではなく、特定課題に対する必要情報が限定されていることを表す。
2.4 主部分空間
出力に影響する方向 \(\beta_1,\ldots,\beta_r\) が張る空間を、論文は主部分空間 \(S^*\) と定義する。
\[
S^*=\operatorname{span}\{\beta_1,\ldots,\beta_r\}
\]
\(\operatorname{span}\) は、列挙されたベクトルを実数倍して足し合わせることで到達できるベクトルの集合を意味する。たとえば \(\beta_1\) と \(\beta_2\) が独立なら、その 2 本を組み合わせて作れる平面が両者の張る空間になる。
主部分空間 \(S^*\) は、入力の中で目的関数が反応する方向をまとめた空間である。入力 \(x\) の変化を、\(S^*\) に沿う成分と、それに直交する成分へ分けると、目的関数に影響するのは前者だけになる。
入力の変化を \(\Delta x\) とし、それが \(S^*\) に直交している場合を考える。すべての \(\beta_j\) に対して内積が 0 になるため、次が成り立つ。
\[
B^\top(x+\Delta x)=B^\top x
\]
射影後の値が変わらなければ、目的関数の入力も変わらない。
\[
f^*(x+\Delta x)=\sigma^*(B^\top(x+\Delta x))=\sigma^*(B^\top x)=f^*(x)
\]
この等式が、課題に無関係な方向の意味を明確にする。入力値そのものは変わっていても、目的関数から見れば同じ入力である。学習器が獲得すべき不変性は、こうした直交方向の変化を無視し、主部分空間上の変化を捉えることにある。
データセット蒸留における第一の保存対象も、この主部分空間である。元データの個々の値を残す代わりに、再学習時の第 1 層へ \(S^*\) を形成させる合成入力を作る。後の章で扱う平均ヘッセ行列は、この主部分空間を識別するために導入され、第一蒸留データへの勾配更新を、主部分空間の外側を消し、内部の方向を重み付けする線形作用として説明する。
| 記号 | 数理上の意味 | 因果関係上の役割 | 蒸留との接続 |
|---|---|---|---|
| \(N\) | 元の訓練データに含まれる標本数を表す。 | 有限標本から雑音を抑え、課題構造を推定する精度を左右する。 | 構造の発見には影響するが、蒸留後の保存件数を直接決める量ではない。 |
| \(d\) | 各入力を記述する座標数を表す。 | 課題に無関係な方向を含む入力の見かけ上の複雑さを決める。 | 合成入力も \(d\) 次元であるため、一件当たりの保存量には残る。 |
| \(r\) | 目的関数が依存する独立方向の数を表す。 | 課題を解くために識別すべき有効自由度を決める。 | 第一蒸留データの必要数と全体の保存量を左右する。 |
| \(B\) | \(\beta_1,\ldots,\beta_r\) を列に持つ行列である。 | 高次元入力から出力に必要な \(r\) 個の値を取り出す。 | 蒸留過程が回復しようとする潜在方向を定める。 |
| \(S^*\) | \(B\) の列ベクトルが張る主部分空間である。 | 出力を変える方向と変えない方向の境界を定める。 | 第一蒸留データへ符号化され、再学習時に第 1 層へ戻される構造になる。 |
| \(\sigma^*\) | 射影後の \(r\) 次元値を最終出力へ変換する非線形関数である。 | 同じ主部分空間を使う課題でも出力規則が異なり得る理由になる。 | 主として第二蒸留段階で再構成される課題固有情報へ関わる。 |
この章で分けたのは、入力を記述する次元、出力を決める次元、観測に必要な標本数である。三者を同じ「データ量」として扱うと、大量の訓練データが必要であることと、学習結果を大量のまま保存すべきことが混同される。次に必要なのは、学習器が行列 \(B\) を知らない状態から、主部分空間 \(S^*\) をどの量によって識別するのかを明らかにすることである。
3. 課題に必要な方向はどのように識別されるのか
3.1 出力の変化から重要な方向を読む
主部分空間 \(S^*\) を定義できても、学習器に行列 \(B\) や方向 \(\beta_1,\ldots,\beta_r\) が与えられるわけではない。観測できるのは、入力 \(x_n\) と出力 \(y_n\) の組だけである。学習器は、多数の標本に含まれる変化を比較し、入力をどの方向へ動かしたときに出力が変わるのかを、損失関数の勾配を通じて推定しなければならない。
入力に小さな変化 \(\Delta x\) を加えたとき、目的関数の変化は一階近似によって次のように表される。
\[
f^*(x+\Delta x)
\approx
f^*(x)
+
\nabla_x f^*(x)^\top \Delta x
\]
\(\nabla_x f^*(x)\) は、入力 \(x\) における目的関数の勾配である。勾配と同じ方向へ入力を動かすと出力は大きく増え、勾配に直交する方向へ動かした場合には、一階近似の範囲で出力は変化しない。勾配は、その地点で目的関数が反応する方向を示す。
ただし、一地点の勾配だけでは、課題全体に共通する方向と、その地点に固有の変化を分けられない。非線形関数では、入力位置によって勾配の向きや大きさが変わるからである。ある地点では強く現れ、別の地点では弱くなる方向もある。課題構造を識別するには、勾配が入力空間の中でどのように変化するかまで調べる必要がある。
その変化を表すのが二階微分である。入力を \(\Delta x\) だけ動かした場合、二階まで含めた近似は次の形になる。
\[
f^*(x+\Delta x)
\approx
f^*(x)
+
\nabla_x f^*(x)^\top \Delta x
+
\frac{1}{2}
\Delta x^\top
\nabla_x^2 f^*(x)
\Delta x
\]
\(\nabla_x^2 f^*(x)\) は目的関数のヘッセ行列であり、勾配が各方向にどのように変化するかを記述する。対角成分は各座標方向の曲がり方を表し、非対角成分は二つの方向の変化がどのように組み合わさるかを表す。ヘッセ行列を見ることで、単に出力が増える方向だけでなく、目的関数の非線形な形を作っている方向を識別できる。
| 量 | 表すもの | 課題構造との関係 |
|---|---|---|
| 勾配 \(\nabla_x f^*(x)\) | 特定の入力 \(x\) において、出力が最も大きく変化する方向を表す。 | その地点で有効な方向を示すが、入力位置によって変化する。 |
| ヘッセ行列 \(\nabla_x^2 f^*(x)\) | 入力を動かしたときに、勾配の向きと大きさがどう変わるかを表す。 | 目的関数の非線形な形を作る方向を捉える。 |
| 平均ヘッセ行列 \(H\) | 入力分布全体にわたってヘッセ行列を平均した量である。 | 地点固有の変化を抑え、課題全体に共通する方向を抽出する。 |
3.2 平均ヘッセ行列 \(H\)
論文は、入力ごとに異なるヘッセ行列を平均し、課題全体に共通する構造を表す行列 \(H\) を導入する。
\[
H
=
\mathbb{E}_x
\left[
\nabla_x^2 f^*(x)
\right]
\]
\(\mathbb{E}_x\) は、入力 \(x\) をその確率分布に従って変化させたときの平均を表す。個々の入力で生じる局所的な曲率をそのまま使うのではなく、多数の入力にわたって繰り返し現れる成分を残す。特定の標本に固有の変化は平均によって弱まり、目的関数の構造に一貫して関与する方向が残る。
多指標モデルでは、目的関数が次の形を持つ。
\[
f^*(x)
=
\sigma^*(B^\top x)
\]
この関数を入力 \(x\) について二階微分すると、ヘッセ行列は次の形に分解される。
\[
\nabla_x^2 f^*(x)
=
B
\nabla^2 \sigma^*(B^\top x)
B^\top
\]
\(\nabla^2 \sigma^*(B^\top x)\) は、低次元の変数 \(B^\top x\) に関する \(\sigma^*\) のヘッセ行列である。左右から \(B\) と \(B^\top\) が掛かっているため、\(\nabla_x^2 f^*(x)\) が出力するベクトルは、必ず \(B\) の列が張る空間に入る。入力が \(d\) 次元であっても、目的関数の二階変化は主部分空間 \(S^*\) の外へ広がらない。
入力分布全体で平均すると、平均ヘッセ行列も同じ構造を持つ。
\[
H
=
B
\mathbb{E}_x
\left[
\nabla^2 \sigma^*(B^\top x)
\right]
B^\top
\]
この式から、\(H\) の像は少なくとも主部分空間 \(S^*\) の内部に含まれる。
\[
\operatorname{Im}(H)
\subseteq
S^*
\]
\(\operatorname{Im}(H)\) は、任意のベクトルに \(H\) を作用させたときに得られるすべてのベクトルが作る空間である。\(H\) は、主部分空間の外側に新しい方向を生成できない。高次元入力の中から、目的関数が実際に利用する方向だけを通す行列として働く。
ただし、像が \(S^*\) の一部にしかならない場合もあり得る。たとえば、目的関数が形式上は複数の方向に依存していても、平均二階微分では一部の方向が相殺されれば、\(H\) からその方向を識別できない。この欠落を排除するため、論文は次の条件を置く。
\[
\operatorname{rank}(H)
=
r,
\qquad
\operatorname{Im}(H)
=
S^*
\]
\(\operatorname{rank}(H)=r\) は、\(H\) が独立に捉える方向の数が、課題の内在次元 \(r\) と一致することを意味する。もともと \(\operatorname{Im}(H)\) は \(S^*\) に含まれ、両者の次元がともに \(r\) であるため、像は主部分空間全体と一致する。
この階数条件は、低次元構造が存在するという仮定とは別の条件である。目的関数が \(r\) 次元の変数に依存していても、そのすべてが平均二階微分に現れるとは限らない。論文の蒸留機構は、課題に必要な各方向が \(H\) によって識別可能であることを前提としている。
3.3 \(H\) は方向を選別する
平均ヘッセ行列が主部分空間を識別する働きは、任意のベクトル \(v\) に \(H\) を作用させることで確認できる。まず、\(v\) を主部分空間に沿う成分と、それに直交する成分へ分解する。
\[
v
=
v_{\parallel}
+
v_{\perp}
\]
\(v_{\parallel}\) は \(S^*\) に含まれる成分、\(v_{\perp}\) は \(S^*\) に直交する成分である。\(B\) の各列と \(v_{\perp}\) の内積は 0 になるため、次が成り立つ。
\[
B^\top v_{\perp}
=
0
\]
平均ヘッセ行列の分解を使うと、直交成分に対する作用は次のようになる。
\[
Hv_{\perp}
=
B
\mathbb{E}_x
\left[
\nabla^2 \sigma^*(B^\top x)
\right]
B^\top v_{\perp}
=
0
\]
主部分空間の外側にある成分は、\(H\) を掛けると消える。一方、\(v_{\parallel}\) に対しては、主部分空間内の各方向が、目的関数の平均的な曲率に応じて拡大、縮小、混合される。
\[
Hv
=
Hv_{\parallel}
\in
S^*
\]
この作用は、単純な直交射影と完全に同じではない。直交射影は主部分空間内の成分をそのまま残すが、\(H\) は各方向を固有値に応じて重み付けする。目的関数が強く曲がる方向は大きく残り、弱くしか反応しない方向は小さくなる。階数が \(r\) であれば、主部分空間内の方向は失われず、尺度を変えながら保持される。
固有値分解を使えば、この選別をさらに明確に表せる。\(H\) の非零固有値を \(\lambda_1,\ldots,\lambda_r\)、対応する固有ベクトルを \(u_1,\ldots,u_r\) とすると、任意の \(v\) に対して次のように書ける。
\[
Hv
=
\sum_{j=1}^{r}
\lambda_j
u_j
u_j^\top v
\]
\(u_j^\top v\) は、\(v\) が第 \(j\) の課題方向をどれだけ含むかを表す。\(H\) はその成分だけを取り出し、\(\lambda_j\) で重み付けして足し合わせる。主部分空間に直交する方向は、この和に現れない。
この選別作用が、第一蒸留データの更新式へ現れる。無作為に初期化された合成入力 \(\widetilde{x}^{(0)}\) には、課題に関係する成分と関係しない成分が混在している。蒸留時の勾配の主要項が \(H\widetilde{x}^{(0)}\) となれば、更新後の合成入力には主部分空間の成分が残り、その外側の成分は抑えられる。
\[
\widetilde{x}^{(1)}
\approx
cH\widetilde{x}^{(0)}
\]
\(c\) は学習率や初期化に由来する係数であり、実際の定理には有限標本や近似に由来する誤差項も含まれる。主要項が誤差項を上回る条件では、更新後の合成データは主部分空間に近づく。合成データの見た目が元標本を代表しているからではなく、教師学習の勾配を通じて、出力を変える方向が入力値へ書き込まれる。
この機構によって、データセット蒸留における圧縮対象を具体的に定められる。多数の元標本を平均した代表例を保存するのではなく、それらの標本から学習器が抽出した主部分空間を、少数の合成入力へ移す。元データ数 \(N\) は主部分空間を安定して推定するために必要だが、推定後に保持すべき合成入力数は、主として内在次元 \(r\) によって決まる。
平均ヘッセ行列は、低次元構造が存在することと、その構造を蒸留データへ移せることを結ぶ中間項である。目的関数が \(B^\top x\) に依存するため、二階微分の像が \(S^*\) に制限される。階数条件によって、その像が主部分空間全体を覆う。蒸留勾配に \(H\) が現れることで、無作為な合成入力から課題に必要な方向だけを抽出できる。この三段の関係が、後に示される潜在構造の符号化定理を支えている。
4. 2 層ニューラルネットワークは二種類の情報を学ぶ
4.1 学習器の構造
主部分空間 \(S^*\) が課題に必要な方向を表していても、その方向が自動的にモデルへ組み込まれるわけではない。学習器は、元データに対する損失を減らす過程を通じて、入力のどの方向を見るべきかと、抽出した特徴をどのように出力へ結び付けるかを獲得する。本研究は、この二つの役割を分けて解析できる学習器として、幅 \(L\) の 2 層 ReLU ニューラルネットワークを用いる。
\[
f_\theta(x)
=
\sum_{i=1}^{L}
a_i\,
\sigma
\left(
\langle w_i,x\rangle+b_i
\right)
\]
\(\theta\) はモデル全体のパラメーターをまとめた記号である。\(L\) は中間層に置かれるニューロン数、\(w_i\) は第 \(i\) ニューロンの第 1 層重み、\(b_i\) はバイアス、\(a_i\) は第 2 層の出力重みを表す。各ニューロンは、まず入力 \(x\) と重み \(w_i\) の内積を計算する。
\[
\langle w_i,x\rangle
\]
この内積は、入力 \(x\) が \(w_i\) の方向をどれだけ含んでいるかを測る。値が大きければ、入力はその方向へ強く向いている。値が 0 なら直交しており、負なら反対方向の成分を持つ。バイアス \(b_i\) を加えることで、ニューロンが反応を始める境界を原点から移動できる。
内積とバイアスの和は、ReLU 関数 \(\sigma\) へ入力される。
\[
\sigma(z)=\max(0,z)
\]
ReLU は、入力が正ならその値を通し、負なら 0 にする。各ニューロンは、入力空間を超平面で分け、その一方にある入力だけへ反応する。第 1 層の重み \(w_i\) とバイアス \(b_i\) が変われば、この境界の向きと位置も変わる。学習器は、損失を減らす方向へこれらを更新することで、予測に役立つ領域と方向を入力空間の中に作る。
第 2 層の重み \(a_i\) は、各ニューロンが出力した値をどの符号と強さで最終結果へ加えるかを決める。同じ第 1 層の特徴を使っていても、\(a_i\) の組み合わせが変われば、モデルが表す関数は変わる。第 1 層が入力から特徴を作り、第 2 層がその特徴を目的関数へ組み立てるという役割分担が生じる。
| パラメーター | 数理上の役割 | 学習によって変わるもの | 蒸留との接続 |
|---|---|---|---|
| \(w_i\) | 入力のどの方向へニューロンが反応するかを決める。 | 入力空間から抽出する特徴方向が変わる。 | 第一蒸留データが再形成させる中心的な情報になる。 |
| \(b_i\) | ニューロンが反応を始める境界位置を決める。 | 同じ方向でも、どの入力領域で活性化するかが変わる。 | 第 1 層の特徴表現を構成する一部として扱われる。 |
| \(a_i\) | 各特徴を最終出力へ加える強さと符号を決める。 | 抽出済みの特徴からどの関数を構成するかが変わる。 | 第二蒸留データによって再構成される情報に対応する。 |
| \(L\) | 利用できるニューロン数と特徴数の上限を決める。 | 表現できる関数の幅と保存すべき出力層情報量に影響する。 | 最終的な保存量 \(\widetilde{\Theta}(r^2d+L)\) の第 2 項へ現れる。 |
第 1 層と第 2 層の違いは、単なる計算順序の違いではない。第 1 層が課題に必要な座標系を形成しなければ、第 2 層は有効な特徴を受け取れない。反対に、第 1 層が正しい方向を捉えても、第 2 層の係数が適切でなければ目的関数は再現されない。データセット蒸留も、この二種類の情報を一つの合成データ集合へ無差別に詰め込むのではなく、段階を分けて保持する。
4.2 固定された特徴と学習される特徴の違い
ニューラルネットワークの学習理論では、モデルが既存の特徴を組み合わせるだけなのか、特徴そのものを作り変えるのかが大きな違いになる。カーネル回帰や無限幅近似の一部では、入力から特徴量への変換が学習中にほぼ固定される。学習器が調整するのは、その固定特徴をどの比率で組み合わせるかという係数である。
特徴が固定された設定では、学習前に用意された表現の中に目的関数を記述するための方向が含まれていなければならない。課題に必要な特徴が存在しない場合、出力層の係数をどれだけ調整しても、その方向を新たに作ることはできない。蒸留理論も、既に存在する特徴空間上で元の解を再現する問題として扱いやすい。
2 層ニューラルネットワークでは、第 1 層重み \(w_i\) を勾配法で更新できる。損失を減らす方向に \(w_i\) が動くと、各ニューロンが反応する入力方向も変わる。学習は、固定された特徴上で係数を調整する処理にとどまらず、課題に適した表現を入力空間から形成する過程になる。勾配法によって 2 層ニューラルネットワークが低次元の課題表現を学習できることは、理論的にも解析されている[6]。
高次元設定では、学習初期の一回の勾配更新でも、重みが無作為な方向から課題に関係する方向へ偏り始める場合がある[7]。この現象は、本研究の蒸留機構に直接関わる。第一蒸留データは、十分に学習された第 1 層重みをそのまま保存するのではなく、元データが最初の特徴学習で生み出した方向を、合成入力から再現できるようにする。
ただし、一回の更新で課題構造が現れるという結果は、どの関数や初期化にも成立するわけではない。勾配に課題方向の信号が含まれていても、有限標本から生じる雑音や、無関係な方向の成分がそれを上回れば、重みは主部分空間へ向かわない。元データ数、ネットワーク幅、初期化数、学習率が十分であり、目的関数の構造が勾配へ識別可能な形で現れることが必要になる。
低次元の目的関数であっても、確率的勾配法が潜在方向を発見できるかどうかは、関数を構成する成分の関係に左右される。疎な関数の学習では、低次の特徴から高次の特徴へ段階的に信号が現れる条件が解析されており、低次元であることだけでは学習可能性を保証しない[8]。
多指標モデルでも、複数の潜在方向を勾配流で回復するには、目的関数と入力分布が十分な識別信号を持たなければならない[9]。単一指標モデルについても、目的方向を標本から抽出するための必要量は、関数の情報指数や損失地形によって変化する[10]。本研究で第一蒸留データが少数にできることと、その第一蒸留データを作る教師学習まで少数標本で済むことは別の主張である。
| 学習方式 | 特徴の状態 | 学習できるもの | 蒸留理論上の違い |
|---|---|---|---|
| 固定特徴による学習 | 入力から特徴への写像は学習中に変化しない。 | 既存特徴を組み合わせる係数を学習する。 | 蒸留データは固定特徴空間上の解を再現すればよい。 |
| 特徴学習を伴う学習 | 第 1 層重みが更新され、入力を見る方向が変わる。 | 課題に必要な特徴方向と、その組み合わせを学習する。 | 蒸留データは特徴形成の過程と出力規則の双方を再現する必要がある。 |
本研究の新規性は、非線形な特徴学習を無視せず、その初期更新に現れる低次元構造を合成データへ移す点にある。第 1 層が何を学ぶかを固定したまま蒸留集合の大きさを評価するのではなく、合成データが第 1 層へどの方向を形成させるかまで解析対象に含めている。
4.3 対称初期化は何を制御するのか
第 1 層の勾配から課題構造を取り出すには、学習開始時のモデル出力が解析を妨げないようにする必要がある。本研究は、幅 \(L\) を偶数とし、ニューロンを対にした対称初期化を採用する。
対になる二つのニューロンについて、第 1 層重みとバイアスを同じ値に置き、第 2 層重みの符号だけを反対にする。概念的には、次の関係を持たせる。
\[
w_{i+L/2}^{(0)}
=
w_i^{(0)}
\]
\[
b_{i+L/2}^{(0)}
=
b_i^{(0)}
\]
\[
a_{i+L/2}^{(0)}
=
-a_i^{(0)}
\]
同じ入力 \(x\) に対して、対となる二つのニューロンは第 1 層で同じ活性値を出す。しかし、第 2 層の係数が反対符号なので、初期出力では互いに相殺される。
\[
a_i^{(0)}
\sigma
\left(
\langle w_i^{(0)},x\rangle+b_i^{(0)}
\right)
+
a_{i+L/2}^{(0)}
\sigma
\left(
\langle w_{i+L/2}^{(0)},x\rangle+b_{i+L/2}^{(0)}
\right)
=
0
\]
この相殺により、初期モデルの出力は 0 に制御される。教師学習の初期勾配を計算したとき、無作為な初期出力と正解との差ではなく、主として目的関数 \(f^*(x)\) に由来する信号が現れる。第 1 層重みへの更新を、目的関数の平均ヘッセ行列 \(H\) と結び付けやすくなる。
対称初期化には、二つの因果的な役割がある。第一に、初期出力を相殺し、損失勾配に混入するモデル固有の無作為な偏りを抑える。第二に、対になったニューロンの勾配差を使うことで、目的関数の低次元構造に対応する項を分離する。この制御がなければ、蒸留データへの更新式に現れる主要項と誤差項を明確に区別しにくい。
対称初期化は、実用的なニューラルネットワークで常に使われる標準初期化ではない。理論上の機構を識別するために設けられた条件であり、任意の初期化でも同じ蒸留結果が保証されたことにはならない。実際のモデルへ適用範囲を広げるには、初期出力が 0 でない場合や、ニューロンが対称に配置されない場合でも、主部分空間の信号が勾配に残る条件を別途示す必要がある。
4.4 教師学習、生徒学習、蒸留、再学習
データセット蒸留では、一つのモデルを一度学習して終わるわけではない。元データが生み出す学習作用を測り、その作用を合成データへ移し、完成した合成データだけから新しいモデルを学習する。研究上は、教師学習、生徒学習、蒸留、再学習という四つの処理を分けて理解する必要がある。
教師学習では、元の訓練データ \(D^{\mathrm{Tr}}\) を使い、初期パラメーター \(\theta^{(0)}\) からモデルを更新する。損失関数を \(\mathcal{L}(D^{\mathrm{Tr}};\theta)\)、学習率を \(\eta\) とすれば、一回の勾配更新は概念的に次の形になる。
\[
\theta_{\mathrm{T}}^{(1)}
=
\theta^{(0)}
–
\eta
\nabla_\theta
\mathcal{L}
\left(
D^{\mathrm{Tr}};
\theta^{(0)}
\right)
\]
下付きの \(\mathrm{T}\) は教師側を表す。元データによる勾配には、目的関数の潜在方向、有限標本による誤差、観測雑音、無作為初期化の影響が含まれる。理論では、標本数や初期化数を十分に確保することで、潜在構造に対応する成分を主要項として取り出す。
生徒学習では、同じ初期パラメーターから、合成データ \(D^S\) を使ってモデルを更新する。
\[
\theta_{\mathrm{S}}^{(1)}
=
\theta^{(0)}
–
\eta
\nabla_\theta
\mathcal{L}
\left(
D^S;
\theta^{(0)}
\right)
\]
下付きの \(\mathrm{S}\) は生徒側を表す。教師と生徒の初期状態をそろえることで、更新後の差を元データと合成データが生み出した勾配の差として比較できる。初期値が異なれば、更新後のパラメーター差にデータ以外の要因が混ざり、合成データの学習作用を評価しにくくなる。
蒸留では、教師側と生徒側の差が小さくなるように、モデルのパラメーターではなく合成データを更新する。比較対象は、勾配、更新後のパラメーター、元データ上の性能など、採用する蒸留方式によって異なる。合成入力 \(\widetilde{x}_m\) や合成ラベル \(\widetilde{y}_m\) は、教師学習と似た変化を生徒モデルへ起こす方向へ動く。
再学習では、教師モデルも元データも使わない。完成した第一蒸留データと第二蒸留データだけを新しいモデルへ与え、主部分空間と出力規則を再形成する。再学習後のモデルが、元データで学習した教師モデルと同程度の汎化誤差を達成できるかが、蒸留の成否を決める。
| 段階 | 入力として使うもの | 更新する対象 | 得られる情報 | 失敗する条件 |
|---|---|---|---|---|
| 教師学習 | 元の訓練データ \(D^{\mathrm{Tr}}\) を使う。 | 教師側のモデルパラメーターを更新する。 | 元データが生み出す特徴方向と出力規則を得る。 | 標本数や幅が不足すると、課題構造より雑音や標本偏りが強く現れる。 |
| 生徒学習 | 初期状態の合成データ \(D^S\) を使う。 | 生徒側のモデルパラメーターを更新する。 | 現在の合成データが生み出す学習方向を測る。 | 教師側と初期値や更新条件が異なると、データの効果を比較できない。 |
| 蒸留 | 教師側と生徒側の勾配、パラメーター、性能を比較する。 | 合成入力または合成ラベルを更新する。 | 元データの学習作用を少数のデータへ符号化する。 | 主要な課題信号が誤差項より弱いと、合成データが主部分空間へ近づかない。 |
| 再学習 | 完成した蒸留データだけを使う。 | 新しく初期化したモデルを更新する。 | 潜在方向と出力規則をモデル内へ再形成する。 | モデル構造、初期化、損失関数、更新手順が蒸留条件から外れると性能を再現できない。 |
四つの段階を分けると、データセット蒸留が何を圧縮しているかが明確になる。教師学習では、大量データから課題構造を発見する。蒸留では、発見された構造を少数の合成入力と合成ラベルへ移す。再学習では、その合成データを読み取り、別のモデル内部へ同種の構造を戻す。元データから合成データへ直接情報を縮約するのではなく、教師学習によって一度抽出された作用を媒介としている。
第 1 層と第 2 層の役割が異なるため、後続の蒸留も二段階に分かれる。第一段階では、第 1 層が主部分空間を学べるように合成入力を作る。第二段階では、形成された特徴を目的関数へ結び付ける第 2 層情報を合成ラベルへ移す。次章では、教師側と生徒側の何を一致させれば、こうした情報移転が可能になるのかを整理する。
5. 蒸留データは何を一致させるのか
5.1 性能整合は学習後の結果を合わせる
データセット蒸留では、元データと合成データの内容を直接比較する必要はない。比較するのは、それぞれを学習に使った結果である。性能整合では、合成データから更新したモデルを元データ上で評価し、その損失が小さくなるように合成入力と合成ラベルを変更する。データセット蒸留の初期研究は、この考えを二段階最適化として定式化した[2]。
合成データ集合を \(D^S\)、初期モデルを \(\theta^{(0)}\) とする。合成データによる一回の学習を、概念的に次のように書く。
\[
\theta_{\mathrm{S}}^{(1)}
=
\theta^{(0)}
–
\eta
\nabla_\theta
\mathcal{L}
\left(
D^S;
\theta^{(0)}
\right)
\]
\(\eta\) は学習率、\(\mathcal{L}\) は損失関数である。内側の学習では、現在の合成データを使って生徒モデルのパラメーターを更新する。性能整合の外側では、更新後のモデル \(\theta_{\mathrm{S}}^{(1)}\) を元データ \(D^{\mathrm{Tr}}\) 上で評価する。
\[
\mathcal{J}_{\mathrm{PM}}
\left(
D^S
\right)
=
\mathcal{L}
\left(
D^{\mathrm{Tr}};
\theta_{\mathrm{S}}^{(1)}
\right)
\]
\(\mathcal{J}_{\mathrm{PM}}\) は性能整合の目的関数を表す。合成データを使った一回または少数回の更新後に、元データ上の損失が小さくなるように \(D^S\) を最適化する。外側の勾配は、更新後のモデルから内側の学習処理を逆向きにたどり、合成入力と合成ラベルへ返される。
この最適化では、合成データが元標本に似ているかどうかは直接評価されない。評価されるのは、合成データがモデルをどのパラメーター領域へ移動させたかである。現実には存在しない入力であっても、一回の更新で元データ上の損失を大きく下げるなら、性能整合にとっては有効な合成データになる。
ここには二段の因果がある。第一に、合成入力と合成ラベルが損失勾配を決め、その勾配がモデルパラメーターを更新する。第二に、更新後のパラメーターが元データ上の予測性能を決め、その評価結果が再び合成データの変更方向へ戻される。合成データは、標本分布を縮小したものではなく、短い学習で有効なパラメーターへ到達させるために逆算された入力になる。
性能整合が保証しようとするのは、合成データで学習した後の予測結果である。そのため、途中の勾配やパラメーター軌跡が教師学習と一致していなくても、最終的な損失が小さければ目的は達成される。複数の異なる学習経路が同じ性能へ到達できる場合には、性能整合はそのいずれかを選び得る。
5.2 勾配整合は学習の方向を合わせる
勾配整合では、学習後の性能ではなく、元データと合成データがモデルへ与える更新方向を比較する。元データから計算した損失勾配と、合成データから計算した損失勾配の差を小さくすることで、同じ初期状態から似たパラメーター変化を起こさせる[11]。
モデルパラメーターを \(\theta\) とすると、基本的な目的は次の形で表せる。
\[
\mathcal{J}_{\mathrm{GM}}
\left(
D^S;
\theta
\right)
=
\left\|
\nabla_\theta
\mathcal{L}
\left(
D^{\mathrm{Tr}};
\theta
\right)
–
\nabla_\theta
\mathcal{L}
\left(
D^S;
\theta
\right)
\right\|^2
\]
左側の勾配は元データが生み出す更新方向、右側の勾配は合成データが生み出す更新方向である。両者が一致すれば、同じ学習率で一回更新した教師モデルと生徒モデルは、同じ方向へ同じ距離だけ動く。
\[
\theta_{\mathrm{T}}^{(1)}
–
\theta_{\mathrm{S}}^{(1)}
=
-\eta
\left[
\nabla_\theta
\mathcal{L}
\left(
D^{\mathrm{Tr}};
\theta^{(0)}
\right)
–
\nabla_\theta
\mathcal{L}
\left(
D^S;
\theta^{(0)}
\right)
\right]
\]
右辺の勾配差が小さければ、一回更新後のパラメーター差も小さくなる。性能整合が「どこへ到達したか」を評価するのに対し、勾配整合は「どの方向へ進もうとしたか」を評価する。
勾配整合には、方向だけでなく大きさを合わせる設計と、方向の類似を主に評価する設計がある。勾配の大きさまで一致させれば、一回更新後の移動量も近づく。方向だけを一致させる場合には、学習率や勾配尺度が異なっても、同じ種類の特徴を形成する方向へ進ませることを優先できる。
本研究で勾配整合が重要になるのは、教師学習の初期勾配に主部分空間 \(S^*\) の情報が現れるからである。元データから計算した第 1 層勾配を合成データで再現できれば、合成入力にも、モデルを主部分空間へ向ける作用が必要になる。その条件を満たすように合成入力を更新すると、平均ヘッセ行列 \(H\) による方向選別が合成データの値へ現れる。
勾配整合が直接保証するのは、比較したパラメーター状態における局所的な更新の近さである。一時点の勾配が一致しても、その後のすべての学習軌跡が一致するとは限らない。最初の更新後に教師モデルと生徒モデルがわずかに異なる位置へ移れば、次に計算される勾配も変わり得る。短い学習過程を少数の勾配比較で置き換えるには、初期段階に課題構造が十分強く現れることが必要になる。
| 整合対象 | 直接比較する量 | 合成データへ移すもの | 直接には保証しないもの |
|---|---|---|---|
| 性能整合 | 合成データで学習した後の元データ上の損失を比較する。 | 短い学習で低損失のパラメーターへ到達させる作用を移す。 | 途中の勾配や学習軌跡の一致は保証しない。 |
| 勾配整合 | 元データと合成データが生み出す損失勾配を比較する。 | 特定のパラメーター状態における学習方向を移す。 | 長時間の学習後に同じ性能へ到達することは自動的には保証しない。 |
5.3 二段階最適化は合成データの意味を固定する
性能整合と勾配整合のどちらでも、合成データの最適化はモデル学習を内部に含む。外側の処理は、内側で採用したモデル、初期化、損失関数、学習率、更新回数を前提として合成データを作る。この構造を二段階最適化という。
一般的な形では、内側の学習によって、合成データに対するモデルパラメーター \(\theta^*(D^S)\) を求める。
\[
\theta^*
\left(
D^S
\right)
=
\operatorname*{arg\,min}_{\theta}
\mathcal{L}
\left(
D^S;
\theta
\right)
\]
外側では、そのパラメーターを元データ上で評価し、合成データを更新する。
\[
\operatorname*{min}_{D^S}
\mathcal{L}
\left(
D^{\mathrm{Tr}};
\theta^*
\left(
D^S
\right)
\right)
\]
実際のデータセット蒸留では、内側の最適化を完全に解くのではなく、一回または有限回の勾配更新で近似する場合が多い。この近似によって計算量を抑えられる一方、合成データは採用した更新回数に適合する。内側を一回だけ更新して作った合成データは、一回更新では高い性能を出しても、長時間学習した場合に同じ性質を保つとは限らない。
二段階最適化では、複数の合成データ集合が同じ外側損失を達成する可能性がある。どの解が選ばれるかは、合成データの初期値、内側の最適化手順、正則化、勾配計算法に左右される。過剰にパラメーター化された二段階最適化には、明示的な制約だけでは説明できない解の偏りが生じることが知られている[12]。
たとえば、内側のモデルが 2 層ニューラルネットワークなら、合成データはそのネットワークが短い更新で読み取りやすい形へ変化する。別のネットワーク構造、別の初期化、別の損失関数へ同じ合成データを渡した場合、同じ勾配や性能が再現される保証はない。蒸留データの機能は入力値だけに内在するのではなく、合成時に想定された学習系との組み合わせで成立する。
この条件依存性は、データセット蒸留の圧縮率を理解するうえで欠かせない。合成データが少数で済む理由の一部は、元データが持つあらゆる用途を保存せず、特定の読み取り手順に必要な情報へ限定していることにある。モデルや更新則を固定するほど圧縮しやすくなる一方、別の学習系へ移したときの再利用性は低下し得る。
5.4 蒸留方式ごとに保存される学習情報が異なる
データセット蒸留には、性能と勾配以外を一致させる方法もある。どの量を比較するかによって、合成データへ保存される学習情報の範囲と、蒸留時の計算負荷が変わる。
無限幅ニューラルネットワークをカーネルとして扱う方法では、内側の学習をカーネル回帰へ置き換え、合成データによる予測性能を解析しやすくする[13]。ニューラル特徴回帰を用いる方式では、ニューラルネットワークが作る特徴を利用しながら、出力側の学習を回帰問題として解く[14]。これらは性能整合を効率的に計算するための異なる近似を与える。
軌跡整合では、教師モデルが複数回の更新で通過したパラメーター列を記録し、生徒モデルが少数回の更新で同じ区間を進むように合成データを最適化する[15]。一時点の勾配だけでなく、長い学習過程の変化を保存できる反面、教師軌跡の保存と逆伝播に大きな計算記憶量が必要になる。
分布整合では、実データと合成データを特徴空間へ写し、平均や分布統計を近づける[16]。モデル学習を内側で何度も展開せずに済むため計算は軽くなるが、特徴分布が近いことと、特定の学習軌跡や最終性能が一致することは同じではない。
| 方式 | 一致させる対象 | 合成データへ保存される情報 | 主な利点 | 主な制約 |
|---|---|---|---|---|
| 性能整合 | 合成データで学習した後の元データ上の損失を合わせる。 | 低損失のモデルへ到達させる入力とラベルの作用を保存する。 | 最終的な予測性能を直接最適化できる。 | 内側の学習を通した逆伝播が必要になり、学習経路の一致は保証しない。 |
| 勾配整合 | 元データと合成データが生む勾配を合わせる。 | 特定時点でモデルを動かす方向と強さを保存する。 | 特徴学習の初期信号を直接比較できる。 | 局所的な一致であり、長期の学習軌跡を自動的には再現しない。 |
| 軌跡整合 | 複数時点のモデルパラメーターまたは更新区間を合わせる。 | 教師学習の長い変化を短い再学習へ移す。 | 一時点の勾配より広い学習過程を保存できる。 | 教師軌跡の保存と長い逆伝播が必要になる。 |
| 分布整合 | 実データと合成データの特徴分布を合わせる。 | 標本集合全体の特徴統計を保存する。 | 内側の長いモデル学習を省略しやすい。 | 特徴分布の一致だけでは更新方向や最終性能を保証しない。 |
5.5 段階的蒸留は学習過程を役割ごとに分ける
本研究が採用するのは、学習全体を一つの合成データ集合へ圧縮する方式ではなく、学習段階ごとに別の合成データ集合を作る段階的データセット蒸留である。この考え方は、長い訓練過程を複数区間に分け、各区間の学習作用を別々の合成データへ保存する方法として提案された[17]。
2 層ニューラルネットワークでは、第 1 層の特徴形成と、第 2 層の出力係数学習が異なる役割を持つ。第 1 層では、入力空間のどの方向を見るかが変わる。第 2 層では、形成済みの特徴をどの比率で組み合わせるかが変わる。両者を一つの整合目的で同時に扱うと、合成データがどちらの情報を保持しているのかを分離しにくい。
第一段階では、元データと合成データが第 1 層へ与える勾配を整合させる。教師学習の初期勾配には平均ヘッセ行列 \(H\) を介して主部分空間 \(S^*\) の情報が含まれるため、合成入力を更新すると、課題に必要な方向が入力値へ符号化される。
第二段階では、第一蒸留データによって形成された第 1 層を前提とし、第 2 層の出力規則を再構成する。ここでは性能整合または勾配整合を使い、主として合成ラベルへ第 2 層係数に必要な情報を移す。
| 蒸留段階 | 対象となる学習 | 主に更新する合成要素 | 保存する構造 | 再学習時の役割 |
|---|---|---|---|---|
| 第一蒸留 | 第 1 層の特徴学習を対象とする。 | 合成入力を更新する。 | 課題の主部分空間と潜在方向を保存する。 | 新しいモデルに入力を見る方向を形成させる。 |
| 第二蒸留 | 第 2 層の出力学習を対象とする。 | 主として合成ラベルを更新する。 | 形成済みの特徴から目的出力を作る係数情報を保存する。 | 第 1 層の特徴を課題固有の出力へ結び付ける。 |
段階的蒸留によって、学習結果は共通表現と課題固有規則へ分けられる。第一蒸留データは、同じ潜在方向を共有する別課題へ転用できる可能性を持つ。第二蒸留データは、特定の目的関数と第 2 層構造に強く依存する。二つを分けることで、何が転移可能で、何が個別課題に固定されるのかを数理的に追跡できる。
次章で扱う潜在構造の符号化定理は、第一蒸留の勾配整合を対象とする。教師学習が生み出す第 1 層勾配を合成データで再現しようとすると、合成入力への更新に平均ヘッセ行列 \(H\) が現れる。その結果、無作為に初期化された合成入力から、主部分空間に属する成分が選び出される。
6. 第一蒸留データは課題の主部分空間を保持する
6.1 最初の蒸留で合成入力を更新する
第一段階の目的は、元データから学習された第 1 層の重みを、そのまま保存することではない。少数の合成入力を使って新しいモデルを学習したときにも、第 1 層が同じ主部分空間 \(S^*\) を捉えるようにすることである。保存対象をモデルパラメーターから合成入力へ移すことで、学習済みの状態ではなく、その状態を再形成させる条件を残す。
第一蒸留データ集合を、次のように表す。
\[
D_1^S
=
\left\{
\left(
\widetilde{x}_m,
\widetilde{y}_m
\right)
\right\}_{m=1}^{M_1}
\]
\(M_1\) は第一蒸留データの件数、\(\widetilde{x}_m\) は第 \(m\) 合成入力、\(\widetilde{y}_m\) は対応する合成ラベルである。第一段階では、元データと合成データが第 1 層へ与える勾配を近づけるように、主として合成入力 \(\widetilde{x}_m\) を更新する。
教師側では、元データ \(D^{\mathrm{Tr}}\) が第 1 層重みを主部分空間へ向ける勾配を生む。生徒側では、現在の合成入力が別の勾配を生む。両者の差を小さくするように合成入力を変更すると、教師勾配に含まれていた課題方向が、合成入力の数値へ移される。
定理 4.1 は、更新後の合成入力が概念的に次の形へ分解できることを示す[1]。
\[
\widetilde{x}_m^{(1)}
=
c_m
H
\widetilde{x}_m^{(0)}
+
e_m
\]
\(\widetilde{x}_m^{(0)}\) は無作為に初期化された合成入力、\(\widetilde{x}_m^{(1)}\) は一回の蒸留更新後の入力である。\(c_m\) は学習率、初期値、ラベルなどから決まる尺度係数、\(H\) は目的関数の平均ヘッセ行列、\(e_m\) は有限標本、有限幅、有限個の初期化、近似項などの影響をまとめた誤差項である。
論文の厳密な定理には、各係数の条件と誤差の上界が含まれる。構造上の中心は、更新後の合成入力に \(H\widetilde{x}_m^{(0)}\) が主要項として現れることである。第 3 章で確認したように、\(H\) は入力から主部分空間に属する成分を選び出す。この作用が蒸留更新に含まれることで、合成入力自体が課題方向を保持する媒体へ変わる。
6.2 主要項はなぜ主部分空間へ入るのか
初期合成入力 \(\widetilde{x}_m^{(0)}\) は、主部分空間に沿う成分と、それに直交する成分へ分解できる。
\[
\widetilde{x}_m^{(0)}
=
\widetilde{x}_{m,\parallel}^{(0)}
+
\widetilde{x}_{m,\perp}^{(0)}
\]
\(\widetilde{x}_{m,\parallel}^{(0)}\) は \(S^*\) に含まれる成分、\(\widetilde{x}_{m,\perp}^{(0)}\) は \(S^*\) に直交する成分である。平均ヘッセ行列 \(H\) の像は \(S^*\) と一致し、直交成分に対しては次が成り立つ。
\[
H
\widetilde{x}_{m,\perp}^{(0)}
=
0
\]
そのため、主要項は次のように書ける。
\[
H
\widetilde{x}_m^{(0)}
=
H
\widetilde{x}_{m,\parallel}^{(0)}
\in
S^*
\]
初期合成入力に含まれていた課題と無関係な成分は、主要項から消える。一方、主部分空間内の成分は、\(H\) の固有値に応じて拡大、縮小、混合されながら残る。\(H\) は単純な直交射影ではないが、出力を変える方向だけを通し、その方向ごとの平均的な曲率を重みとして与える。
この変換によって、合成入力は元データの代表標本になるのではなく、第 1 層を課題方向へ動かすための入力になる。元データに含まれていた背景、雑音、無関係な方向を再現する必要はない。再学習時の勾配に主部分空間の信号が現れるように、入力値が組み替えられる。
ただし、定理が与える更新式には誤差項 \(e_m\) が残る。実際の更新後の合成入力が主部分空間へ十分近づくには、次の関係が必要になる。
\[
\left\|
e_m
\right\|
\ll
\left\|
c_m
H
\widetilde{x}_m^{(0)}
\right\|
\]
誤差項が主要項と同程度か、それ以上に大きければ、更新後の合成入力には課題と無関係な方向が強く残る。主部分空間への符号化は、勾配整合を一回行えば無条件に生じる現象ではなく、課題信号が各種の近似誤差を上回る範囲で成立する。
6.3 潜在構造の符号化に必要な条件
主要項を誤差項より強くするには、教師学習、蒸留、初期化に関する複数の条件が必要になる。これらは独立した技術条件ではなく、元データから課題方向を取り出し、それを合成入力へ安定して移すための異なる段階を支えている。
| 条件 | 直接制御するもの | 不足した場合の帰結 |
|---|---|---|
| 元データ数 \(N\) | 有限データから計算した経験勾配を、入力分布全体に対する母集団勾配へ近づける。 | 標本固有の偏りや観測雑音が課題方向より強く現れる。 |
| ネットワーク幅 \(L\) | 無作為なニューロン集団による平均を安定させ、有限幅の揺らぎを抑える。 | 一部のニューロンの偶然の方向が第 1 層勾配を支配する。 |
| 初期化数 \(J\) | 複数の初期状態に共通する課題信号を残し、初期値固有の成分を平均化する。 | 特定の初期化にだけ適合した合成入力が作られる。 |
| 学習率 | 平均ヘッセ行列に由来する主要項を残しながら、高次の近似誤差を抑える。 | 小さすぎれば課題方向が十分に書き込まれず、大きすぎれば一次近似が崩れる。 |
| 平均ヘッセ行列の階数 | 課題に必要な \(r\) 本の方向が、平均二階微分にすべて現れることを保証する。 | 主部分空間の一部が合成入力へ符号化されない。 |
元データ数 \(N\) が必要なのは、蒸留後にも大量データを保存するためではない。教師勾配に含まれる課題方向を、有限標本の揺らぎから分離するためである。教師学習の段階で主部分空間を正しく推定できなければ、蒸留は誤った方向を忠実に合成入力へ移すことになる。
ネットワーク幅 \(L\) と初期化数 \(J\) は、モデル側の無作為性を抑える。単一の初期化だけに対して勾配を一致させると、その初期値に固有のニューロン配置へ合成データが過剰適合する可能性がある。複数の初期化で繰り返し現れる成分を残すことで、特定のモデル個体ではなく、課題そのものに由来する方向を抽出しやすくなる。
この条件構造から、データセット蒸留の二つの段階を区別できる。大量の元データと多数の初期化は、主部分空間を発見するために使われる。完成した合成データは、発見済みの構造を少ない件数で保持し、再学習時に別のモデルへ戻すために使われる。発見費用が大きいことと、保存量を小さくできることは両立する。
6.4 保証に十分な合成入力数は内在次元に依存する
一つの合成入力に \(H\) を作用させると、主部分空間に属する一つのベクトルが得られる。しかし、主部分空間が \(r\) 次元なら、一つのベクトルだけでは空間全体を再構成できない場合がある。第一蒸留データには、主部分空間の各方向を十分に含む複数の合成入力が必要になる。
一般の多指標モデルについて、定理 4.2 は、対数因子を除けば第一蒸留データ数 \(M_1\) が内在次元の二乗程度あれば十分であることを示す[1]。
\[
M_1
\gtrsim
r^2
\]
この十分条件に現れる合成入力数は、元データ数 \(N\) ではなく、課題の内在次元 \(r\) によって支配される。入力空間が非常に高次元でも、出力を決める主部分空間が低次元なら、保存する合成入力の件数を小さく抑えられる。
ただし、\(r\) 次元の空間を張るだけなら、代数的には \(r\) 本の独立なベクトルで足りる。定理で \(r^2\) 程度の十分条件が現れるのは、単に方向数を数えているからではない。無作為に初期化された合成入力から、有限標本誤差や初期化の揺らぎがある状態で、主部分空間を安定して回復する確率保証まで含めているためである。
各合成入力が \(H\widetilde{x}_m^{(0)}\) へ変換されると、主部分空間上の無作為な線形結合が得られる。これらを並べた行列が十分な階数を持ち、最小特異値が小さくなりすぎなければ、再学習時の第 1 層は \(S^*\) 全体を利用できる。合成入力数を増やすことには、方向を増やすだけでなく、主部分空間の回復を数値的に安定させる役割がある。
従来の理論研究は、線形回帰やカーネル回帰において、元の解や予測関数を再現するために必要な蒸留集合の大きさを解析してきた[18][19][20]。これらの設定では、入力を特徴へ変換する写像が固定されているか、カーネルによってあらかじめ決まっている。
本研究では、第 1 層の特徴方向そのものが勾配学習によって変化する。第一蒸留データが保存するのは、固定特徴空間上の最適係数ではなく、新しいモデルに低次元の特徴表現を形成させる入力である。圧縮量が内在次元 \(r\) と結び付くのは、合成データ数が元標本の代表数ではなく、再形成すべき特徴部分空間の規模を反映するからである。
6.5 単一指標モデルでは一つの蒸留点で足りる
内在次元が \(r=1\) の単一指標モデルでは、主部分空間は一本の直線になる。この場合、定理 4.3 は、第一蒸留データが一つでも潜在方向を保持できる条件を示す[1]。
\[
r=1,
\qquad
M_1=1
\]
一つの初期合成入力 \(\widetilde{x}^{(0)}\) に \(H\) を作用させると、主要項は一次元の主部分空間上に置かれる。初期入力が潜在方向と完全に直交していない限り、その成分は係数付きで残る。
\[
H
\widetilde{x}^{(0)}
=
\lambda
\beta
\beta^\top
\widetilde{x}^{(0)}
\]
\(\beta\) は単一の潜在方向、\(\lambda\) はその方向に対応する非零固有値である。右辺は \(\beta\) の定数倍になるため、一つの更新済み合成入力だけで主部分空間の向きを表せる。
この結果は、一つの観測標本だけで目的関数を発見できるという意味ではない。教師学習には、雑音を平均化し、潜在方向を推定し、経験勾配を母集団勾配へ近づけるための元データが必要である。さらに、定理はネットワーク幅 \(L\)、初期化数 \(J\)、学習率などにも十分条件を置く。
一つで足りるのは、発見済みの一本の方向を再学習時の第 1 層へ伝える合成入力の件数である。課題構造の発見と、その構造の保存を区別しなければ、「一つのデータで学習できる」という誤った解釈になる。
第一蒸留の結果によって、第 1 層が見るべき座標系は少数の合成入力へ移される。しかし、潜在方向が分かっても、その方向への射影値をどのように組み合わせて最終出力を作るかはまだ決まらない。次章では、形成済みの特徴から目的関数を再構成する第 2 層情報が、第二蒸留データへどのように保存されるかを扱う。
7. 第二蒸留データは出力規則を再構成する
7.1 潜在方向だけでは予測関数にならない
第一蒸留データによって第 1 層を学習すると、モデルは入力空間の中で課題に関係する主部分空間 \(S^*\) を捉えられるようになる。各ニューロンの重み \(w_i\) は、無作為な方向ではなく、目的関数が依存する方向へ向かう。しかし、第 1 層が正しい方向を見ているだけでは、予測関数 \(f^*\) は完成しない。
2 層ニューラルネットワークの出力は、次のように表される。
\[
f_\theta(x)
=
\sum_{i=1}^{L}
a_i
\sigma
\left(
\langle w_i,x\rangle+b_i
\right)
\]
第 1 層の \(w_i\) と \(b_i\) は、入力からどの特徴を取り出すかを決める。第 2 層の \(a_i\) は、それぞれの特徴をどの符号と強さで組み合わせるかを決める。第一蒸留によって \(w_i\) が主部分空間へ向かっても、\(a_i\) が適切でなければ、抽出された特徴は正しい出力へ結び付かない。
同じ主部分空間を共有する二つの課題を考える。どちらも \(B^\top x\) だけに依存していても、射影後の値から出力を作る関数 \(\sigma^*\) が異なれば、正解も異なる。
\[
f_1^*(x)
=
\sigma_1^*
\left(
B^\top x
\right)
\]
\[
f_2^*(x)
=
\sigma_2^*
\left(
B^\top x
\right)
\]
二つの課題は、入力を見る方向 \(B\) を共有しているが、射影値をどのように解釈するかは共有していない。第一蒸留データが保存するのは主として前者であり、後者を再現するには別の情報が必要になる。
この役割を担うのが第二蒸留データ集合 \(D_2^S\) である。
\[
D_2^S
=
\left\{
\left(
\widehat{x}_m,
\widehat{y}_m
\right)
\right\}_{m=1}^{M_2}
\]
\(M_2\) は第二蒸留データの件数、\(\widehat{x}_m\) は第二段階で使う合成入力、\(\widehat{y}_m\) は合成ラベルである。第一段階では主として合成入力を更新し、第 1 層に潜在方向を形成させた。第二段階では、形成済みの第 1 層を前提として、合成ラベルを調整し、第 2 層の出力係数を再構成する。
7.2 第二蒸留データから特徴行列を作る
第二段階では、第 1 層の重みとバイアスを固定した状態で、各合成入力に対するニューロンの出力を計算する。第 \(m\) 合成入力に対する第 \(i\) ニューロンの特徴値を、次のように表す。
\[
\Phi_{mi}
=
\sigma
\left(
\langle w_i,\widehat{x}_m\rangle+b_i
\right)
\]
これらの値を、合成入力ごと、ニューロンごとに並べたものが特徴行列 \(\Phi\) である。
\[
\Phi
=
\begin{pmatrix}
\Phi_{11} & \cdots & \Phi_{1L} \\
\vdots & \ddots & \vdots \\
\Phi_{M_2 1} & \cdots & \Phi_{M_2 L}
\end{pmatrix}
\]
第 2 層重みを列ベクトル \(a\) とすると、第二蒸留データ上のモデル出力は次のようにまとめられる。
\[
\widehat{f}
=
\Phi a
\]
\(\widehat{f}\) は、\(M_2\) 個の合成入力に対する予測値を並べたベクトルである。第二段階の学習は、第 1 層によって作られた特徴行列 \(\Phi\) を固定し、予測 \(\Phi a\) が合成ラベル \(\widehat{y}\) に近づくように \(a\) を更新する線形回帰として扱える。
この形にすると、第一段階と第二段階の違いが明確になる。第一段階では、特徴行列を作る \(w_i\)、\(b_i\)、合成入力の関係が問題になる。第二段階では、特徴行列が既に与えられた状態で、その列をどの係数で組み合わせるかが問題になる。
7.3 特徴行列には十分な階数が必要になる
合成ラベルから第 2 層重みを再構成するには、特徴行列 \(\Phi\) が十分な情報を持っていなければならない。複数のニューロンが第二蒸留データ上でまったく同じ値を出す場合、それらに対応する重みを個別に区別することはできない。
たとえば、二つの特徴列が同一である場合を考える。
\[
\Phi_{\cdot 1}
=
\Phi_{\cdot 2}
\]
このとき、予測値には \(a_1\) と \(a_2\) が別々には現れず、和として現れる。
\[
a_1\Phi_{\cdot 1}
+
a_2\Phi_{\cdot 2}
=
\left(
a_1+a_2
\right)
\Phi_{\cdot 1}
\]
\(a_1\) を増やして \(a_2\) を同じだけ減らしても、第二蒸留データ上の予測は変わらない。異なる第 2 層重みを区別できないため、教師側と同じ予測を再現するために必要な係数方向を識別する方程式が不足する。
この退化を排除するため、論文は仮定 4.4 として特徴行列に正則性条件を置く。要点は、第二蒸留データから得られる特徴が、再構成対象となる第 2 層の自由度を区別できるだけの階数を持つことである[1]。
特徴行列の階数が十分であれば、再構成対象となる係数方向の違いが予測の違いとして現れる。合成ラベルを適切に設定することで、教師学習から得られた出力係数と同等の働きをする係数を、生徒学習によって選び出せる。
必要なのは、第二蒸留データの件数を形式的に増やすことではない。同じ特徴を繰り返す入力を何件加えても、特徴行列の階数は増えない。合成入力は、第 1 層の各ニューロンが異なる反応を示し、出力係数の違いを識別できる位置に配置されなければならない。
| 特徴行列の状態 | 第 2 層学習への影響 | 第二蒸留データ上の問題 |
|---|---|---|
| 十分な階数を持つ | 異なる出力係数が異なる予測を生む。 | 合成ラベルから必要な係数情報を識別できる。 |
| 列が重複する | 複数のニューロンの係数を個別に区別できない。 | 異なる重みが同じ予測を与える。 |
| 一部の特徴が常に 0 になる | 対応するニューロンの係数を学習できない。 | 必要な出力方向が第二蒸留データ上に現れない。 |
| 特徴が一部の方向へ偏る | 係数推定が不安定になり、誤差が増幅される。 | わずかなラベル誤差が大きな重み差を生む。 |
7.4 第二蒸留データのラベルへ係数情報を移す
第 1 層を固定した場合、第二段階の損失は第 2 層重み \(a\) に関して二次関数になる。平均二乗誤差を使えば、第二蒸留データ上の損失は概念的に次のように書ける。
\[
\mathcal{L}_2
\left(
a
\right)
=
\frac{1}{2M_2}
\left\|
\Phi a
–
\widehat{y}
\right\|^2
\]
\(\widehat{y}\) は第二蒸留データの合成ラベルを並べたベクトルである。第 2 層重みに関する勾配は次の形になる。
\[
\nabla_a
\mathcal{L}_2
\left(
a
\right)
=
\frac{1}{M_2}
\Phi^\top
\left(
\Phi a-\widehat{y}
\right)
\]
この式では、特徴行列 \(\Phi\) が固定されているため、合成ラベル \(\widehat{y}\) を変えると、第 2 層重みを動かす勾配を直接制御できる。教師学習で得られた第 2 層更新と同じ勾配を生じさせるように \(\widehat{y}\) を設定すれば、生徒モデルの出力係数を教師側と同じ方向へ動かせる。
第一蒸留では、合成入力が平均ヘッセ行列 \(H\) を通じて潜在方向を保持した。第二蒸留では、固定された特徴行列を通じて、合成ラベルが出力係数の更新方向を保持する。二つの段階では、同じ「データ」でも、情報を書き込む場所が異なる。
合成ラベルは、現実の教師ラベルをそのまま縮小したものとは限らない。第 2 層重みを短い更新で特定の値へ動かすために最適化されるため、元の出力範囲を外れる数値になる場合もある。その値の意味は、人間が解釈する正解ではなく、固定された特徴行列に対して必要な勾配を生じさせる制御値にある。
7.5 性能整合による出力規則の再構成
性能整合を使う場合、第二蒸留データで更新した第 2 層が、元データ上で小さい損失を持つように合成ラベルを調整する。第 1 層は第一蒸留によって形成済みなので、外側の目的は主として第 2 層の出力規則を再現することになる。
第二蒸留データを使った更新後の重みを、次のように表す。
\[
a_{\mathrm{S}}^{(1)}
=
a^{(0)}
–
\eta_a
\nabla_a
\mathcal{L}_2
\left(
a^{(0)}
\right)
\]
\(\eta_a\) は第 2 層の学習率である。性能整合では、更新後の \(a_{\mathrm{S}}^{(1)}\) を使ったモデルを元データ上で評価し、その損失が小さくなるように \(\widehat{y}\) を調整する。
\[
\operatorname*{min}_{\widehat{y}}
\mathcal{L}
\left(
D^{\mathrm{Tr}};
a_{\mathrm{S}}^{(1)}
\right)
\]
合成ラベルは、第二蒸留データ上の予測を正しくするためだけに選ばれるのではない。そのラベルから一回更新した後に、元の入力分布上で良い予測をする係数へ到達させるために選ばれる。
特徴行列が十分な階数を持つ場合、合成ラベルを通じて第 2 層更新を広い範囲で制御できる。教師学習で得られた係数と同等の予測関数へ生徒モデルを移動させるラベルを構成できるため、元データ上の汎化誤差も教師側と同じ次数まで戻せる。
7.6 勾配整合による出力規則の再構成
勾配整合では、教師側の元データが第 2 層へ与える勾配と、第二蒸留データが生徒側へ与える勾配を一致させる。教師側の第 2 層勾配を \(g_{\mathrm{T}}\)、生徒側の勾配を \(g_{\mathrm{S}}\) とすると、目的は次の差を小さくすることにある。
\[
\left\|
g_{\mathrm{T}}
–
g_{\mathrm{S}}
\right\|^2
\]
生徒側の勾配は、合成ラベル \(\widehat{y}\) を使って次のように書ける。
\[
g_{\mathrm{S}}
=
\frac{1}{M_2}
\Phi^\top
\left(
\Phi a^{(0)}
–
\widehat{y}
\right)
\]
特徴行列が十分な階数を持てば、合成ラベルを調整することで、必要な勾配方向を再現できる。教師側と生徒側が同じ初期重みから始まり、勾配が一致すれば、一回更新後の第 2 層重みも一致する。
\[
a_{\mathrm{T}}^{(1)}
=
a_{\mathrm{S}}^{(1)}
\]
性能整合は更新後の予測結果から合成ラベルを逆算し、勾配整合は更新方向から逆算する。比較する量は異なるが、固定された第 1 層と十分な特徴行列があれば、どちらも第 2 層に必要な情報を第二蒸留データへ移せる。
7.7 定理 4.5 が保証する再学習性能
定理 4.5 は、特徴行列に関する正則性条件の下で、性能整合または勾配整合を用いて第二蒸留データを構成すれば、再学習後のモデルが教師学習と同じ次数の汎化誤差上界を達成できることを示す[1]。
この結果は、第二蒸留データ上の損失だけが小さいという保証ではない。第一蒸留データで第 1 層の主部分空間を再形成し、第二蒸留データで第 2 層を学習したモデルが、入力分布全体に対して教師側と同程度の誤差を持つことを扱う。
因果関係は三段階に分かれる。第一に、第一蒸留データが、第 1 層に目的関数の主部分空間を再形成させる。第二に、その第 1 層から得られる特徴行列が十分な階数を持つことで、第 2 層の係数を識別できる。第三に、第二蒸留データのラベルが、教師側と同等の係数または予測関数へ生徒モデルを移動させる。
いずれかの段階が崩れると、同じ汎化誤差は得られない。第一蒸留で潜在方向が欠ければ、第二蒸留は存在しない特徴を補えない。特徴行列の階数が不足すれば、正しい係数を識別できない。合成ラベルが蒸留時のモデルや初期化へ過剰適合すれば、再学習条件を変えたときに同じ更新を再現できない。
| 再構成段階 | 満たすべき条件 | 失敗した場合 |
|---|---|---|
| 第 1 層の再構成 | 第一蒸留データが主部分空間を十分な精度で保持する。 | 目的関数に必要な特徴そのものが欠ける。 |
| 特徴行列の形成 | 第二蒸留入力に対する特徴が十分な階数と安定性を持つ。 | 複数の第 2 層係数を区別できない。 |
| 第 2 層の再構成 | 合成ラベルが教師側の性能または勾配を再現する。 | 正しい特徴を持っていても、誤った出力規則になる。 |
7.8 共通表現と課題固有規則を分ける
二段階蒸留によって、学習済みモデルが持つ情報は、複数課題で共有し得る表現と、個別課題に依存する出力規則へ分かれる。第一蒸留データは、入力空間のどの方向が意味を持つかを保存する。第二蒸留データは、その方向から得られた特徴へ、特定の出力を割り当てる方法を保存する。
同じ主部分空間 \(S^*\) を共有する別課題では、第一蒸留データを再利用できる可能性がある。新しい課題でも入力を見る方向が同じなら、第 1 層を最初から学び直す必要が小さくなる。一方、出力関数 \(\sigma^*\) が変われば、第 2 層係数も変わるため、第二蒸留データは作り直す必要がある。
この分離は、転移可能性の範囲も限定する。共通表現を再利用できるのは、課題間で潜在方向が共有されている場合である。入力分布が同じでも、別課題が異なる方向に依存するなら、第一蒸留データは必要な特徴を含まない。反対に、潜在方向が同じでも出力規則が異なれば、第二蒸留データをそのまま転用すると誤った予測になる。
| 課題間で共有されるもの | 第一蒸留データ | 第二蒸留データ | 転移時の判断 |
|---|---|---|---|
| 主部分空間と出力規則の両方 | 再利用できる可能性がある。 | 再利用できる可能性がある。 | 同じ課題または非常に近い課題として扱える。 |
| 主部分空間だけ | 第 1 層の事前学習に利用できる可能性がある。 | 新しい出力規則に合わせて作り直す必要がある。 | 表現転移は可能でも、出力層の再学習が必要になる。 |
| 出力形式だけ | 必要な潜在方向が異なるため再利用しにくい。 | 第 1 層の特徴が変われば同じラベル設計は機能しない。 | 蒸留データ全体を再構成する必要がある。 |
| どちらも共有しない | 再利用できる根拠がない。 | 再利用できる根拠がない。 | 別課題として新たに教師学習と蒸留を行う。 |
第一蒸留データと第二蒸留データを分けることで、学習結果のどの部分が課題構造に由来し、どの部分がモデルと出力規則に依存するのかを追跡できる。第一段階は入力空間の座標系を再形成し、第二段階はその座標系上に予測関数を構成する。二つを順に使うことで、元データを保存せずに、特徴学習と出力学習を別々の合成データから再実行できる。
二段階の再構成が成立した後に残る問いは、そのために何個の合成データと何個の数値を保存しなければならないかである。次章では、第一蒸留データ、第二蒸留データ、入力次元、ネットワーク幅を合わせた保存量を確認し、保存量の削減と蒸留計算の負担を分けて評価する。
8. 保存量は減るが計算量は消えない
8.1 保存量 \(\widetilde{\Theta}(r^2d+L)\) は何を数えているのか
第一蒸留データが主部分空間を再形成し、第二蒸留データが出力規則を再構成できるなら、次に問うべきなのは、その二つを保持するために何個の数値が必要になるかである。定理 4.6 は、二段階の蒸留後に必要となる保存量を、対数因子を除いて次の次数で評価する[1]。
\[
\widetilde{\Theta}
\left(
r^2d+L
\right)
\]
\(\widetilde{\Theta}\) は、対数因子や定数を除けば、上界と下界が同じ次数で増えることを表す。この式は、実際のファイル容量をバイト単位で与えるものではない。入力次元、内在次元、ネットワーク幅を増やしたとき、保存すべき数値の個数がどのように増えるかを示している。
第一項 \(r^2d\) は、主部分空間を再形成する第一蒸留データに対応する。第一蒸留データ数は、一般の多指標モデルでは対数因子を除いて \(r^2\) 程度で評価される。それぞれの合成入力は元の入力空間上にあるため、一件につき \(d\) 個の値を持つ。両者を掛けると、入力側の保存量はおおむね \(r^2d\) になる。
\[
\underbrace{M_1}_{\text{合成入力数}}
\times
\underbrace{d}_{\text{一件の入力次元}}
\approx
r^2d
\]
第二項 \(L\) は、形成済みの特徴から出力を作る第 2 層情報に対応する。ネットワークには幅 \(L\) に応じた特徴があり、その組み合わせを再構成するには、幅に比例する量の情報が必要になる。第一段階が入力空間の方向を保存し、第二段階が各特徴の結合規則を保存するため、最終的な式には \(r^2d\) と \(L\) が別々に現れる。
| 保存項 | 由来 | 増加させる要因 | 減らせない理由 |
|---|---|---|---|
| \(r^2d\) | 第一蒸留データの合成入力を保存する量に対応する。 | 課題の内在次元 \(r\) と、一件の入力次元 \(d\) によって増える。 | 主部分空間を安定して張る複数の入力を、元の入力形式で保持する必要がある。 |
| \(L\) | 第二段階で出力層を再構成する情報に対応する。 | 利用する特徴数であるネットワーク幅 \(L\) によって増える。 | 各特徴を最終出力へ結び付ける自由度を保持する必要がある。 |
この評価から、入力次元 \(d\) が消えるわけではないことも分かる。合成入力は元の入力空間と同じ形式を持つため、画像なら元画像と同じ画素数、数値ベクトルなら元入力と同じ座標数を必要とする。データセット蒸留が減らすのは、一件の入力を記述する量ではなく、保存する入力件数である。
圧縮を生むのは、保存件数が元データ数 \(N\) ではなく、主として内在次元 \(r\) に依存する点である。元データが数百万件あっても、目的関数が少数の有効方向だけに依存し、その方向を少数の合成入力から再形成できるなら、保存量を \(N\) から切り離せる。一方、内在次元 \(r\) が大きくなれば、第一蒸留データ数も増え、圧縮上の利点は小さくなる。
8.2 元データ保存、モデル保存、蒸留データ保存は目的が異なる
蒸留データの保存量を評価するには、比較対象を明確にする必要がある。元データ、学習済みモデル、蒸留データは、同じ学習結果を別形式で保存したものではない。それぞれが保持する範囲と、再利用時に必要な処理が異なる。
元データをそのまま保存する場合、入力部分だけでもおおむね次の量が必要になる。
\[
\Theta
\left(
Nd
\right)
\]
\(N\) 件の入力を一件につき \(d\) 個の値で保持するためである。実際にはラベル、索引、属性、ファイル形式上の付加情報も必要になるが、主要項は \(Nd\) で決まる。元データ保存は容量が大きい代わりに、別のモデル、別の損失関数、別の課題へ再利用できる余地を残す。
幅 \(L\) の 2 層ニューラルネットワークを保存する場合、第 1 層だけでも \(L\) 本の \(d\) 次元重みが必要になる。バイアスと第 2 層重みを加えると、全体はおおむね次の次数になる。
\[
\Theta
\left(
Ld+L
\right)
=
\Theta
\left(
Ld
\right)
\]
学習済みモデルは、再学習せずに予測へ使える。しかし、学習結果はそのネットワーク構造とパラメーター配置に固定される。モデル幅、活性化関数、層構造を変更した別の学習器へ、同じ知識をそのまま移せるとは限らない。
蒸留データの保存量は、次の次数で評価される。
\[
\widetilde{\Theta}
\left(
r^2d+L
\right)
\]
蒸留データは完成した予測器ではない。再学習によって、主部分空間と出力規則を新しいモデル内に形成させるための入力とラベルである。保存量を小さくできる可能性がある一方、利用時には再び学習処理を行わなければならず、その効果も蒸留時に想定したモデル、初期化、損失関数、更新手順に依存する。
| 保存方式 | 主要な保存量 | 保持する範囲 | 利用時に必要な処理 | 再利用性の制約 |
|---|---|---|---|---|
| 元データ | おおむね \(\Theta(Nd)\) で増える。 | 観測された入力、ラベル、課題外の変動も含めて保持する。 | 用途ごとにモデルを学習する。 | 容量は大きいが、異なるモデルや別課題へ利用できる余地が広い。 |
| 学習済みモデル | 2 層モデルではおおむね \(\Theta(Ld)\) で増える。 | 特定のネットワーク内に形成された特徴と出力規則を保持する。 | 原則として再学習せずに予測へ使える。 | 学習結果がモデル構造とパラメーター形式へ固定される。 |
| 蒸留データ | \(\widetilde{\Theta}(r^2d+L)\) で増える。 | 指定された学習系で特徴と出力規則を再形成させる情報を保持する。 | 合成データから新しいモデルを再学習する。 | モデル、初期化、損失関数、更新手順が変わると効果が低下し得る。 |
蒸留データが元データより小さくなるには、少なくとも \(r^2d+L\) が \(Nd\) より十分小さい必要がある。対数因子と定数を省けば、比較は次の比で表せる。
\[
\frac{r^2d+L}{Nd}
\]
元データ数 \(N\) が大きく、内在次元 \(r\) が小さいほど、この比は小さくなる。反対に、課題が高い内在次元を持つ場合や、ネットワーク幅 \(L\) が元データ量に比べて極端に大きい場合には、蒸留データの保存上の利点は縮小する。
モデル保存との比較では、蒸留データが常に小さいわけではない。概略的には、\(r^2\) がネットワーク幅 \(L\) より十分小さい場合に、第 1 層の全重み \(Ld\) を保存する代わりに、少数の合成入力 \(r^2d\) を保存する利点が現れる。内在次元がネットワーク幅に近づけば、モデル全体を保存する方が簡潔な場合もある。
8.3 保存量の削減は元データの代替を意味しない
蒸留データが小さいのは、元データの情報を無損失で圧縮しているからではない。特定の予測課題と学習手順に不要な情報を捨てているためである。元データには、別課題に必要な特徴、少数群の例外、観測条件、分布変化を検証する手掛かりが含まれる。蒸留データは、そのすべてを保持するようには最適化されていない。
たとえば、同じ画像集合から物体の種類を分類する課題と、撮影環境を分類する課題を考える。前者の蒸留では背景情報が捨てられ、後者の蒸留では物体形状の一部が不要になる可能性がある。元データが同じでも、目的関数が変われば主部分空間 \(S^*\) と内在次元 \(r\) が変わり、必要な蒸留データも変わる。
蒸留後の保存量が小さいという定理は、元データを削除してもあらゆる用途を維持できることを保証しない。保証されるのは、論文が定めたモデル、課題、損失、初期化、更新条件の下で、教師学習と同じ次数の汎化誤差を再現するために必要な量である。保存目的が変われば、必要情報量も変わる。
この制約は、圧縮率と再利用性の間に交換関係を作る。用途を狭く固定するほど、不要な情報を多く捨てられ、蒸留データを小さくできる。一方、未知の課題や異なるモデルへ使える余地は減る。元データは大きいが用途を限定しにくく、蒸留データは小さいが用途が明確に限定される。
8.4 圧縮は計算を前工程へ移す
保存量が小さくなっても、蒸留データを作るための計算が同じ割合で減るわけではない。第一蒸留データへ主部分空間を符号化するには、まず元データから教師側の特徴学習を行い、その勾配を複数の初期化で測定しなければならない。第二段階では、形成済みの特徴行列を使って、性能または勾配を一致させる合成ラベルを求める必要がある。
第一段階だけでも、次の処理が含まれる。
| 処理 | 必要になる計算 | 処理の目的 |
|---|---|---|
| 教師勾配の計算 | 元データ \(N\) 件に対する順伝播と逆伝播を行う。 | 目的関数に由来する潜在方向を抽出する。 |
| 生徒勾配の計算 | 現在の合成データに対する順伝播と逆伝播を行う。 | 合成入力が生み出す学習作用を測定する。 |
| 勾配整合 | 教師側と生徒側の勾配差を合成入力へ逆伝播する。 | 主部分空間の情報を合成入力へ移す。 |
| 複数初期化での平均 | \(J\) 個の初期モデルについて学習と比較を繰り返す。 | 特定初期値への過剰適合を抑え、課題に共通する成分を残す。 |
理論保証では、元データから計算した経験勾配を、入力分布全体に対する母集団勾配へ近づける必要がある。そのため、元データ数 \(N\) に十分な大きさが求められる。有限幅による揺らぎを抑えるためにはネットワーク幅 \(L\)、初期値固有の成分を平均化するためには初期化数 \(J\) にも十分条件が置かれる。
これらの条件は、保存時に必要な \(\widetilde{\Theta}(r^2d+L)\) とは別の量である。完成後の蒸留データは小さくても、それを作る過程では元データ全体と多数のモデル初期化へ繰り返しアクセスする。保存量の定理から、蒸留処理そのものが通常学習より安価だとは結論できない。
大規模画像データへデータセット蒸留を拡張する研究でも、完成した合成データの容量だけでなく、教師の学習軌跡や勾配計算を展開する際の計算記憶量が主要な制約になる[21]。特に軌跡整合では、教師モデルの複数時点の状態を保存し、長い更新過程を通して逆伝播する必要があるため、蒸留結果より蒸留工程の方が大きな記憶量を消費し得る。
データセット蒸留による効率化は、計算負担を消すのではなく、時間軸上の配置を変える。最初に大きな費用を使って課題構造を抽出し、その後の保存、転送、配布、反復学習を小さな合成データで行う。蒸留を一度行い、再学習を多数回繰り返す運用では、前工程の費用を複数回の利用へ分散できる。
8.5 蒸留が有利になる回数を考える
以下の式は論文中の評価式ではなく、再利用回数を含む運用費用を説明するための概念式である。
保存量だけでなく総費用を評価するには、蒸留後に何回再利用するかを考える必要がある。元データから一回学習する費用を \(C_{\mathrm{train}}\)、蒸留データを作る費用を \(C_{\mathrm{distill}}\)、蒸留データから一回再学習する費用を \(C_{\mathrm{retrain}}\) とする。
元データから \(K\) 回学習する場合の総計算量は、概念的に次のようになる。
\[
C_{\mathrm{raw}}
\left(
K
\right)
=
K
C_{\mathrm{train}}
\]
一度蒸留し、その後 \(K\) 回再学習する場合は次のようになる。
\[
C_{\mathrm{distilled}}
\left(
K
\right)
=
C_{\mathrm{distill}}
+
K
C_{\mathrm{retrain}}
\]
蒸留が計算面でも有利になるには、次の関係が必要になる。
\[
C_{\mathrm{distill}}
+
K
C_{\mathrm{retrain}}
<
K
C_{\mathrm{train}}
\]
これを \(K\) について整理すると、蒸留の初期費用を回収するために必要な再利用回数が分かる。
\[
K
>
\frac{
C_{\mathrm{distill}}
}{
C_{\mathrm{train}}
–
C_{\mathrm{retrain}}
}
\]
蒸留データからの再学習が元データからの学習より十分軽く、同じ蒸留データを多数回使うほど、初期費用を回収しやすい。反対に、モデルを一度しか学習しない場合や、蒸留データからの再学習が元の学習と同程度に重い場合には、蒸留計算を追加する合理性は小さい。
この評価には、保存費用と通信費用も加わる。大規模な元データを複数拠点へ配布する運用では、蒸留データの小ささが通信時間と保管費用を減らす。ネットワーク帯域や端末容量が制約になる環境では、計算量が多少増えても蒸留データを使う価値が生じる。反対に、元データと計算資源が同じ場所にあり、モデルを一度だけ作ればよい環境では、学習済みモデルを保存する方が単純である。
8.6 効率は運用条件によって決まる
データセット蒸留の効率を、一つの圧縮率だけで評価することはできない。保存、通信、蒸留計算、再学習、転移、再現性のうち、どの費用を減らしたいかによって判断が変わる。
| 運用条件 | 適した保存方式 | 判断理由 |
|---|---|---|
| 一つのモデルを一度だけ学習して長期間使う | 学習済みモデルの保存が適する場合が多い。 | 蒸留と再学習を追加する利点が小さく、完成したモデルを直接実行できる。 |
| 異なるモデルや課題を後から試す | 元データの保存が必要になる。 | 蒸留時に捨てた情報が新しい用途で必要になる可能性がある。 |
| 同じ条件で多数の端末へ配布して再学習する | 蒸留データが有利になり得る。 | 一度の蒸留費用を多数回の通信と再学習へ分散できる。 |
| 同じ主部分空間を共有する複数課題へ転移する | 第一蒸留データの再利用が有利になり得る。 | 特徴方向の発見を繰り返さず、課題固有の第 2 層だけを学び直せる可能性がある。 |
| モデル構造や初期化を頻繁に変更する | 元データまたは広い条件で作られた蒸留データが必要になる。 | 特定の学習系へ適合した合成データでは、変更後のモデルに同じ作用を与えられない可能性がある。 |
定理 4.6 が直接示すのは、指定された数理条件における保存量である。蒸留に必要な計算時間、実際の記憶装置上の容量、別モデルへの移植性、元データを削除できるかどうかまで、一つの式で決まるわけではない。保存量の削減を実用上の効率へ結び付けるには、蒸留前後の全工程と再利用回数を含めて評価する必要がある。
この区別を踏まえると、データセット蒸留は、計算資源を全面的に減らす技術ではなく、学習構造を事前に抽出し、後続工程の負担を小さな媒体へ移す技術として位置付けられる。次章では、理論上の潜在構造の符号化が数値実験でどのように観察され、実画像を用いた補助実験がどこまで理論を支えているのかを確認する。
9. 数値実験は理論のどこを支えているのか
9.1 合成課題で理論上の因果関係を確認する
数値実験の役割は、定理を実験によって証明し直すことではない。定理が前提とする条件に近い環境を作り、元データ数、初期化数、蒸留データ数を変えたときに、理論から予想される挙動が実際の最適化でも現れるかを確認することにある。証明が成立条件を論理的に与えるのに対し、実験は有限のデータ、有限幅のネットワーク、具体的な学習率を使ったときの挙動を示す。
主要な合成課題実験では、内在次元 \(r=1\)、入力次元 \(d=10\)、ネットワーク幅 \(L=100\) の単一指標モデルを用いる。目的関数は、一本の潜在方向 \(\beta\) への射影値から出力を作る[1]。
\[
f^*(x)
=
\sigma^*
\left(
\beta^\top x
\right)
\]
入力 \(x\) は 10 次元だが、目的関数が利用するのは \(\beta^\top x\) という一つの値だけである。入力の残り 9 方向は標本の見かけを変えるが、目的関数には直接影響しない。定理 4.3 が扱う、主部分空間が一本の直線となる条件に対応している。
非線形関数 \(\sigma^*\) には、標準正規分布上で直交性を持つエルミート多項式の組み合わせが使われる。エルミート多項式を用いると、目的関数に含まれる次数ごとの成分と、勾配や平均ヘッセ行列に現れる成分を区別しやすい。実験上の便利さだけでなく、理論解析で扱った信号が数値計算のどこに現れるかを追跡するための設定である。
第一蒸留データ数は \(M_1=1\) とされる。一次元の主部分空間は、潜在方向と平行な一つの非零ベクトルで表せるためである。実験では、無作為に初期化された一つの合成入力を勾配整合によって更新し、その入力だけから第 1 層を再学習したときに、元データから学習した場合と近い汎化性能を得られるかを調べる。
| 実験設定 | 値または条件 | 理論上の対応 |
|---|---|---|
| 内在次元 | \(r=1\) とする。 | 一つの潜在方向だけで目的関数が決まる単一指標モデルに対応する。 |
| 入力次元 | \(d=10\) とする。 | 見かけ上の入力次元と課題の内在次元を分離する。 |
| ネットワーク幅 | \(L=100\) とする。 | 有限幅の 2 層 ReLU ニューラルネットワークで理論傾向を確認する。 |
| 第一蒸留データ数 | \(M_1=1\) とする。 | 定理 4.3 が示す一次元の場合の最小構成に対応する。 |
| 目的関数 | エルミート多項式を組み合わせた非線形関数を使う。 | 潜在方向に沿った非線形成分を次数ごとに解析しやすくする。 |
9.2 元データ数と初期化数は何を改善するのか
実験では、元データ数 \(N\) と初期化数 \(J\) を増やしたとき、蒸留データから再学習したモデルの汎化誤差がどのように変化するかを測る。両者は同じ役割を持たない。\(N\) は教師勾配に含まれる標本誤差を抑え、\(J\) は特定の初期モデルに固有の揺らぎを平均化する。
元データ数が少ない場合、経験勾配には、目的関数の潜在方向だけでなく、偶然選ばれた標本の配置や観測雑音が強く現れる。蒸留処理は教師勾配を合成入力へ移すため、教師側の勾配が不正確なら、その誤差も合成入力へ書き込まれる。
\(N\) を増やすと、有限標本から計算した経験勾配が、入力分布全体に対する母集団勾配へ近づく。母集団勾配では、標本固有の成分が平均化され、平均ヘッセ行列 \(H\) を通じた潜在方向の信号が相対的に強くなる。教師側の構造推定が改善されるため、蒸留後の合成入力も主部分空間へ近づきやすくなる。
初期化数 \(J\) は、異なる無作為初期値に対して教師勾配と生徒勾配を比較する回数を表す。単一の初期化だけで蒸留すると、合成入力がそのニューロン配置に固有の勾配へ適合する可能性がある。別の初期モデルへ同じ合成入力を与えたときには、同じ方向を再現できないかもしれない。
複数の初期化にわたって勾配を整合させると、初期値によって符号や方向が変わる成分は平均化され、どの初期化にも共通して現れる課題方向が残る。\(J\) の増加によって汎化誤差が下がる傾向は、蒸留データが特定のモデル個体を操作する入力から、課題構造をより安定して伝える入力へ近づくことと整合する。
| 増加させる量 | 直接減らす誤差 | 合成入力への影響 | 理論との対応 |
|---|---|---|---|
| 元データ数 \(N\) | 有限標本による教師勾配の偏りと分散を抑える。 | 誤った標本方向ではなく、母集団に共通する潜在方向が書き込まれやすくなる。 | 経験勾配を母集団勾配へ近づけるための標本数条件に対応する。 |
| 初期化数 \(J\) | 特定の無作為初期値に固有の勾配成分を抑える。 | 複数のモデル初期値で機能する課題方向が残りやすくなる。 | 初期化平均によって誤差項を小さくする条件に対応する。 |
比較対象として、勾配整合を施していない無作為な一データ点も使用される。データ件数は同じ一件でも、無作為点から学習したモデルは、蒸留済みの一データ点と同じ性能を再現しない。この差は、一件という少なさ自体に効果があるのではなく、その一件へ教師勾配を通じて潜在方向を符号化したことが性能差を生んでいると解釈できる。
ただし、無作為点より蒸留点が優れているという比較だけで、合成入力が理論式どおりに \(H\widetilde{x}^{(0)}\) へ変換されたことを直接証明できるわけではない。性能差は機構と整合する観察であり、更新式の成立自体は定理とその仮定によって支えられる。
9.3 転移実験は第一蒸留データの保存内容を調べる
第一蒸留データが元課題の出力規則まで保存しているのか、それとも複数課題で共有できる潜在方向を保存しているのかは、同じ課題を再学習するだけでは区別しにくい。転移実験では、潜在方向を共有しながら、射影後の値から出力を作る非線形関数だけが異なる二つの課題を用意する。
元課題を次のように表す。
\[
f_{\mathrm{source}}^*(x)
=
\sigma_{\mathrm{source}}^*
\left(
\beta^\top x
\right)
\]
転移先の課題は、同じ \(\beta\) を使いながら、異なる非線形関数を持つ。
\[
f_{\mathrm{target}}^*(x)
=
\sigma_{\mathrm{target}}^*
\left(
\beta^\top x
\right)
\]
二つの課題は、入力のどの方向を見るべきかという情報を共有する。しかし、射影値をどのような出力へ変換するかは異なる。第一蒸留データが主部分空間を保存しているなら、元課題から作った合成入力を使って、転移先モデルの第 1 層を事前に形成できるはずである。
実験では、第一蒸留データで第 1 層を学習した後、転移先課題の少数データを使って第 2 層を調整する。このモデルを、すべての重みを無作為初期化したモデルと比較する。第一蒸留データを使ったモデルの方が良い性能を示すなら、合成入力が元課題の最終回答だけでなく、転移先でも利用できる潜在方向を保持していたと考えられる。
因果関係は二段階に分かれる。最初に、第一蒸留データが第 1 層を潜在方向 \(\beta\) へ向ける。次に、転移先の少数データが、その特徴を新しい出力関数へ結び付ける第 2 層だけを調整する。第 1 層を無作為な状態から同時に学ぶ場合より、少ない転移先データで有効な予測関数へ到達しやすくなる。
この結果は、第一蒸留データが共通表現を保存し、第二蒸留データが課題固有の出力規則を保存するという二段階蒸留の解釈と一致する。転移学習を目的としたデータセット蒸留も独立した研究課題として検討されており、転移性能は元課題と転移先課題がどの表現を共有しているかに左右される[22]。
転移実験の成立範囲は、潜在方向を共有する課題に限られる。転移先が別の方向 \(\gamma\) に依存する場合、元課題の第一蒸留データは必要な特徴を含まない。
\[
f_{\mathrm{target}}^*(x)
=
\sigma_{\mathrm{target}}^*
\left(
\gamma^\top x
\right),
\qquad
\gamma
\notin
\operatorname{span}
\left\{
\beta
\right\}
\]
この場合、第 1 層を元課題の方向へ固定することが、転移先の学習を妨げる可能性もある。実験が示すのは一般的な転移可能性ではなく、課題間で主部分空間が共有されている場合に、第一蒸留データを表現学習へ再利用できる可能性である。
| 課題間の関係 | 第一蒸留データの再利用 | 第 2 層の処理 | 予想される帰結 |
|---|---|---|---|
| 潜在方向と出力関数が同じ | 主部分空間の再形成に利用できる。 | 元課題の第二蒸留データも利用できる可能性がある。 | 元課題の再学習に相当する。 |
| 潜在方向だけが同じ | 第 1 層の事前学習に利用できる。 | 転移先の少数データで学び直す必要がある。 | 共通表現の転移として機能し得る。 |
| 潜在方向が異なる | 必要な特徴を含まない可能性がある。 | 第 2 層だけでは不足する。 | 第 1 層を含めた再学習または新たな蒸留が必要になる。 |
9.4 実画像実験は低次元理論との対応を探索する
主定理は、標準正規分布から生成される入力、多指標モデル、2 層 ReLU ニューラルネットワークを対象としている。実際の画像分類では、入力分布は正規分布ではなく、課題関数も明示的な \(B^\top x\) の形では与えられない。ネットワークも複数の畳み込み層を持ち、各層の表現が相互に変化する。
付録の実験は、この距離を埋める証明ではなく、理論で見つかった現象と似た関係が、より現実的な設定でも観察されるかを調べる。使用されるデータ集合は、手書き数字画像の MNIST、街頭の数字画像を収録した SVHN、一般物体画像の CIFAR-10 である。学習器には 3 層の ReLU 畳み込みニューラルネットワークを用いる。
| データ集合 | 入力の特徴 | 理論設定との主な違い |
|---|---|---|
| MNIST | 比較的単純な手書き数字画像を扱う。 | 画素間に空間的相関があり、標準正規分布ではない。 |
| SVHN | 実環境で撮影された数字画像を扱う。 | 背景、色、照明、複数文字などの変動を含む。 |
| CIFAR-10 | 複数種類の一般物体画像を扱う。 | 課題構造が単一の明示的な潜在方向では表されない。 |
実験では、実データから学習したモデルと、蒸留データから学習したモデルについて、中間層が形成した特徴部分空間を比較する。二つの部分空間がどの程度重なるかを測り、その重なりと分類性能の関係を調べる。
部分空間の重なりが大きいということは、個々の重みが完全に一致していなくても、二つのモデルが入力変化を似た特徴方向で捉えていることを意味する。ニューラルネットワークでは、ニューロンの並び順や尺度が異なっても同じ関数を表せるため、重みを成分ごとに比較するより、特徴が張る空間を比較する方が表現の共通性を測りやすい。
蒸留データ数を増やすと、実データから得られた特徴部分空間との重なりが大きくなり、分類性能も向上する傾向が観察される。第一の変化は、蒸留データがより広い特徴方向を再形成できるようになった可能性を示す。第二の変化は、その表現上の接近が予測性能にも結び付いていることを示す。
元データ数 \(N\) やネットワーク幅 \(L\) を増やした場合にも、性能が改善する傾向が確認される。元データの増加は教師側の表現を安定させ、幅の増加は利用可能な特徴数と無作為近似の精度を高める。この傾向は主定理の条件と方向として一致するが、実画像実験に同じ標本数評価や保存量評価が適用できることを意味しない。
9.5 特徴部分空間の一致と完全なデータ代替は異なる
実データと蒸留データから似た特徴部分空間が形成されても、蒸留データが元データの全情報を保持したとは言えない。比較されているのは、特定のモデルと分類課題における中間表現である。別のモデル、別の学習回数、別の入力変化に対して、同じ表現が維持されるとは限らない。
蒸留データが何を学習しているかを分析した別研究でも、標準的な評価条件で高い性能を示す合成データが、実データの汎用的な代替物になるわけではないことが報告されている[23]。短い学習では有効でも、長時間学習すると性能差が広がる場合や、別のネットワーク構造へ移すと効果が弱まる場合がある。
この差が生じるのは、蒸留データが評価対象の学習手順へ合わせて最適化されるからである。蒸留時に一回または少数回の更新を前提とすれば、合成データはその短い区間で大きな学習効果を生むように作られる。長時間の学習では、元データが持つ分布の多様性や例外が必要になり、短期更新用の合成データだけでは不足する可能性がある。
モデル構造が変わった場合も、合成入力の作用は変わる。2 層ネットワークに対して特定の第 1 層勾配を生む入力が、畳み込みネットワークや注意機構を持つモデルに対して同じ特徴を形成するとは限らない。合成データの値は同じでも、それを勾配へ変換する計算構造が違えば、モデルが読み取る情報も変わる。
分布外入力に対する挙動も別に評価する必要がある。蒸留時の訓練分布上で高い分類性能を再現しても、撮影条件、背景、雑音、対象の形状が変化したときの頑健性まで保持しているとは限らない。元データ中で少数しか現れない例外や周辺条件は、標準的な平均損失への寄与が小さければ、蒸留過程で失われやすい。
| 評価条件の変更 | 蒸留性能が変わる理由 | 別途必要な確認 |
|---|---|---|
| 初期化を変更する | 合成データが生む勾配はモデルの初期状態に依存する。 | 複数の未使用初期化に対する再学習性能を測る必要がある。 |
| モデル構造を変更する | 同じ入力でも特徴抽出と勾配計算の仕組みが変わる。 | 異なる幅、深さ、活性化関数、畳み込み構造で評価する必要がある。 |
| 学習回数を増やす | 短期更新用に最適化された作用が長期軌跡を再現するとは限らない。 | 複数の訓練時間における性能推移を比較する必要がある。 |
| 入力分布を変える | 蒸留時に不要とされた変動が新しい環境では予測に影響し得る。 | 分布外データ、汚損画像、少数群に対する性能を測る必要がある。 |
| 課題を変更する | 新しい課題が別の潜在方向を必要とする可能性がある。 | 主部分空間の共有範囲と転移性能を確認する必要がある。 |
9.6 定理、合成実験、実画像実験の証拠を分ける
本研究には、数理定理、理論設定に近い合成課題実験、条件の異なる実画像実験という三種類の証拠がある。それぞれは同じ結論を異なる方法で繰り返しているのではなく、別の問いに答えている。
定理は、明示された仮定からどの結果が必然的に導かれるかを示す。合成課題実験は、有限のデータと有限幅の計算でも、理論が予測する変化が観察されるかを確かめる。実画像実験は、定理の前提から外れたモデルとデータでも、特徴部分空間の一致という類似現象が現れるかを探索する。
| 証拠 | 対象条件 | 直接支える主張 | 支えない主張 |
|---|---|---|---|
| 主要定理 | ガウス入力、多指標モデル、2 層 ReLU ネットワーク、対称初期化などの仮定を置く。 | 潜在構造の符号化、再学習後の誤差上界、保存量を数理的に保証する。 | 仮定から外れた任意の深層モデルや実データへの成立は保証しない。 |
| 単一指標モデル実験 | 定理に近い低次元合成課題と有限幅ネットワークを使う。 | \(N\) と \(J\) の増加、蒸留点と無作為点の差が理論傾向と一致することを示す。 | 実世界のデータでも同じ標本数条件や定数が成立するとは示さない。 |
| 転移実験 | 異なる出力関数が同じ潜在方向を共有する課題を使う。 | 第一蒸留データが課題固有の答えではなく、共有表現を保持する可能性を示す。 | 潜在構造を共有しない任意の課題への転移は示さない。 |
| 実画像実験 | MNIST、SVHN、CIFAR-10 と 3 層畳み込みニューラルネットワークを使う。 | 特徴部分空間の重なりと分類性能が連動する傾向を示す。 | 2 層モデルの定理や保存量評価が畳み込みネットワークにも成立するとは証明しない。 |
証拠の強さを分けると、実験結果を過小評価する必要も、過大評価する必要もなくなる。実画像実験は理論保証ではないが、低次元の特徴表現が蒸留性能と関係するという仮説を、合成課題の外で検討する材料になる。反対に、画像分類で性能が向上したという事実から、平均ヘッセ行列による符号化機構が同じ形で働いたと断定することはできない。
本研究の実験が支えているのは、少数の合成データが高い性能を出すという結果だけではない。元データ数と初期化数が構造抽出の精度へ影響すること、第一蒸留データが共有潜在方向の転移に使えること、実画像でも特徴部分空間の近さと性能が連動することを、異なる設定から確認している。
残る課題は、これらの観察をどこまで一般化できるかである。主定理の保証範囲と実画像で観察された傾向の間には、入力分布、ネットワーク深度、学習回数、特徴行列の構造という差がある。最終章では、この距離を残したまま、本研究が実際に示した帰結と、今後の検証を必要とする拡張を分ける。
10. 再学習のために残すべき情報量は課題構造で決まる
10.1 結論を支える因果の連鎖
本研究の結論は、少数の合成データから高い予測性能が得られたという実験結果だけに依存していない。目的関数、勾配学習、蒸留更新、再学習、保存量の間に、数理的な因果関係を組み立てている。
出発点は、目的関数が高次元入力 \(x\) のすべてに独立して依存するのではなく、主部分空間 \(S^*\) への射影だけで決まるという多指標モデルである。
\[
f^*(x)
=
\sigma^*
\left(
B^\top x
\right)
\]
この構造により、入力次元が \(d\) であっても、出力を変える独立方向は \(r\) 本に限られる。入力には課題と無関係な変動が残るが、目的関数の計算に必要なのは \(B^\top x\) に含まれる成分である。
次に、目的関数の平均ヘッセ行列 \(H\) が、主部分空間を識別する。
\[
H
=
\mathbb{E}_x
\left[
\nabla_x^2 f^*(x)
\right]
\]
平均ヘッセ行列の像が \(S^*\) と一致し、階数が \(r\) であれば、\(H\) は課題に無関係な方向を除き、出力変化に関与する方向だけを残す。この性質が、目的関数の低次元性を、学習で抽出可能な量へ変える。
教師学習では、元データから計算された勾配に、この平均ヘッセ行列を介した方向情報が現れる。第一蒸留では、その教師勾配を合成データの勾配で再現するように合成入力を更新する。定理 4.1 が示す主要項は、概念的に次の形を持つ。
\[
\widetilde{x}_m^{(1)}
=
c_m
H
\widetilde{x}_m^{(0)}
+
e_m
\]
主要項 \(H\widetilde{x}_m^{(0)}\) は \(S^*\) に含まれる。有限標本、有限幅、有限個の初期化などに由来する誤差項 \(e_m\) が十分小さければ、更新後の合成入力は主部分空間を保持する。元データに含まれる個々の観測値ではなく、教師学習によって識別された有効方向が、合成入力へ移される。
再学習では、第一蒸留データが新しいモデルの第 1 層を主部分空間へ向ける。続いて、第二蒸留データが、第 1 層の特徴を目的出力へ結び付ける第 2 層係数を再構成する。第一段階が入力を見る方向を戻し、第二段階がその方向上の出力規則を戻すことで、元データから学習した場合と同じ次数の汎化誤差を再現する。
この連鎖の帰結として、保存量は元データ数 \(N\) ではなく、内在次元 \(r\)、入力次元 \(d\)、ネットワーク幅 \(L\) によって評価される。
\[
\widetilde{\Theta}
\left(
r^2d+L
\right)
\]
元データから課題構造を発見する段階では、多数の標本が必要になる。一方、発見済みの構造を保持し、同じ条件で再形成する段階では、元データを一件ずつ保存する必要がなくなる。学習時の標本量と、学習後に必要な保存量が異なる理由は、この発見過程と再構成過程の分離にある。
10.2 データ量は構造発見のために必要になる
保存量が \(N\) から切り離されることは、元データ数が学習に影響しないという意味ではない。教師学習が主部分空間を誤って推定すれば、蒸留処理はその誤りを合成入力へ移す。蒸留は、元データから直接真の課題構造を取り出す処理ではなく、教師学習が形成した勾配情報を別媒体へ移す処理だからである。
有限個の元データから計算した経験勾配には、目的関数の信号と標本固有の誤差が混在する。元データ数 \(N\) を増やすと、偶然の標本配置や観測雑音の影響が平均化され、経験勾配が母集団勾配へ近づく。その結果、平均ヘッセ行列を介した主部分空間の成分が、誤差項より明確に現れる。
ネットワーク幅 \(L\) と初期化数 \(J\) にも同様の役割がある。幅が不足すれば、少数のニューロンの無作為な方向が勾配を支配し得る。単一の初期化だけに合わせて蒸留すれば、そのモデル個体では機能しても、別の初期値では作用しない合成入力が作られる可能性がある。
大量データと多数の初期化は、保存対象そのものではなく、保存すべき構造を安定して識別するために使われる。この区別により、「一つの蒸留点で足りる」という単一指標モデルの結果と、「教師学習には大きな標本数条件がある」という事実を矛盾なく理解できる。
データ量の役割は、課題構造を発見するための観測量として残る。研究が変更したのは、学習に大量データが必要かどうかではなく、その大量データを学習後も同じ形式で保持しなければならないかという判断である。
10.3 圧縮できるのは用途を限定しているからである
蒸留データは、元データを無損失で小さくしたものではない。特定の目的関数、モデル構造、損失関数、初期化、更新回数に対して必要な学習作用を残し、それ以外の情報を捨てている。
目的関数が \(B^\top x\) だけに依存する場合、\(S^*\) に直交する入力変化は予測結果を変えない。この課題だけを再現するなら、それらの方向を蒸留データへ保存する必要はない。別の課題が同じ方向を必要とする保証はなく、捨てた成分が後から必要になる可能性は残る。
たとえば、画像から物体の種類を分類する課題では、撮影場所が予測に不要と判断される場合がある。同じ画像から撮影環境を分類する課題では、その背景情報が中心的な特徴になる。第一の課題向けに作られた蒸留データが背景情報を保持していなければ、第二の課題には利用できない。
この制限は、蒸留データの件数を減らすために後から加えられた弱点ではない。用途を限定すること自体が、圧縮を成立させる条件である。あらゆる将来課題、あらゆるモデル、あらゆる評価指標に必要な情報を残そうとすれば、何を捨ててよいかを決められず、元データに近い情報量が必要になる。
蒸留データは、特定の判断目的に合わせて構成された代理表現である。測定値や指標が対象の一側面を可視化しても、対象そのものにはならないという既稿の議論は、蒸留データと元データを同一視しないための補助線になる[24]。高い再学習性能は、指定された評価条件で必要な情報が残っていることを示すが、元データの用途が完全に保存されたことまでは示さない。
10.4 学習結果を完成状態ではなく再生成条件として保存する
学習結果を保存する通常の方法は、学習後のモデルパラメーターを固定することである。第 1 層の重みには特徴方向が、第 2 層の重みには出力規則が書き込まれ、利用時には保存されたモデルをそのまま読み込む。これに対してデータセット蒸留は、完成したパラメーター状態ではなく、新しい第 1 層を主部分空間へ向ける入力と、その特徴から目的出力を作る第 2 層を形成するラベルを保存する。
この違いにより、モデル重みとして固定されていた特徴方向を合成入力として外部化し、別のモデル初期値から再形成できる可能性が生まれる。利用者の文脈や判断規則を特定の AI 内部へ閉じ込めず、外部の情報構造として持ち運ぶ設計とは対象が異なるが、内部状態を別媒体へ移し、後から再構成するという構造上の共通点がある[25]。
ただし、合成データの機能は数値列だけでは確定しない。活性化関数、層構造、初期重み、損失関数、学習率が変われば、同じ合成入力と合成ラベルから生じる勾配も変わる。情報の機能は媒体単体ではなく、それを読み取る系との接続によって成立するという既稿の議論は、この条件依存性を整理する[26]。蒸留データの可搬性は、ファイルを移動できるかではなく、異なる学習器が同じ構造を読み取れるかによって評価しなければならない。
10.5 理論が保証する範囲
主定理は、ガウス入力、多指標モデル、幅 \(L\) の 2 層 ReLU ニューラルネットワーク、対称初期化、有限回の勾配更新などの条件に立っている。この設定により、目的関数の平均ヘッセ行列、第 1 層の特徴学習、第 2 層の線形な係数学習を分けて解析できる。
深いニューラルネットワークでは、複数の中間層が同時に変化する。第 1 層が潜在方向を作り、第 2 層が固定特徴上の係数だけを学ぶという分離は、そのまま成立しない。下位層の変更が上位層の特徴行列を変え、上位層の勾配が下位層の更新へ戻るため、どの層にどの情報が保存されるかを二段階だけで記述することは難しい。
実画像は標準正規分布ではなく、画素間に強い相関を持つ。課題関数も、既知の行列 \(B\) と低次元非線形関数 \(\sigma^*\) によって明示的に表されるわけではない。付録の画像実験で特徴部分空間の重なりと性能が連動したことは、低次元表現という解釈を支持するが、定理の仮定が画像分類でも成立したことを証明しない。
異なるネットワーク構造への移植も、主定理からは保証されない。特定の 2 層ネットワークに対して必要な勾配を生む合成入力が、畳み込みニューラルネットワークや注意機構を持つモデルに対して同じ方向を生むとは限らない。読み取り系が変われば、蒸留データに符号化された作用も変化する。
| 対象 | 本研究での位置 | 直接保証されること | 追加検証が必要なこと |
|---|---|---|---|
| ガウス入力の多指標モデル | 主定理の対象になる。 | 潜在構造の符号化、再構成誤差、保存量を評価できる。 | 非ガウス分布で同じ平均ヘッセ構造が得られるかを確認する必要がある。 |
| 2 層 ReLU ネットワーク | 特徴学習と出力層学習を分離して解析する。 | 第一蒸留と第二蒸留の役割を定理として記述できる。 | 深層ネットワークで層間依存を含めた証明が必要になる。 |
| 対称初期化 | 初期出力と不要な勾配項を制御する条件になる。 | 平均ヘッセ行列に由来する主要項を分離できる。 | 一般的な無作為初期化で同じ信号が残る条件を示す必要がある。 |
| 実画像と畳み込みモデル | 付録実験による探索的な確認になる。 | 特徴部分空間の重なりと性能が連動する傾向を観察できる。 | 主定理の標本数評価や保存量評価をそのまま適用することはできない。 |
10.6 事前学習は構造発見の費用を変える可能性がある
本研究の理論設定では、モデルは無作為初期化から主部分空間を発見する。そのため、元データ数 \(N\)、ネットワーク幅 \(L\)、初期化数 \(J\) に強い十分条件が必要になる。既に有効な特徴空間を持つ事前学習済みモデルを使う場合、構造発見の一部は蒸留前に終わっている可能性がある。
事前学習済みの視覚モデルを対象とするデータセット蒸留研究では、既存の表現を利用して、下流課題に必要な情報を合成データへ移す方法が検討されている[27]。無作為な第 1 層から潜在方向を探索する必要が小さくなれば、教師学習に必要な標本数や蒸留計算を減らせる余地があるが、これは本研究が証明した結果ではなく、今後の拡張として述べられた可能性である[1]。
ただし、事前学習によって依存関係が消えるわけではない。蒸留データは、事前学習モデルが既に持つ特徴空間を前提として最適化される。別の事前学習方法、別のモデル系列、別の特徴正規化へ移したときに、同じ合成データが機能する保証はない。
事前学習済みモデルを使う蒸留では、元データ依存を減らす代わりに、基盤モデル依存が強くなる可能性がある。圧縮率を高めること、蒸留計算を減らすこと、異なるモデルへ持ち運べることは、同時には達成されない場合がある。
| 設計 | 構造発見 | 主な依存先 | 予想される交換関係 |
|---|---|---|---|
| 無作為初期化から蒸留する | 元データから潜在方向を新たに抽出する。 | 元データ数、幅、初期化数への依存が大きい。 | 構造発見費用は大きいが、特定の事前学習モデルへの依存を避けられる。 |
| 事前学習済みモデルを使う | 既存特徴を利用して下流情報を蒸留する。 | 事前学習モデルの表現と更新方式への依存が大きい。 | 蒸留費用を減らせる可能性があるが、モデル間の可搬性が低下し得る。 |
10.7 データ件数ではなく再現対象を定義する
本研究から導かれる帰結は、「大量データは不要である」でも、「学習済みモデルを少数の標本へ完全に置き換えられる」でもない。低次元の課題構造が勾配から識別でき、指定された学習系がその構造を合成データから読み戻せる場合には、元データ数と再学習用の保存量を分離できるということである。
元データ数 \(N\) は、未知の主部分空間を発見するために必要になる。内在次元 \(r\) は、発見後に保持すべき独立方向の規模を決める。入力次元 \(d\) は、一つの合成入力を保存する量として残る。ネットワーク幅 \(L\) は、出力規則を再構成する情報量へ現れる。
\[
\text{構造発見}
\longrightarrow
N,\ L,\ J
\]
\[
\text{構造保存}
\longrightarrow
r^2d+L
\]
この分離により、データセットの価値を件数だけで評価する見方が崩れる。同じ件数のデータでも、課題方向を安定して識別できる集合と、無関係な変動を繰り返す集合では、学習への寄与が異なる。同じ一件の合成データでも、無作為点と、教師勾配から潜在方向を符号化した点では、再学習時の作用が異なる。
蒸留後の件数だけを見ても、圧縮の意味は判断できない。何を目的関数として固定したのか、どの構造を保存対象としたのか、どのモデルと更新手順がその構造を読み取るのか、どの用途を捨てたのかを確認する必要がある。
低次元の多指標課題に対して本研究が示したのは、大量データから学習された主部分空間を第一蒸留データへ移し、その部分空間上の出力規則を第二蒸留データへ移すことで、元標本を保存せずに予測関数を再構成できる条件である。その保存量は、元データ数ではなく、課題の内在次元、入力形式、出力層の自由度によって決まる。
この結果によって、データセット蒸留の評価軸は「何件まで減らしたか」から、「どの課題構造を、どの読み取り系に対して、どの誤差で再形成できるか」へ移る。件数の削減は結果であり、その根拠は、元データの背後にある低次元構造を学習過程から分離し、再現可能な媒体へ移せることにある。
参考文献
- Yuri Kinoshita, Naoki Nishikawa, Taro Toyoizumi, Dataset Distillation Efficiently Encodes Low-Dimensional Representations from Gradient-Based Learning of Non-Linear Tasks, Proceedings of the 43rd International Conference on Machine Learning, PMLR 306（2026）. https://arxiv.org/abs/2603.14830
- Tongzhou Wang, Jun-Yan Zhu, Antonio Torralba, Alexei A. Efros, Dataset Distillation（2018）. https://arxiv.org/abs/1811.10959
- Geoffrey Hinton, Oriol Vinyals, Jeff Dean, Distilling the Knowledge in a Neural Network（2015）. https://arxiv.org/abs/1503.02531
- Phillip E. Pope, Chen Zhu, Ahmed Abdelkader, Micah Goldblum, Tom Goldstein, The Intrinsic Dimension of Images and Its Impact on Learning（2021）. https://openreview.net/forum?id=XJk19XzGq2J
- Federica Gerace, Bruno Loureiro, Florent Krzakala, Marc Mézard, Lenka Zdeborová, Generalisation Error in Learning with Random Features and the Hidden Manifold Model（2020）. https://proceedings.mlr.press/v119/gerace20a.html
- Alexandru Damian, Jason Lee, Mahdi Soltanolkotabi, Neural Networks Can Learn Representations with Gradient Descent（2022）. https://proceedings.mlr.press/v178/damian22a.html
- Jimmy Ba, Murat A. Erdogdu, Taiji Suzuki, Zhichao Wang, Denny Wu, Greg Yang, High-dimensional Asymptotics of Feature Learning: How One Gradient Step Improves the Representation（2022）. https://proceedings.neurips.cc/paper_files/paper/2022/hash/f7e7fabd73b3df96c54a320862afcb78-Abstract-Conference.html
- Emmanuel Abbe, Enric Boix Adsera, Theodor Misiakiewicz, The Merged-Staircase Property: A Necessary and Nearly Sufficient Condition for SGD Learning of Sparse Functions on Two-Layer Neural Networks（2022）. https://proceedings.mlr.press/v178/abbe22a.html
- Alberto Bietti, Joan Bruna, Loucas Pillaud-Vivien, On Learning Gaussian Multi-index Models with Gradient Flow（2023）. https://arxiv.org/abs/2310.19793
- Alex Damian, Eshaan Nichani, Rong Ge, Jason D. Lee, Smoothing the Landscape Boosts the Signal for SGD: Optimal Sample Complexity for Learning Single Index Models（2023）. https://proceedings.neurips.cc/paper_files/paper/2023/hash/02763667a5761ff92bb15d8751bcd223-Abstract-Conference.html
- Bo Zhao, Konda Reddy Mopuri, Hakan Bilen, Dataset Condensation with Gradient Matching（2021）. https://openreview.net/forum?id=mSAKhLYLSsl
- Paul Vicol, Jonathan P. Lorraine, Fabian Pedregosa, David Duvenaud, Roger B. Grosse, On Implicit Bias in Overparameterized Bilevel Optimization（2022）. https://proceedings.mlr.press/v162/vicol22a.html
- Timothy Nguyen, Roman Novak, Lechao Xiao, Jaehoon Lee, Dataset Distillation with Infinitely Wide Convolutional Networks（2021）. https://arxiv.org/abs/2107.13034
- Yongchao Zhou, Ehsan Nezhadarya, Jimmy Ba, Dataset Distillation Using Neural Feature Regression（2022）. https://proceedings.neurips.cc/paper_files/paper/2022/hash/3fe2a777282299ecb4f9e7ebb531f0ab-Abstract-Conference.html
- George Cazenavette, Tongzhou Wang, Antonio Torralba, Alexei A. Efros, Jun-Yan Zhu, Dataset Distillation by Matching Training Trajectories（2022）. https://openaccess.thecvf.com/content/CVPR2022/html/Cazenavette_Dataset_Distillation_by_Matching_Training_Trajectories_CVPR_2022_paper.html
- Bo Zhao, Hakan Bilen, Dataset Condensation with Distribution Matching（2023）. https://arxiv.org/abs/2110.04181
- Xuxi Chen, Yu Yang, Zhangyang Wang, Baharan Mirzasoleiman, Data Distillation Can Be Like Vodka: Distilling More Times for Better Quality（2024）. https://arxiv.org/abs/2310.06982
- Zachary Izzo, James Zou, A Theoretical Study of Dataset Distillation（2023）. https://openreview.net/forum?id=dq5QGXGxoJ
- Alaa Maalouf, Murad Tukan, Noel Loo, Ramin Hasani, Mathias Lechner, Daniela Rus, On the Size and Approximation Error of Distilled Sets（2023）. https://arxiv.org/abs/2305.14113
- Yilan Chen, Wei Huang, Tsui-Wei Weng, Provable and Efficient Dataset Distillation for Kernel Ridge Regression（2024）. https://proceedings.neurips.cc/paper_files/paper/2024/hash/a1c716638d9b618a1a40a96f473c8250-Abstract-Conference.html
- Justin Cui, Ruochen Wang, Si Si, Cho-Jui Hsieh, Scaling Up Dataset Distillation to ImageNet-1K with Constant Memory（2023）. https://proceedings.mlr.press/v202/cui23e.html
- Dong Bok Lee, Seanie Lee, Joonho Ko, Kenji Kawaguchi, Juho Lee, Sung Ju Hwang, Self-Supervised Dataset Distillation for Transfer Learning（2024）. https://openreview.net/forum?id=h57gkDO2Yg
- William Yang, Ye Zhu, Zhiwei Deng, Olga Russakovsky, What Is Dataset Distillation Learning?（2024）. https://proceedings.mlr.press/v235/yang24am.html
- id774, 測ることは、考えることの代わりにならない（2026-07-02）. https://blog.id774.net/entry/2026/07/02/4931/
- id774, AI に自身の文脈を持ち運ぶ（2026-05-04）. https://blog.id774.net/entry/2026/05/04/4675/
- id774, 意味は差異の読み取りから生まれる（2026-05-09）. https://blog.id774.net/entry/2026/05/09/4740/
- George Cazenavette, Antonio Torralba, Vincent Sitzmann, Dataset Distillation for Pre-Trained Self-Supervised Vision Models（2025）. https://openreview.net/forum?id=GbRVlyVOqH