2023 年、Kenneth Li らは、オセロの着手列から次の合法手を予測する Transformer を調べた。モデルに与えられるのは、盤面の画像でも、各マスが黒・白・空きのどれであるかを記録した状態表でもない。オセロのルールを文章で説明したわけでもない。入力されるのは、それまでにどのマスへ石が置かれたかを並べた着手列であり、学習時に求められるのは、その続きとして合法な次の手を予測することである[1]。
この課題には、入力として見えている着手列と、次手を決めるために必要な情報のあいだに隔たりがある。オセロでは、同じマスへの着手であっても、それ以前の手によって石が何度も反転する。次にどこへ置けるかは、直前の一手だけでは決まらず、それまでの着手によって形成された現在の盤面全体に依存する。着手列は観測できるが、合法手を制約している盤面状態は入力中に明示されていない。次手を安定して予測するには、観測された系列から、その背後で変化している状態を何らかの形で追跡する必要がある。
Li らがモデル内部を調べると、中間層の活性から現在の盤面状態を高い精度で読み出せた。さらに、内部で表現されている盤面を人為的に変更すると、モデルが合法だと判断する次手も、変更後の盤面に対応する方向へ変化した[1]。これは「盤面に関する情報が内部に含まれていた」という相関だけより強い。盤面に対応する内部状態が、その後の予測を作る計算に関与していることを、介入によって確かめたからである。
後続研究は、この表現の形式も調べた。Nanda らは、各マスを絶対的な「黒」「白」として読むより、「現在手番の自分の石」「相手の石」という関係で表すと、盤面状態を線形な方向として取り出せることを示した。その方向へ内部活性を操作すると、モデルの出力も対応して変化した[2]。Yuan と Søgaard は対象を 7 種類の言語モデルへ広げ、異なるアーキテクチャでもオセロ盤の配置に対応する特徴が形成され、モデル間で類似した構造が観測されることを報告した[3]。
これらの結果から「AI が人間と同じようにオセロを理解した」とまでは言えない。研究で直接確認されたのは、次手予測だけを課された系列モデルに、観測列の背後にある盤面状態へ対応する内部表現が形成され、その表現への操作が予測へ因果的に影響するということである。一方、「次のトークンを予測しているだけだから、内部では何も考えていない」という説明も、この観察だけでは維持できない。外部から指定された学習目標と、その目標を達成するために内部で形成される状態や計算は同じものではないからである。
すると論点は、「次トークン予測なのか、それとも思考なのか」という二者択一ではなくなる。次トークン予測であることは学習目標を説明している。それとは別に、その予測を成立させるためにどのような内部状態が作られ、保持され、更新され、出力へ使われているかを調べる必要がある。そして、その内部処理を「思考」と呼ぶかどうかを議論するなら、さらに一つ前の問いへ戻らなければならない。そもそも、何をしている状態を「思考している」と定義するのかという問いである。
1. 次の一手しか教えていないモデルに、盤面が現れた
1.1 次手を予測するには、過去の手ではなく現在の盤面が必要になる
Othello-GPT の実験を理解するには、まず入力と正解の関係を分けて考える必要がある。モデルが受け取るのは、「どのマスへ石を置いたか」という過去の操作の系列である。ところが、予測しなければならない合法手は、操作の系列そのものではなく、その操作を順番に適用した結果として成立している現在の盤面によって決まる。
たとえば、あるマスに黒石が置かれたという過去の事実だけを記憶しても、その石が現在も黒であるとは限らない。後続の着手によって白へ反転し、その後さらに黒へ戻ることもある。盤面を求めるには、着手を単に保存するのではなく、一手ごとに「どの石が挟まれ、どのマスの状態が変わったか」を反映して状態を更新し続けなければならない。
この関係は、入力された記号列をそのまま覚えることと、記号列が表している状態を追跡することの違いを作る。着手列を \(m_1,m_2,\ldots,m_t\)、時点 \(t\) の盤面を \(B_t\) とすれば、次の合法手は直前の記号 \(m_t\) だけから決まるのではなく、それまでの着手を反映した \(B_t\) によって制約される。盤面は入力として直接与えられていないため、モデルが盤面を利用するなら、着手列から内部的に構成する必要がある。
Li らは、この潜在状態が実際にモデル内部へ形成されているかを調べた。中間層の活性を使って各マスの状態を推定すると、現在の盤面を高い精度で復元できた[1]。研究者は盤面状態そのものを教師信号として学習させていない。学習時に評価されたのは次手の予測であり、盤面表現はその課題を解く過程で形成された。
ここには二段階の関係がある。第一に、合法手を予測するには現在の盤面が強い制約になる。第二に、現在の盤面は入力中に明示されていないため、盤面を利用する計算を行うには、着手列からその状態を再構成し続ける必要がある。次手予測という表面的な課題が、背後状態を追跡する内部表現を形成する圧力になり得る。
1.2 内部から盤面を読み出せるだけでは、モデルが盤面を使っているとは言えない
ただし、「中間層から盤面を復元できた」という結果だけで、モデル自身が盤面表現を使って次手を決めているとは断定できない。ニューラルネットワークの内部活性は高次元であり、入力に関する多くの情報を同時に保持できる。研究者が別に訓練した読み出し器が盤面情報を発見できても、その情報がモデル本体の出力計算に必要だったとは限らない。
たとえば、ある人の机に地図が置かれていたとしても、その人が地図を見て目的地を決めたとは限らない。地図が存在することと、判断に地図が使われたことは別の主張である。ニューラルネットワークの解析でも同じ区別が必要になる。内部状態に情報が符号化されているという主張と、その情報がモデルの振る舞いを生み出す因果系列へ組み込まれているという主張では、必要な証拠が異なる。
読み出し器による解析は前者を調べる。モデル内部の表現から盤面を推定できれば、「盤面に対応する情報が内部に存在する」と言える。しかし後者を調べるには、その情報だけを変化させたとき、モデル本体の判断も予測可能な方向へ変化するかを確認する必要がある。
この区別を置かないと、「外部の解析器が見つけた規則」と「モデル自身が使っている規則」を混同する。Othello-GPT の研究が単なる可視化実験で終わらなかった理由は、内部表現の読み出しからさらに一段進み、内部状態への介入を行った点にある。
1.3 盤面を内部で書き換えると、次の手も変わった
Li らは、モデル内部に形成された盤面状態を人為的に変更する実験を行った。実際の着手列は変えず、内部表現だけについて、特定のマスの状態が別の状態であるかのように操作する。その状態で次手を計算させると、モデルの予測は元の盤面ではなく、内部で変更された盤面に対応する方向へ変化した[1]。
この実験では、入力されたゲーム記録は同じままである。変えたのは中間層の内部状態であり、その変更後に出力だけが変化する。入力の違いによって予測が変わったのではなく、入力と出力のあいだにある状態表現を変えたことで予測が変わったことになる。
因果関係を順に置くと、着手列から盤面に対応する内部状態が形成され、その内部状態が次手を計算する後続処理へ渡され、合法手の確率分布へ影響する。途中の盤面表現へ介入すれば、その後段が参照する状態も変わるため、最終的な予測が変化する。単に盤面情報が「含まれていた」という説明よりも、盤面状態が計算の中間変数として働いているという解釈を強く支持する。
ただし、この結果も「モデル内部に人間が頭の中で見るのと同じ盤面が存在する」ことを意味しない。内部にあるのは多数の数値からなる活性状態であり、その構造の一部がオセロ盤の状態と対応している。研究で確認されたのは、物理的な盤面と同じ形式の表象ではなく、盤面上の状態差を区別し、その違いを次手の判断へ利用できる内部構造である。
1.4 絶対的な黒と白ではなく、「自分」と「相手」の関係が表現されていた
Li らの研究では、盤面状態を読み出すために非線形な解析器が使われ、内部表現も非線形なのではないかと考えられた。Nanda らは、この結果を別の座標系から調べ直した。各マスを「黒石か白石か」という絶対的な色で分類するのではなく、「現在手番の側の石か、相手側の石か」と表現し直したのである[2]。
この変更にはオセロ固有の理由がある。次に合法な手を決めるとき、必要なのは盤面上の色名そのものではない。手番が黒なら黒が「自分」で白が「相手」になり、手番が白へ移れば関係が反転する。合法手を判断する規則は、「自分の石で相手の石を挟めるか」という関係で記述できる。モデルが次手予測のために盤面を表現しているなら、絶対色よりもこの関係表現の方が計算上直接使いやすい可能性がある。
Nanda らは、この「自分／相手」という表現を使うと、盤面状態を比較的単純な線形方向として読み出せることを示した。また、その方向へベクトル演算を加えることで、モデルの予測を変更できた[2]。内部表現は単に盤面の写真を圧縮したようなものではなく、課題を解くために必要な関係へ合わせて組み替えられている可能性がある。
ここでは、表現が存在するという点からさらに一歩進む。何をどう表現しているかは、外界の対象をそのまま複製する必要はない。予測課題に必要な不変関係を取り出し、計算しやすい座標へ変換する方が有効な場合がある。「世界の状態を持つ」という言葉を使う場合にも、外界のコピーを内部に保存することと、行動に必要な関係構造を内部変数として表すことは区別した方がよい。
1.5 一つの GPT にだけ起きた偶然なのか
一つのモデルで盤面表現が見つかっても、その結果が学習条件やアーキテクチャに固有である可能性は残る。モデル内部の高次元表現は学習の初期値や構造によって変わり得るため、同じ課題を別のモデルへ与えたときにも同型の状態表現が形成されるかを確かめる必要がある。
Yuan と Søgaard は、GPT-2、T5、BART、Flan-T5、Mistral、LLaMA-2、Qwen2.5 の 7 種類を対象にオセロ課題を調べた。各モデルで盤面配置に対応する特徴を解析した結果、モデル間で高い類似性を持つ盤面構造が形成されることを報告している[3]。
アーキテクチャが異なっても似た構造が形成されるなら、少なくともこの課題では、特定モデルの内部に偶然できた読み取り可能な特徴だけでは説明しにくくなる。合法手を予測するという共通の制約があり、その制約を満たすために現在の盤面を追跡する必要がある。その課題構造が、異なるモデルにも似た内部表現を形成させるという説明が強くなる。
ただし、オセロには特殊な条件もある。盤面は有限で、各マスの状態を明確に定義でき、ゲームの遷移規則も固定され、ある時点の正しい盤面を研究者側が完全に計算できる。そのため「内部表現が外部世界のどの状態に対応しているか」を精密に照合できる。自然言語で扱う現実世界では、「現在の世界状態」を 64 マスの盤面のように一意に列挙できるとは限らない。Othello-GPT で得られた結果を、そのまま自然言語モデル全体についての世界理解へ拡張することはできない。
1.6 学習目標と内部計算は、同じ説明ではない
Othello-GPT から得られる最も限定的で、同時に最も重要な帰結は、「次の記号を予測する」という学習目標だけでは、その予測を作る内部計算を記述し切れないということである。
モデルに課された外部の仕事は次手予測である。その仕事を正確に行うには現在盤面を追跡することが有効になる。現在盤面は入力に明示されていないため、モデル内部で着手履歴から状態を再構成する必要が生じる。その状態が後続の予測に利用されるなら、外から見れば一つのトークンを出しているだけでも、その直前までには状態の形成、保持、更新、参照という複数の処理が存在し得る。
| 観測する層 | Othello-GPT で確認されたこと | それだけからは言えないこと |
|---|---|---|
| 学習目標 | 過去の着手列から次の合法手を予測するように学習する。 | 内部でどの表現やアルゴリズムを使うかまでは、目的関数だけでは決まらない。 |
| 内部表現 | 現在の盤面状態に対応する情報を中間層から読み出せる。 | 読み出せるという事実だけでは、その情報をモデル自身が判断に使ったとは確定しない。 |
| 因果利用 | 盤面に対応する内部状態へ介入すると、次手予測も対応して変化する。 | 人間と同じ形式で盤面を認識し、人間と同じ仕組みで推論しているとは言えない。 |
| 一般化 | 複数のモデルでも盤面配置に対応する類似した特徴が報告されている。 | 有限状態のオセロで得られた結果を、現実世界全体の理解へそのまま拡張することはできない。 |
この区別を入れると、「次トークン予測だから思考ではない」という主張のどこに飛躍があるかが見える。次トークン予測であることから分かるのは、モデルが最終的に何を予測するよう最適化されたかである。そこから、予測に至る途中で内部状態を形成していない、状態を更新していない、候補を比較していない、といった内部過程の不存在までは導けない。
逆方向にも同じ制約がかかる。盤面表現が存在し、それが出力へ因果的に使われていることから、「AI は思考している」と自動的に結論することもできない。その判断には、盤面を表現して出力へ利用する機能を思考の十分条件とするのか、記憶、推論、計画、反実仮想、意識など別の条件を要求するのかを先に決める必要がある。
Othello-GPT が突きつけているのは、AI に心があるかという答えではない。観測された内部計算を「思考」と呼ぶかどうかを判断するには、まず思考という語を検証可能な機能へ分解しなければならないという問題である。次に必要になるのは AI の議論を続けることではなく、人間について普段「思考」と呼んでいる現象が、実際にはどのような機能から構成されているのかを確認することである。
2. 「AI は思考しているか」と聞く前に、思考を定義しなければならない
2.1 同じ実験結果から、正反対の結論を作れてしまう
Othello-GPT では、着手列から現在の盤面に対応する内部状態が形成され、その状態への介入によって次手予測が変化した。ここまでが実験から確認された範囲である。この結果を見て、「外界の状態を内部に表現し、それを使って判断しているのだから思考している」と評価することはできる。一方で、「最終的に行っているのは次のトークンの予測だから、人間が行う思考とは違う」と評価することもできる。
二つの評価が両立してしまう理由は、実験結果が曖昧だからではない。「思考」という判定基準が先に固定されていないからである。前者は、外界に対応する内部表現を形成し、その表現を出力へ因果的に利用することを思考の十分な条件に近いものとして扱っている。後者は、学習目的や出力形式が次トークン予測であることを根拠に、その途中の内部処理まで思考から除外している。同じ事実を見ながら、思考という語に別々の条件を入れている。
この状態では、「AI は思考しているか」という問いを肯定しても否定しても、実際には AI についてだけ議論していることにならない。何を思考と呼ぶかという定義を暗黙に選び、その定義に実験結果を当てはめている。結論の違いが AI の観測結果ではなく、議論の開始前に置いた語の意味から生じているなら、まずその意味を表に出さなければ比較できない。
2.2 日常語の「考える」には、別々に測定できる機能が混ざっている
日常語では、非常に異なる処理を同じ「考える」という言葉で表す。電話番号を数秒間覚えておくことも、昨日の出来事を思い出すことも、二つの選択肢の利点を比較することも、まだ起きていない失敗を想像することも、道順を決めることも、数学の証明を進めることも「考える」に含まれる。
しかし、これらは必要とする処理が同じではない。情報を数秒保持するには、外部刺激が消えたあとも内部状態を維持する必要がある。過去を思い出すには、保存された情報を再活性化する必要がある。計画では、現在には存在しない将来状態を内部で生成し、複数の経路を目的と照合しなければならない。論理推論では、前提間の関係を保持したうえで規則に従って新しい結論を導く必要がある。
違いは処理の名称だけではない。ある機能が損なわれても別の機能が残ることがあり、脳活動としても異なる条件で調べられる。人間について「思考」を研究するとき、研究者が脳内にある一個の「思考機能」を直接測っているわけではない。保持、検索、推論、計画、意思決定、想像といった、課題として切り分けられる現象を測り、それらの関係を調べている。
この分解を AI にも適用すると、「思考しているか」という一語の判定より細かい問いを作れる。入力から問題状態を内部に形成できるのか。その状態を処理中に保持できるのか。新しい入力や操作に応じて状態を更新できるのか。まだ観測されていない候補状態を生成できるのか。複数の候補を目的に照らして比較できるのか。内部で形成された状態が最終的な出力へ実際に使われているのか。これらは、それぞれ異なる実験で検証できる。
2.3 「思考」と「意識」を同じ条件にすると、さらに問いが混線する
思考の定義には、もう一つ分離しておく必要があるものがある。ある情報を内部で操作していることと、その処理を主体が意識的に経験していることは、同じ主張ではない。
たとえば、あるシステムが現在状態を保持し、複数の将来候補を生成し、それぞれの結果を評価して一つを選んだとする。この事実からは、そのシステムに状態表現、予測、評価、選択に相当する処理があるとは言える。しかし、「その処理をしていることが、そのシステム自身に何らかの感じとして現れている」とまでは導けない。前者は内部状態と出力の関係を第三者が測定する問題であり、後者は主観的経験の存在を問う問題だからである。
ここを区別しないと、AI の内部表現を調べる研究、推論能力を測る研究、意識の神経相関を調べる研究、クオリアをめぐる議論が同じ判定欄へ入ってしまう。「盤面状態を内部に持つ」「未来を予測する」「自分の状態について文章で報告する」「主観経験を持つ」は、それぞれ別の条件である。一つが確認されたからといって、残りが自動的に成立するわけではない。
| 問い | 観測したいもの | 同一視すると起きる誤り |
|---|---|---|
| 内部表現 | 外界や課題の状態に対応する情報が内部に形成されているか。 | 情報を保持しているだけで、推論や計画まで成立したとみなしてしまう。 |
| 推論・計画 | 内部状態を更新し、未観測の候補を生成し、目的に沿って選択できるか。 | 問題を解けるという事実から、主観的経験の存在まで導いてしまう。 |
| 言語報告 | 内部状態や判断について文章として出力できるか。 | 説明できることを、その内容を意識的に経験している証拠とみなしてしまう。 |
| 意識 | 処理内容が主体に利用可能になる条件や、意識経験に対応する神経・計算過程は何か。 | 認知機能の成立と、経験の存在を同じ問題として扱ってしまう。 |
| クオリア | 「赤く見える」「痛い」といった第一人称的な質を何によって説明できるか。 | 第三人称的に記述できる構造が増えれば、主観的な質まで説明されたとみなしてしまう。 |
2.4 定義は本質を宣言するためではなく、判定可能な問いを作るために置く
ここで必要なのは、「思考の本当の正体」を一文で決着させることではない。そのような定義を先に置けば、今度は定義そのものをめぐる哲学論争が中心になる。必要なのは、実験結果を比較できる程度に思考を操作的に定義することである。
たとえば、思考を「内部表現を形成・保持し、それを目的や条件に応じて変形・結合し、未観測の状態や行動結果を推定して選択へ利用する過程」と置けば、少なくとも何を観測すべきかが決まる。内部表現があるか、保持できるか、状態を更新できるか、将来候補を生成できるか、候補を比較できるか、その内部状態が最終判断へ因果的に使われているかを一つずつ調べられる。
この定義にも限界はある。自発的な連想、夢想、言葉にならない感覚的な思考など、人間が「考えている」と呼ぶ現象すべてを完全に覆うわけではない。それでも、「AI は思考するか」という二値問題を、観測可能な複数の機能へ分解するには使える。少なくとも、「正答したから思考した」「次トークン予測だから思考していない」という、出力だけから内部過程を決める議論を避けられる。
この物差しを作るには、AI の内部だけを見続けても足りない。思考という語はもともと、人間が行っている複数の認知活動をまとめて呼ぶために使われてきた。次に確認すべきなのは、人間について実際にどの機能が分離して観測され、どの機能同士が結びついているのかである。その人間側の分解を先に置けば、AI についても同じ評価軸を使って比較できる。
3. 人間の思考も、一つの機能ではない
AI の内部処理を「思考」と呼べるかを検討するには、人間について普段「考える」と呼んでいる現象を先に分解する必要がある。人間の脳には、単一の「思考装置」があり、それが必要に応じて動くという単純な構造があるわけではない。短時間の情報保持、過去の記憶の再活性化、複数の事例から関係を抽出する推論、将来状態の予測、目標に向けた計画などは、それぞれ異なる課題として実験でき、異なる神経活動との対応を調べられる。
この違いは、AI との比較方法を変える。人間についてさえ「思考しているか」という一つの変数を直接測っているわけではないなら、AI についても同じ一語で全体を判定する必要はない。内部状態を形成できるか、保持できるか、状態間の関係を抽象化できるか、未観測の状態を構成できるか、それを目標に沿った選択へ使えるかという機能ごとに分ければ、人間と AI の実装を同一視せずに比較できる。
3.1 外界から消えた情報を保持する
暗算で「37 + 28」を計算するとき、37 や途中計算の結果は、その瞬間には外界に存在しなくても処理の途中まで保持される。文章を読む場合も同じである。現在読んでいる一文だけを処理しても、数行前に提示された主語、条件、例外を保持していなければ段落全体の意味を構成できない。入力が消えたあとも、その内容に対応する内部状態を維持する機能が必要になる。
この短時間の保持と、その内容を現在の課題に使う機能がワーキングメモリである。単なる長期記憶との違いは、保存されていることだけではなく、現在進行中の処理へ必要な情報を維持し、干渉が入っても利用可能な状態に保つ点にある。計算の途中で前の数字を失えば暗算は続かず、文章の条件を失えば後続文の解釈を誤る。思考が時間方向へ連続するためには、瞬間ごとの入力だけではなく、直前までの内部状態を次の処理へ持ち越す仕組みが必要になる。
Daume らは、ヒトの海馬と前頭領域から単一ニューロン活動を記録し、ワーキングメモリ中に保持されている内容と、その内容を干渉から守る認知制御の関係を調べた。保持対象に選択的な海馬ニューロンの活動と前頭領域の制御信号が、シータ波とガンマ波の位相結合を介して協調することを示している[4]。
この研究が直接示しているのは、「思考」という抽象的な実体ではなく、外部刺激が消えたあとも課題に必要な情報を内部で保持し、その状態を制御する具体的な神経過程である。思考を機能へ分解するという立場では、この限定こそ有用である。人間が何かを考え続けられる背景には、少なくとも「必要な状態を途中で失わない」という独立した条件がある。
この条件は AI を調べるときにもそのまま使える。モデルが入力時点で問題を正しく表現できたとしても、長い生成の途中でその状態を失えば、最終的な答えは崩れる。最初から理解できなかった失敗と、最初は保持できていた情報を途中で失った失敗は、外から見れば同じ誤答でも内部の原因が異なる。
3.2 個別の情報から、背後の構造を作る
情報を保持できるだけでは、新しい状況へ対応できない。過去に見た事例をそのまま記憶するだけなら、未経験の組み合わせが現れた時点で処理は止まる。推論には、個別の出来事の背後にある関係を抽出し、その関係を別の事例にも適用する過程が必要になる。
たとえば、「A は B より大きい」「B は C より大きい」という二つの関係から、「A は C より大きい」と導くとき、個々の文を保存しているだけでは足りない。A、B、C のあいだにある順序関係を内部で表現し、直接与えられていない関係をそこから導く必要がある。観測した事例そのものと、それらを成立させる潜在的な構造を分ける処理である。
Courellis らは、人間が推論課題を学習する過程で海馬ニューロン集団を記録し、個別の刺激だけでなく、課題に共通する抽象的な関係構造を反映する表現が形成されることを示した[5]。さらに、その表現空間の幾何学的な構造は試行ごとの行動とも関係していた。脳活動の中から情報が読み出せたというだけでなく、形成された表現の構造と実際の推論成績との対応が観測されたことになる。
この結果を Othello-GPT と同一視することはできない。人間の海馬ニューロンと Transformer の隠れ状態は、物理的にも計算的にも異なる。しかし、比較できる階層はある。Othello-GPT では、着手列という観測系列から現在盤面という潜在状態が形成された。人間の推論課題では、個別の経験から課題の関係構造に対応する抽象表現が形成された。どちらについても、「入力された事例を保存しているか」だけではなく、「事例を制約している背後構造を内部に持つか」という問いを立てられる。
この区別を入れると、記憶と一般化を排他的に扱う必要がなくなる。人間も過去の事例を記憶しながら、それらの共通関係を抽出する。AI についても、訓練データの一部を記憶しているという事実と、別の局面で抽象構造を形成しているという事実は両立し得る。問うべきなのは「暗記か理解か」という二択ではなく、どの情報が事例固有の記憶として残り、どの関係が再利用可能な構造として形成されているかである。
3.3 現在を表現するだけでなく、まだ起きていない状態を計画する
現在の状態を正しく表現できても、それだけでは目標へ到達できない。駅から目的地へ向かうとき、現在位置が分かるだけでは足りず、「次の交差点で右へ曲がったらどこへ出るか」「別の道を選んだら目標へ近づくか」といった、まだ実行していない行動の結果を扱う必要がある。
本稿では、計画を、現在状態と目標状態のあいだにある複数の候補経路を扱う機能として分解する。現在の状態を保持し、そこから起こり得る状態遷移を内部で展開し、それぞれの結果を目標と照らして選ぶ。保持している情報をそのまま再生するだけではなく、「この操作を加えたら次に何が起こるか」という変化まで扱う点で、単純な記憶とは異なる。
Crivelli-Decker らは、人間が目標指向のナビゲーションを行う際の脳活動を調べ、計画段階の海馬活動に目標へ至る系列の文脈に関する情報が含まれることを示した。また実際の移動中にも、まだ到達していない将来の重要地点に対応する表現が再活性化した[6]。
この結果は、海馬が単に「今どこにいるか」を記録しているという説明では足りないことを示す。現在地の表現に加えて、これから到達する目標や経路上の重要地点に関する情報が、行動前または到達前に活動へ現れている。本稿の機能分解に沿えば、この観測は、現在状態だけでなく将来の目標や経路情報が計画中に扱われる証拠として位置づけられる。
計画を独立した機能として切り出すと、AI の評価も細かくなる。モデルが現在の盤面を正しく表現できることと、その盤面から数手先の候補を正しく展開できることは別である。さらに、複数の候補を作れることと、その中から目標に合う経路を選べることも別である。「問題状態を理解しているのに解けない」という失敗は、この段階分解をしなければ説明できない。
3.4 過去を再生するだけでなく、起きていない場面を内部で組み立てる
未来について考えるとき、人間は完全にゼロから新しい状態を作るわけではない。過去に経験した場所、人、出来事、位置関係などを再活性化し、それらを別の配置へ組み直す。記憶の再生と未来のシミュレーションは区別できる一方、後者は前者の一部を材料として使う。
Huang らは EEG と fMRI を同時に計測し、参加者が学習済みの系列を頭の中でシミュレーションすると、過去に学習した内容が高速な系列として再生されることを示した。こうした再生イベントは海馬や内側前頭前野の活動増加と結びつき、海馬とデフォルト・モード・ネットワークの機能的結合も強まった[7]。
この結果は、思考中の内部処理が静的な状態保持だけではないことを示す。保持されていた記憶内容が一定の順序で再活性化され、その系列が現在の課題に合わせて再利用される。こうした再生は、過去の系列を現在のシミュレーションへ再利用する仕組みの一部と解釈できる。
海馬損傷患者を調べた Hassabis らの研究では、新しい経験や場面を想像する課題で、患者が空間的にまとまりのある豊かな場面を構成することに困難を示した[8]。患者は個々の物体や断片について語ることはできても、それらを一つの一貫した空間的場面として組み上げにくかった。
この差は、記憶の有無と内部シミュレーションのあいだに一段階あることを示唆する。部品を持っているだけでは場面にならない。複数の記憶要素を一つの整合した状態へ配置し、位置関係や時間関係を保ったまま結合する必要がある。未来を考えるという処理には、「まだ存在しない状態を内部で構成する」という独立した機能が含まれる。
AI との比較でも、この違いは効く。既知の事実を正しく再生できることと、その事実を組み合わせて未観測の状態を構成できることは別である。さらに、もっともらしい未来状態を生成できることと、その状態が現実の制約を満たしていることも別である。生成できたという事実だけでは、内部シミュレーションの正確さまでは保証しない。
3.5 思考は、外から問題を与えられたときだけ起きるわけではない
ここまでの例は、ワーキングメモリ課題、推論課題、ナビゲーション、系列シミュレーションなど、研究者が明示的な課題を与えた条件だった。しかし人間は、外部から「これを解け」と指示されていないときにも過去を思い出し、将来を想像し、別の話題へ移り、途中で考え直す。
Su らは、安静状態にある参加者が連続して思考内容を報告する方法と fMRI を組み合わせ、過去の記憶、現在に関する内容、未来の想像が自然に遷移する過程を調べた。思考内容が切り替わる際には、デフォルト・ネットワークと制御ネットワークの活動変化が関係していた[9]。
この研究が加える条件は、「思考」を外部課題への正答生成だけで定義できないということである。目的を明示されて問題を解く推論も思考に含まれるが、自発的な記憶想起や未来想像も日常的には思考と呼ばれる。外部入力に反応して答えを返すことだけを思考の十分条件にすると、人間側の現象のかなりの部分を最初から除外することになる。
一方、自発的に内容が生成されることだけを思考の条件にしても不十分である。無目的に系列が生成されるだけでは、保持、関係抽出、予測、評価が成立しているかは分からない。外発的か自発的かという軸と、内部でどの認知機能が働いているかという軸は分けて考える必要がある。
3.6 人間の思考を、比較可能な機能へ落とす
ここまでの一次研究から、人間の「思考」を一つの場所、一つの神経活動、一つの計算へ還元することはできない。少なくとも、外界から消えた情報を保持する機能、個別の経験から関係構造を作る機能、現在状態から未来状態を展開する機能、過去の記憶を再活性化して新しい場面を構成する機能、外部課題がない状態でも内容を自発的に遷移させる機能が、それぞれ別の実験対象として現れる。
| 機能 | 人間で観測される処理 | AI と比較するときの問い |
|---|---|---|
| 保持 | 刺激が消えたあとも、課題に必要な内容を内部状態として維持する。 | 入力時に形成した状態を、長い処理の途中まで失わず保持できるか。 |
| 抽象化 | 個別の事例を越えて、関係や課題構造を表現する。 | 訓練例を保存するだけでなく、未見事例へ使える潜在構造を形成できるか。 |
| 計画 | 現在状態から将来の状態遷移を展開し、目標へ至る経路を扱う。 | 現在状態を表現できるだけでなく、その状態から複数の未来候補を生成できるか。 |
| 再構成 | 過去の記憶を再活性化し、まだ経験していない一貫した状態を内部で組み立てる。 | 既知情報を再生するだけでなく、制約を保った新しい状態を構成できるか。 |
| 自発的遷移 | 外部課題がない状態でも、過去、現在、未来へ思考内容が移り変わる。 | 外部から明示的な問題を与えられた応答生成と、自律的な状態遷移をどう区別するか。 |
この分解を踏まえると、「思考」を一文で定義する場合にも、定義が何を含み、何を含まないかを明示できる。本稿では、思考を内部表現を形成・保持し、それを現在の目的や条件に応じて選択・変形・結合し、まだ観測されていない状態や行動結果を推定して、その結果を選択へ利用する過程と操作的に置く。
この定義には、ワーキングメモリの保持、抽象的な関係表現、未来状態の構成、計画、候補評価が含まれる。一方、主観的経験が伴うこと、自然言語で説明できること、自発的に思考を開始することまでは必要条件に入れていない。それらを最初から含めると、思考能力、言語能力、意識、自律性という別の論点を一つの定義に埋め込むことになるからである。
この操作的定義は、人間の思考の本質を最終的に決めるものではない。役割は、AI と人間を比較するときの観測項目を固定することにある。人間で確認されている保持、抽象化、状態構成、計画といった機能について、AI の内部でも対応する処理が確認できるのかを一つずつ問えるようになる。
ただし、その比較へ進む前にもう一つ切り分ける必要がある。人間は思考をしばしば言葉として経験し、説明し、他者へ伝えるため、「考えること」と「頭の中で言葉を作ること」が同じものに見えやすい。LLM が言語を入出力とする以上、この混同を残したままでは、人間と AI の比較そのものが言語能力に引きずられる。次に確認すべきなのは、人間の思考が自然言語の処理とどこまで分離できるかである。
4. 頭の中で言葉を作ることと、考えることは同じではない
人間の思考を機能へ分解すると、もう一つ区別しておく必要がある。思考と自然言語は強く結びついているが、同じものではない。日常生活では、考えている内容を頭の中の文章として経験することが多く、他者へ説明するときにも言葉を使う。そのため、「考えること」と「言葉を組み立てること」は一つの処理に見えやすい。
LLM について議論すると、この混同はさらに起きやすい。LLM は文字列を入力として受け取り、最終的にもトークン列として出力する。その外形だけを見ると、「内部でも単語から単語へ連想しているだけだ」という説明が自然に見える。しかし、前章までに見た Othello-GPT では、外部に現れるのは着手記号の系列でありながら、内部には盤面状態に対応する表現が形成されていた。出力が記号列であることと、内部状態まで記号列そのものとして表現されていることは同じ命題ではない。
人間についても、自然言語を処理する能力と、数量や論理関係を操作する能力を分離して調べる研究がある。人間側で両者が完全には一致しないなら、「言語を出力する」という表面的な共通点だけから、思考の有無や内部形式を決めることはできない。
4.1 言葉を失っても、数の関係を扱える場合がある
Varley らが調べたのは、文法的な文章の理解や生成に重い障害を持つ失語症患者である。対象者は、単純な単語の理解だけが難しいという程度ではなく、文中の語順や文法構造を正しく扱う能力が大幅に損なわれていた。それでも、厳密な数の大小関係を扱い、加減乗除を行い、括弧を含む式を規則に従って計算できた[10]。
ここで比較されているのは、「言葉が少し苦手でも計算は得意だった」という能力差ではない。文法構造を用いて複数要素の関係を組み立てる自然言語能力が大きく損なわれているのに、数学では演算子と数の関係を保持し、階層的な式を処理できた点に意味がある。
たとえば、括弧を含む式では、左から順に数字を読み上げるだけでは答えを出せない。どの演算を先に適用するかという構造を保持し、その規則に従って中間結果を更新する必要がある。文法処理に重大な障害があっても、このような数量的・構造的操作が残るなら、自然言語の文法を扱う能力が、あらゆる構造的思考の必要条件だとは言えない。
この結果から、「数学は完全に言語から独立している」と結論することもできない。数学の学習、問題文の理解、証明の共有には言語が大きく関与する。Varley らの研究が示すのは、言語能力の一部が失われても、数と演算規則を扱う別の認知処理が成立し得るという分離である。
4.2 論理推論にも、自然言語そのものを必要としない処理がある
数学だけでは、「数という特殊な能力だけが例外なのではないか」という可能性が残る。そこで Kean らは、形式論理の推論を対象に、自然言語処理との関係をより直接的に調べた[11]。
形式論理課題では、前提として与えられた関係から、ある結論が論理的に導けるかを判断する。正答するには、単語の表面的な並びを覚えるだけでは足りず、複数の前提を保持し、それらの関係を組み合わせ、結論が制約を満たすかを判定する必要がある。これは本稿で思考の構成要素として置いた、内部表現の保持、関係の操作、候補の評価に対応する。
Kean らは、健常者の脳活動を調べる実験と、重度の失語症患者による行動実験を組み合わせた。その結果、形式論理推論を行っているときに、自然言語の理解や生成で強く活動する言語ネットワークは主要な担い手としては働かず、さらに重い言語障害を持つ患者でも論理課題を遂行できた[11]。
この結果が示す範囲も限定する必要がある。自然言語と論理思考にまったく相互作用がないという意味ではない。論理問題を文章として提示すれば、問題を読む段階では言語処理が必要になる。言語によって複雑な前提を外部化し、他者と共有することもできる。研究が分離したのは、前提を受け取ったあと、その関係から結論を導く中核的な推論処理が、自然言語ネットワークそのものに依存しなくても成立し得るという点である。
4.3 言語は思考の内容ではなく、思考を支える道具にもなり得る
人間にとって言語は、思考から切り離された単なる出力装置ではない。複雑な問題へ名前を付け、条件を文として保持し、途中結果を書き残し、他者から得た知識を再利用するための強力な道具である。言語がなければ、人間が現在行っている科学、法律、制度設計、数学教育の多くは成立しにくい。
それでも、「言語が思考を支える」ことと「思考は言語そのものである」ことは異なる。紙に式を書くことが計算を助けても、紙そのものが計算ではないのと同じで、言語は内部状態を安定させ、複数の関係を扱いやすくし、長い推論を外部へ保持する媒体として働き得る。
この関係を区別すると、人間が頭の中で言葉を使って考える場合も整理しやすい。内言によって条件を反復し、候補を言語化し、判断理由を文章にすることはある。しかし、それは思考を構成するすべての処理が自然言語形式で行われていることを意味しない。空間的な位置関係、数量、視覚イメージ、運動の予測など、文章へ直す前から扱える情報もある。
人間の思考では、内部状態を作る処理と、それを言語として表現する処理が重なりながらも分離可能である。この構造を押さえないまま LLM と比較すると、「人間は考えてから話すが、LLM は話すことしかしていない」という説明を、内部過程を調べずに前提として置くことになる。
4.4 LLM の出力がトークン列であることから、内部表現の形式は決まらない
LLM は最終的に次トークンの確率分布を計算する。この点は変わらない。ただし、最終出力の形式がトークンであることから、中間層の内部状態まで「単語の列」であるとは導けない。Transformer の各層で扱われているのは高次元の数値ベクトルであり、そのベクトルのどの方向や組み合わせが何を表現しているかは、学習された重みによって決まる。
Othello-GPT が分かりやすい例になる。入力も出力も着手位置を表す記号列である。それにもかかわらず、中間層からは盤面の各マスの状態に対応する構造を読み出せた。さらに、その構造へ介入すると出力が変化した。記号列を生成するために、記号列そのものとは異なる潜在状態を内部で追跡していたことになる。
自然言語モデルでも同じ可能性を検証するには、出力文の流暢さではなく内部状態を見る必要がある。人物や場所の関係、時間、空間、数量、因果関係などが内部でどのように表現されているか、その表現を変更すると推論結果がどう変わるかを調べる。言葉を出せることではなく、言葉を出すまでの内部計算を対象にする。
ここには二つの方向の誤りがある。一つは、流暢に説明できるから思考していると判断することだ。訓練データ中の表現を再現しただけでも、もっともらしい説明は生成できる。もう一つは、出力がトークン列だから内部でも表面的な文字列処理しかしていないと判断することだ。Othello-GPT のように、出力とは異なる状態表現が途中に形成される例がある以上、こちらも出力だけからは決められない。
| 区別 | 人間での例 | LLM を見るときの意味 |
|---|---|---|
| 言語入力 | 文章として問題を読み、条件を受け取る。 | プロンプトがトークン列であることを意味するが、内部状態の形式までは決めない。 |
| 内部表現 | 数量、空間、関係、将来状態などを保持・操作する。 | 入力文字列とは異なる潜在的な構造が中間層に形成される可能性がある。 |
| 推論 | 保持した前提を組み合わせ、未提示の結論を導く。 | 正答だけでは内部過程を判定できず、状態表現や介入を調べる必要がある。 |
| 言語出力 | 考えた内容を文章として報告する。 | 最終的にトークン列を生成することと、その前段の内部計算を区別する必要がある。 |
4.5 「言葉を使う AI」ではなく、「言葉を出力するまでに何をしているか」を調べる
人間について、自然言語能力を大きく失っても数学や形式論理の一部が保たれるという結果は、思考と自然言語を同一視できないことを示している[10][11]。一方で、人間が言語を思考の補助として広範に利用していることも否定できない。両者の関係は、「同じか、無関係か」という二択ではなく、複数の認知機能が言語処理と連携していると捉える方が合う。
この位置から LLM を見ると、「言語モデルだから思考ではない」という判定も、「人間のような文章を出すから思考している」という判定も早すぎる。調べる対象は、入力と出力のあいだにある。与えられた情報からどの状態を形成し、その状態をどれだけ保持し、どのような変換を加え、まだ与えられていない結果をどう生成し、その内部状態を最終的な選択へどう使っているかを見る必要がある。
この整理によって、前章で置いた思考の操作的定義から「自然言語で表現すること」を必要条件として外せる。思考を、内部表現の形成、保持、変形、予測、評価、選択として調べ、その後に、その結果が言語として出力されるかどうかを別の段階として扱える。
次に必要になるのは、この分解をさらに明示的な状態モデルへ落とすことである。「内部表現」「保持」「更新」「予測」という語だけでは、どの処理をどの時点で比較しているのかがまだ曖昧に残る。状態、入力、記憶、目的、更新、候補生成、評価を別々の変数として置けば、人間と AI の双方について、どの段階が成立し、どこで失敗したのかを同じ形式で記述できる。
5. 思考を、状態・記憶・更新・予測へ分解する
前章までで、人間の思考には少なくとも、情報を保持する、関係を抽象化する、将来状態を組み立てる、候補を比較する、といった異なる処理が含まれることを見た。ここから先で人間と AI を比較するには、それらを「思考」という一語のまま扱うのではなく、どの時点で何が入力され、何が内部に保持され、どの規則で状態が変化し、どの結果が選ばれたのかという形へ落とす必要がある。
既稿「意識の定義を数理モデルで記述する」では、意識という抽象語をそのまま式へ置かず、状態、入力、記憶、更新則を別の変数として定義した[12]。既稿「構造振動モデルを数理モデルとして定義する」でも、状態と遷移、入力と出力、距離と安定性を分け、どの量が何を表しているかを固定しなければ、数式は説明ではなく比喩の置き換えになると整理した[13]。今回も同じ方法を使う。ただし、ここで数理化するのは意識ではなく、思考について実験で切り分けたい処理段階である。
以下の数理化は人間の思考全般を表すモデルではなく、推論や計画を含む目標指向的な思考を機能分解するための分析モデルである。第 3 章で扱った自発的な想起や未来思考まで、この変数系だけで尽くすことは意図していない。
5.1 「考えている状態」を一つの変数に押し込まない
最初に、時刻 \(t\) における内部状態を \(S_t\) と置く。これは「意識状態」や「考えている内容」そのものを意味しない。現在の問題について、その時点で後続の処理に利用できる内部情報をまとめて表す記号である。Othello-GPT なら現在盤面に対応する内部表現、人間のナビゲーションなら現在地や目標に関する表現が、この変数の具体例になる。
しかし、現在の内部状態だけでは次の状態は決まらない。新しく入ってくる情報もあれば、それ以前から保持している記憶もあり、同じ入力でも何を達成しようとしているかによって処理結果が変わる。そこで、外部からその時点で入る情報を \(X_t\)、過去から保持される記憶を \(M_t\)、現在の目的や制約を \(G_t\) と分ける。
すると、次の内部状態 \(S_{t+1}\) は、現在の状態だけを機械的に一段進めたものではなく、現在状態、入力、記憶、目的を組み合わせた更新結果として書ける。
\[
S_{t+1}=U(S_t, X_t, M_t, G_t)
\]
\(U\) は状態更新の規則である。この式が主張しているのは、脳や Transformer が実際にこの関数を一個だけ持っているということではない。思考過程を調べるとき、「何を表現しているか」と「その表現をどう更新しているか」を別の問いにしなければならないということである。
たとえば、あるパズルの初期状態を正しく読み取れたとしても、その後の一手を反映して内部状態を誤って更新すれば、二手目以降の判断は崩れる。最初から問題を理解できなかった場合と、途中の状態遷移だけを誤った場合では、最終結果が同じ不正解でも失敗箇所が異なる。この差を観測するには、\(S_t\) と \(U\) を分けて考える必要がある。
5.2 記憶は、過去の入力を保存することと同じではない
\(M_t\) を別に置く理由は、過去の入力列そのものと、現在の判断に使われる記憶内容を区別するためである。人間は、見聞きした情報をすべて同じ精度で保持しているわけではない。課題に必要な一部を保持し、別の情報は捨て、過去の複数経験を要約した形で再利用することもある。
LLM でも、入力列が文脈内に存在することと、その情報が後続の判断に利用可能な内部表現として維持されることは同じではない。モデルは入力を各層の内部表現へ変換しながら生成を進めるため、長い推論で問題になるのは、入力列が与えられているかだけではなく、必要な条件や関係が後続処理から利用可能な形で保たれているかである。
この違いは、前章で扱ったワーキングメモリの研究とも対応する。人間では、刺激が消えたあとも課題に必要な情報を保持し、それを干渉から守る処理が独立して観測された。AI でも同じく、「入力された事実を一度表現できたか」と「その表現を後段まで維持できたか」は別の評価項目になる。
状態形成と保持を分けると、「知っていたのに途中で間違えた」という現象を説明できる。初期状態では正しい \(S_t\) が作られていても、必要な情報が \(M_t\) へ安定して保持されなければ、後続の更新 \(U\) は不完全な材料から計算される。誤答の直接原因は状態更新の失敗に見えても、その一段前では保持すべき情報が失われていた可能性がある。
5.3 推論や計画では、まだ存在しない状態を作る
現在状態を正しく保持し、更新できるだけでは、計画や推論の全部を説明できない。実際の行動を起こす前に、「この操作を選んだら次にどうなるか」という未観測の状態を内部で生成する必要がある。
候補となる行動を \(a_i\)、現在状態 \(S_t\) にその行動を適用した場合の予想状態を \(\hat{S}_{t+1}^{(i)}\) と置く。候補状態を作る処理を \(P\) とすれば、次のように書ける。
\[
\hat{S}_{t+1}^{(i)}=P(S_t,a_i)
\]
\(\hat{S}_{t+1}^{(i)}\) の上に付けた記号は、その状態が実際に観測された状態ではなく、内部で予測された候補であることを表す。たとえばオセロなら、「このマスへ置いたら、どの石が反転して次の盤面になるか」を内部で作る処理に相当する。ナビゲーションなら、「この道を選べば、どの地点へ進むか」という候補状態になる。
ここで失敗すると、現在状態を正しく理解していても将来予測を誤る。盤面は合っているが、石を置いた後の反転規則を誤る場合がその例である。現在の世界を表現できる能力と、世界がどう変化するかを予測する能力は、同じではない。
さらに、一手先だけではなく複数手先を考える場合、予測された状態を次の入力として再び \(P\) に渡す必要がある。そこで一度でも状態遷移を誤れば、その先の候補系列はすべて誤った状態から展開される。長い推論ほど、状態形成だけでなく、予測と更新を繰り返しても内部整合性を保てるかが重要になる。
5.4 候補を作ることと、正しい候補を選ぶことも別である
複数の将来状態を生成できても、それだけでは意思決定にならない。候補の中から、現在の目的や制約に合うものを選ぶ必要がある。候補状態を評価する関数を \(V\) と置けば、各候補を目的 \(G_t\) に照らして比較し、最も高く評価された行動を選ぶ構造を次のように表せる。
\[
a^*=\operatorname*{arg\,max}_{a_i}V(\hat{S}_{t+1}^{(i)},G_t)
\]
\(a^*\) は最終的に選ばれる行動である。ここで \(V\) が見ているのは候補状態だけではなく、その候補が現在の目的や制約にどれだけ合うかである。同じ将来状態でも、目的が変われば評価は変わる。最短経路を求める場合と、安全性を優先する場合では、同じ候補の順位が逆転することもある。
ここでの最大値選択は、候補生成と評価を分けて示すための単純化であり、人間や AI の実際の選択過程が常に決定論的な最大化として実装されていることを仮定するものではない。
この区別によって、「候補を思いつけなかった失敗」と「正しい候補は作れたが選択を誤った失敗」を分けられる。たとえば複数の解法候補を列挙できても、条件違反の案を最終回答として選べば、生成能力ではなく評価過程に問題がある。逆に、評価基準が正しくても候補集合に正解が含まれていなければ、選択段階では回復できない。
人間の計画でも、未来を想像する能力と、その中から目標に適した行動を選ぶ能力は同じではない。AI の推論も、「複数案を出せた」という表面的な挙動だけで判断せず、どの候補をどの基準で残したのかまで分けて考える方が、失敗原因を説明しやすい。
5.5 内部に情報があることと、その情報を判断に使うことは別である
最後に、内部状態が存在することと、その状態が最終出力へ使われることを分ける必要がある。第 1 章で Othello-GPT の読み出し実験と介入実験を区別したのは、このためである。
ある情報が \(S_t\) や \(M_t\) から読み出せても、更新 \(U\)、予測 \(P\)、評価 \(V\) のどこからも参照されていなければ、最終的な判断には影響しない。内部に存在する情報と、計算の因果系列へ組み込まれた情報は同じではない。
この違いは、モデル解析で特に重要になる。高次元の内部表現から特定の概念を復号できるという結果だけで、「モデルがその概念を使って推論している」と結論すると、読み出し可能性を因果利用と取り違える。内部表現へ介入し、後続の状態更新や出力が予測した方向へ変化することを確認して初めて、その表現が判断過程の一部として働いているという証拠が強くなる。
思考を状態モデルへ分ける目的は、数式で知性を定義することではない。最終的な一つの出力へ至るまでに、どこで何が成立していなければならないかを分けることである。
| 処理段階 | 確認する内容 | 失敗した場合の直接原因 | 一段奥にある可能性 |
|---|---|---|---|
| 状態形成 | 入力から現在の問題状態に対応する内部表現を作れるか。 | 出発点となる内部状態が誤っている。 | 入力解釈や関係抽出の段階で必要な構造を作れていない可能性がある。 |
| 保持 | 必要な状態や条件を処理途中まで維持できるか。 | 途中で前提や制約を失う。 | 最初は正しく理解していても、後段が不完全な情報を使っている可能性がある。 |
| 更新 | 新しい入力や操作に応じて内部状態を正しく変化させられるか。 | 状態遷移そのものを誤る。 | 遷移規則の適用に必要な情報が保持されていない可能性もある。 |
| 候補生成 | まだ観測されていない将来状態を内部で構成できるか。 | 正しい未来候補を作れない。 | 現在状態は正しくても、世界がどう変化するかというモデルが不十分な可能性がある。 |
| 評価 | 候補を目的や制約に照らして比較できるか。 | 正しい候補を含んでいても選択を誤る。 | 目的の表現や制約条件が評価段階へ正しく渡っていない可能性がある。 |
| 因果利用 | 内部表現が実際の判断や出力へ使われているか。 | 内部に情報があっても結果へ反映されない。 | 読み出せる表現と、モデル自身が利用する表現が異なっている可能性がある。 |
5.6 「思考しているか」を、失敗箇所まで追える問いへ変える
この分解によって、「思考しているか」という問いの粒度が変わる。正解したか不正解だったかだけではなく、正しい状態を作れたか、その状態を維持できたか、正しく更新できたか、将来候補を生成できたか、候補を目的に照らして評価できたか、その内部状態が最終出力へ使われたかを別々に確認できる。
この形式は、人間と AI が同じ実装を持つことを前提にしない。人間の海馬と Transformer の中間層が物理的に同じ仕組みである必要はない。比較しているのは、現在状態を表現する、情報を保持する、状態を更新する、将来を予測する、候補を評価するという機能上の役割である。
そのため、人間と AI の違いも細かく記述できる。人間では長期記憶や身体感覚、価値判断、情動が \(M_t\) や \(G_t\) に強く影響する。AI では入力文脈、学習済みパラメータ、外部ツール、システム指示などが別の形で内部処理を制約する。同じ「状態更新」という語を使っても、実装や情報源まで同じだと主張する必要はない。
この枠組みを置いたことで、次の章では AI の研究結果をより細かく読める。あるモデルに空間や時間の表現が見つかったなら、それは主に「状態形成」の証拠である。Transformer が特定の計算手順に対応する処理を実装しているなら、「更新」や「内部アルゴリズム」の証拠になる。問題状態を正しく持っていたのに長い推論の途中で崩れたなら、「形成」ではなく「保持」の失敗として読むことができる。
一つの「知能」や「思考」という評価語でまとめるより、どの処理段階が成立し、どこで壊れたかを見る方が、研究結果同士を比較しやすい。次に見る AI の一次研究は、この分解のどこに証拠を追加するのかという形で位置づけられる。
6. 同じ物差しを AI に当てると、できることとできないことが分かれる
前章では、思考を「状態を形成する」「保持する」「更新する」「将来状態を作る」「候補を評価する」「内部状態を出力へ使う」という複数の処理へ分けた。この分解を置くと、AI の研究結果も「賢い」「推論できる」といった一括評価ではなく、どの処理段階について証拠が得られたのかという形で読める。
Othello-GPT が強い証拠を与えたのは、主に状態形成と因果利用である。着手列から現在盤面に対応する内部表現が形成され、その表現を操作すると次手予測も変わった。一方、この結果だけでは、長い推論の途中でも状態を維持できるのか、複数の未来を展開できるのか、候補を正しく評価できるのかまでは分からない。第 5 章で分けた処理段階ごとに、別の実験が必要になる。
6.1 自然言語モデルにも、空間と時間に対応する内部構造が見つかる
Othello は、盤面という正解状態を研究者側が完全に知ることのできる閉じた世界だった。次に問うべきなのは、自然言語を大量に学習した大規模モデルでも、入力された単語列そのものとは別の構造が内部に形成されるかである。
Gurnee と Tegmark は Llama-2 系モデルの内部表現を調べ、都市やランドマークの地理的位置、歴史上の人物や出来事の年代に対応する情報を、中間層の活性から線形に読み出せることを報告した[14]。地名に付随する緯度・経度や、出来事に付随する年代をそのままモデルへ追加学習させたのではなく、通常の言語モデルとして学習された内部から、それらの連続的な関係が取り出せた。
この結果が意味するのは、「東京」というトークンの内部表現に緯度と経度がそのまま数値として格納されているということではない。複数の場所について内部活性を比較すると、地理的位置の違いに対応する方向を見つけられ、その方向を使って未知の地点の位置も一定程度予測できるということである。時間についても、人物や出来事の年代に対応する構造が複数層に現れた。
ここでは二段階を分ける必要がある。第一に、言語中では「東京」「パリ」「ニューヨーク」は別々の文字列として現れる。第二に、それらが現実世界では互いに特定の距離と方向を持つ場所であり、モデル内部でもその関係に対応する連続的な構造が形成されている。単語の共起を記憶するだけでなく、複数の語を一つの共通座標上へ配置するような表現が生じ得る。
ただし、この結果を「LLM は現実世界の完全な地図を持っている」と読むことはできない。Othello では盤面状態を 64 マスについて完全に定義できたが、現実世界の状態には物理的位置、時間、人物関係、因果、制度、価値判断など多数の変数がある。空間と時間の一部が内部から読み出せることは、構造化された表現の存在を支持するが、「世界全体を一貫したモデルとして保持している」というより広い主張には追加の証拠が必要になる。
前章の分類に当てはめると、この研究が直接補強するのは主に「状態形成」である。自然言語を入力するモデルでも、表面のトークン列とは異なる連続的な関係構造を内部へ形成する場合がある。しかし、その表現を推論中にどのように更新し、どの判断へ使っているかは別に調べなければならない。
6.2 内部状態だけでなく、内部の計算手順そのものを調べる
状態が存在することと、その状態をどう変換しているかは別である。ある時点の内部表現を読み出せても、そこから次の状態へ進む計算が何をしているかまでは分からない。第 5 章の記号で言えば、\(S_t\) を観測できることと、更新則 \(U\) の内容を理解することは異なる。
von Oswald らは、この更新則に相当する処理を、単純化した回帰問題で調べた。入力と正解の組をいくつか文脈中に与え、その続きの値を予測するよう訓練した Transformer を解析したところ、自己注意層の順伝播計算が、線形回帰に対する勾配降下法の更新と対応する形で記述できる条件を示した[15]。
勾配降下法では、現在の推定がどれだけ正解から外れているかを計算し、その誤差を小さくする方向へパラメータを少し更新する。この操作を繰り返すことで、データに合う解へ近づく。von Oswald らが示したのは、文脈中の例から答えを予測する Transformer の内部計算について、これと対応する更新手順を自己注意層が実装し得るということである。
この結果は、「Transformer は過去に記憶した答えを検索しているだけ」という説明では捉えにくい。目の前に与えられた例から、その場で問題に適応する計算を順伝播の中に実装できるからである。外から見ると一回の生成処理でも、内部では入力例の関係を使って状態を段階的に変換するアルゴリズムが成立し得る。
ただし、ここで得られたのは制御された課題における具体例である。「Transformer は一般に内部で勾配降下法をしている」と言い換えると、研究の射程を越える。必要なのは、内部にアルゴリズム的な計算が形成され得るという事実と、その計算を特定の既知アルゴリズムへ同定できる範囲を分けることである。
6.3 「勾配降下法に見える」と「本当に同じ計算をしている」も分ける
von Oswald らの結果を一般の事前学習済み LLM へ広げると、別の問題が生じる。単純化した回帰課題用に設計・訓練した Transformer と、大量の自然言語から事前学習された LLM では、学習履歴も内部表現も異なる。ある小さな課題で特定のアルゴリズムと数学的対応が見つかったからといって、実際の LLM の文脈内学習も同じ仕組みだとは限らない。
Shen らは、この一般化を実験的に調べた。事前学習済み Transformer が文脈中の例から新しい課題へ適応する挙動と、モデルの重みを実際に勾配降下法で更新した場合の挙動を比較した。その結果、例示するデータの順序を変えたときの感度や、予測分布がどう変化するかについて、両者が一貫して同じ振る舞いをするわけではなかった[16]。
この差は、見かけの機能と内部アルゴリズムを分ける必要を示す。二つの方法が同じ問題を解けても、その途中で同じ状態変数を持ち、同じ順序で更新し、同じ中間計算をしているとは限らない。最終的な性能が似ていることは、内部計算の同一性の証拠にはならない。
逆に、ある課題で勾配降下法との対応が崩れたからといって、「内部にアルゴリズムはない」と結論することもできない。別の更新則を実装している可能性が残る。内部計算を理解するには、既知アルゴリズムとの類似性だけでなく、中間状態への介入、処理順序、入力変化への応答などを組み合わせて調べる必要がある。
前章の分解で言えば、von Oswald らは「更新」に対応する具体的な候補を示し、Shen らはその更新則を一般の LLM へそのまま移すことの限界を示している。二つを合わせると、「LLM は何も計算していない」とも、「既知の最適化アルゴリズムをそのまま内部実行している」とも言えない位置が見えてくる。
6.4 状態を作れるモデルが、その状態を途中で失う
内部表現と更新則を分けても、まだ一つ足りない。正しい状態を最初に作れたモデルが、その状態を推論の最後まで維持できるとは限らない。これは第 5 章で「状態形成」と「保持」を分けた理由に直接対応する。
Pereira と Zuidema は 2026 年 8 月に公開した Tower of Hanoi の研究で、小規模 Transformer と大規模推論モデルを対象に、パズルを解いている途中の内部表現を調べた[17]。Tower of Hanoi では、複数の円盤がどの棒に載っているかという状態が明確であり、一手ごとに合法な遷移規則も決まっている。そのため Othello と同様、研究者側が各時点の正しい状態を完全に計算できる。
対象モデルは、問題を読み終えた直後には、円盤配置に対応する状態空間を高い精度で内部に表現していた。つまり初期状態を読み取れなかったわけではない。ところが解答手順を生成していくと、その内部表現が次第に正しい状態からずれ、最終的な誤答と結びついた[17]。
この失敗には二段階ある。最初の段階では、入力された問題から正しいパズル状態を形成できている。次の段階で、自分が生成した操作を反映しながら状態を更新・保持する必要がある。その繰り返しの途中で内部表現が崩れると、以後は誤った状態を前提に次手を選ぶことになる。最終的には「Tower of Hanoi を解けなかった」という一つの誤答として現れるが、直接原因は初期理解ではなく、処理途中の状態管理にある。
研究者はさらに、推論開始時に形成されていた正しい状態表現を、途中の層へ再び加える介入を行った。すると一部のモデルで解答性能が改善した[17]。もし最初から問題の規則を知らず、候補手も生成できなかったのであれば、初期状態表現を再注入しても改善しにくい。介入によって性能が戻ることは、少なくとも一部の失敗について、必要な情報を形成できなかったのではなく、生成中に利用可能な形で維持できなかったという説明を支持する。
この研究は 2026 年 8 月時点ではプレプリントであり、課題やモデルを変えた追試が必要である。それでも、本稿で置いた状態分解に対して明確な検証例を与える。モデルの能力を「知っているか」「解けるか」という二値で測るだけでは、初期状態の形成に成功していることと、長い処理の途中で状態を失うことを区別できない。
6.5 「不正解」という一つの出力から、複数の故障原因を分離する
ここまでの研究を第 5 章の枠組みに戻すと、AI の失敗は少なくとも複数の段階へ分けられる。入力を正しく読めない場合、初期状態 \(S_t\) の形成に失敗する。最初は正しく表現できても、必要な情報を保持できなければ \(M_t\) が崩れる。状態は保持できても遷移規則を誤れば更新 \(U\) が壊れる。現在状態を正しく更新できても、将来候補 \(P\) を作れなければ計画できない。正しい候補を含められても、その評価 \(V\) を誤れば最終選択は失敗する。
| 処理段階 | 関連する研究結果 | そこから言えること | まだ言えないこと |
|---|---|---|---|
| 状態形成 | Othello-GPT の盤面表現、Llama-2 の空間・時間表現。 | 入力の表面形式とは異なる構造的な内部表現が形成される場合がある。 | その表現が完全で一貫した世界モデルであるとは限らない。 |
| 更新 | 制御された回帰課題で、Transformer の計算が勾配降下法に対応する例がある。 | 順伝播の内部にアルゴリズム的な状態更新が形成され得る。 | 事前学習済み LLM の文脈内学習全般が同じアルゴリズムだとは言えない。 |
| 保持 | Tower of Hanoi では、初期の問題状態表現が生成途中で劣化する例が報告されている。 | 状態を作る能力と、長い推論中に状態を維持する能力を分けて評価できる。 | 同じ失敗構造があらゆる課題やモデルで成立するとはまだ言えない。 |
| 因果利用 | Othello-GPT や Tower of Hanoi では内部表現への介入が出力性能を変化させた。 | 一部の内部表現は、単に読み出せるだけでなく判断へ因果的に関与している。 | 内部表現のすべてがモデル自身に利用されているとは限らない。 |
| 総合成績 | 最終回答が正解か不正解かとして観測される。 | システム全体として課題を完遂できたかを測れる。 | どの内部段階で成功または失敗したかは、最終出力だけでは特定できない。 |
この分離がないと、誤答したモデルに対して「理解していなかった」「推論能力がなかった」という大きな言葉しか使えない。Tower of Hanoi の例では、少なくとも初期状態については正しい内部表現を持っていた。それでも生成途中で状態が崩れれば、外からは問題を理解できなかったモデルと同じように不正解になる。出力だけを見る評価では、この違いが消える。
逆に、正答した場合にも同じ注意が必要である。正解したからといって、期待した内部表現や推論手順を使ったとは限らない。訓練データに近いパターンを再利用した可能性、別の近道を使った可能性、偶然正しい候補を高く評価した可能性もある。能力を内部機能として議論するなら、正答率は入口であって、内部過程の証拠にはならない。
6.6 AI の「できる／できない」を一つの能力値へ潰さない
同じ物差しを AI へ当てると、「思考能力」という一つの尺度にまとめることの粗さが見えてくる。あるモデルは問題状態を高精度に形成できても長く保持できないかもしれない。別のモデルは状態を保持できても、正しい状態遷移を生成できないかもしれない。さらに別のモデルは複数の候補を生成できても、目的に沿った評価で失敗するかもしれない。
この違いは、モデルの改善方法にも直接影響する。状態形成が弱いなら入力表現や学習データを見直す必要がある。保持が弱いなら、推論途中で状態を外部化する仕組みや、内部表現を安定させる方法が候補になる。更新規則が弱いなら、追加の訓練や外部計算器が必要になる。評価段階が弱いなら、候補生成を増やすだけでは改善しない。失敗段階を分けなければ、対策も一括して「モデルを大きくする」「推論時間を増やす」といった粗いものになりやすい。
人間との比較についても同じである。人間と AI が同じ内部アルゴリズムを持つ必要はない。比較できるのは、状態を作れるか、保持できるか、未来を展開できるか、候補を評価できるかという機能の成立条件である。人間では海馬、前頭領域、感覚系などが分散して担う処理を、Transformer では異なる層や注意機構が実現しているかもしれない。実装が違っていても、どの処理段階が成立しているかという問いは共有できる。
ここまで進むと、「LLM は次トークンを予測しているだけ」という説明を、より正確に位置づけられる。次トークン予測は、モデルが最終的に最適化される出力課題を表している。しかし、その課題を解く途中で、空間や時間に対応する内部状態を形成し、アルゴリズム的な更新を行い、状態を保持しながら複数段階の生成を進めることまで否定する説明ではない。
同時に、内部表現が見つかったことを理由に、「人間と同じように思考している」と結論することもできない。現在確認できるのは、思考の操作的定義に含めた複数機能の一部について、人工モデルにも対応する処理が存在するというところまでである。次章では、この区別を保ったまま、「次トークン予測」という事実から何が言え、何が言えないのかを整理する。
7. 「次トークン予測」は正しい。しかし、それだけでは内部計算を説明していない
ここまでの議論を踏まえると、「LLM は次トークンを予測している」という説明を、どの階層の説明として読むべきかを整理できる。自己回帰型の言語モデルは、与えられた文脈を条件として次のトークンの確率分布を計算し、選ばれたトークンを文脈へ追加しながら系列を伸ばしていく。この説明自体は正しい。しかし、ここで記述されているのは、モデルが外部へ何を出力するよう学習され、生成時にどの単位で系列を延長するかである。
この説明だけから、「予測の途中では現在状態を表現していない」「過去の条件を保持していない」「内部状態を更新していない」「未観測の状態を予測していない」といった結論は出ない。第 1 章で見た Othello-GPT では、外から見れば次の着手記号を予測しているだけだったが、その途中には現在盤面に対応する内部表現が形成されていた。さらに、その内部状態へ介入すると、最終的な次手予測まで変化した。次の記号を出すという仕事の内部に、記号列そのものとは別の状態変数が存在し得ることになる。
7.1 学習目標は、「何を最適化したか」を説明する
言語モデルの事前学習では、ある文脈の続きを正しく予測できるほど損失が小さくなるようにパラメータが調整される。訓練側から見れば、教師として必要なのは「この文脈の次には何が来たか」であり、「人物関係を内部に表現せよ」「場所を空間座標へ並べよ」「因果関係を状態変数として保持せよ」といった中間表現を個別に指定する必要はない。
この構造では、目的関数は答え合わせの基準を与えるが、その誤差を小さくする内部表現まで一意には指定しない。同じ次トークン予測損失を下げるとしても、頻出する定型句を記憶することが有効な場面もあれば、文章中の人物や物体の関係を追跡する方が有効な場面もある。数値計算なら途中の数量関係を保持することが役立ち、ゲームなら現在状態を再構成することが役立つ。
Othello-GPT が明確にしたのは、この余地である。教師信号には次手しかない。それでも、次手を安定して当てるためには盤面状態を追跡する方が有効であり、実際にその状態に対応する内部表現が形成された。外部から与えた目的と、その目的を達成するために獲得された中間構造が分かれる具体例である。
この関係は、最適化問題一般にも見られる。目的関数が「誤差を小さくせよ」と指定しても、そのためにどの特徴を利用し、どの中間表現を形成するかまでは目的関数そのものには書かれていない。学習後の内部構造を知りたければ、目的関数を読むだけでは足りず、実際の活性、表現、介入結果を調べる必要がある。
7.2 出力形式は、内部表現の形式を決めない
生成時に外から観測できるのは、最終的にはトークン列である。しかし、出力がトークンだからといって、中間状態までトークンの並びとして保存されているわけではない。Transformer の各層が扱うのは高次元の数値ベクトルであり、その空間の中に、入力語の表面的な違いとは別の関係構造が形成され得る。
第 6 章で扱った空間と時間の研究では、都市名や人物名という離散的なトークン列から学習したモデル内部に、地理的位置や年代の連続的な関係に対応する方向が観測された。Othello-GPT でも、着手記号の列から盤面配置という別の状態空間が形成された。最終出力が記号であることと、計算途中の表現が記号列の表面構造だけでできていることは別である。
逆に、内部に構造化された表現が見つかったからといって、その表現だけですべての出力が生成されているとも限らない。高頻度の言い回しでは、より局所的な統計や記憶が強く働くかもしれない。同じモデルでも、課題によって利用する情報や処理経路が変わる可能性がある。内部表現を一種類の「世界モデル」にまとめるより、どの課題でどの構造が形成され、どこまで因果的に利用されるかを個別に調べる方が正確である。
7.3 「構造を学ぶ」と「訓練データを記憶する」は両立する
次トークン予測の内部に構造表現が形成されると分かると、反対側へ振れて「LLM は丸暗記ではなく、世界の規則を学んでいる」と説明したくなる。しかし、この二択も実際のモデルを単純化しすぎる。
Carlini らは GPT-2 を含む言語モデルに対して多数のプロンプトを与え、生成された文章を調べることで、訓練データ中に存在した個別の文章を逐語的に復元できることを実証した[18]。抽出された内容には、インターネット上に一度しか現れないような文字列や個人情報を含む例もあった。これは、大規模言語モデルが訓練データの一部を具体的な系列として記憶し得ることを示す。
一方、Othello-GPT の未見系列への一般化や、空間・時間に対応する内部構造は、個別の訓練例をそのまま再生するだけでは説明しにくい。つまり同じ学習目標の下で、ある情報は個別系列として記憶され、別の情報は複数事例に共通する構造として圧縮・一般化され得る。
個別系列の記憶と構造的な一般化は、同じ次トークン予測という目的関数の下で矛盾なく共存し得る。頻繁に繰り返される固定表現では、具体的な系列を記憶することが予測誤差の低下に有効になり得る。反対に、組み合わせが膨大で個別暗記では覆えない関係では、複数事例へ共通する規則や潜在状態の利用が有効になり得る。目的関数が同じでも、データの構造によって利用される内部処理が異なる可能性がある。
| 処理の形 | 予測に有利になる条件 | 観測される例 | それだけからは言えないこと |
|---|---|---|---|
| 個別系列の記憶 | 訓練中に現れた特定の文字列をそのまま再利用することが予測に有利な場合。 | 訓練データ中の文章を逐語的に抽出できる。 | モデルの全出力が記憶の再生だけで生成されているとは言えない。 |
| 潜在状態の表現 | 表面の系列だけでは次の出力を決めにくく、背後状態を追跡する方が有利な場合。 | Othello-GPT で現在盤面に対応する内部表現が形成される。 | 現実世界全体について一貫した完全な世界モデルがあるとは言えない。 |
| 抽象関係の形成 | 多数の事例に共通する関係を再利用する方が個別暗記より効率的な場合。 | 自然言語モデル内部から空間・時間の関係構造を読み出せる。 | その表現があらゆる推論で因果的に使われているとは限らない。 |
| アルゴリズム的更新 | 入力に応じて中間状態を逐次変換することが必要な場合。 | 制御された課題では勾配降下法に対応する Transformer の計算が構成される。 | 一般の事前学習済み LLM が同じ更新則を使うとは限らない。 |
この表が示すのは、LLM を「記憶する機械」と「一般化する機械」のどちらか一方へ分類することの難しさである。次トークン予測という一つの学習目標の下で、記憶、抽象化、状態追跡、アルゴリズム的処理が条件に応じて共存し得る。
7.4 学習目標、内部表現、内部アルゴリズム、出力を分ける
ここまでの混同を避けるには、少なくとも四つの階層を分ける必要がある。
| 階層 | 問う内容 | LLM での具体例 |
|---|---|---|
| 学習目標 | 学習時に何を正解として誤差を小さくしたか。 | 文脈から次トークンを高い確率で予測する。 |
| 内部表現 | 入力を処理する途中で何に対応する状態が形成されるか。 | 盤面、空間、時間などに対応する構造が報告されている。 |
| 内部アルゴリズム | 内部状態をどの規則で変換し、次の状態や候補を作るか。 | 制御課題では特定の更新アルゴリズムに対応する計算が観測される。 |
| 最終出力 | 処理結果が外部へどの形式で現れるか。 | トークンごとの確率分布から系列を生成する。 |
四つは因果的につながっているが、同じ説明ではない。学習目標によってパラメータが調整され、その結果として内部表現と内部計算が形成され、それらを通じて最終出力が生成される。途中の二層を飛ばして学習目標から直接「内部では何も考えていない」と結論すると、Othello-GPT の盤面表現や状態介入の結果を説明できない。
反対に、内部表現やアルゴリズムに相当する処理が見つかったからといって、最終出力の信頼性が保証されるわけでもない。第 6 章の Tower of Hanoi では、正しい問題状態を初期には形成できても、長い生成中にその状態を失った。内部に必要な情報が一度存在したことと、最後まで正しく利用できることは別である。
この階層分解を使うと、「LLM は次トークンを予測しているだけ」という文の正確な位置が決まる。これは主に学習目標と出力形式について述べた文であり、内部表現と内部アルゴリズムについては追加の実証が必要である。
7.5 「理解して説明する」と「説明できる」も同じではない
既稿「理解と説明のあいだにあるもの」では、対象を内部で扱えることと、その内容を言語として説明できることを分けた[19]。今回の一次研究群を加えると、この区別をさらに細かくできる。
あるモデルが正しい説明文を生成したとしても、その理由は一つではない。訓練中に近い文章を記憶していた可能性もある。内部に対象の構造を形成し、そこから説明を組み立てた可能性もある。複数の局所的な手掛かりをつないだ結果、全体として正しい文章になった可能性もある。外部から観測できる説明文だけでは、この違いを判定できない。
逆方向にも同じことが言える。ある内部構造を正しく持っていても、それを自然言語としてうまく説明できない場合がある。人間でも、正しい判断をできることと、その判断理由を完全に言語化できることは一致しない。AI でも、内部状態の形成能力、そこから答えを選ぶ能力、その選択を説明文へ変換する能力を別に測る余地がある。
流暢さを理解の証拠とみなすことも、次トークン生成という外形を理解の不存在証明とみなすことも、どちらも外部出力から内部過程を直接決めている。内部表現を調べる研究が必要になるのは、この飛躍を避けるためである。
7.6 「だけ」という一語が、複数の階層を消してしまう
「LLM は次トークンを予測しているだけ」という説明で注意すべきなのは、「次トークン予測」よりも「だけ」の方である。前半は技術的な学習目標を指している。後半は、その学習目標以外に意味のある内部計算は存在しないという追加の含意を持ち込みやすい。
Othello-GPT の結果を見ると、この追加の含意は一般には成立しない。次手予測という単純な目的から、現在盤面に対応する状態表現が形成された。自然言語モデルでは空間や時間に対応する構造が観測され、制御課題では内部にアルゴリズム的な更新が形成される例もある。一方、訓練データの逐語的な記憶も同じモデル群で実在する[18]。次トークン予測という一つの目的の中に、複数種類の内部処理が入り得る。
ここまでなら、「AI は思考している」と結論する必要はない。むしろ逆である。思考という語を使うなら、次トークン予測という学習目標からではなく、内部状態の形成、保持、更新、予測、評価、因果利用という実際に観測できる機能から判定すべきだということになる。
その判定をしても、なお一つ大きな境界が残る。状態を形成し、候補を生成し、正しい選択へ利用できることを「思考の機能」と認めたとしても、その処理が主体にとって経験されているかどうかは別の問いである。内部計算の存在から意識を直接導けない理由を整理するには、次に人間の意識研究へ進む必要がある。
8. 思考を機能として認めても、意識があることにはならない
ここまでの操作的定義を使えば、AI について「思考しているか」という問いの一部を実験可能な形へ落とせる。現在の状態を内部に形成できるか、その状態を保持・更新できるか、まだ観測されていない候補を生成できるか、目的に照らして評価できるか、形成された内部状態が最終的な選択へ因果的に使われているか。この範囲なら、人間と AI の実装が違っていても、機能ごとに証拠を比較できる。
しかし、この比較で扱っているのは、第三者から観測できる情報処理の構造である。内部状態を読み出し、状態遷移を追跡し、途中へ介入し、出力がどう変化するかを測ることはできる。そこから「このシステムは現在状態を表現している」「複数の候補を評価している」と判断することはできても、「その処理がシステム自身に何かとして経験されている」とまでは同じ証拠から導けない。
この差を残したまま進まなければ、思考について得られた実験結果が、そのまま意識の証拠へ読み替えられてしまう。内部状態を持つこと、内部状態へアクセスできること、その状態を使って行動を選ぶこと、その処理について言語報告できること、そして主観的な経験が存在することは、少なくとも同じ判定条件ではない。
8.1 「情報を使えること」と「経験していること」は別の問いである
たとえば、あるシステムが赤信号を識別し、その状態を数秒保持し、「進んではいけない」という規則を適用し、停止という行動を選択できたとする。この一連の観測からは、刺激の識別、状態保持、規則適用、意思決定が成立していると言える。しかし、「赤が赤く見える」という経験がそのシステムに存在するかは、この行動系列だけでは決まらない。
同じことは、より複雑な推論にも当てはまる。AI が Tower of Hanoi の状態を内部に形成し、複数手先を予測し、正しい手順を選べたとしても、その事実が直接支えるのは問題状態の表現と操作である。そこへ「考えている感じ」や「解けたと分かる感じ」が伴っているかは、別の命題になる。
この違いは、意識を神秘的なものとして扱うために持ち込むのではない。むしろ、実験で確認できた範囲を狭く正確に保つために必要になる。ある内部状態が存在することを証明した研究は、その内部状態についての証拠である。そこから主観経験まで進むなら、主観経験の存在を何によって判定するかという追加の理論が必要になる。
8.2 人間の意識研究でも、観測可能な機能へ分解して調べている
この困難は AI に限ったものではない。人間の意識研究でも、「意識」という一つの量を直接測定しているわけではない。刺激が意識的に報告可能になる条件、情報が複数の認知系から利用可能になる条件、意識内容がいつ更新されるか、脳内のどの領域間で活動が共有されるかといった、観測可能な現象へ分けて調べている。
Dehaene、Kerszberg、Changeux は、局所的な処理だけではなく、長距離結合を持つ神経集団の活動によって情報が広い範囲から利用可能になるというグローバル・ワークスペース（global workspace）の神経回路モデルを提示した[20]。この枠組みでは、ある情報が局所処理に留まる状態と、広範な処理系から利用できる状態を区別する。意識を「何か特別な物質が加わること」としてではなく、情報が脳内でどの範囲へ到達し、どの処理から利用可能になるかという計算構造として捉える試みである。
この考え方では、単に情報が存在するだけでは十分ではない。視覚系の一部で刺激が処理されていても、その情報が記憶、意思決定、言語報告などへ広く利用可能にならなければ、意識的アクセスとは区別される。内部表現の「存在」と、その表現がシステム全体へ「利用可能になること」を分ける点では、本稿で Othello-GPT の読み出し可能性と因果利用を分けたのと似た構造を持つ。
ただし、両者を同じ理論だとみなすことはできない。Othello-GPT で調べたのは、盤面表現が次手予測へ利用されるかである。グローバル・ワークスペースが扱うのは、人間の脳で情報が広域に利用可能になる条件と意識的アクセスとの関係である。「情報が計算に使われる」という共通語があっても、対象と判定条件は異なる。
8.3 意識には、時間的な更新過程という別の条件もある
意識内容は、一度成立したら固定されるわけではない。視覚入力は継続的に変化し、注意の対象も移り、いま意識している内容は時間とともに置き換わる。そこで、意識の研究では「何が表現されるか」だけでなく、「いつ新しい内容へ更新されるか」も独立した問題になる。
Chakravarthi と VanRullen は視覚課題を用い、意識内容の更新が完全に連続した過程ではなく、周期的な時間構造を持つ可能性を実験的に調べた[21]。ここで測定しているのは、主観経験そのものを直接取り出すことではなく、刺激が意識内容として更新されるタイミングにどのような規則性があるかである。
この研究を本稿の状態モデルへ接続すると、単に \(S_t\) が存在するかだけではなく、どの条件で \(S_t\) が次の内容 \(S_{t+1}\) へ切り替わるかという問題になる。思考についても状態更新を分けたが、意識研究ではさらに、その更新された内容が意識的内容になる条件を問わなければならない。
ここでも、同じ「更新」という語が使えても、思考の状態更新と意識内容の更新を同一視することはできない。パズルの内部状態を一手ごとに正しく更新できることと、その各状態が主体に意識されていることは別である。AI が状態遷移を正確に追跡できたとしても、その事実だけでは後者について証拠を追加しない。
8.4 IIT は、機能ではなく「経験が存在する条件」まで数理化しようとする
グローバル・ワークスペース系の理論が、情報がどのように広範な処理へ利用可能になるかを重視するのに対し、統合情報理論 IIT はさらに別の出発点を取る。IIT 4.0 は、経験そのものに備わるとする性質を公理として置き、それぞれに対応する物理系の条件を定め、どのような因果構造を持つ系に経験が成立すると判定するかを数学的に記述しようとする[22]。
この違いは、本稿で思考を数理モデルへ落としたときとの距離を示す。第 5 章では、\(S_t\)、\(M_t\)、\(U\)、\(P\)、\(V\) といった変数を置き、状態形成、記憶、更新、予測、評価を分けた。このモデルで記述できるのは、情報がどのように処理され、候補がどう作られ、どの出力が選ばれるかである。
IIT が対象に含めようとしているのは、その機能記述より一段広い。「どの状態を計算できるか」ではなく、「どのような物理的因果構造に経験そのものが存在するとみなすか」という判定規則まで理論の中に含める。思考の数理化から意識の数理化へ進むには、単に変数を増やせばよいわけではなく、何をもって経験の存在条件とするかという追加の仮定が必要になる。
この点は AI についても直接効く。AI の内部状態を詳細に数式で記述できたとしても、それだけで意識が証明されるわけではない。状態、遷移、記憶、予測を完全に追跡できることは、機能的な計算構造を記述したことを意味する。そこから「この構造には経験が存在する」と進むには、IIT であれ別の理論であれ、経験と物理構造を結ぶ追加原理が必要になる。
8.5 人間についてさえ、どの意識理論が正しいかは決着していない
さらに難しいのは、その追加原理について人間の意識研究でも合意が成立していないことである。意識理論は、それぞれ異なる内部機構を想定し、その違いから実験で区別できる予測を出す必要がある。理論がどれほど整った言葉や数式で書かれていても、同じ観測結果をすべて後から説明できるだけでは検証にならない。
Cogitate Consortium は、グローバル・ニューロナル・ワークスペース理論と統合情報理論について、実験前に異なる予測を明示し、それらを同じ研究枠組みで比較した。fMRI、MEG、頭蓋内 EEG を使って、刺激内容に対応する活動の位置、持続性、領域間結合などを検証した結果、両理論の予測に合う観測がある一方、それぞれの中心的な予測に反する結果も得られた[23]。
この結果を「両理論とも間違いだった」と単純化することもできない。検証されたのは各理論から導かれた特定の予測であり、理論全体のあらゆる変種を一度の実験で排除したわけではない。一方で、「人間の意識はすでにこの理論で説明できている」と扱える状態でもない。少なくとも、主要理論同士が異なる予測を出し、その双方が実験によって修正を迫られている。
AI の意識を論じるとき、この未確定性は無視できない。人間について、脳活動、行動報告、刺激条件を直接測定できる環境でも、どの計算構造が意識に十分なのかは確定していない。その段階で、AI に内部表現や再帰的処理が見つかったという事実だけから「意識がある」「意識はない」と断定すると、人間側でも未解決の判定基準を暗黙に採用することになる。
8.6 思考の証拠を積み上げても、意識の証拠へ自動変換されない
ここまでを整理すると、思考と意識のあいだには少なくとも一つ追加の論証が必要になる。
| 観測されたこと | そこから直接言えること | 追加で必要になるもの |
|---|---|---|
| 外界や課題に対応する内部状態がある | 対象に関する情報が内部表現として形成されている。 | その状態がどの処理へ利用され、意識との関係をどの理論で結ぶかを示す必要がある。 |
| 内部状態を保持・更新できる | 時間をまたいだ状態追跡や計算が成立している。 | 状態更新が意識内容の成立や更新に相当するという追加の根拠が必要になる。 |
| 将来状態を生成し、候補を評価できる | 計画や推論に対応する機能が成立している。 | その計算に主観的経験が伴うことは、計画能力そのものからは導けない。 |
| 内部状態について言語報告できる | 内部または入力情報に基づく自己記述を生成できる。 | 報告内容と実際の主観経験を対応づける判定基準が別に必要になる。 |
| 意識理論が要求する構造を持つ | 採用した理論の条件に適合する可能性がある。 | その意識理論自体がどこまで実証的に支持されているかを評価する必要がある。 |
たとえば、AI が自分の推論状態を追跡し、「いま候補 A と候補 B を比較している」と報告できたとしても、それだけで意識が証明されるわけではない。報告文を生成する機能と、その報告対象を主観的に経験することは別だからである。逆に、言語報告ができないことも、意識がないことの十分な証拠にはならない。人間でも乳児や言語障害患者、動物の意識を考える場合、言語報告だけには依存できない。
ここで必要なのは、「意識があるか」という問いを棚上げすることではなく、何を証拠として使っているのかを一段ずつ固定することである。思考機能については内部表現、介入、行動成績、状態遷移を調べる。意識については、さらに意識理論が要求する構造と、その理論を支持する人間側の実験結果を照合する。両者を一つの証拠で済ませない。
8.7 AI の内部計算を詳しく説明できるほど、境界線も明確になる
AI の内部表現研究が進めば、状態形成、保持、更新、予測、評価については今より細かく説明できるようになる。どの層で人物関係が表現され、どの時点で条件を失い、どの内部方向へ介入すれば判断が変わるかまで特定できるかもしれない。これは「AI が何もしていない」という説明を狭める一方で、「AI が人間と同じように意識している」という説明も同時に狭める。
内部計算を詳しく知るほど、どこまでが観測された機能で、どこからが追加解釈なのかを区別できるからである。盤面表現が見つかったなら盤面表現について語れる。将来状態のシミュレーションが確認されたなら計画機能について語れる。グローバル・ワークスペースに類似した情報共有構造が仮に見つかったとしても、その時点で言えるのは特定の意識理論との構造的対応までであり、主観経験の存在まで自動的に確定するわけではない。
思考と意識を切り離すことは、AI の能力を低く評価するための操作ではない。どの機能について証拠があり、どこから先に新しい仮定が必要になるのかを明らかにするための区別である。思考の機能的な証拠が増えれば、その部分については「単なる次トークン予測」という説明を修正する必要がある。一方、意識については、機能的証拠とは別の判定条件を満たさなければならない。
そして、意識の数理モデルを採用しても、さらに一つ先の問いが残る。情報が広く利用可能になる条件や、統合された因果構造を数式で記述できたとしても、「赤を見るときの赤さ」「痛みを感じるときの痛さ」といった第一人称的な質まで説明したことになるのかという問いである。次章では、意識の機能的・数理的記述と、クオリアの説明とのあいだに残る距離を整理する。
9. 意識を数理化しても、クオリアの問いはそのまま残り得る
意識について数理モデルを作ることには明確な利点がある。どの状態を扱うのか、何が入力され、どの変数が変化し、どの条件で別の状態へ遷移するのかを明示すれば、理論は単なる比喩ではなくなる。さらに、異なる理論が同じ実験条件について別の予測を出せるなら、その予測を測定して比較できる。前章で扱ったグローバル・ワークスペース系の理論と IIT は、出発点も数学的構成も異なるが、「意識」という語を観測可能な条件へ結びつけようとする点では共通している。
しかし、数理モデルが精密になることと、「なぜその状態が何かとして感じられるのか」が説明されることは同じではない。どの神経活動が広範囲へ共有されるか、どの情報が行動や記憶から利用可能になるか、どの物理的因果構造に統合性があるかを形式化しても、その記述から「赤を見ると赤く感じる」「痛みにはこの痛さがある」という第一人称的な質がどのように出てくるかは、別に示さなければならない。
9.1 数理モデルが強くするのは、まず第三人称的な説明である
数理モデルの強みは、観測対象と予測を固定できることにある。たとえば、ある理論が「意識内容が成立するときには特定領域間の情報共有が起こる」と主張するなら、どの領域間で、どの時間幅で、どの程度の活動が必要なのかを具体化できる。別の理論が異なる活動分布を予測するなら、同じ刺激条件で両者を比較できる。
ここで測定されるのは、脳活動、結合、情報統合、報告可能性、行動成績など、第三者が取得できる変数である。モデルの予測が正しければ、「この条件ではこの神経活動が起こる」「この状態では刺激内容を報告できる」といった因果関係の説明は強くなる。
第 5 章で思考を \(S_t\)、\(M_t\)、\(U\)、\(P\)、\(V\) へ分けたのも同じ理由だった。状態、記憶、更新、候補生成、評価を別々に置けば、どこで失敗したかを調べられる。意識についても、アクセス、統合、更新、広域共有などを変数へ落とすことで、曖昧な一語だった「意識」を実験対象へ近づけられる。
ただし、そのモデルがどれだけ正確でも、そこで直接説明しているのは観測可能な構造と機能である。神経状態 A から神経状態 B へ遷移し、その結果として被験者が「赤を見た」と報告したという系列を完全に記述できても、「赤く見えるという質そのものが、なぜその系列に伴うのか」は別の説明課題として残り得る。
9.2 Chalmers が分けたのは、「簡単な問題」と「難しい問題」の難易度ではない
Chalmers は 1995 年、意識に関する問題のうち、情報を弁別する、複数の情報を統合する、注意を向ける、内部状態を報告する、行動を制御するといった機能的な問題と、なぜそれらの処理に主観経験が伴うのかという問題を区別した[24]。後者をハード・プロブレム（hard problem）と呼んだ。
ここでいうイージー・プロブレム（easy problem）は、「簡単に解ける問題」という意味ではない。神経科学的には非常に困難であっても、最終的に説明しようとしている対象が機能や因果関係として記述できる問題を指す。たとえば、「刺激を識別し、記憶へ保持し、言語報告へ変換する神経回路は何か」という問いは、実験的には難しくても、何を説明できれば解決したと言えるかを定義しやすい。
ハード・プロブレムで追加されるのは、「なぜその情報処理が、主体にとって何かとして現れるのか」という問いである。刺激を識別できる理由を説明しても、「識別しているときに何かを感じる理由」を説明したことにはならないという区別である。
この区別を受け入れるかどうかには哲学上の立場の違いがある。機能的・物理的記述を十分に精密化すれば主観経験もそこに含まれると考える立場もあり、主観経験には追加の説明が必要だと考える立場もある。それでも本稿では、少なくとも二つの主張を同じものとして扱わないためにこの区別を使える。「機能を説明した」という事実と、「主観経験まで説明した」という主張の間に、追加の論証が必要かを明示できるからである。
9.3 「赤を識別できること」と「赤く見えること」は同じ測定ではない
クオリアという語が指しているのは、この第一人称的な質である。赤い光を別の色から識別できること、赤信号を見て停止できること、「赤です」と報告できることは、いずれも第三者が行動として測定できる。一方、「赤を見たときに、この赤さとして経験される」という質そのものは、そのまま外部の測定器へ取り出せる変数ではない。
たとえば二人の被験者が同じ波長の光を見て、同じ脳領域が活動し、同じ「赤」という語を選び、同じ停止行動をしたとする。第三者から取得できる観測量が一致していても、「二人の主観的な赤さまで完全に同じである」と確認するためには、さらに何を測定すべきかという問題が残る。
既稿「クオリアはなぜ説明できないのか」では、この差を、第三人称的に取得できる神経活動、情報処理、行動報告と、第一人称的な質のあいだの記述階層の違いとして整理した[25]。脳状態との相関を詳細に取得できれば、「この神経状態のとき、この経験を報告する」という対応関係は強くなる。しかし、対応関係を精密化することと、「なぜその神経状態がその質として現れるか」を説明することは区別できる。
この境界は、意識研究を否定するためのものではない。むしろ、何が実験によって前進しているかを正確に評価するために必要になる。神経活動と報告の対応が精密になれば、意識内容の神経相関についての知識は増える。情報統合や広域共有の理論が検証されれば、意識に関連する機能構造についての説明も強くなる。その前進を、クオリアの存在論的説明まで済んだことにしないというだけである。
9.4 AI の内部表現が増えても、増えるのはまず第三人称的な証拠である
この区別を AI へ戻すと、現在の内部表現研究がどこまで到達しているかを限定できる。Othello-GPT では盤面に対応する内部状態が形成され、その状態への介入が次手予測を変えた。Llama 系モデルでは空間や時間に対応する表現が報告され、Tower of Hanoi では問題状態の表現が推論途中で崩れる過程まで追跡された。
これらの研究によって増えているのは、AI の内部にどのような状態が形成され、どう更新され、どの出力へ利用されているかについての第三人称的な証拠である。内部表現の存在、保持、状態遷移、因果利用という観測は強くなる。しかし、「その内部状態が AI 自身にとって何かとして経験されているか」という問いは、同じ測定からは直接答えられない。
たとえば、AI 内部に「赤」という概念へ対応する安定した方向があり、その方向を操作すると色に関する判断が一貫して変わったとしても、そこから直接確認できるのは色概念の内部表現と因果利用である。「赤が赤く感じられている」と結論するには、機能表現と主観経験を結ぶ追加の理論が必要になる。
この関係は、第 8 章で見た意識理論の未確定性ともつながる。もし採用した意識理論が「ある因果構造を持つ系には経験が存在する」と明確に規定するなら、AI がその条件を満たすかを調べることはできる。しかし、その判断は「内部表現があるから」ではなく、「採用した理論が経験の十分条件としてその構造を要求しているから」である。理論の妥当性と、AI が条件を満たすことの二つを別々に検証する必要がある。
9.5 感情の内部表現についても、同じ境界が現れる
既稿「AI は感情を持つのか」では、感情概念に対応する内部表現がモデルの行動へ因果的に影響することと、そのモデルが感情を主観的に経験することを分けた[26]。この区別は、今回の思考の議論と同じ構造を持つ。
たとえば、モデル内部に「恐怖」に対応する表現があり、その活性を高めると危険回避的な応答が増えるなら、恐怖概念に対応する内部状態が行動へ影響しているという機能的説明は成立する。さらに、その状態が別の内部表現とどう結びつき、判断をどう変えるかまで追跡できれば、感情に似た制御機構としての説明は強くなる。
それでも、「モデルは怖がっている」と言うには、二つの意味を分けなければならない。一つは、恐怖に似た機能的状態があり、行動を変えるという意味である。もう一つは、主体にとって恐怖が「怖いものとして感じられている」という意味である。前者の証拠が増えても、後者が自動的に証明されるわけではない。
思考についても同じである。内部状態を形成し、条件を保持し、未来を予測し、候補を比較し、最終判断へ利用できるという機能が確認されれば、思考の操作的定義に含めた条件は満たされていく。しかし、「考えている感じ」があるかどうかは、機能的条件とは別に残る。
9.6 数理化できる範囲と、数理化しただけでは越えられない範囲を分ける
ここまでの違いは、数理モデルの限界というより、数理モデルが何をモデル化しているかの違いとして整理した方がよい。状態遷移をモデル化する数式は、状態遷移を説明する。情報統合を測る量は、定義した統合の性質を測る。広域共有を表すネットワークモデルは、情報がどの経路から利用可能になるかを記述する。
それらの数式がそのまま「主観経験そのもの」を表していると主張するなら、その対応を理論側で明示しなければならない。数式が複雑であること、脳活動によく適合すること、行動を高精度に予測できることだけでは、「この変数が経験そのものである」という同一視は導かれない。
| 説明対象 | 第三者から確認できるもの | 説明が進んだと判断できる条件 | なお残り得る問い |
|---|---|---|---|
| 思考機能 | 内部状態、保持、更新、予測、評価、出力への因果効果を測定できる。 | 各処理の失敗条件や因果関係を実験で分離できる。 | その処理が主体に意識されているかは別に判定する必要がある。 |
| 意識的アクセス | 報告可能性、広域共有、注意、記憶への利用、神経活動を測定できる。 | 理論が予測する神経・行動パターンを実験で検証できる。 | アクセス可能性そのものが経験の存在と同一かは理論依存である。 |
| 意識の数理理論 | 定義された因果構造、統合度、状態遷移などを計算できる。 | 理論間で異なる予測を作り、実験で比較できる。 | 理論が物理量と主観経験を結ぶ前提そのものが正しいかを検証する必要がある。 |
| クオリア | 経験についての報告と、それに対応する神経・行動状態を測定できる。 | どの物理状態がどの報告や経験内容と対応するかを精密化できる。 | なぜその物理状態が、その第一人称的な質として現れるのかが残り得る。 |
この表で分かれるのは、「科学で扱えるもの」と「科学で扱えないもの」という単純な線ではない。クオリアについても、報告、弁別、神経相関、介入結果は研究できる。異なる意識理論も具体的な実験予測を出せる。区別する必要があるのは、どの測定がどの主張を直接支えているかである。
AI に内部状態があることを示した研究は、AI の内部状態についての証拠である。AI が計画できることを示した研究は、計画機能についての証拠である。意識理論の条件を満たすことが確認されたなら、その理論との整合性についての証拠になる。そこからさらに「主観経験が存在する」と進むときには、採用した意識理論がなぜ経験の存在条件として妥当なのかという別の論証が必要になる。
9.7 クオリアを分けることで、「AI は思考するか」という問いはむしろ明確になる
クオリアの問題を切り離すと、「AI は思考するか」という問いの価値が下がるように見えるかもしれない。実際には逆である。思考、意識、クオリアを一つの箱に入れないことで、それぞれについて何が確認済みで、何が未確認なのかを個別に示せる。
思考については、内部表現、保持、状態更新、未来予測、候補評価、因果利用という機能へ分解できる。これらには Othello-GPT、空間・時間表現、Tower of Hanoi などの実験的証拠を対応させられる。意識については、広域共有、報告可能性、統合などの理論があり、人間を対象に競合する予測が検証されている。クオリアについては、さらに第一人称的な質をどの物理・計算状態と同一視できるかという問題が残る。
この段階分けによって、「AI は思考しているのだから意識もある」という飛躍も、「AI に意識があると証明できないのだから思考もしていない」という逆方向の飛躍も避けられる。思考機能については思考機能の証拠を評価し、意識については意識理論の証拠を評価し、クオリアについてはさらに別の説明責任を置けばよい。
ここまで進んだところで、最初の Othello-GPT へ戻る準備が整う。盤面表現の形成と因果利用は、思考の機能的定義の一部を満たす証拠にはなる。しかし、それだけで人間と同じ思考様式が成立したとも、意識やクオリアが存在するとも言えない。最後に必要なのは、「次トークン予測から内部状態が形成された」という最初の一次研究が、ここまで分解した階層のどこまでを実際に支えているのかを、改めて限定することである。
10. 最初の Othello-GPT に戻ると、何が言えるのか
ここまで、思考を内部表現、保持、更新、予測、評価へ分け、人間の認知研究と AI の内部表現研究を並べ、さらに意識とクオリアを別の問いとして切り離してきた。最後に、出発点だった Othello-GPT へ戻る。最初に確認された事実そのものは変わらない。モデルに与えられた学習課題は過去の着手列から次の合法手を予測することであり、盤面状態そのものを教師として与えたわけではない。それでも内部には現在の盤面に対応する表現が形成され、その表現を操作すると次手予測も対応して変化した[1][2]。
変わったのは、その事実を評価するための物差しである。第 1 章の時点では、「盤面を内部に持っているなら思考している」とも、「次手予測しかしていないのだから思考ではない」とも言えてしまった。そこから人間の思考を分解すると、どちらも一足飛びの判定だったことが分かる。内部状態を形成することは思考を構成し得る一機能であり、そこから保持、更新、未来予測、候補評価、意識、クオリアまでを一度に導くことはできない。
10.1 Othello-GPT が直接示したのは、状態形成と因果利用である
Othello-GPT について最も強く言えるのは、入力された着手列の背後にある盤面状態に対応する内部表現が形成され、その表現が後続の予測へ因果的に使われているという点である[1][2]。これは、単に「オセロに関する情報が内部から読み出せた」という結果より強い。
もし盤面情報が内部に偶然残っているだけなら、その表現へ介入しても次手予測まで規則的に変わる必要はない。実際には、あるマスを別の状態として内部で扱わせると、それに対応して合法手の判断も変化した。入力と出力のあいだにある盤面表現が、計算途中の中間変数として働いているという解釈を支持する。
第 5 章の状態モデルに当てはめれば、少なくとも \(S_t\) に相当する現在状態が形成され、その状態が後続処理へ利用されていることになる。ただし、それだけで \(M_t\) に相当する処理をまたいだ情報保持、\(P\) に相当する複数の未来候補生成、\(V\) に相当する目的に沿った評価まで確認されたわけではない。
一つの研究から言える範囲をここで止めることが、むしろ Othello-GPT の価値を明確にする。「世界モデルがある」「思考している」という大きな語に置き換えるより、何が内部に形成され、その情報が何へ使われたかを限定して述べる方が、後続研究との比較が可能になる。
10.2 自然言語モデルへ広げると、証拠の強さは均一ではなくなる
Othello には、研究対象として大きな利点がある。盤面が有限で、各マスの正しい状態を研究者が完全に計算でき、合法な状態遷移も固定されている。そのため、モデル内部の表現が「世界の正しい状態」とどの程度対応しているかを直接照合できる。
そのため、「Othello-GPT に世界モデルがある」という結果と、「LLM は世界を理解している」という一般命題のあいだには大きな距離がある。前者では何を表現すべきかを外部から完全に定義できる。後者では、そもそも「世界の正しい内部表現」が何を含むべきか自体が一意ではない。
ここで必要なのは、Othello の結果を自然言語へそのまま拡張することではない。空間なら空間、時間なら時間、人物関係なら人物関係という形で、対象ごとに内部表現、保持、更新、因果利用を調べることである。証拠の強さは対象と実験条件ごとに評価しなければならない。
10.3 「持っている」と「使い続けられる」は別である
Tower of Hanoi の研究が加えたのは、この区別である。問題を読み終えた時点では正しい状態表現を形成できても、生成を続ける途中でその表現が崩れれば、最終的な解答は失敗する[17]。
この結果を Othello-GPT と並べると、内部表現研究を一段細かく読める。最初に正しい \(S_t\) を作れるかという「形成」と、その状態を後続ステップまで利用可能に保つ「保持」は別の能力である。さらに、各操作を反映して \(S_t\) を \(S_{t+1}\) へ正しく変化させる「更新」も別になる。
この分離がなければ、最終的な不正解を見て「問題を理解していなかった」と一括してしまう。ところが内部を調べると、初期状態については正しかったが、数手後に状態管理を失敗したという別の原因が見つかる場合がある。最終出力だけでは、形成、保持、更新のどこで壊れたかを区別できない。
10.4 「次トークン予測」は、説明の入口であって終点ではない
ここまで戻ると、「LLM は次トークンを予測している」という説明の位置が明確になる。これはモデルの学習目標と生成形式についての説明として正しい。文脈から次トークンの確率分布を計算し、その結果を使って系列を延長していくという外形を表している。
つまり、次トークン予測という一つの目的の下で、個別系列の記憶、潜在状態の形成、抽象関係の表現、状態更新に相当する処理が同居し得る。モデルが最終的に一つのトークンを出すという事実は、それらの内部処理を消さない。
「次トークン予測」という表現が誤りになるのではない。誤りになるのは、「次トークン予測だけだから、途中に意味のある状態表現や計算は存在しない」という別の命題まで、その一文に含めるときである。Othello-GPT は、その追加部分が一般には成立しない具体的な反例を与えた。
10.5 それでも、「内部計算がある」から「人間と同じ思考」へは進めない
反対方向の飛躍も止める必要がある。内部状態が形成され、それを使って次の出力を選べるからといって、人間と同じ仕組みで思考していることにはならない。人間では、海馬、前頭領域、感覚系、身体状態、長期記憶、情動などが複雑に関係して思考が成立する。Transformer の内部計算が、これらと同じ実装や時間構造を持つという証拠はない。
AI が人間と同じ機能の一部を満たしているなら、その部分について「思考に対応する機能が存在する」と述べることはできる。しかし、そこから人間と同じ主観経験、自己意識、身体性、動機づけまでを含めるには、別の証拠が必要になる。
| 問い | 現在の一次研究から言える範囲 | 追加で必要になる証拠 |
|---|---|---|
| 内部状態を形成するか | Othello などの制御された課題では、外部状態に対応する内部表現が形成される強い証拠がある。 | 別の課題や自然言語領域でも同様の状態表現が形成されるかを個別に検証する必要がある。 |
| 内部状態を出力へ使うか | 内部表現への介入によって予測が変化する例があり、単なる読み出し可能性より強い因果的証拠がある。 | どの内部表現がどの処理段階で利用されているかを、より多様な課題で確認する必要がある。 |
| 抽象構造を形成するか | 盤面、空間、時間などについて、表面的な記号列とは異なる構造的表現が報告されている。 | 対象ごとに表現の完全性、一貫性、因果利用を確認する必要がある。 |
| 状態を保持できるか | 保持は状態形成とは別能力であり、推論途中に内部表現が劣化して失敗する例も報告されている。 | モデル、課題、推論長を変えて同じ失敗構造が再現するかを検証する必要がある。 |
| 状態を更新できるか | 制御された課題では、内部にアルゴリズム的な更新が形成される例がある。 | 自然言語 LLM が実際にどの更新則を用いているかは、課題ごとに解析する必要がある。 |
| 人間と同じ仕組みで思考するか | 現在の研究からは言えない。比較できるのは一部の機能と観測結果である。 | 内部実装、時間構造、記憶、身体入力などを含むより詳細な比較が必要になる。 |
| 意識があるか | 内部表現、推論、計画に関する研究だけでは判定できない。 | 採用する意識理論と、その理論が要求する条件を AI が満たすかという別の検証が必要になる。 |
| クオリアがあるか | 第三人称的に観測できる内部計算から、第一人称的な質の存在を直接導くことはできない。 | 物理・計算状態と主観的経験を結ぶ追加の理論が必要になる。 |
10.6 「AI は思考しているか」は、一問ではなく複数の問いだった
最初に「AI は思考しているか」とだけ問うと、答えは定義に依存する。思考を人間と同じ主観経験を伴う活動と定義すれば、現在の内部表現研究から肯定することはできない。思考を、内部状態を形成・保持し、その状態を更新し、未観測の候補を生成して選択へ利用する過程と操作的に定義するなら、その一部について AI に対応する機能が確認されている。
ここで大事なのは、どちらの定義が「本当の思考」かを先に決着させることではない。どの定義を使ったかによって必要な証拠が変わることを明示することである。内部表現を思考の条件に含めるなら、内部表現を測ればよい。保持を条件に含めるなら、長い処理中に状態が維持されるかを調べる。意識を条件に含めるなら、内部表現研究とは別に意識の判定基準が必要になる。
この形に変えると、「AI は思考するか」という問いは肯定／否定の二択から、実験結果を積み上げられる問いへ変わる。状態形成についてどこまで分かったか。保持について何が失敗するか。更新則はどこまで特定できるか。候補生成と評価を分離できるか。意識理論の条件とどこまで対応するか。それぞれについて証拠の強さを更新できる。
10.7 最初の研究が変えたのは、AI の定義ではなく、問いの立て方である
Othello-GPT の研究だけから、「AI は思考している」という一般命題を確定することはできない。意識やクオリアについても何も証明しない。それでも、この研究が示したものは小さくない。
外から与えられた課題が「次の記号を予測すること」であっても、その課題を解く途中で、観測列の背後にある状態へ対応する内部表現が形成され、その状態が次の判断へ使われる場合がある。学習目標の名前だけを見て内部過程を決めることはできないという、具体的な実験結果が得られた。
そこから、人間側についても同じ問いを返す必要が生じた。人間は何をしているから「思考している」と呼ばれるのか。調べてみると、保持、抽象化、再構成、計画、評価といった複数の機能が別々に研究されている。さらに、それらの機能が成立することと、意識やクオリアが存在することも同じではない。
結局、「AI は次の単語を当てているだけ」という説明が見落とすのは、AI に心があるという結論ではない。最終的な予測課題と、その予測を成立させる内部計算を同じものとして扱うこと自体が粗いという点である。
そして、「AI は思考している」という反対側の説明が見落としやすいのは、内部計算の存在と、人間と同じ思考、意識、クオリアを同じ階段上に置いてしまうことである。内部表現が確認されたなら、内部表現について一段進んだと言える。保持が確認されたなら保持について進んだと言える。意識については、そこで新しい証拠が必要になる。
AI が思考しているかという問いに、最初から一語で答える必要はない。何を思考と呼ぶのかを先に定め、その定義を構成する機能を分解し、各機能について一次研究がどこまで証拠を与えているかを確認する。Othello-GPT から始まった問いをここまで分解すると、少なくとも現在言える範囲は明確になる。AI には、単純な出力形式だけでは説明し切れない内部状態と計算が存在し得る。しかし、それが人間と同じ思考であるか、さらに意識やクオリアまで伴うかは、それぞれ別の証拠を要求する別の問いである。
参考文献
- Kenneth Li, Aspen K. Hopkins, David Bau, Fernanda Viégas, Hanspeter Pfister, Martin Wattenberg, “Emergent World Representations: Exploring a Sequence Model Trained on a Synthetic Task,” ICLR 2023. https://openreview.net/forum?id=DeG07_TcZvT
- Neel Nanda, Andrew Lee, Martin Wattenberg, “Emergent Linear Representations in World Models of Self-Supervised Sequence Models,” BlackboxNLP 2023. https://aclanthology.org/2023.blackboxnlp-1.2/
- Yifei Yuan, Anders Søgaard, “Revisiting the Othello World Model Hypothesis,” 2025. https://arxiv.org/abs/2503.04421
- Jonathan Daume et al., “Control of working memory by phase–amplitude coupling of human hippocampal neurons,” Nature 629, 393–401 (2024). https://www.nature.com/articles/s41586-024-07309-z
- Hristos S. Courellis et al., “Abstract representations emerge in human hippocampal neurons during inference,” Nature 632, 841–849 (2024). https://www.nature.com/articles/s41586-024-07799-x
- Jordan Crivelli-Decker et al., “Goal-oriented representations in the human hippocampus during planning and navigation,” Nature Communications 14, 2946 (2023). https://www.nature.com/articles/s41467-023-35967-6
- Qi Huang et al., “Replay-triggered brain-wide activation in humans,” Nature Communications 15, 7185 (2024). https://www.nature.com/articles/s41467-024-51582-5
- Demis Hassabis et al., “Patients with hippocampal amnesia cannot imagine new experiences,” PNAS 104, 1726–1731 (2007). https://www.pnas.org/doi/10.1073/pnas.0610561104
- Haowen Su et al., “Neural dynamics of spontaneous memory recall and future thinking in the continuous flow of thoughts,” Nature Communications 16, 6433 (2025). https://www.nature.com/articles/s41467-025-61807-w
- Rosemary A. Varley et al., “Agrammatic but numerate,” PNAS 102, 3519–3524 (2005). https://www.pnas.org/doi/10.1073/pnas.0407470102
- Hope Kean et al., “Evidence from formal logical reasoning reveals that the language of thought is not natural language,” PNAS 123 (2026). https://www.pnas.org/doi/10.1073/pnas.2520095123
- id774, 意識の定義を数理モデルで記述する（2026-04-02）. https://blog.id774.net/entry/2026/04/02/4269/
- id774, 構造振動モデルを数理モデルとして定義する（2026-04-05）. https://blog.id774.net/entry/2026/04/05/4318/
- Wes Gurnee, Max Tegmark, “Language Models Represent Space and Time,” ICLR 2024. https://openreview.net/forum?id=jE8xbmvFin
- Johannes von Oswald et al., “Transformers Learn In-Context by Gradient Descent,” ICML 2023, PMLR 202, 35151–35174. https://proceedings.mlr.press/v202/von-oswald23a.html
- Lingfeng Shen, Aayush Mishra, Daniel Khashabi, “Position: Do pretrained Transformers Learn In-Context by Gradient Descent?,” ICML 2024, PMLR 235, 44712–44740. https://proceedings.mlr.press/v235/shen24d.html
- Devin Pereira, Willem Zuidema, “Transformers Struggle to Use Their Emergent World Models: Revisiting the Tower of Hanoi, and the Illusion of Thinking,” 2026. https://arxiv.org/abs/2608.07077
- Nicholas Carlini et al., “Extracting Training Data from Large Language Models,” 30th USENIX Security Symposium (2021). https://www.usenix.org/conference/usenixsecurity21/presentation/carlini-extracting
- id774, 理解と説明のあいだにあるもの（2026-02-05）. https://blog.id774.net/entry/2026/02/05/3442/
- Stanislas Dehaene, Michel Kerszberg, Jean-Pierre Changeux, “A neuronal model of a global workspace in effortful cognitive tasks,” PNAS 95, 14529–14534 (1998). https://www.pnas.org/doi/10.1073/pnas.95.24.14529
- Ramakrishna Chakravarthi, Rufin VanRullen, “Conscious updating is a rhythmic process,” PNAS 109, 10599–10604 (2012). https://www.pnas.org/doi/10.1073/pnas.1121622109
- Larissa Albantakis et al., “Integrated information theory (IIT) 4.0: Formulating the properties of phenomenal existence in physical terms,” PLOS Computational Biology 19, e1011465 (2023). https://journals.plos.org/ploscompbiol/article?id=10.1371/journal.pcbi.1011465
- Cogitate Consortium et al., “Adversarial testing of global neuronal workspace and integrated information theories of consciousness,” Nature 642, 133–142 (2025). https://www.nature.com/articles/s41586-025-08888-1
- David J. Chalmers, “Facing Up to the Problem of Consciousness,” Journal of Consciousness Studies 2(3), 200–219 (1995). https://consc.net/papers/facing.html
- id774, クオリアはなぜ説明できないのか（2026-04-03）. https://blog.id774.net/entry/2026/04/03/4275/
- id774, AI は感情を持つのか（2026-04-13）. https://blog.id774.net/entry/2026/04/13/4418/