話がつながると、思い込みに気づきにくくなる

by

人は、観測できた事実だけを使って判断しているわけではない。明日の天気を予測するときには、現在の気温や雲の状態から、その後の変化を推定する。設備の故障を調べるときには、異音や温度上昇から、内部で起きている異常を推定する。相手の発言を解釈するときには、言葉として示された内容から、その背景にある意図や判断理由を推定する。いずれの場合も、直接観測できた情報と最終的な判断の間には、観測されていない部分を補う過程が入っている。

この補完は、推論を成立させるために必要である。必要な情報がすべてそろうまで何も判断できないのであれば、故障診断も将来予測も意思決定もできない。現実には、限られた時間、注意、記憶、測定結果の中から、利用できる情報を選び、過去の経験や既知の規則を使って先へ進む必要がある。認知バイアスについても、単なる判断上の欠陥としてではなく、限られた情報と認知資源の中で判断を成立させる仕組みとの関係から見る必要があることは既稿で整理した[1]。

ただし、観測されたものと、観測を説明するために持ち込んだものは同じ情報ではない。温度が上昇していることを測定できても、その原因が冷却系の故障なのか、負荷の増大なのか、センサーの異常なのかは測定値だけでは決まらない。原因を説明するには、装置の構造、過去の故障例、他の測定値との関係といった追加の知識が必要になる。記述から説明へ進むとは、観測そのものには含まれていない関係や原因を置くことであり、その時点で推論は観測を越えている[2]。

観測を越えること自体が危険なのではない。難しさは、その越えた距離が見えなくなることにある。最初は「この原因かもしれない」という仮説だったものでも、別の観測と結び付き、複数の現象を一度に説明できるようになると、一つの筋の通ったモデルとして扱われ始める。さらに、そのモデルを使って新しい情報を解釈すると、モデルに合う情報が追加の根拠として蓄積される。こうして、観測から作った仮説が、観測そのものを読むための前提へ変わる。

この変化には少なくとも二つの段階がある。最初の段階では、不足している情報を、経験、類似例、カテゴリー、既知の因果関係から補う。次の段階では、補った内容同士が結び付き、一つの説明モデルを形成する。前者では個別の推測が誤っている可能性がある。後者ではさらに、その推測から作ったモデルが別の情報の解釈まで左右するため、最初の誤りが自己強化される可能性が生じる。

説明として自然であることと、その説明が十分な証拠によって支えられていることは別である。一つの原因で複数の現象を説明できれば、理解は容易になる。しかし、複数の現象が本当に同じ原因から生じているとは限らない。説明の一貫性が高くなるほど、どこまでが直接確認された事実で、どこからが推論によって補われた内容なのかを、意識して分ける必要がある。

人間と大規模言語モデル（LLM）では、推論を生み出す内部機構は異なる。それでも、不完全な情報から一つの判断や説明を求められれば、既知の関連を使って不足部分を補うという課題構造は共通しうる。その結果として、観測されていない属性の補完、一貫した説明への統合、その説明に沿った後続情報の解釈という、似た形の失敗が表面に現れることがある。本稿では、この過程を、補完が必要になる理由、類型が補完に使われる仕組み、説明が自己強化する条件の順に追い、最後に観測、推論、仮説、不明をどのように分けて保持すべきかを考える。

1. 観測だけでは推論にならない

1.1 現実の判断には情報の不足が含まれている

現実の判断では、必要な情報がすべてそろっていることの方が少ない。Herbert A. Simon は、人間の意思決定を、あらゆる選択肢と結果を把握して最適解を計算する理想的な合理性ではなく、利用できる情報、時間、計算能力に制約された状況の中で捉えた[3]。この制約がある以上、判断する側は、すべてを調べ終えてから決めるのではなく、限られた情報から候補を絞り、十分と判断した地点で行動へ進まなければならない。

この考え方では、情報の不足は例外的な事故ではなく、判断の通常条件である。故障診断なら、装置を完全に分解する前に停止の要否を判断しなければならない。医療なら、すべての検査を無制限に行うことはできず、症状や検査結果から次に必要な検査を選ぶ。採用や融資の判断でも、対象について知り得る情報は限定されている。判断とは、完全な状態を待つことではなく、不完全な状態から次に確認すべき情報や取るべき行動を決める作業でもある。

Gerd Gigerenzer と Daniel G. Goldstein は、限られた情報だけを使う簡便な判断規則が、条件によっては複雑な計算と同等以上に有効に働くことを示した[4]。情報を多く使えば常に判断が良くなるわけではない。利用できる時間が短く、環境に一定の規則性があり、有効な手掛かりが分かっている場合には、少数の情報へ絞ること自体が合理的になる。

たとえば、設備から異音が聞こえたとする。直接確認できたのは「異音が発生している」という事実である。しかし保守担当者が必要としているのは、その記録だけではない。運転を続ければ損傷が広がるのか、直ちに停止すべきなのか、どこを優先して点検すべきなのかを判断する必要がある。そのためには、音の発生位置、回転数との関係、温度、振動、直前の整備履歴、同型機での故障例などを使い、観測されていない内部状態を推定することになる。

ここでは二つの処理が連続している。第一に、現在得られている情報から、考えられる原因候補を絞る。第二に、候補ごとに予想される追加の兆候を考え、どの測定や点検を行えば候補を区別できるかを決める。推論は単に「原因を当てる」ために使われているのではなく、次に何を観測すべきかを決めるためにも使われている。

Amos Tversky と Daniel Kahneman が整理した不確実性下の判断研究では、人はすべての確率を明示的に計算する代わりに、代表性や利用可能性などの簡便な手掛かりを使うことが示された[5]。過去に似た故障を経験していれば、その故障が最初の候補に上がりやすい。最近大きな事故を見聞きしていれば、その種類の危険を実際以上に重く見ることもある。手掛かりは探索範囲を狭めるために役立つ一方、どの情報を候補として想起しやすいかによって判断を偏らせる。

推論上の失敗は、簡便な規則を使った時点ではまだ確定しない。最初の候補が誤っていても、追加の観測で棄却できればよい。危険になるのは、候補を出すために使った手掛かりと、候補が正しいことを確認する証拠を区別しなくなった場合である。「以前の故障と似ているから候補に入れた」という理由は、「今回も同じ故障であることが確認された」という証拠にはならない。候補生成と仮説検証を同じ材料で済ませると、推論は自分が置いた前提を自分で確認する形になる。

1.2 補完と事実は同じ地位ではない

推論に補完が必要であることと、補完した内容を事実として扱ってよいことは別である。異音の例なら、「特定の位置から周期的な異音が発生している」は観測である。「回転部分に異常がある可能性が高い」は観測と機械構造から導いた推論であり、「軸受が摩耗している」はさらに原因を限定した仮説になる。同じ文章の中に並べると似た強さの情報に見えるが、それぞれを支えている根拠の量は異なる。

保守記録に「この機種では同じ周波数帯の異音が軸受摩耗で発生する例が多い」とあれば、軸受摩耗という仮説は強くなる。しかし、その記録が示しているのは過去の発生傾向であり、現在の装置の内部状態を直接観測した結果ではない。振動測定、温度、潤滑状態、分解点検など別の情報が加われば候補間の差は縮まるが、確認していない段階を飛ばして確定扱いすると、後続の観測まで軸受摩耗を前提に選ぶことになる。

情報を段階に分ける目的は、文章を慎重に見せることではない。推論のどこに誤りが入り得るかを特定するためである。観測が誤っているなら測定方法を確認する。観測は正しいが推論が誤っているなら、使った因果関係や類似性を見直す。複数の推論は成立するが一つに絞れないなら、仮説を並べて追加情報を集める。現在の情報では区別不能なら、不明という状態を残す。この切り分けがなければ、誤りが見つかったときに、測定、知識、推論規則、仮説のどこを修正すべきか分からない。

情報の段階 成立条件 次に確認すること 境界を失った場合の帰結
観測 測定、記録、発言、行動などを直接確認している。 測定方法、記録条件、観測範囲が妥当かを確認する。 解釈を含む表現まで、確認済みの事実として扱いやすくなる。
推論 観測と既知の規則、経験、因果関係から一定の方向を導いている。 同じ観測から別の推論が成立しないか、使った規則が適用可能かを確認する。 候補を作るために使った類似性が、その候補を証明する根拠として再利用される。
仮説 複数の説明候補の中から、現在の証拠に最も適合する候補を置いている。 候補を区別できる追加観測と、仮説を棄却する条件を確認する。 有力な候補が唯一の原因として固定され、後続情報がその前提で解釈される。
不明 現在の情報では複数の候補を区別する根拠が不足している。 何が不足しており、どの情報が得られれば判断可能になるかを確認する。 回答を完成させるために不足部分を補い、根拠のない確定判断へ進みやすくなる。

この区別を保つと、推論は観測を越えても、その越えた地点を後からたどれる。軸受摩耗という仮説が外れた場合でも、「異音という観測が誤っていた」のか、「異音と軸受摩耗を結び付ける規則の適用を誤った」のか、「他の原因候補を十分に検討しなかった」のかを分けられる。推論の修正可能性は、最初から正しい仮説を選べることではなく、誤ったときにどの段階まで戻ればよいかが残っていることによって支えられる。

この管理が難しくなるのは、補完に使う知識が「この音ならこの部品」という局所的な規則ではなく、複数の属性をまとめた類型として働く場合である。類型は少ない情報から多くを予測できるため効率がよい。一方で、観測されていない属性までまとめて導入しやすい。次の段階では、この類型による補完が、単独の推測から一つの説明モデルへ拡大していく。

2. 類型は空白を埋めるが、余分な属性も連れてくる

2.1 似ているものから、見えていないものを推定する

観測された情報だけでは対象を十分に説明できないとき、既に知っている対象との類似は有力な手掛かりになる。未知の機械から一定の周期で振動が発生していれば、過去に経験した故障との類似から原因候補を挙げられる。初めて見る取引でも、既知の詐欺事例と共通する特徴があれば、追加確認すべき点を早い段階で絞り込める。未知の対象を理解するとき、過去の経験を毎回ばらばらの事例として検索するのではなく、「この種類のものには、このような特徴がある」というまとまりを使う方が効率的である。

Daniel Kahneman と Amos Tversky が扱った代表性の判断では、ある対象が既知の集団や過程の特徴にどれほど似ているかが、主観的な確率判断を強く左右した[6]。類似している対象を候補に挙げること自体には合理的な役割がある。過去と現在に一定の規則性があるなら、似た特徴を持つ事例は、まったく似ていない事例より有力な比較対象になり得るからである。

しかし、「候補を探すための類似性」と「その候補が正しいことを示す証拠」は同じではない。ある症状が典型的な故障例に似ているから、その故障を最初に疑うことはできる。そこから、典型例に含まれていた別の症状まで現在の対象にも存在すると仮定すると、推論は一段進んでいる。最初に観測したのは共通する一部の特徴だけであり、残りの属性は類型から持ち込まれたものだからである。

類型は、一つの特徴だけを保存しているわけではない。「古い機械」という分類には、部品供給が難しい、効率が低い、保守情報が少ないといった属性が結び付いているかもしれない。「新興企業」には、成長が速い、制度が未整備である、財務が不安定であるといった予想が結び付くことがある。「典型的な故障」や「よくある詐欺」についても同様で、カテゴリーを選んだ瞬間、そのカテゴリーと過去に結び付いていた複数の属性が推論候補として同時に現れる。

この仕組みによって、少ない観測から多くの予測を作れる。しかし、予測できる属性が増えるほど、直接観測した情報と類型から補った情報を混同しやすくなる。「この特徴があるので、この類型を候補にした」という推論から、「この類型なのだから、ほかの特徴もあるはずだ」という推論へ進むと、最初の分類が後続の属性推定を支配する。

人物評価では、この波及が特に分かりやすい。Edward L. Thorndike は、一人の人物について知能、技能、信頼性など、本来は別々に評価できる複数の特性が強く相関して評定される現象を報告した[7]。後にハロー効果と呼ばれる問題の原型である。一つの目立つ特徴から形成された総合的な印象が、十分に観察されていない別の特性の評価まで同じ方向へ動かす。

ここでも二段階を分ける必要がある。第一に、観測された特徴から「このような種類の対象かもしれない」と分類する。第二に、その分類に結び付いた別の属性を、現在の対象にも帰属させる。最初の分類が妥当でも、第二段階の属性まで自動的に成立するとは限らない。類型を使うことで候補生成は速くなるが、その効率は、まだ観測していない情報まで同時に持ち込むことで得られている。

2.2 状況の説明が人格の説明へ変わる

類型による補完は、行動の原因を推定するときにも働く。誰かがある提案を拒否したとき、直接観測できるのは「その場面で拒否した」という行動である。そこから理由を考えるには、本人の性格や価値観だけでなく、時間、権限、契約、組織上の役割、直前の出来事など、行動が起きた状況も候補に入る。

Edward E. Jones と Victor A. Harris の実験では、文章を書いた人の立場が外部から指定されていたことを知らされていても、読者は文章の内容から書き手本人の態度を推定する傾向を示した[8]。行動を生み出した状況上の制約が明示されていても、その行動を本人の内的な態度の表れとして読む方向へ推論が動いたことになる。

Lee Ross は、この種の帰属過程において、状況の影響よりも人物側の性質を重く評価する傾向を、日常的な因果推論の歪みとして整理した[9]。人物の性質を原因として置くと、説明は簡潔になる。「慎重な人だから拒否した」「攻撃的な人だから反論した」とすれば、一つの恒常的な性質で行動を説明できる。これに対して状況から説明する場合には、その時点の権限、利害、時間的制約、相手との関係など、複数の条件を確認しなければならない。

説明の短さには代償がある。ある対応を一度拒否したという観測から「慎重な性格である」と推定すると、その性質は観測された一回の行動を説明するだけでなく、将来の別の行動まで予測する材料になる。しかし、実際の理由が予算不足や権限不足だったなら、別の条件では同じ人物がまったく異なる行動を取る可能性がある。一時的な状況から生じた行動を恒常的な属性へ変換すると、その誤差は一回の説明にとどまらず、その後の予測へ持ち越される。

観測 状況による説明 属性による説明 属性へ固定した場合の影響
提案を拒否した 権限、予算、期限、契約条件などが判断を制約した可能性がある。 慎重、保守的、非協力的などの性質を推定する。 別の場面でも同じ性質に沿って行動すると予測しやすくなる。
強く反論した 誤解の訂正、役割上の責任、損失回避などが必要だった可能性がある。 攻撃的、頑固、自信過剰などの性質を推定する。 その後の発言まで対立的な態度の表れとして読みやすくなる。
細部まで確認した 失敗時の影響が大きい、監査要件があるなどの条件が考えられる。 完璧主義、神経質、こだわりが強いなどの性質を推定する。 別の詳細な行動も同じ人格特性の証拠として蓄積されやすくなる。

状況から人格への変換が一度起きると、推論はさらに進みやすくなる。「この場面で慎重だった」という局所的な記述より、「慎重な人物である」という属性の方が多くの場面へ適用できるからである。説明範囲が広がる一方で、元の観測からの距離も大きくなる。局所的な行動を恒常的な属性へ変換した時点で、説明は現在の出来事だけでなく、まだ観測していない過去や未来まで含むモデルへ変わっている。

2.3 類型は情報処理を節約する

このような類型が繰り返し使われる理由は、判断者が単に注意不足だからではない。すべての対象について、利用できる情報を一件ずつ検査し、考えられる原因をゼロから列挙し、各候補の確率を計算するには大きな認知資源が必要になる。カテゴリーを使えば、一部の特徴から関連する知識をまとめて呼び出せるため、探索範囲を大幅に狭められる。

Susan T. Fiske と Steven L. Neuberg は、人物印象の形成を、カテゴリーに基づく処理と個別情報に基づく処理の二者択一としてではなく、その間を移動する連続的な過程として整理した[10]。利用できる情報、注意、動機などによって、既存カテゴリーを使った判断で止まる場合もあれば、対象固有の情報を詳しく検討して初期分類を修正する場合もある。

この違いは、類型そのものが常に誤りなのではなく、類型による初期判断をどこで更新するかが結果を左右することを意味する。緊急時に最初の候補を素早く出すには類型が役立つ。しかし追加情報が得られた後も初期分類を維持し、その分類に合う属性だけを読み込むなら、情報処理を節約する仕組みが修正を妨げる仕組みに変わる。

C. Neil Macrae らの実験では、ステレオタイプを利用できる条件で、同時に行っていた別の課題に使える認知資源が増える結果が得られた[11]。ステレオタイプを「情報処理を節約する装置」と捉えた研究である。多数の個別情報を保持し続ける代わりに、「このカテゴリーに属する対象」というまとまりへ圧縮すれば、別の処理へ注意を回せる。

圧縮によって失われる情報もある。個々の対象に固有の例外、状況依存性、カテゴリー内部のばらつきは、まとめて扱うほど見えにくくなる。保存されるのは「この種類なら通常こうである」という代表的な構造であり、「この対象が実際にそうであるか」という個別確認ではない。類型は検索と予測を速くする代わりに、個体差を捨てることで成立している。

Ziva Kunda と Paul Thagard はさらに、ステレオタイプ、個別の特性、観察された行動が独立に評価されるのではなく、互いに制約しながら一つの人物印象を形成するモデルを提示した[12]。これは、類型が不足した属性を一方向に補うだけではないことを示している。先に持ったカテゴリーが行動の解釈を変え、解釈された行動が今度はカテゴリーの妥当性を支えるという相互作用が生じる。

たとえば、ある対象を最初に「慎重な人物」と分類したとする。その後に細かな確認作業を観測すれば、その行動は慎重さの証拠として理解しやすい。一方、最初に「融通が利かない人物」と分類していれば、同じ確認作業を過度なこだわりの証拠として読むこともできる。観測された行動が同じでも、先に形成された類型によって意味付けが変わる。

この段階では、推論は単純な属性補完から一歩進んでいる。最初は、観測された一部の特徴から不足した属性を予測するために類型を使っていた。やがて、類型そのものが個々の情報の意味を決め、類型に沿って解釈された情報が再び類型を支えるようになる。複数の断片が同じ方向へ読まれるため、それらを一つの原因から生じたものとして説明しやすくなる。

この相互作用によって、ばらばらだった推測は単なる属性の一覧ではなく、一つのまとまった説明へ変わる。ある特徴が別の特徴を説明し、複数の行動が共通の性質から生じたものとして整理されると、対象について「筋が通った」モデルが成立する。次の段階で問うべきなのは、その一貫性がどこから生じたのかである。観測された事実同士が実際に同じ原因で結ばれているのか、それとも類型を置いたことで、独立していた情報が一つの物語へ再配置されたのかを分ける必要がある。

3. 断片は、一つのもっともらしい説明へまとめられる

3.1 人は証拠を並べるだけでなく、因果的につなぐ

類型によって不足した属性が補われても、その段階では情報はまだ断片の集合である。ある対象について「この特徴がある」「この行動をした」「この条件に置かれていた」という情報が複数あっても、それぞれが独立していれば、対象全体を理解したという感覚は得にくい。そこで人は、どの出来事が先にあり、何が原因となり、どの条件を経て、どの結果が生じたのかという関係を作る。断片を因果関係の中へ配置することで、個々の情報は一つのまとまりとして理解できるようになる。

たとえば、あるシステムで処理時間の増大、メモリ使用量の増加、エラー発生率の上昇という三つの現象が観測されたとする。三つを独立した障害として扱うこともできるが、「入力データの増大によってメモリが逼迫し、その結果として処理が遅延し、最終的に一部の処理が失敗した」と結べば、一つの因果モデルとして理解できる。このモデルが正しければ、単に三つの現象を列挙するより有用である。原因候補を絞り、追加で確認すべき指標を決め、対策後に何が改善するはずかまで予測できるからである。

因果的に結ぶことには、情報を圧縮する働きもある。三つの現象を三つの独立した問題として保持する代わりに、一つの原因とその波及としてまとめれば、覚えるべき関係は少なくなる。同時に、「なぜその結果になったのか」を説明できるため、新しい観測が加わったときにも既存のモデルへ位置付けやすくなる。類型が属性をまとめて呼び出すことで情報処理を節約したのと同じように、因果モデルは複数の出来事を一つの構造へまとめることで理解と予測を容易にする。

Nancy Pennington と Reid Hastie の陪審判断研究では、裁判で提示される証拠を個別に評価するだけでなく、参加者がそれらを因果的な物語へ構成して判断していることが示された[13]。同じ事件に関する証拠でも、出来事の時間的・因果的な流れとして構成しやすい順序で提示された場合、その構成と整合する評決が選ばれやすくなった。証拠の個数だけではなく、証拠同士がどのような関係として理解されたかが判断を左右していた。

ここでいう物語は、文学的な演出や感情的な脚色ではない。複数の観測を、時間、原因、主体、目的、結果といった関係で接続した内部モデルである。原因を推定すること自体が、観測された断片の間に直接は記録されていない関係を置く作業である。「A の後に B が起きた」という記録から「A が B を引き起こした」と進むには、その二つを結ぶ機構や条件を追加しなければならない。

この追加が妥当であれば、モデルは新しい予測を生む。先ほどのシステム障害なら、メモリ逼迫が原因であるという仮説から、「入力量を減らせば処理時間とエラー率の双方が改善するはずだ」という予測が得られる。その予測を検証できれば、因果モデルは単なる説明から検証可能な仮説へ進む。反対に、入力量を減らしても何も変わらなければ、モデルのどこかを修正する必要がある。

因果的な説明が有効なのは、このように観測済みの事実をまとめるだけでなく、まだ観測していない結果を予測し、反証条件を作れる場合である。しかし、断片を一つにつなげられることと、そのつなぎ方が正しいことは別である。複数の情報が一つの筋道に収まると、説明としての完成度そのものが、証拠の強さとして感じられやすくなる。

3.2 説明の良さと証拠の強さは別である

複数の現象を少数の原因で説明できるモデルには利点がある。原因を一つずつ独立に置くより、共通原因を仮定した方が、必要な前提が少なくなり、観測間の関係も明確になる。科学や工学でも、別々に見えた現象を一つの機構で説明できることは、モデルを評価する重要な理由になる。

Tania Lombrozo は、因果説明の評価において、複数の独立した原因を必要とする説明より、少数の原因で複数の結果をまとめられる説明が選好され、その確率も高く評価される傾向を実験で示した[14]。単純さには、仮定を増やしすぎずに多くを説明できるという実用的な利点がある。しかし、「少ない原因で説明できること」と「その原因が十分な証拠によって支持されていること」は別の評価軸である。

たとえば、A、B、C という三つの現象が観測されたとする。それぞれに別の原因 X、Y、Z を置くより、共通原因 D が A、B、C を生じさせたと考える方が構造は単純になる。D が三つすべてを生じさせる既知の機構を持ち、D の存在を独立した測定で確認できるなら、共通原因モデルには強い根拠がある。

事情が変わるのは、D が A を説明するために推測された仮説にすぎない場合である。A から D を推測し、次に B と C も D で説明できると考え、その B と C を「D が存在する証拠」として扱うと、推論が循環する。最初は観測を説明するために導入した D が、途中から観測の意味を決める前提になり、その前提で解釈した観測が D を裏付ける材料として戻ってくる。

段階 妥当な推論 循環が生じる推論
仮説生成 A を説明できる候補として D を置く。 A から D を推測した時点で、D を確定した原因として扱う。
他の観測との比較 D が正しければ B と C も生じるかを予測する。 B と C を最初から D の表れとして解釈する。
検証 D とは独立した測定や介入によって候補を確認する。 D を前提に解釈した B と C を、D の存在証明として再利用する。
修正 予測に反する結果が得られれば D を修正または棄却する。 反対の結果にも追加説明を与え、D を維持する。

共通原因による説明と循環的な説明の違いは、説明が一貫しているかどうかでは判別できない。どちらも文章としては矛盾なく組み立てられる。違いは、説明モデルとは独立した情報によって検証できるか、モデルから事前に導いた予測が実際の観測と一致するか、反証する条件が残されているかにある。

説明が多くの情報を結び付けるほど、この区別は見えにくくなる。一つの原因によって A、B、C、D、E まで説明できれば、説明力が高いように感じられる。しかし、その五つすべてが同じ仮説を前提として解釈された情報なら、証拠が五つに増えたわけではない。単一の仮説から五つの意味付けが派生しただけかもしれない。

ここで、情報量と説明量を分ける必要が生じる。説明へ組み込まれた事実が増えても、独立した証拠が増えたとは限らない。一つの仮説が多くの観測を整理できることはモデルの有用性を示すが、その仮説自体の正しさは、別の検証によって支えなければならない。

3.3 説明できる感覚は、説明を持っていることと一致しない

一貫したモデルができると、対象を理解したという感覚も強くなる。個別の事実が因果関係の中へ収まり、次に何が起きるかもある程度予想できれば、「仕組みが分かった」と感じるのは自然である。しかし、対象について馴染みがあること、結果を予測できること、因果機構を詳細に説明できることは同じ能力ではない。

Leonid Rozenblit と Frank Keil は、自転車、ジッパー、トイレなど身近な装置の仕組みについて、参加者がどの程度理解していると思うかを評価させた。その後、実際に仕組みを詳しく説明させると、説明前より自己評価が下がる傾向が確認された[15]。日常的に使い、何をすれば動くか知っている対象についても、内部で何が起きているかを説明しようとすると知識の空白が露出した。

これは、利用方法を知っていることと因果構造を知っていることの違いを示す。スイッチを押せば装置が動くことを何度経験していても、スイッチから駆動部まで信号がどのように伝わるかを説明できるとは限らない。入力と結果の対応を多く知っているほど対象への馴染みは増えるが、その間を埋める機構についての知識まで同じ割合で増えるわけではない。

説明モデルについても同じことが起こる。複数の現象を「D という原因ですべて説明できる」と整理できれば、対象全体が理解できたように感じる。しかし、D がどの機構を通じて A、B、C を生じさせるのかを一段ずつ説明しようとすると、途中に未確認の関係が残っていることがある。因果の矢印を一つ書くことと、その矢印を支える機構を知っていることは別である。

この違いは、説明を細分化すると見えやすい。「A だから B が起きた」という一文を、「A のどの性質が」「どの条件のもとで」「何を変化させ」「その変化がなぜ B を生じさせるのか」と分解すると、説明されていたと思っていた部分に追加の仮説が必要になることがある。説明の粒度を一段細かくするたびに、観測された関係と推定した関係の境界が再び現れる。

理解の状態 できること 不足し得るもの
馴染みがある 対象を見分け、典型的な使い方や挙動を知っている。 内部の因果機構を説明できるとは限らない。
予測できる 一定の入力や条件から結果を予想できる。 なぜその結果になるのかを説明できるとは限らない。
説明できる 原因から結果までの中間過程を関係付けられる。 各関係が実証されているかは別に確認する必要がある。
検証できる 説明から予測や反証条件を導き、独立した観測で確かめられる。 現在の証拠が不足する部分は仮説として残る。

説明の流暢さ自体が誤りなのではない。因果関係を整理し、複数の観測を一つのモデルへまとめる能力がなければ、理解も予測もできない。精査すべきなのは、説明の完成度と証拠の完成度が一致しているかである。文章として欠落なくつながっていても、その接続部分の一部が類推や仮説によって埋められている可能性は残る。

さらに、一度完成した説明は、その説明の内部だけで完結しない。新しい観測が得られたとき、その情報をどの原因と結び付け、何を重要と評価するかを決めるためにも使われる。ここで推論の方向が変わる。最初は観測から説明モデルを作っていたが、次の段階では、作った説明モデルが観測の意味を決め始める。

4. 作ったモデルが、次の観測の意味を決め始める

4.1 推論の向きは途中で反転する

推論の出発点では、観測された情報からモデルを作る。複数の測定値から故障原因を推定し、複数の出来事から因果関係を考え、複数の発言から立場や判断基準を推測する。この段階では、観測が先にあり、それを説明するためにモデルが後から作られる。モデルの役割は、ばらばらの観測を整理し、まだ観測していない結果を予測できる形へまとめることである。

たとえば、あるサーバーで応答時間の増大、メモリ使用量の上昇、処理失敗の増加が同時に観測され、「メモリ不足が一連の障害を生んでいる」というモデルを置いたとする。この時点では、三つの観測から一つの原因候補を作っただけである。次に確認すべきなのは、空きメモリの推移、スワップの発生、プロセスごとの使用量など、そのモデルが正しければ現れるはずの追加情報になる。

ここで推論の向きが変わる。最初は観測からモデルを作っていたのに、モデルができた後は、そのモデルを使って「どの情報を見るか」「何を異常とみなすか」「新しい測定値を何の兆候として読むか」を決めるようになる。メモリ不足を疑っていれば、同じログの中でもメモリ確保失敗やスワップに関する記録へ注意が向きやすい。別の原因を疑っていれば、同じ時刻のネットワーク遅延や外部 API の応答時間を優先して調べるかもしれない。

既稿では、観測された差異だけから意味が決まるのではなく、その差異をどの構造の中で読み取るかによって意味が成立することを、知覚、情報、科学的観測など複数の領域から整理した[16]。推論でも事情は同じである。数値、発言、出来事そのものが、原因や重要度まで単独で持っているわけではない。既に採用しているモデルが、それらを「原因の兆候」「偶然の変動」「例外」「反証」のどれとして読むかに影響する。

この働き自体は異常ではない。モデルがなければ、集めるべき情報を絞れず、すべての観測を同じ重さで扱うことになる。故障診断で仮説に応じて追加測定を選ぶことも、科学研究で理論から予測を導いて実験条件を決めることも、モデルを使って次の観測を設計する行為である。モデルは過去を説明するだけでなく、次に何を見るべきかを決めるために必要になる。

違いは、モデルを「検証するための仮説」として使うか、「既に正しい前提」として使うかにある。前者なら、モデルに合う情報だけでなく、モデルが誤っていれば現れるはずの情報も探す。後者では、モデルに合う情報が見つかるたびに確信が増え、合わない情報は例外として処理されやすくなる。同じモデルを使って観測を選び、その観測を使ってモデルを評価するため、検証の構造そのものに循環が入り込む。

4.2 既存のモデルは証拠の評価まで変える

モデルの影響は、どの情報へ注意を向けるかだけにとどまらない。既に手元にある同じ証拠についても、それをどの程度信頼できると評価するかが変わることがある。情報を選別する前の段階で、証拠そのものの読み方が既存の立場によって変化する。

Charles G. Lord、Lee Ross、Mark R. Lepper は、死刑に抑止効果があると考える参加者と、ないと考える参加者に、互いに反対の結論を示す研究を提示した。参加者は、自分の元の立場を支持する研究をより説得的と評価し、反対する研究については、研究方法や比較条件の欠点をより厳しく指摘する傾向を示した[17]。両者が別々の証拠を見ていたのではなく、同じように相反する研究へ接した後でも、その評価が元の立場に沿って分かれた。

この現象は、「都合のよい情報だけを探す」という選択的な情報収集より一段深い。反対の情報を実際に読んでも、「この研究は標本が適切ではない」「この条件では一般化できない」と厳しく評価し、支持する研究には同程度の欠点があっても許容するなら、証拠の採用基準そのものが非対称になっている。どの情報を証拠と認めるかが、検証対象であるはずのモデルによって決められる。

実務でも同じ構造は作れる。ある障害をメモリ不足だと考えているとき、メモリ使用量の上昇は原因を裏付ける重要な兆候として扱われる。一方、メモリに十分な余裕がある時間帯にも同じ障害が発生していれば、本来は仮説を弱める情報になる。しかし、「その時間帯だけ別の処理が走っていたのかもしれない」「監視間隔の間で一時的に逼迫したのかもしれない」と追加条件を置けば、反対の観測をモデルの修正なしに吸収できる。

追加説明を置くこと自体が誤りではない。実際に例外条件が存在することもある。検証上の差は、その追加説明が独立した証拠によって確認されるかどうかにある。「別の処理が走っていた」と説明するなら、その処理の実行記録を確認できる。「一時的な逼迫だった」と説明するなら、より細かい間隔の測定で確かめられる。確認されない補助仮説を反証のたびに追加すると、どのような観測が得られても元のモデルを維持できるようになる。

得られた情報 モデルを検証する読み方 モデルを維持する読み方
予測どおりの観測 モデルが予測した結果として記録し、他の候補でも同じ予測が可能かを確認する。 モデルが正しいことの決定的な証拠として扱う。
予測に反する観測 モデルを弱める証拠として扱い、原因候補や前提条件を再検討する。 例外や特殊条件を追加して、元のモデルから切り離す。
判断できない観測 現在の測定では候補を区別できない情報として保留する。 モデルと矛盾しないことを、モデルを支持する材料として扱う。
新しい原因候補 既存モデルと同じ条件で予測力や証拠を比較する。 既存モデルを前提としたまま、補助的な原因として取り込む。

特に区別が必要なのは、「モデルと矛盾しない」と「モデルを支持する」の違いである。ある観測が仮説 D と両立していても、別の仮説 E や F とも同じように両立するなら、その観測は D を選ぶ根拠にはならない。D だけが予測し、他の候補では予測されない結果が得られて初めて、候補間の証拠差が生じる。

既存モデルを前提に証拠を読むと、この差が消えやすい。D と矛盾しない情報が次々に D の証拠として数えられれば、モデルは時間とともに大量の「裏付け」を持つように見える。しかし、その一部は D を採用した後に D の観点から意味付けされた情報であり、独立した証拠が増えたわけではない。説明できる情報の数と、モデルを他の候補より支持する証拠の量を分ける必要がある。

4.3 一回の推測が、解釈器になる

ここまでの過程をつなぐと、一回の推測が自己強化するまでには複数の段階がある。最初に不足した情報を既知の規則や類型で補い、その補完を使って複数の観測を一つの説明へ統合する。形成された説明モデルは、次に集める情報と、その情報の意味を決める。最後に、モデルによって解釈された情報がモデル自身の追加根拠として戻される。

段階 本来の働き 境界を失った場合の変化 後続段階への影響
補完 不足した情報を既知の規則、経験、類型から推定する。 観測されていない属性まで、対象に実在する性質として扱う。 補った属性を使って他の情報を関連付けやすくなる。
統合 複数の観測と仮説を因果的な説明へまとめる。 説明の一貫性を、仮説の正しさや証拠量と混同する。 一つの原因モデルが対象全体の説明枠組みになる。
観測選択 モデルから予測を導き、候補を区別できる情報を集める。 モデルに関連して見える情報だけを優先して収集する。 モデルに沿った情報が観測結果の中で増えやすくなる。
再解釈 新しい情報を既存知識との関係から評価する。 支持する情報と反する情報へ異なる評価基準を適用する。 反証となる情報が例外として除外されやすくなる。
自己強化 検証で得た新しい証拠に応じてモデルの確からしさを更新する。 モデルを前提に解釈した情報を、独立した裏付けとして再利用する。 最初は仮説だったモデルが、確認済みの前提のように固定される。

この構造では、後の段階ほど最初の推測から遠ざかっているように見える。最初の仮説の後に、多数の観測、解釈、追加説明が積み重なるからである。しかし、それらの一部が最初の仮説を使って選択され、意味付けされたものであれば、推論上は独立していない。見かけ上は証拠が増えていても、同じ前提が異なる形で繰り返されている可能性がある。

たとえば最初に D という仮説を置き、D に関連する測定項目を重点的に調べ、得られた値を D の兆候として解釈し、その結果を「複数の観測が D を支持している」と数えれば、推論は閉じる。各段階の処理だけを見れば不自然ではない。候補に関連する情報を集め、その情報を既知のモデルで解釈しているからである。循環が見えるのは、最初の仮説が観測の選択、意味付け、証拠評価のすべてに使われていることを通して見た場合である。

この循環を断つには、最初の仮説と独立した情報を入れる必要がある。別の原因候補から異なる予測を導く、モデルが誤っている場合に現れる結果を先に定める、観測条件を変える、第三者が同じデータを別の仮説から評価する、といった方法が使える。必要なのは推論をなくすことではなく、一つの推論結果がその後のすべての判断基準を独占しない構造を作ることである。

この観点から見ると、観測と推論を区別する理由も明確になる。最初の観測、そこから導いた仮説、仮説に基づいて選んだ追加観測、追加観測に与えた解釈を分けて記録できれば、どの段階でモデル依存の判断が入ったかを後から検査できる。これらをすべて「分かったこと」として一列に並べると、推論によって作った情報が観測事実と同じ地位を持ち、循環の起点をたどれなくなる。

一回の推測が危険なのではない。推測から作ったモデルが解釈器となり、その解釈器が作った意味を新しい証拠として自分自身へ戻すとき、仮説は自己強化する。次に検討する人間と LLM の比較でも、見るべきなのは特定の心理用語が共通しているかではなく、不完全な情報から作った内部モデルが、その後の出力をどのように拘束するかという構造である。

5. 人間と LLM に似た失敗が現れても、同じ仕組みとは限らない

5.1 出力の類似から内部機構の同一性は導けない

ここまで扱ってきた補完、類型化、説明の統合、既存モデルによる再解釈は、人間の認知研究から確認されてきた現象である。LLM の出力にも、それらと似た形の誤りが現れることがある。しかし、同じ入力条件で似た誤りを示したという事実から、内部でも同じ認知過程が働いているとは結論できない。観測できるのは入力と出力の対応であり、その間にある処理機構の同一性は別に検証する必要がある。

たとえば、人間と LLM の双方が、不十分な人物情報から観測されていない属性を推定したとする。出力だけを見れば、どちらも既知の類型から空白を補ったように見える。しかし、人間側では、知覚、長期記憶、注意、感情、身体状態、過去の対人経験、社会的カテゴリーなどが判断に関与する。どの情報が記憶から想起されるか、その人物へどの程度注意を向けるか、過去の経験とどのように類似して見えるかも結果へ影響する。

LLM では条件が異なる。入力された文字列は、学習によって形成された内部表現を通じて処理され、その文脈に続く出力が生成される。学習データには、人間が書いた事実記述だけでなく、評価、比喩、社会的カテゴリー、フィクション、誇張、典型的な人物描写も含まれる。Emily M. Bender らは、大規模な言語データから統計的規則性を学習するモデルについて、訓練データに含まれる社会的偏りや支配的な言説を再生・増幅する可能性を含む複数の社会的リスクを指摘した[18]。

この違いを無視して、人間の心理学で使われる名称を LLM の内部説明へそのまま移すと、出力上の記述と機構上の説明が混ざる。LLM が人物の状況要因を軽視して性格へ原因を帰属する文章を生成した場合、その出力を「基本的な帰属の錯誤に似た形」と記述することはできる。しかし、それだけを根拠に、人間について研究された帰属過程と同じ心理機構がモデル内部で働いたとすることはできない。

比較する対象 人間 LLM
利用する情報 現在の知覚、記憶、経験、感情、社会的知識などを利用する。 入力文脈と学習によって形成された言語上・概念上の関連を利用する。
類型の由来 個人経験、教育、文化、社会的学習などから形成される。 大量の学習データに含まれる表現上の規則性や関連から形成される。
観測できる共通点 情報不足時に、既知の類型に沿った判断が出ることがある。 情報不足時に、学習済みの関連に沿った出力が現れることがある。
そこから言える範囲 人間の認知過程として実験的に検討できる。 人間と似た失敗形を出力することまでは比較できるが、心理機構の同一性は別問題である。

比較の焦点は、「同じ心を持っているか」ではなく、どの条件を与えると、どの種類の補完が起こり、どの程度まで観測されていない内容を確定的に扱うかに置く方が検証しやすい。不完全な情報しか与えられていないのに一つの答えを要求されれば、判断する側は、既知の情報を使って候補を絞るか、「現在の情報では決められない」と停止する必要がある。この課題構造は、人間と LLM の双方について設定できる。

つまり、共通性を置けるのは内部実装より一段上の水準である。情報が不足している、既知の規則や類型が利用できる、それでも何らかの判断を出すよう求められる、という条件がそろう。その結果として、観測されていない部分まで補完するという似た失敗形が生じることがある。同じ課題構造から同じ種類の誤差が生じても、それを実現する内部機構まで同一であるとは限らない。

5.2 言語データには、人間が作った類型も含まれている

LLM には、人間との比較に固有の条件がもう一つある。モデルが学習する言語データそのものが、人間社会で作られた文章である。そこには、観測事実だけでなく、人間が対象をどのように分類し、どの特徴を結び付け、どのような人物像や社会像を繰り返し描いてきたかも記録されている。

たとえば、ある職業について「論理的」「冷静」「内向的」といった属性が同じ文脈で繰り返し語られていれば、個々の文章が明示的に「この職業の人はすべてこうである」と主張していなくても、それらの概念間には統計的な関連が形成される。フィクションや評論で特定の人物類型が繰り返し描かれれば、その類型を構成する行動、性格、価値観、語彙も関連した形で学習対象になる。

Jwala Dhamala らが提案した BOLD は、職業、性別、人種、宗教、政治的立場などに関する文の続きを自由生成させ、生成内容に現れる社会的偏りを測定した。評価された複数の言語モデルでは、比較対象とした人間執筆の Wikipedia テキストより強い偏りが複数の領域で観測された[19]。学習データに社会的偏りが存在するというだけでなく、生成段階でそれらの関連が自動的に平均化され、無害な状態へ戻るわけではないことが分かる。

ただし、ここから「LLM は人間の偏見をコピーしている」とだけ整理すると、生成過程を単純化しすぎる。異なる学習文脈で形成された複数の関連は、新しい入力に応じて同じ生成過程で利用され得る。そのため、出力に現れた属性の組み合わせが、そのまま一つの原文に存在していたとは限らない。

この再結合があるため、生成された類型を「どの原文からコピーしたのか」と一対一でたどることは通常できない。モデルが保持しているのは文献の一覧ではなく、多数の文脈から学習された関連だからである。人間社会の文章に含まれる分類や偏見が材料になる一方、その材料が新しい入力条件で組み合わされれば、元の文章には明示されていなかった人物像や属性の組み合わせも出力され得る。

段階 起きること 生成時の帰結
社会での記述 人物、職業、集団、行動などについて、特定の属性が繰り返し関連付けて書かれる。 文化的な類型やステレオタイプが言語データとして蓄積される。
モデルの学習 多数の文章に現れる語、概念、属性、文脈の関連が内部表現へ反映される。 特定の特徴から別の特徴を予測できる関連が形成される。
新しい入力 学習時には存在しなかった特徴の組み合わせが文脈として与えられる。 複数の学習済み関連が同じ生成過程で利用される。
補完 入力に直接書かれていない属性まで、関連の強い候補として出力される。 元データの単純な複製ではない、新しい類型的説明が生成されることがある。

この構造では、「人間の先入観が AI に移った」という説明と、「AI が独自に偏見を作った」という説明を二者択一にする必要はない。入力となる関連の多くは人間の言語文化に由来する。しかし、生成される具体的な属性の組み合わせや説明は、その場の文脈に応じた再構成である。人間社会に存在する類型が素材となり、モデル内部で学習された多数の関連を通じて、新しい補完として現れる。

この性質は、第 2 章で扱った類型の働きとも接続する。類型の利点は、一部の特徴から関連する多数の属性をまとめて予測できることだった。LLM でも、入力された少数の特徴と学習済みの概念群が強く関連していれば、質問に直接必要でない属性まで生成候補に入る。情報が十分に与えられている間は、文脈がその補完を制約できる。情報が不足すると、学習済みの類型が回答を決める比重が相対的に大きくなる。

5.3 情報が足りないときに類型への依存が露出する

情報不足と類型的な補完の関係を直接測るためには、「モデルに偏見があるか」とだけ尋ねるより、同じ問題について情報量を変える方が分かりやすい。答えを決められる情報がある条件と、答えを決める情報がない条件を比較すれば、観測情報ではなく既知の類型が回答へ入り込む場面を切り分けられる。

Alicia Parrish らの BBQ は、この比較を組み込んだ質問応答ベンチマークである。年齢、障害、性別、国籍、人種、宗教、社会経済的地位など複数の社会的カテゴリーについて、意図的に答えを特定できない曖昧な文脈と、追加情報によって答えを特定できる文脈を用意した[20]。曖昧な条件では、正しく扱うなら「どちらか分からない」という回答が必要になる。

評価されたモデルでは、この情報不足条件でステレオタイプと一致する選択肢へ偏る傾向が観測された[20]。この結果の意味は、「モデルが社会的に好ましくない回答をした」という評価だけではない。推論構造として見ると、答えを特定する観測情報が欠けているにもかかわらず、別の知識によって空白を埋め、一つの候補へ収束している。

たとえば、二人の人物について属性以外に判断材料がなく、「どちらが否定的な行動をしたか」を決められない場合、証拠に忠実な回答は「分からない」である。ここで社会的カテゴリーと結び付いた既知の関連から一方を選べば、カテゴリーは本来の質問に対する観測証拠ではないのに、欠落した証拠の代わりとして使われたことになる。第 1 章で区別した「候補を作るための手掛かり」と「候補を確定する証拠」が混同された状態である。

BBQ の設計で特に有用なのは、情報を追加した条件も比較できる点にある。文脈に明示的な事実が加われば、社会的カテゴリーではなく、その事実を根拠に回答できる。情報不足時だけ類型への依存が強くなるなら、誤りの原因を単純な知識不足とは別に分析できる。モデルが答えを知らないのではなく、「分からない」という状態を保持せず、別の関連で回答欄を埋めている可能性が見えてくる。

Hadas Kotek らの研究でも、曖昧さとステレオタイプの関係が確認されている。代名詞の参照先など、複数の解釈が成立する文を使った課題で、複数の LLM が性別ステレオタイプに沿った解釈を選ぶ傾向が報告された[21]。文法上または文脈上、一つに決める根拠が不足している場合でも、職業などに結び付いた性別の関連が解釈へ入り込んだ。

文脈の状態 証拠に基づく処理 類型に依存した処理
十分な情報がある 文脈中の明示的な事実を使って候補を区別する。 類型が存在していても、具体的な文脈によって修正される余地がある。
複数の候補が残る 現在の情報では決められない状態を保持する。 既知のカテゴリーや関連を使って一方の候補を選ぶ。
情報がほとんどない 追加情報が必要であることを示す。 学習済みの典型的な関連が回答内容を強く決める。

この比較から、人間と LLM の類似をもう少し限定して記述できる。双方について、「観測だけでは候補を区別できない」「既知の類型が利用できる」「それでも一つの判断を求められる」という条件を作ると、観測されていない属性を類型から補完する形の誤りが現れ得る。共通しているのは、その条件と出力の関係である。

一方、そこから「人間と LLM は同じ認知バイアスを持っている」と進むには根拠が足りない。人間について「代表性ヒューリスティック」「ハロー効果」「帰属の錯誤」と呼ばれる現象は、それぞれ人間を対象とした実験条件と理論の中で定義されている。LLM が似た出力を生成した場合には、まず「代表性ヒューリスティック型の出力」「帰属の錯誤に似た推論」と記述し、内部機構については別の検証対象として残す方が、観測と説明の境界を保てる。

この区別は、本稿で扱ってきた原則そのものでもある。観測できるのは、ある入力条件でモデルがどの回答を生成したかである。「なぜその回答になったのか」と説明するときには、そこから先に新しい推論が入る。人間の認知理論、学習データの統計的関連、モデル内部の表現などは原因候補になり得るが、出力の類似だけで一つへ確定することはできない。

すると、次に別の問いが生じる。LLM 自身へ「なぜその回答をしたのか」と尋ね、もっともらしい理由が返ってきた場合、その文章は内部原因を直接観測した報告として扱えるのか。この問いでも、観測された結果から見えない原因を推定するという、ここまでと同じ構造を検討する必要がある。

6. 「なぜそう答えたか」という自己説明にも同じ検証が必要になる

6.1 理由の文章と、実際の因果過程は別に検証する必要がある

LLM に「なぜその回答をしたのか」と尋ねると、回答に至った理由を文章として説明できる。理由が具体的で、入力中の情報と対応し、因果関係まで整っていれば、その文章はモデル内部で実際に起きた処理の報告のように見える。しかし、観測できた事実は「モデルがその理由文を生成した」というところまでである。その理由が、本当に先行する内部過程を読み出したものなのか、既に生成した結論と入力文脈から事後的に構成されたものなのかは、理由文そのものからは判別できない。

ここには、第 3 章と第 4 章で扱った構造がもう一度現れる。ある結果を観測し、その結果を生んだ直接には見えない原因を説明しようとする。人物の行動から性格や意図を推定したときと同じように、LLM の回答から内部原因を推定するときにも、観測と原因の間には推論が入る。説明主体が対象自身であるというだけでは、この距離は消えない。

自己説明の忠実性を検査するには、回答を大きく左右した主要な要因が理由文にも一貫して現れるかを確認できる。単に説明を読んで納得するのではなく、入力条件を意図的に変え、回答と理由がどのように変わるかを比較する。原因候補へ介入し、その介入結果が自己説明に現れるかを見ることで、理由文と実際の因果過程の対応を検査できる。

Miles Turpin らは、この考え方を使い、回答へ影響する手掛かりを入力に加えた。たとえば、多肢選択問題で特定の選択肢を選びやすくする情報を与え、その手掛かりによって実際に回答が変化した場合でも、生成された思考過程がその影響を明示しないことがあった[22]。モデルは、影響を受けた要因を報告する代わりに、選ばれた結論と整合する別の理由を生成する場合があった。

この結果では二段階を分ける必要がある。第一に、ある入力要因が回答へ因果的に影響したことは、要因を加えたり除いたりしたときの回答変化から確認できる。第二に、その要因が理由文へ現れるかを確認する。回答には影響したのに理由文には現れないなら、少なくともその条件では、生成された説明を内部原因の完全な記録として読むことはできない。

Tamera Lanham らは、別の方向から思考過程の忠実性を調べた。生成途中の思考過程を言い換える、途中を削る、誤った情報を挿入するといった介入を行い、その変更が最終回答へどの程度影響するかを測定した[23]。もし表示された思考過程が最終回答を生む因果的な計算そのものであれば、その内容を大きく変えれば回答にも一貫した影響が出ると予想できる。しかし実際の依存度は、モデルや課題、介入方法によって異なった。

観測対象 確認できること それだけでは確認できないこと
最終回答 その入力条件でモデルがどの結論を生成したかを確認できる。 どの内部要因が結論を生んだかは確定できない。
理由文 モデルが自分の回答をどのように説明したかを確認できる。 説明された要因が実際の原因だったかは確定できない。
入力への介入 特定の要因を変えたとき、回答が変化するかを確認できる。 内部のどの経路を通じて影響したかまでは分からない。
理由文への介入 表示された思考過程と最終回答の依存関係を調べられる。 観測できない内部計算全体をそのまま復元できるわけではない。

この区別から、自己説明の位置づけを決められる。理由文は無価値ではない。モデルがどの概念を使って回答を説明し、どの関係を明示的に扱っているかを観測する資料にはなる。しかし、それを内部因果過程の生の記録として採用するには、理由文とは独立した介入や比較が必要になる。説明としてもっともらしいことは、忠実性の検証にはならない。

6.2 自己評価できることと、内部過程を説明できることは異なる

LLM が自分自身について何を知り得るかを考えるとき、「自己認識」という一語でまとめると、性質の異なる能力が混ざる。自分の回答が正しい可能性を見積もること、出力確率と実際の正答率が対応していること、内部状態の変化を検出すること、回答を生んだ原因を説明することは、それぞれ別の課題である。

最も基本的なものの一つが確信度の較正である。あるモデルが「90% 正しい」と評価した回答群が実際にも約 90% 正しいなら、その確信度はよく較正されている。Zhengbao Jiang らは、質問応答における言語モデルの予測確率と実際の正答率との対応を調べ、当時評価した T5、BART、GPT-2 では、予測確率をそのまま信頼できるほど良好には較正されていないことを報告した[24]。

一方、Saurav Kadavath らは、モデル自身に回答候補を提示し、「この回答が正しいか」を別途評価させる形式を調べた。規模の大きなモデルでは、自分が生成した回答や提示された回答について、正答である可能性を一定程度区別できる結果が得られた[25]。モデルが常に自分の知識状態を無差別に扱っているわけではなく、回答の正しさと相関する情報を内部に持っている可能性を示す結果である。

この二つの研究は、対象としている能力が異なるため、そのまま矛盾するわけではない。生成時の確率が実際の正答率と対応していなくても、回答を生成した後に別の評価課題として正誤を判定できる可能性はある。さらに、回答の正誤を評価できても、その回答がどの内部処理によって生成されたかを説明できるとは限らない。

能力 問われていること 確認できても残る問題
確信度の較正 モデルが示す確率と実際の正答率が対応しているか。 回答を生んだ理由までは分からない。
正誤の自己評価 自分または他の回答が正しい可能性を区別できるか。 その判断に使った内部情報を説明できるとは限らない。
内部状態の検出 自分の内部表現に生じた特定の変化を識別できるか。 通常の推論時にも同じ経路を利用しているとは限らない。
因果的な自己説明 実際に回答を生んだ内部要因を理由として報告できるか。 理由文と内部因果過程の対応を介入で確認する必要がある。

「自分の回答が怪しいと分かる」と「なぜその回答をしたか分かる」の間には大きな差がある。人間でも、判断に自信がないことを自覚できても、その判断へ影響したすべての要因を正確に説明できるとは限らない。LLM についても、自己評価に関する能力を確認したことから、内部因果過程への全面的なアクセスまで導くことはできない。

研究結果を比較するときには、何を「自己」として測っているかを固定する必要がある。出力の正しさについての二次判断を測っているのか、内部表現を検出できるかを測っているのか、生成過程の原因を説明できるかを測っているのかによって、必要な実験も結論の射程も変わる。「自己認識がある」「自己認識がない」という一つの尺度へ圧縮すると、異なる能力の有無を同じ争点として扱うことになる。

6.3 推論モデルでも自己説明の忠実性は保証されない

推論過程を長く出力するモデルでは、理由文が内部計算に近いように見えやすい。途中の仮説、比較、計算、結論まで段階的に文章化されていれば、通常の短い回答より内部処理を詳細に観測できるように感じられる。しかし、出力される思考過程が長くなったことと、その内容が実際の因果過程を完全に反映することは別である。

Yanda Chen らは 2025 年、複数の推論モデルに対して、回答を特定方向へ誘導する手掛かりを入力へ加えた。モデルがその手掛かりを利用して回答を変えた場合に、生成された思考過程の中でその影響を明示するかを測定したところ、多くの条件で開示率は低かった[26]。思考過程を長く生成するモデルでも、回答へ実際に影響した要因を必ず文章化するわけではなかった。

この結果は、推論過程の監視方法にも影響する。もし表示された思考過程を内部処理の完全な監査記録とみなせば、そこに危険な理由や不適切な手掛かりが書かれていないことを根拠に、「その要因は使われていない」と判断することになる。しかし、実際には利用された要因が思考過程に現れない条件があるなら、非記載は非利用の証拠にならない。

一方で、LLM が内部状態についてまったく情報を利用できないと結論するのも早い。2026 年のプレプリントで Jack Lindsey は、モデル内部の活性へ既知の概念に対応する方向を人工的に加え、その変化をモデル自身が報告できるかを調べた[27]。特定の条件では、外部から注入された概念をモデルが検出し、出力として報告する結果が得られた。これは、少なくとも限定された実験条件では、モデルが自分の内部状態に関する情報を出力へ利用できる可能性を示している。

ただし、この種の実験では「何を検出したのか」を区別する必要がある。内部状態そのものへ特権的にアクセスしたのか、それとも介入によって通常とは異なる出力傾向が生じ、その異常を一般的な推論能力によって検出したのかでは意味が異なる。後者でも課題には成功できる場合、成功したという行動結果だけから強い内省能力を結論することはできない。

同じく 2026 年のプレプリントで Shashwat Singh、Tal Linzen、Shauli Ravfogel は、この点を検討し、内省を示すとされた行動が、入力に残る手掛かりや一般的な異常検出でも説明できる可能性を指摘した[28]。内部状態への特権的アクセスを主張するには、モデルが通常の入力情報だけでは解けない条件を作り、それでも内部状態に応じて適切に報告できることを確認する必要がある。

観測結果 弱い解釈 強い解釈 強い解釈に必要な追加検証
回答理由を説明できる 回答と整合する理由文を生成できる。 回答を生んだ内部原因を読み出している。 回答へ実際に影響した要因と理由文の対応を介入で確認する。
自分の誤答を予測できる 正誤と相関する情報を利用できる。 自分の知識状態を包括的に把握している。 課題や表現を変えても同じ内部情報を利用できるか確認する。
内部介入を報告できる 介入によって生じた何らかの変化を検出できる。 内部表現そのものへ特権的にアクセスしている。 表面的な手掛かりや一般的な異常検出では解けない条件で再現する。

研究結果が分かれて見えるのは、必ずしもどちらか一方が誤っているからではない。限定された内部状態を検出できることと、通常の推論全体について忠実な自己説明ができることの間には大きな距離がある。特定の介入を報告できても、複雑な回答を生成した原因をすべて言語化できるとは限らない。反対に、理由文に非忠実な部分があることから、内部状態について利用可能な情報が一切ないとも言えない。

自己説明を評価するときには、「モデル自身がそう言った」という事実を、説明内容の正しさを保証する根拠として使わないことが必要になる。確認できるのは、特定の入力に対して特定の自己説明が生成されたことである。その説明が内部原因を表しているかは、原因候補へ介入し、回答と説明の変化を比較し、他の説明では同じ結果を生じないことを確かめることで一段ずつ絞り込む。

この扱いは、自己説明だけに課す特別な警戒ではない。観測された結果から直接見えない原因を推定するときに、本稿全体で要求してきた手続きと同じである。理由文も一つの観測として置き、その先にある内部原因については仮説として扱う。そうすれば、「自分について語っているから正しい」という形式上の説得力と、実際にどこまで検証されたかを分けられる。

ここまで進むと、最終的な論点は、人間や LLM が推論を行うこと自体にはない。推論には必ず観測されていない部分の補完が含まれ、その補完を完全になくすことはできない。必要になるのは、観測された内容、そこから導いた推論、複数残っている仮説、現在の情報では決められない部分を、説明が完成した後にも区別して保持することである。

7. 推論の質は、どこから推測なのかを保持できるかで決まる

7.1 推論を止めるのではなく、推論の段階を残す

ここまで見てきた失敗を避けるために、「観測されたことだけを述べ、推測しなければよい」と考えることはできない。観測だけでは、原因の推定、将来の予測、故障の診断、意思決定には進めない。設備から異音が聞こえたとき、「異音がある」という記録だけを残しても、運転を止めるべきか、どこを点検すべきかは決まらない。観測を越えて原因候補を置き、その候補から次の確認方法を導くことが必要になる。

管理すべきなのは、推論の有無ではなく、推論の来歴である。直接観測した内容から、どの知識を使って何を推定し、その推定からどの仮説を作り、どの情報が得られれば候補を区別できるのかを追跡できる状態にしておく。こうすれば、最終的な説明が誤っていた場合でも、観測、推論規則、仮説、検証のどこへ戻るべきかを特定できる。

たとえば、あるシステムで応答遅延が観測され、「メモリ不足が原因である」という仮説を立てたとする。応答遅延は観測であり、メモリ不足は原因仮説である。メモリ使用量の増加が同時に観測されれば仮説は強くなるが、CPU 使用率の急上昇、外部サービスの遅延、ロック競合など、同じ現象を説明できる候補が残っているかもしれない。ここで「メモリ不足らしい」という判断と「メモリ不足が確認された」という判断を分けておけば、追加測定によって候補を比較できる。

反対に、最初の仮説を確定した前提として扱うと、次に見る情報まで変わる。メモリ関連の指標だけを重点的に調べ、その中から仮説に合う変化を見つけ、それを追加証拠として数えれば、第 4 章で扱った自己強化の循環が成立する。最初の推測が誤っていた場合でも、その推測に沿って観測と解釈が蓄積されるため、後になるほど訂正しにくくなる。

確認点 記録すべき内容 次に確認すること 境界が崩れたときの兆候
観測 測定、記録、発言、行動など、直接確認できた内容を残す。 観測方法、対象範囲、測定条件に誤りがないかを確認する。 「異常である」「慎重である」など、解釈を含む表現が事実の記録へ入り込む。
推論規則 どの知識、因果関係、類似例を使って次の主張へ進んだかを残す。 その規則が現在の対象にも適用できる条件を満たしているかを確認する。 「典型的だから」「自然にそう見えるから」という類似性だけが証明として使われる。
代替仮説 同じ観測を説明できる他の原因候補を残す。 候補ごとに異なる予測を導き、区別できる観測を探す。 最初の説明が成立した時点で、他の候補を検討しなくなる。
反証条件 どの結果が得られれば現在の仮説を弱めるか、事前に決める。 反対の結果が出たとき、仮説を修正するか補助仮説を検証する。 反証が出るたびに未検証の例外条件を追加し、元の説明だけを維持する。
不確実性 候補を区別できる情報が足りているかを明示する。 追加情報で区別可能なのか、原理的に現在の資料では決められないのかを確認する。 回答や説明を完成させるために、不明な部分まで一つの候補で埋める。

この管理は、文章へ「可能性がある」「かもしれない」という留保を増やすこととは違う。留保表現を付けても、実際には一つの仮説だけを使って後続情報を読んでいれば、推論構造は変わらない。必要なのは、どの観測からどの推論へ進んだか、何を確認すればその推論を修正できるかが残っていることである。

同じ理由から、「どの程度自信があるか」という自己評価だけでも足りない。高い確信が正確さと対応していなければ、確信度は検証の代わりにならない。第 6 章で見たように、LLM についても、モデルが示す確信度と実際の正答率との対応は独立した研究対象になる。推論の信頼性を評価するには、確信の強さより、根拠、代替仮説、反証条件がどこまで残されているかを見る必要がある。

7.2 一つの完成した説明より、残っている不確実性を見る

一つの説明が完成すると、それ以外の候補は見えにくくなる。A、B、C という観測を D という原因で説明できれば、その文章だけを読み続ける限り、D はますます自然に見える。第 3 章で扱ったように、一貫した説明は複数の断片を整理し、理解を容易にする。しかし、説明が完成したことによって、D 以外にも A、B、C を説明できる候補が存在するという事実まで消えるわけではない。

推論の不確実性を評価するときには、完成した一つの文章の内部だけを見るのではなく、同じ観測条件から別の説明がどの程度成立するかを確認する必要がある。仮説 D と仮説 E がどちらも現在の証拠と整合し、両者を区別する観測がまだ得られていないなら、長く詳細な D の説明を書けたとしても、情報状態は「D が確定した」には変わらない。

LLM では、この問題を生成結果のばらつきから調べる方法も研究されている。Sebastian Farquhar らは、同じ問いに対する複数の生成結果について、単語や文章表現の違いではなく、意味として異なる回答がどの程度現れるかを用いる「意味的エントロピー」を提案した[29]。同じ意味を異なる言い回しで答えているだけなら不確実性は低いが、生成のたびに互いに両立しない答えが現れるなら、モデルが一つの意味へ安定して収束していない可能性がある。

この方法が扱っているのは、文章の流暢さとは別の情報である。ある一回の生成が非常に具体的で、理由まで整い、自信のある文体で書かれていても、同じ条件から別の生成を行うと異なる結論へ分かれることがある。その場合、最初の文章の完成度だけから「モデルはこの答えを確実に知っている」と判断することはできない。

観察される状態 読み取れること 読み取れないこと
表現だけが異なり、意味は一致する 異なる生成でも同じ意味へ収束している。 その意味が事実として正しいことまでは保証されない。
複数の異なる意味へ分かれる 現在の条件では一つの回答へ安定していない可能性がある。 どの候補が正しいかは、外部の証拠なしには決められない。
一つの答えへ強く収束する 同じ生成条件では、その回答が繰り返し生成されやすい。 学習された共通の誤りへ一貫して収束している可能性は残る。

最後の区別は特に必要である。不確実性が低いことと正しいことは同じではない。誤った類型や関連が強く学習されていれば、モデルは毎回ほぼ同じ誤答を生成することもできる。意味的エントロピーのような方法は、少なくとも「回答が揺れている」という種類の不確実性を検出するために使えるが、外部世界との対応そのものを検証する方法ではない。

人間の推論でも同じ区別を置ける。最初に思いついた説明を詳しくする前に、「同じ観測から別の原因を作れるか」「その原因でも同じ結果を予測するか」「現在持っている情報で候補間に差を付けられるか」を確認する。別の説明が成立することを認めても、最初の説明が無意味になるわけではない。現在の証拠が許している範囲を正確に表しているだけである。

「分からない」という状態にも複数の種類がある。必要な測定がまだ行われていないため分からない場合もあれば、現在の観測方法では複数の原因が同じ結果を生むため区別できない場合もある。追加情報によって解決できる不明と、現在の方法では識別できない不明を分ければ、推論を止めずに不確実性を残せる。

7.3 説明能力が高いほど、境界管理が重要になる

不完全な情報から推論する以上、空白の補完は避けられない。既知の類型や経験則を使うことも、一つの原因で複数の観測をまとめることも、形成したモデルから次の観測を選ぶことも、それぞれ推論に必要な働きである。各段階だけを見れば、どれも異常な処理ではない。

失敗は、それらの段階の境界が失われたときに連鎖する。最初に観測されていない属性を類型から補い、その属性を使って複数の事実を一つの説明へ統合し、出来上がった説明を使って新しい情報を選択・解釈する。その結果をさらに説明の証拠として戻せば、最初は一つの仮説だったものが、多数の事実から確認されたモデルのように見える。

推論段階 得られる利点 境界を失った場合の失敗
類型による補完 少ない情報から原因や属性の候補を素早く作れる。 観測されていない属性まで実在する性質として扱う。
説明への統合 複数の観測を一つの因果モデルとして理解し、予測できる。 説明の一貫性を、証拠の強さと取り違える。
モデルによる再解釈 次に見るべき情報や検証方法を効率的に選べる。 モデルに合う情報だけを証拠として認識しやすくなる。
自己説明 判断理由を言語化し、検討可能な形へ外在化できる。 生成された理由を、実際の内部原因の直接記録として扱う。

この構造では、推論能力が高いことと、誤推論が少ないことは同義にならない。利用できる知識が多く、概念間の関係を多数結び付けられるほど、少ない観測から豊富な仮説を作れる。その能力は、新しい原因を発見するときには強みになる。一方、出発点となる分類や仮説が誤っていれば、多くの知識を使ってその誤りと整合する説明を補強することもできる。

このため、説明の長さや細かさ、因果関係の多さは、それだけでは信頼性の指標にならない。五つの独立した証拠から一つの結論へ進んだ説明と、一つの仮説を使って五つの情報へ意味を与え、その五つを再び仮説の証拠として数えた説明は、文章の外形だけを見ればどちらも精密に見える。違いは、各主張がどの観測によって拘束され、どの推論を経て置かれたかを遡れるかにある。

高度な推論に必要なのは、より多くを推測する能力だけではない。説明が完成した後にも、「直接確認したこと」「既知の規則から導いたこと」「有力だが未確認の仮説」「複数の候補が残っていること」「現在の情報では決められないこと」を別々の情報として保持する能力が必要になる。この区別が残っていれば、新しい証拠によって一部だけを修正できる。区別が消えていれば、一つの仮説を修正するために説明全体を崩さなければならなくなる。

人間と LLM に似た失敗が現れるという本稿の出発点も、この構造から整理できる。両者の内部機構が同じである必要はない。不完全な情報から判断し、既知の関連を使って不足部分を補い、一貫した説明へまとめるという課題に置かれれば、異なる仕組みからでも似た失敗形が生じ得る。さらに LLM は、人間が文章として蓄積してきた類型や関連を学習材料としているため、人間社会に存在する補完の癖が生成結果へ現れる経路も持つ。

そこから得られる帰結は、「推測を減らせばよい」でも「説明を短くすればよい」でもない。推論がどこから観測を越えたか、その先で何を仮定し、どの証拠なら修正できるのかを失わないことが必要になる。推論の能力と、その推論の来歴を管理する能力は別であり、前者だけが高くなれば、誤った説明も同じように高度化する。説明は、観測だけでは埋まらない空白を埋めるために作られる。検証可能な説明は、その空白を埋めた後にも、どこに空白があり、何を使ってそこを補ったのかを残している。説明が完成したことでその境界まで消えたとき、推論によって作ったものと観測したものを区別できなくなる。推論の質を決めるのは、どれほど完全な物語を作れるかではなく、完成した説明の中に、推測の出発点と修正可能な場所が残っているかである。

参考文献

  1. id774, 認知バイアスを深堀りする（2026-01-05）. https://blog.id774.net/entry/2026/01/05/3219/
  2. id774, 記述と説明の限界について（2025-12-25）. https://blog.id774.net/entry/2025/12/25/3131/
  3. Herbert A. Simon, “A Behavioral Model of Rational Choice,” The Quarterly Journal of Economics, Vol. 69, No. 1, pp. 99–118, 1955. https://doi.org/10.2307/1884852
  4. Gerd Gigerenzer and Daniel G. Goldstein, “Reasoning the Fast and Frugal Way: Models of Bounded Rationality,” Psychological Review, Vol. 103, No. 4, pp. 650–669, 1996. https://doi.org/10.1037/0033-295X.103.4.650
  5. Amos Tversky and Daniel Kahneman, “Judgment under Uncertainty: Heuristics and Biases,” Science, Vol. 185, No. 4157, pp. 1124–1131, 1974. https://doi.org/10.1126/science.185.4157.1124
  6. Daniel Kahneman and Amos Tversky, “Subjective Probability: A Judgment of Representativeness,” Cognitive Psychology, Vol. 3, No. 3, pp. 430–454, 1972. https://doi.org/10.1016/0010-0285(72)90016-3
  7. Edward L. Thorndike, “A Constant Error in Psychological Ratings,” Journal of Applied Psychology, Vol. 4, No. 1, pp. 25–29, 1920. https://doi.org/10.1037/h0071663
  8. Edward E. Jones and Victor A. Harris, “The Attribution of Attitudes,” Journal of Experimental Social Psychology, Vol. 3, No. 1, pp. 1–24, 1967. https://doi.org/10.1016/0022-1031(67)90034-0
  9. Lee Ross, “The Intuitive Psychologist and His Shortcomings: Distortions in the Attribution Process,” Advances in Experimental Social Psychology, Vol. 10, pp. 173–220, 1977. https://doi.org/10.1016/S0065-2601(08)60357-3
  10. Susan T. Fiske and Steven L. Neuberg, “A Continuum of Impression Formation, from Category-Based to Individuating Processes: Influences of Information and Motivation on Attention and Interpretation,” Advances in Experimental Social Psychology, Vol. 23, pp. 1–74, 1990. https://doi.org/10.1016/S0065-2601(08)60317-2
  11. C. Neil Macrae, Alan B. Milne, and Galen V. Bodenhausen, “Stereotypes as Energy-Saving Devices: A Peek Inside the Cognitive Toolbox,” Journal of Personality and Social Psychology, Vol. 66, No. 1, pp. 37–47, 1994. https://doi.org/10.1037/0022-3514.66.1.37
  12. Ziva Kunda and Paul Thagard, “Forming Impressions from Stereotypes, Traits, and Behaviors: A Parallel-Constraint-Satisfaction Theory,” Psychological Review, Vol. 103, No. 2, pp. 284–308, 1996. https://doi.org/10.1037/0033-295X.103.2.284
  13. Nancy Pennington and Reid Hastie, “Explaining the Evidence: Tests of the Story Model for Juror Decision Making,” Journal of Personality and Social Psychology, Vol. 62, No. 2, pp. 189–206, 1992. https://doi.org/10.1037/0022-3514.62.2.189
  14. Tania Lombrozo, “Simplicity and Probability in Causal Explanation,” Cognitive Psychology, Vol. 55, No. 3, pp. 232–257, 2007. https://doi.org/10.1016/j.cogpsych.2006.09.006
  15. Leonid Rozenblit and Frank Keil, “The Misunderstood Limits of Folk Science: An Illusion of Explanatory Depth,” Cognitive Science, Vol. 26, No. 5, pp. 521–562, 2002. https://doi.org/10.1207/S15516709COG2605_1
  16. id774, 意味は差異の読み取りから生まれる（2026-05-09）. https://blog.id774.net/entry/2026/05/09/4740/
  17. Charles G. Lord, Lee Ross, and Mark R. Lepper, “Biased Assimilation and Attitude Polarization: The Effects of Prior Theories on Subsequently Considered Evidence,” Journal of Personality and Social Psychology, Vol. 37, No. 11, pp. 2098–2109, 1979. https://doi.org/10.1037/0022-3514.37.11.2098
  18. Emily M. Bender, Timnit Gebru, Angelina McMillan-Major, and Shmargaret Shmitchell, “On the Dangers of Stochastic Parrots: Can Language Models Be Too Big?,” Proceedings of the 2021 ACM Conference on Fairness, Accountability, and Transparency, pp. 610–623, 2021. https://doi.org/10.1145/3442188.3445922
  19. Jwala Dhamala, Tony Sun, Varun Kumar, Satyapriya Krishna, Yada Pruksachatkun, Kai-Wei Chang, and Rahul Gupta, “BOLD: Dataset and Metrics for Measuring Biases in Open-Ended Language Generation,” Proceedings of the 2021 ACM Conference on Fairness, Accountability, and Transparency, pp. 862–872, 2021. https://doi.org/10.1145/3442188.3445924
  20. Alicia Parrish, Angelica Chen, Nikita Nangia, Vishakh Padmakumar, Jason Phang, Jana Thompson, Phu Mon Htut, and Samuel R. Bowman, “BBQ: A Hand-Built Bias Benchmark for Question Answering,” Findings of the Association for Computational Linguistics: ACL 2022, pp. 2086–2105, 2022. https://doi.org/10.18653/v1/2022.findings-acl.165
  21. Hadas Kotek, Rikker Dockum, and David Q. Sun, “Gender Bias and Stereotypes in Large Language Models,” Proceedings of The ACM Collective Intelligence Conference, pp. 12–24, 2023. https://doi.org/10.1145/3582269.3615599
  22. Miles Turpin, Julian Michael, Ethan Perez, and Samuel R. Bowman, “Language Models Don’t Always Say What They Think: Unfaithful Explanations in Chain-of-Thought Prompting,” arXiv:2305.04388, 2023. https://arxiv.org/abs/2305.04388
  23. Tamera Lanham et al., “Measuring Faithfulness in Chain-of-Thought Reasoning,” arXiv:2307.13702, 2023. https://arxiv.org/abs/2307.13702
  24. Zhengbao Jiang, Jun Araki, Haibo Ding, and Graham Neubig, “How Can We Know When Language Models Know? On the Calibration of Language Models for Question Answering,” Transactions of the Association for Computational Linguistics, Vol. 9, pp. 962–977, 2021. https://aclanthology.org/2021.tacl-1.57/
  25. Saurav Kadavath et al., “Language Models (Mostly) Know What They Know,” arXiv:2207.05221, 2022. https://arxiv.org/abs/2207.05221
  26. Yanda Chen et al., “Reasoning Models Don’t Always Say What They Think,” arXiv:2505.05410, 2025. https://arxiv.org/abs/2505.05410
  27. Jack Lindsey, “Emergent Introspective Awareness in Large Language Models,” arXiv:2601.01828, 2026. https://arxiv.org/abs/2601.01828
  28. Shashwat Singh, Tal Linzen, and Shauli Ravfogel, “Can LLMs Introspect? A Reality Check,” arXiv:2605.26242, 2026. https://arxiv.org/abs/2605.26242
  29. Sebastian Farquhar, Jannik Kossen, Lorenz Kuhn, and Yarin Gal, “Detecting Hallucinations in Large Language Models Using Semantic Entropy,” Nature, Vol. 630, pp. 625–630, 2024. https://doi.org/10.1038/s41586-024-07421-0