AI はなぜ物忘れするのか

by

AI を使っていると、計算機上で動いているはずなのに、人間のように物忘れする場面に出会う。前に伝えたルールを別の作業では守らない。さきほど確認した条件を、次の出力では落とす。指摘すると正しい規則を説明できるのに、作業中にはその規則を適用しない。この現象は、単に AI が粗雑であるという話ではない。問題の中心は、AI が過去の情報をどのように保持し、その情報を現在の出力へどのように反映しているかにある。

ここでまず分けるべきなのは、記憶があることと、その記憶が作業上の制約として働くことの違いである。通常の計算機処理では、規則を設定値、条件分岐、検査手順として明示すれば、その規則は処理の途中で参照され、条件に反すれば処理を止められる。これに対して、会話型 AI に自然言語で伝えられた規則は、現在の文脈を構成する要素になる。強い手がかりにはなるが、それだけで必ず参照される台帳や、違反時に停止する検査規則になるわけではない。第一に、規則が自然言語として与えられることで、その適用範囲には解釈が生じる。第二に、複数の規則、依頼、作業対象が同時に存在すると、どの条件を現在の出力で強く働かせるかに偏りが生じる。ここに、物忘れのように見える現象の入口がある。

AI を使う前に人間が問い、判断軸、優先順位、任せない領域を定める必要があることは、既稿で整理した[1]。この整理は、AI の物忘れを考えるときにもそのまま当てはまる。AI に何かを任せるとき、人間は単に目的を伝えるだけでは足りない。どの規則を守るべきか、どの規則が他の条件より優先されるか、どの違反を許容しないかを、作業の前提として設計しなければならない。第一に、AI は作業を速く進められるため、人間が細部を逐一確認しないまま出力を受け取りやすくなる。第二に、その状態で規則の適用漏れが起きると、漏れた条件は成果物の一部として残る。このため、AI の物忘れは、利用者側の判断設計と切り離せない。

また、AI の答えは生成された時点では素材であり、人間が採用した時点で責任になることも既稿で確認した[2]。AI がルールを落とした出力を作ることと、その出力を人間が文書、コード、判断材料、業務成果物として採用することは別である。第一に、AI の出力はもっともらしい形を取りやすいため、形式が整っているほど確認が省略されやすい。第二に、確認が省略されると、過去に定めた規則が実際に守られているかを人間が検査しないまま、出力が組織や個人の判断として扱われる。ここで問題になるのは、AI が忘れたことだけではない。忘れた出力を、誰がどの段階で止めるのかである。

さらに、AI が広がるほど、知識量そのものよりも、問いを設計し、出力を評価し、複数の情報を統合する力が差になるという既稿の整理も、この問題と接続している[3]。AI の物忘れは、知識の有無だけでは説明できない。AI はある規則を知っているように説明できても、別の作業ではその規則を出力に反映しないことがある。第一に、知っていることと、現在の対象に適用することは違う。第二に、適用した結果を検査し、違反があれば修正することはさらに別の段階である。AI 利用で差を作るのは、この段階の違いを見分け、必要なところに検査構造を置けるかどうかである。

生成 AI の競争軸がモデル単体から業務実装へ移るという既稿の整理も、AI の物忘れを考えるうえで重要である[4]。業務実装では、AI がどれだけ自然に文章を書けるか、どれだけ速く候補を出せるかだけでは足りない。業務データ、権限、承認、監査、記録、例外処理に接続された状態で、AI の出力が安全に使えるかが問われる。第一に、AI が業務へ深く入るほど、過去の規則や組織固有の条件を守る必要が増える。第二に、守るべき条件が増えるほど、自然言語で伝えただけの規則は漏れやすくなる。このため、AI の物忘れは、個人利用の不便さにとどまらず、業務に AI を組み込むときの根本問題になる。

本稿の中心命題は、次の一点である。AI は記憶を失うのではなく、記憶を固定制約として安定適用できない。だから、計算機上で動いていても、物忘れのように振る舞う。ここでいう固定制約とは、プログラムの条件分岐、設定ファイル、検査ルールのように、一定の条件が満たされなければ処理を止める仕組みである。自然言語で与えられたルールは、AI の出力を方向づける強い手がかりにはなる。しかし、それだけで不変条件として登録され、すべての作業で漏れなく照合されるわけではない。

この命題を押さえると、AI の物忘れは、単なる性能不足でも、人間的なうっかりでもなくなる。第一に、AI は過去の文脈を参照しているように見えても、それを状態表として逐一照合しているわけではない。第二に、現在の出力を作るとき、過去の規則、直近の依頼、作業対象、文体、制約、推測が同時に重みづけされる。この処理の中で、ある規則が十分に効かなければ、出力には反映されない。つまり、物忘れに見える現象の背後には、記憶、文脈、制約、生成、検査の分離がある。

1. AI は計算機なのに、なぜ物忘れするように見えるのか

AI が物忘れするように見えるのは、過去の情報が完全に消えるからではない。むしろ、人間から見ると奇妙なのは、AI が後からその規則を説明できることがある点である。説明できるなら知っているはずである。それなのに、実際の作業では守られない。ここに、通常の記憶喪失とは違う構造がある。問題は、情報が存在するかどうかではなく、その情報が現在の作業を拘束する制約として働くかどうかである。

この現象は、観察可能な形では次のように現れる。ある作業規則を何度も伝える。AI はその場では理解したように応答する。次の作業では一部を守るが、別の条件を落とす。指摘すると、落とした条件の意味を正しく説明する。つまり、情報がまったく存在しないのではない。現在の作業で効く制約として働かなかったのである。第一に、説明を求められた場面では、その規則自体が会話の中心になる。第二に、別の作業を進める場面では、その規則は多数の条件の一つになり、現在の出力で十分に重みを持たないことがある。

見え方 表面的な解釈 構造的な解釈
前に言ったことを守らない AI が忘れたように見える。 過去の条件が現在の出力で制約として働かなかった。
指摘すると正しい説明をする 本当は覚えていたのに怠ったように見える。 説明要求ではその条件が中心文脈になり、想起されやすくなる。
別の強い指示があると古い規則が落ちる 優先順位を誤ったように見える。 複数の条件が競合し、特定の制約の重みが下がった。
似た作業では守るが、別の形式では守らない 一貫性がないように見える。 規則が一般的な制約ではなく、特定の文脈に結びついて再構成されている。
確認したと言いながら漏れが残る 確認が雑だったように見える。 生成された確認文と、全条件を漏れなく照合する検査処理が分離されていない。

この表から分かるのは、AI の物忘れが一種類の失敗ではないということである。ある場合には、過去の規則が現在の文脈で弱くなる。別の場合には、規則は想起されても、対象への適用が抜ける。さらに別の場合には、適用したつもりの確認が、実際には漏れのない検査になっていない。第一に、記憶の問題は、情報の保持、想起、適用、検査という複数の段階に分かれる。第二に、そのどこかが抜ければ、出力上は「忘れた」と同じ結果になる。このため、AI の物忘れを、単に記憶容量や注意不足の比喩で説明すると構造を見誤る。

通常の計算機処理では、この区別は比較的見えやすい。設定値が保存されていなければ参照できない。保存されていれば、処理の中でその設定値を読み、条件分岐や検査に使える。条件に反すれば、エラーにしたり、処理を止めたりできる。つまり、状態、参照、検査、停止が明示されている。これに対して、会話型 AI の応答では、過去の規則、現在の依頼、作業対象、文体、推測が一つの文脈として扱われる。そこでは、規則が存在することと、その規則が必ず検査として実行されることが一致しない。

この違いが、計算機なのに物忘れするように見える理由である。第一に、AI は計算機上で動いているが、すべての過去条件を状態表として保持し、各出力の前に機械的に照合する業務プログラムではない。第二に、AI は現在の文脈から応答を再構成するため、過去の条件が文脈内に含まれていても、現在の出力で強く作用するとは限らない。この点で、「計算機なら忘れないはずだ」という直感は、計算機一般ではなく、状態と検査が明示されたプログラムを前提にした直感である。

ここで重要なのは、AI の物忘れを人格や誠実さの問題として読まないことである。AI は人間のように怠ったのでも、反省したのでもない。過去の条件が現在の生成過程で十分な制約として働かず、その結果として条件違反の出力が作られたのである。第一に、人間は会話形式の応答を見ると、背後に意図や注意力を想定しやすい。第二に、その想定が強くなると、実際には制約適用の不安定性である問題を、性格や態度の問題として誤読してしまう。AI の物忘れを深く見るには、擬人化ではなく、情報がどの段階で制約として失効したのかを見る必要がある。

ここから見えるのは、AI の物忘れが記憶容量の問題だけではないということである。直接原因は、過去の条件が現在の出力生成に十分反映されないことにある。背後には、AI が過去の発言を台帳のように保存して逐一照合するのではなく、現在与えられた文脈から応答を再構成するという構造がある。したがって、AI の物忘れは、記憶があるかないかではなく、記憶が現在の作業を拘束するかどうかとして考える必要がある。

この整理は、後続の議論の土台になる。AI が物忘れする理由を、記憶喪失ではなく制約適用の失敗として捉えると、次に問うべきことが変わる。問うべきなのは、AI が本当に覚えていたかどうかだけではない。どの情報が文脈内で強く働くのか。自然言語で与えた規則は、どこまで固定制約になるのか。知っていることは、どの段階で作業に適用されるのか。生成された確認文は、実際の検査と同じなのか。こうした問いを順に分解していくことで、AI の物忘れは、計算機の不可解な欠陥ではなく、会話型 AI の構造から生じる現象として理解できる。

2. AI の物忘れは、記憶喪失ではなく制約適用の失敗である

AI の物忘れを理解するには、「知っている」と「適用できる」を分ける必要がある。ある規則について尋ねられたときに正しく説明できることと、別の作業を進めている最中にその規則を必ず守れることは同じではない。これは人間にも起きるが、AI ではより構造的に現れる。AI は、あるルールを説明する場面では正しい応答を返せる。ところが、文章作成、修正、レビュー、参照整合性確認のように別の目的が前面に出ると、そのルールを検査項目として使わないことがある。つまり、問題は知識の有無だけではなく、その知識が現在の作業を拘束する条件として働くかどうかにある。

この違いを見誤ると、AI の失敗を「覚えていない」か「覚えているのに怠った」かの二択で考えてしまう。しかし、会話型 AI の出力では、その中間に多くの段階がある。情報が利用可能な形で文脈に残っていても、それが現在の作業に関係する条件として呼び出されるとは限らない。呼び出されても、対象となる文章や処理へ正しく当てはめられるとは限らない。当てはめられても、成果物全体に対して漏れなく検査されるとは限らない。第一に、知識は文脈内の要素として存在する。第二に、その知識が出力を制約する力を持って初めて、実際の作業結果に反映される。この二段階を分けなければ、AI の物忘れの構造は見えない。

この違いは、五つの段階に分けると分かりやすい。第一に、情報が存在する。第二に、その情報が現在の文脈で想起される。第三に、想起された情報が対象作業に適用される。第四に、適用結果が検査される。第五に、違反があれば修正される。物忘れのように見える失敗は、このどこかで起きる。情報が存在しても、想起されなければ使われない。想起されても、作業対象に適用されなければ守られない。適用されても、検査されなければ違反が残る。検査されても、修正の範囲を誤れば、必要な箇所だけを直せない。

段階 必要な働き 失敗したときの見え方 構造上の意味
存在 過去のルールや文脈が、利用可能な情報として残っている。 そもそも知らないように見える。 情報が入力文脈や記憶機能に存在しなければ、後続の想起や適用は起きない。
想起 現在の作業に関係する条件として呼び出される。 知っているはずの規則が出力に現れない。 情報が存在していても、現在の出力で重要な条件として選ばれなければ使われない。
適用 呼び出された規則が、対象の文章、処理、判断へ当てはめられる。 規則の説明はできるのに、成果物では守られない。 規則を言えることと、その規則を具体的な対象へ変換して使うことは別である。
検査 成果物が規則を満たしているか、対象全体に対して確認される。 整った出力に見えるが、条件違反が残る。 自然な文章を作ることと、全条件を漏れなく照合することは異なる。
修正 違反を見つけた後、必要な箇所だけを直し、不要な変更を避ける。 修正のつもりで別の箇所まで変えてしまう。 違反を検出できても、既存構造を保ちながら最小範囲で直すには別の制御が必要になる。

この表から分かるのは、AI の物忘れが一つの失敗ではないということである。知らない場合もあれば、知っていても呼び出されない場合がある。呼び出されても、対象へ当てはめる段階で落ちることがある。対象へ当てはめても、成果物全体の検査として完了しないことがある。さらに、違反を見つけた後の修正で、必要な箇所だけを直せず、周辺まで変えてしまうこともある。第一段階では、記憶された情報が現在の制約として有効化される必要がある。第二段階では、有効化された制約が、対象全体へ漏れなく適用される必要がある。どちらかが失敗すれば、外からは「忘れた」と同じに見える。

ここで重要なのは、AI がこれらの段階を、通常の業務プログラムのように明示的に分けて実行しているわけではない点である。設定値を読み、条件分岐を行い、検査に失敗したら処理を止めるプログラムなら、各段階は設計上分離されている。どこで失敗したかも比較的追いやすい。ところが、LLM は、過去の文脈、現在の依頼、出力すべき形式、文体、推論、説明を一つの生成過程の中でまとめて扱う。第一に、これによって柔軟な応答が可能になる。第二に、その柔軟さの裏側で、存在、想起、適用、検査、修正の境界が曖昧になり、どこかの段階が抜けても自然な文章として出力されてしまう。

この構造は、AI の出力がもっともらしいほど見えにくくなる。規則を落とした出力でも、文章としては整っていることがある。表や章立てがきれいに見えることもある。説明が論理的に見えることもある。だが、整っていることは、すべての制約を満たしていることを意味しない。第一に、LLM は文脈に合う出力を作る能力が高いため、形式上の自然さは比較的容易に保たれる。第二に、形式が自然であるほど、見る側は内容の検査を省きやすくなる。ここで、生成のうまさが、検査漏れを見えにくくする。

AI の物忘れを「記憶喪失」と呼ぶと、問題を狭く捉えすぎる。情報が消えたかどうかだけを見ても、現象の大部分は説明できない。むしろ見るべきなのは、過去の情報が現在の作業条件として呼び出されたか、対象へ正しく当てはめられたか、成果物全体に対して検査されたか、違反が最小範囲で修正されたかである。ここまで分解すると、AI の物忘れは、記憶そのものの問題ではなく、制約適用の連鎖がどこかで切れる問題として理解できる。

この理解は、AI を実務で使うときの前提にもなる。AI にルールを伝えることは重要である。しかし、それだけでは十分ではない。重要な規則については、現在の作業でそれを呼び出す仕組み、対象へ当てはめる手順、成果物全体を検査する観点、違反時にどこだけを直すかという修正範囲が必要になる。第一に、自然言語で伝えたルールは、AI の出力を方向づける。第二に、そのルールを確実に守らせるには、検査可能な構造として外部化する必要がある。AI の物忘れを制約適用の失敗として捉えると、なぜチェックリスト、差分確認、構文検査、参照整合性検査が必要になるのかが見えてくる。

3. 通常の計算機は状態を保持するが、LLM は文脈から応答を再構成する

計算機なら忘れないはずだという直感は、通常のプログラムやデータベースを前提にしている。通常のプログラムでは、状態は変数、設定ファイル、データベース、ログとして明示的に保存される。処理はその状態を読み、条件分岐に従い、条件を満たさなければエラーにしたり停止したりできる。つまり、保存された状態が処理を直接拘束する。ここでいう状態とは、処理が参照すべき値や条件が、あらかじめ取り出せる形で置かれているものを指す。

この仕組みでは、「覚えている」ことと「処理で使われる」ことが比較的結びつきやすい。設定ファイルに値が書かれていれば、プログラムはその値を読み込める。データベースに規則が保存されていれば、検索して取り出せる。条件分岐が実装されていれば、規則に反する入力を拒否できる。第一に、状態が明示されているため、どの値を参照すべきかが決まっている。第二に、参照した状態を使って処理を止める構造があるため、規則が単なる参考情報ではなく実行上の拘束条件になる。この構造を前提にすると、計算機は忘れないはずだという感覚が生まれる。

LLM、すなわち大規模言語モデルは、これとは違う。LLM は、現在与えられた文脈をもとに、次に続く出力を生成する仕組みである。ここでいう文脈とは、過去の会話、ユーザーのルール、現在の依頼、作業対象の文章、出力形式、直近の指摘などがまとまった入力である。それらは出力を作る材料として使われる。しかし、設定ファイルの項目のように、個別の検査規則として常に実行されるわけではない。第一に、LLM は文脈全体から応答を構成する。第二に、その過程で、ある情報が強く効くこともあれば、別の情報に埋もれて弱くなることもある。

この違いは、状態と文脈の違いとして整理できる。状態は、処理が参照すべき明示的な値である。文脈は、出力を作るために解釈される情報のまとまりである。状態は条件分岐を拘束する。文脈は出力の方向を決める。状態は、処理の途中で機械的に読み出され、違反があれば止められる。文脈は、応答を作る際の根拠や手がかりになるが、それだけで処理停止の仕組みにはならない。このため、AI が計算機上で動いていることと、通常のプログラムのように過去のルールを固定条件として実行することは同じではない。

観点 通常のプログラム LLM 物忘れに見える理由
記憶の形 変数、設定、ファイル、データベースとして明示的に保持される。 会話履歴や指示が文脈として解釈され、出力生成に使われる。 情報が存在していても、現在の出力で強く働くとは限らない。
規則の働き 条件分岐や検査処理として実行され、違反時に止められる。 出力を方向づける要素として働くが、常に検査規則になるわけではない。 守るべき規則が、参考情報として扱われ、検査条件として働かないことがある。
失敗の形 条件違反や例外として検出されやすい。 自然な文章の中に条件違反が紛れ込むことがある。 出力が整っているため、制約違反が見えにくくなる。
修正の仕方 条件分岐、検査処理、データ構造を直すことで再発防止しやすい。 自然言語の追加指示だけでは、同じ制約が常に固定されるとは限らない。 注意喚起をしても、別の文脈では同じ規則が弱くなることがある。

この表から、AI の物忘れがなぜ起きるのかが見えてくる。通常の計算機的な処理では、保存された規則が処理を止めることができる。LLM の生成では、規則は文脈の一部として扱われる。直接原因は、自然言語のルールが実行時の検査条件として固定されていないことである。背後構造は、状態機械と生成モデルの違いである。状態機械とは、現在の状態と入力に応じて次の処理が決まる仕組みである。生成モデルは、与えられた文脈からもっとも適切そうな出力を構成する仕組みである。この二つを同じものとして見ると、計算機なのに忘れるという疑問が解けなくなる。

ここで注意すべきなのは、LLM が状態をまったく使わないという意味ではないことである。会話履歴、システム上の設定、外部ツール、検索結果、メモリ機能などは、応答に影響を与える。だが、それらが常に同じ強度で、すべての出力に対する不変条件として働くわけではない。第一に、これらの情報は出力を構成する材料になる。第二に、材料として使われることと、検査規則として実行されることは異なる。つまり、LLM の記憶を理解するには、情報が応答に影響することと、情報が処理を拘束することを分けなければならない。

会話型 AI のサービスには、利用者の好みや過去の情報を保持する Memory と呼ばれる機能が用意されることがある。OpenAI のヘルプでは、ChatGPT のメモリは利用者が管理でき、保存、削除、無効化できるものとして説明されている[5]。また、OpenAI は 2024 年に、ChatGPT が会話をまたいで利用者に関する情報を参照できる新しい制御機能としてメモリを発表した[6]。ここで重要なのは、製品機能としてのメモリと、本稿でいう固定制約が同じではないことである。メモリは応答を個別化する材料になりうる。しかし、保存された情報がすべての出力に対して検査規則として実行されることを意味しない。

この違いは、AI 利用時の期待を大きく変える。利用者が「前に伝えたから守られるはずだ」と考えると、AI のメモリや会話履歴を、通常のプログラムにおける設定値のように扱ってしまう。しかし、LLM にとって、それらは現在の応答を作るための文脈であり、違反時に必ず停止する検査装置ではない。第一に、保存された情報は応答の材料として参照される可能性を高める。第二に、それでも現在の作業でどの条件を優先し、どの対象にどう適用し、どの違反を検査するかは別の問題として残る。このため、重要なルールほど、単に記憶させるだけではなく、検査可能な手順として設計する必要がある。

したがって、計算機であることと、記憶を不変条件として実行することは同じではない。通常のプログラムは、状態を保持し、その状態に基づいて条件分岐し、違反を検出できる。LLM は、文脈を読み取り、その文脈に基づいて出力を再構成する。第一段階では、文脈が出力の方向を決める。第二段階では、その文脈が固定された検査規則として働かないため、過去の規則が出力から落ちることがある。ここに、AI が計算機上で動いていても物忘れするように見える根本構造がある。

4. LLM の内部構造を少し見ると、固定された記憶ではないことが分かる

LLM の内部数理を細部まで追わなくても、物忘れの構造を理解するために必要な点はある。現在の LLM の多くは Transformer と呼ばれる構造を基礎にしている。Transformer は、入力された語や記号を単純に左から右へ読むだけではなく、文脈内の要素同士の関係を重みづけしながら次の出力を作る仕組みである。この基盤を示した代表的な論文が Attention Is All You Need である[7]。ここで重要なのは、Transformer の詳細な数式そのものではなく、言葉が固定された棚に保存されるのではなく、文脈内の関係として処理される点である。

LLM に入力された文章は、内部ではトークンという小さな単位に分けられる。トークンは、単語そのものと完全に一致するとは限らない。語の一部、記号、空白、文字列の断片が単位になることもある。LLM は、そのトークン列をもとに、どの要素がどの要素と関係しているかを計算し、次に続く出力を作る。第一に、入力は人間が読む文章の形から、計算可能な単位へ変換される。第二に、その単位同士の関係が、現在の出力にどの情報を反映するかを左右する。このため、AI の記憶を考えるとき、文章がそのまま保存され、必要なときにそのまま取り出されると考えると誤る。

注意機構という言葉は、この関係づけの働きを指す。注意という名前だが、人間が意識的に何かへ注意を向けることと同じではない。LLM における注意は、文脈内のどの要素が次の出力にどれだけ関係するかを計算する仕組みである。たとえば、ある規則、直近の依頼、作業対象の文章、出力形式の指定が同じ文脈内にある場合、LLM はそれらの関係をもとに出力を構成する。第一に、関係が強く働く要素は出力へ反映されやすい。第二に、他の要素との関係が弱くなった条件は、文脈内に存在していても出力で十分に効かないことがある。ここに、物忘れのように見える現象の技術的な土台がある。

内部構造の要素 本稿で必要な理解 物忘れとの関係 避けるべき誤解
トークン 文章は計算しやすい小さな単位に分けられて処理される。 人間が一つの規則として読んだものが、内部では他の文脈要素と並ぶ情報単位として扱われる。 文章や規則が、そのまま一枚の記憶カードとして保存されるわけではない。
注意機構 文脈内の要素同士の関係を重みづけし、出力に効く情報を決める。 ある規則が文脈内にあっても、現在の出力で強く作用するとは限らない。 人間の意識的な注意や集中力と同じものとして読んではならない。
文脈 過去の発言、現在の依頼、作業対象、出力形式がまとめて入力される。 条件が増えるほど、ある規則が他の条件に埋もれて弱くなることがある。 文脈に含まれていることと、固定制約として実行されることは同じではない。
生成 LLM は文脈から次に続く出力を構成する。 自然な出力が作られても、すべての規則が検査されたとは限らない。 流暢さを、規則遵守や検査完了の証拠として扱ってはならない。

この構造では、文脈に含まれるルールも、他の文章と同じく関係の中で働く。ある規則が直前に置かれていれば、現在の出力に強く反映されやすい。別の条件や作業対象が大量に入れば、相対的に弱くなることがある。第一に、文脈内の規則は出力を方向づける材料になる。第二に、その規則が他の条件より常に優先される保証はない。つまり、自然言語で伝えた規則は、LLM の内部で「この条件に違反したら停止する」という検査命令になるのではなく、出力を構成する情報の一部として働く。

GPT-3 の論文は、言語モデルが文脈内の例や指示から作業をこなす能力を示した[8]。これは、LLM が事前に個別作業を明示的にプログラムされていなくても、文脈から作業の型を読み取り、応答を作れることを示す重要な成果である。しかし、この能力は、固定された規則実行とは異なる。第一に、文脈から作業をこなせるということは、文脈内の指示や例を柔軟に使えるということである。第二に、柔軟に使うということは、条件を解釈し、現在の出力に合わせて重みづけするということでもある。柔軟な生成能力は強力だが、それだけで規則を不変条件として実行する仕組みにはならない。

大規模言語モデルが言語の形式をうまく扱えることと、世界や意味を安定して参照することは別であるという批判も示されてきた[9]。この指摘は、AI の物忘れを考えるうえでも重要である。LLM は、言語の並び、説明の形式、文章の流れを高い精度で作れる。だが、流暢な文章が出ることは、必ずしも過去の規則、事実、作業条件が安定して参照されていることを意味しない。第一に、言語形式の整合性は、読者に「分かっている」という印象を与える。第二に、その印象が強いほど、規則の適用漏れや前提の取り違えは見えにくくなる。そのため、AI の出力を読むときは、自然さと制約遵守を分けて確認する必要がある。

外部情報を取り込む仕組みとして、検索拡張生成がある。これは、モデル内部の知識だけに頼らず、外部文書を検索して応答に使う方法である[10]。検索拡張生成が重要なのは、LLM の内部にすべてを閉じ込めるのではなく、必要な情報を外部から取り出して文脈へ加える点にある。第一に、外部文書を検索することで、モデル内部の曖昧な記憶だけに頼る危険を下げられる。第二に、検索された文書を現在の文脈に入れることで、応答の根拠を明示しやすくなる。ただし、検索された情報も、文脈に入っただけで自動的に固定制約になるわけではない。検索は記憶を補うが、検査を完了させるものではない。

さらに、長期的な作業のために外部記憶を管理する仕組みを持たせる研究もある[11]。この方向の研究が重要なのは、LLM 単体の記憶が固定台帳ではないことを逆側から示している点である。もし LLM が内部だけで、永続的な状態、作業履歴、規則、優先順位を安定して保持し、必要な場面で必ず適用できるなら、外部記憶や検索構造の重要性は小さくなる。しかし実際には、長い作業、複数の目標、変化する条件を扱うには、外部の記憶構造や状態管理が必要になる。第一に、LLM は文脈内の関係を使って出力を作る。第二に、長期的な一貫性や再利用可能な記憶を求めるなら、文脈の外側に情報を管理する仕組みが必要になる。

ここから、LLM の記憶を考えるときの重要な区別が見えてくる。モデル内部の知識、現在の文脈、外部検索、長期記憶、検査規則は、それぞれ役割が異なる。モデル内部の知識は、一般的な言語や知識の傾向を支える。現在の文脈は、今の応答を作る材料になる。外部検索は、必要な情報を文脈へ追加する。長期記憶は、会話や作業をまたいで参照する材料を提供する。検査規則は、出力が条件を満たしているかを確認する。第一に、これらは互いに補い合う。第二に、しかし一つを別のものとして扱うと誤る。外部記憶があることは、検査規則があることを意味しない。文脈に情報があることは、出力がその情報に従うことを保証しない。

ここから得られる要点は明確である。LLM は、保存済みの規則を行ごとに取り出して実行する機械ではない。文脈内の要素を関係づけ、その場で出力を再構成する機械である。だから、情報が文脈内に存在していても、それが常に同じ強度で働くとは限らない。第一段階では、文脈内の情報が出力の材料になる。第二段階では、その情報が固定された検査条件ではないため、規則の一部が弱くなったり、適用されなかったりする。AI の物忘れは、この構造から生じる。

したがって、LLM の内部構造を少し見るだけでも、物忘れの原因は記憶容量の不足だけではないことが分かる。問題は、情報が保存されているかどうかではなく、その情報が現在の出力でどのように関係づけられ、どの程度の強さで働き、検査規則として実行されるかである。AI に重要な規則を守らせるには、文脈に入れるだけでは足りない。必要に応じて、外部記憶、検索、チェックリスト、検査処理を組み合わせ、出力を拘束する構造として設計しなければならない。

5. 文脈が長くなるほど、すべての条件を同じ強さでは扱えない

長い文脈を扱えることと、その文脈のすべてを同じ強さで使えることは違う。近年のモデルは、長い文章、長い会話、複数の文書を入力として扱えるようになっている。しかし、入力できる長さが増えることは、必要な情報を常に正しく取り出し、現在の作業に安定して適用できることを意味しない。第一に、長い文脈では、利用可能な情報の量が増える。第二に、情報量が増えるほど、現在の作業にとって何が最も重要かを選ぶ負荷も増える。ここで、情報は存在しているのに、現在の出力では十分に働かないという現象が起きる。

この点は、前章で見た LLM の内部構造ともつながる。LLM は、文脈内の要素を固定された一覧表として読み出すのではなく、相互の関係を重みづけしながら出力を作る。短い依頼であれば、目的、制約、出力形式の対応は比較的単純である。ところが、文脈が長くなると、過去の指示、現在の依頼、例外条件、表記規則、禁止事項、参考文献、作業対象、修正範囲が同時に並ぶ。第一に、現在の出力に効かせるべき条件の候補が増える。第二に、それらの条件が同時に強く働くとは限らない。そのため、文脈が長いほど、ある条件が他の条件に押され、出力から落ちる可能性が高まる。

この問題は、長文脈モデルの研究でも確認されている。Lost in the Middle は、長い文脈内の情報が、置かれる位置によって使われやすさに差が出ることを示した[12]。この研究が示しているのは、文脈に情報が含まれていれば常に同じように使われる、という単純な理解が成り立たないことである。第一に、情報が文脈のどこにあるかによって、モデルがその情報を利用しやすい場合と利用しにくい場合がある。第二に、重要な情報であっても、現在の出力に近い位置や目立つ形で置かれていなければ、相対的に弱く扱われることがある。ここから、長文脈は記憶の保証ではなく、利用可能な材料の拡張にすぎないことが分かる。

長文脈モデルの記憶能力を忘却曲線として評価しようとする研究もある[13]。忘却曲線という表現は、人間の記憶と同じものを意味するわけではない。ここで重要なのは、長い入力を扱えることが、入力内の情報を一定の信頼性で保持し続けることと同義ではないという点である。第一に、モデルが長い文脈を受け取れても、そのすべてが同じ強度で出力に反映されるわけではない。第二に、作業が進むにつれて、どの情報が必要条件として残り、どの情報が弱くなるかに差が出る。このため、文脈長の拡大は、物忘れを自動的に解決するものではない。

また、ChatGPT の作業記憶に関する実証研究も、会話内で多くの条件を扱うときの限界を考える材料になる[14]。ここでいう作業記憶は、人間の脳の記憶と同じものではなく、現在の課題を進めるために必要な情報を一時的に保持し、組み合わせ、使う能力として理解すればよい。複数の条件を同時に扱う課題では、単に情報を覚えているだけでは足りない。第一に、条件同士の関係を保つ必要がある。第二に、その関係を現在の判断や出力へ適用する必要がある。条件が増えるほど、この二段階のどこかで漏れが起きやすくなる。

文脈の状態 起きやすいこと 物忘れとして見える理由 構造上の意味
条件が少ない 現在の作業に必要な規則を選びやすい。 過去条件と現在作業の対応が明確で、漏れが目立ちにくい。 目的、制約、出力形式の関係が単純であり、規則が弱くなりにくい。
条件が多い 文体、形式、内容、禁止事項、参照規則が競合しやすい。 一部の条件が出力に反映されず、忘れたように見える。 複数の制約が同時に働くため、どの条件を優先するかが不安定になりやすい。
文脈が長い 必要な情報が存在していても、現在の作業で弱く扱われることがある。 情報はあるのに適用されないため、記憶の欠落に見える。 情報の存在と、現在の出力での活性化が分離する。
条件の位置が遠い 古い指示や前半の制約が、直近の依頼に比べて弱くなることがある。 前に明示した規則が、後の作業で落ちたように見える。 文脈内にある情報でも、現在の出力との関係が弱ければ制約として働きにくい。
条件の種類が混在する 内容の正しさ、文体、形式、参照、禁止事項が同時に要求される。 ある種類の条件は守られるが、別の種類の条件が落ちる。 生成の目的が複数に分かれ、検査すべき観点も増える。

この対応関係が示しているのは、文脈が長くなると、単に入力情報が増えるだけではなく、制約の競合が増えるということである。たとえば、文章を丁寧にする、専門性を落とさない、HTML 構造を保つ、参考文献番号を本文初出順にする、不要な変更を避ける、出力範囲を限定する、という条件は、それぞれ別の方向から出力を拘束する。LLM はこれらを同時に満たす出力を作ろうとするが、どれかの制約が現在の文脈で弱くなると、文章としては自然でも条件違反を含む出力が生まれる。ここで、流暢さと遵守の違いが再び問題になる。

文脈が長いほど起きやすいもう一つの問題は、条件の抽象度が混ざることである。ある条件は「論理展開を厚くする」という内容上の要求であり、別の条件は「見出し構造を一定に保つ」という形式上の要求であり、さらに別の条件は「余計な修正をしない」という作業範囲の要求である。これらは同じ種類の規則ではない。抽象度の高い条件は本文全体の方向を決める一方、形式上の条件は個別の箇所で機械的に守られる必要がある。両者を同じ自然言語文脈の中で扱うと、内容の改善に注意が寄った結果、形式上の検査が弱くなることがある。

このため、AI の物忘れは、単に古い情報が遠くにあるから起きるのではない。古い情報でも、現在の作業に強く結びついていれば使われることがある。逆に、直近の情報でも、他の強い要求に埋もれれば落ちることがある。第一に、情報の距離は重要だが、それだけで決まるわけではない。第二に、現在の作業との関係、情報の目立ち方、他の条件との競合、出力形式の複雑さが重なって、どの条件が実際に効くかが決まる。ここで扱うべき文脈の長さの問題は、単純な距離の問題ではなく、制約の活性化と競合の問題である。

背後にあるのは、情報の存在と活性化の違いである。文脈内に情報があることは、その情報が現在の出力を拘束することを意味しない。現在の作業で強く働く必要がある情報として選ばれて初めて、制約になる。第一に、情報は文脈内に存在するだけでは不十分である。第二に、その情報が現在の作業対象へ適用され、成果物全体に対して検査されて初めて、実務上の規則として機能する。したがって、AI の物忘れは、文脈の長さそのものではなく、文脈内の条件が現在の作業制約として再活性化されるかどうかで決まる。

この理解は、長文脈モデルへの期待を調整する。長い文脈を扱えるモデルは、多くの情報を一度に参照できるため有用である。しかし、それは全情報を同じ精度で保持し、すべての条件を自動的に守ることを意味しない。第一に、長文脈は参照可能な材料を増やす。第二に、増えた材料をどの順序で使い、どの条件を優先し、どの違反を検査するかは別に設計しなければならない。つまり、長い文脈は物忘れを減らす条件にはなりうるが、物忘れを消す保証にはならない。

重要な条件は、長い会話のどこかに一度置くだけでは不十分である。必要な場面で再提示し、作業対象と結びつけ、検査項目として明示する必要がある。第一に、制約は文脈内に存在するだけではなく、現在の作業で使う条件として再活性化されなければならない。第二に、再活性化された制約は、成果物全体に対して確認されなければならない。ここで、AI に覚えさせることと、AI の出力を制約に従わせることの違いが、より具体的に見えてくる。

6. 自然言語のルールは、プログラム上の不変条件ではない

AI に対して「必ず守れ」と自然言語で伝えると、それが以後の作業を強く拘束するように期待される。しかし、LLM にとって自然言語のルールは、プログラム上の不変条件ではない。不変条件とは、ある処理が成立するために常に満たされなければならない条件である。プログラムなら、条件違反を検出し、処理を止め、エラーとして外へ出せる。自然言語のルールは、出力を方向づける力を持つが、それ自体が条件分岐、検査処理、停止条件になるわけではない。第一に、自然言語のルールは意味として解釈される。第二に、解釈されたルールは他の依頼、文脈、出力形式、作業対象と並んで扱われる。ここで、ルールを伝えたことと、ルールがすべての出力を拘束することの間にずれが生じる。

このずれは、通常のプログラムと比べると明確になる。プログラムで「この値は空であってはならない」と定める場合、入力検査、型制約、例外処理、テストとして実装できる。条件に反すれば処理は止まる。違反箇所も比較的特定しやすい。これに対して、会話型 AI に「この表記を使うな」「この形式を守れ」「不要な変更をするな」と伝えた場合、その規則は文脈の一部として入力される。第一に、AI はその規則を考慮して出力を作る。第二に、しかしその規則に違反した瞬間に必ず停止する仕組みが、自然言語の指示だけで自動的に作られるわけではない。このため、自然言語のルールは、処理を拘束する材料にはなるが、処理を停止させる装置ではない。

観点 プログラム上の不変条件 自然言語のルール 物忘れに見える理由
形式 条件分岐、型制約、検査処理、テストとして明示される。 文章として与えられ、文脈内で意味として解釈される。 規則が存在していても、機械的な検査条件として働かないことがある。
違反時の動作 エラー、停止、拒否、修正要求として処理を制御できる。 違反しても、自然な文章として出力が続くことがある。 条件違反が出力の中に紛れ込み、確認しなければ見落とされる。
適用範囲 対象データ、関数、処理範囲を明示できる。 どこまで適用するかを文脈から判断する必要がある。 一部には適用されるが、別の箇所では落ちることがある。
競合処理 優先順位や例外条件を実装で定められる。 他の依頼、文体、出力形式、作業目的と競合しうる。 直近の強い要求に押され、古い規則が弱くなることがある。
再発防止 検査処理やテストを追加すれば、同種の違反を検出しやすい。 注意喚起を追加しても、別文脈で常に同じ強度で働くとは限らない。 一度直したはずの規則違反が、別の作業で再発することがある。

もちろん、自然言語でルールを与えることに意味がないわけではない。AI の行動を原則や規則で方向づける試みは、Constitutional AI のような研究にも見られる[15]。Constitutional AI は、AI の出力を人間の個別評価だけに頼るのではなく、あらかじめ与えた原則に照らして調整しようとする考え方である。この発想が重要なのは、AI の出力が単なる自由生成ではなく、規範や方針によって方向づけられることを示している点にある。第一に、原則を与えることで、AI の出力傾向は変わる。第二に、しかし原則を与えることと、作業対象のすべてに対して機械的な検査を実行することは違う。原則は出力の方向を整えるが、個別成果物の全箇所を走査する検査器そのものではない。

ここで誤解しやすいのは、「ルールを記憶させた」ことと「ルールに従わせた」ことを同一視する点である。AI がルールを復唱できても、それが成果物全体に適用される保証にはならない。自然言語の規則は解釈を必要とする。適用範囲を判断しなければならない。他の制約と衝突することもある。第一に、ルールが文脈内で理解されたように見えることは、そのルールがすべての対象に適用されたことを意味しない。第二に、適用されたように見えることも、成果物全体が検査されたことを意味しない。ここで、記憶、理解、適用、検査の段階が再び分かれる。

自然言語の柔らかさは、人間同士の調整では利点になる。人間は、曖昧な指示を状況に応じて解釈し、相手の意図を補い、例外を判断し、必要なら確認する。ところが、同じ柔らかさを機械的な不変条件として期待すると問題が起きる。第一に、自然言語は解釈の余地を持つため、対象範囲や優先順位が一意に定まらないことがある。第二に、LLM はその曖昧さを含んだまま、もっとも自然に見える出力を生成できる。つまり、自然言語の柔軟さは、出力を滑らかにする一方で、条件違反を止める硬さを持たない。

この構造から、AI の物忘れが生じる。直接原因は、自然言語のルールが出力生成の一要素として扱われ、すべての対象に対する強制条件として働かないことである。背後構造は、自然言語の規則が意味的な手がかりであり、実行時の検査処理ではないという点にある。第一に、AI は自然言語の規則を文脈として読み、出力に反映しようとする。第二に、その規則が他の条件と競合したり、対象への適用が曖昧になったりすると、規則は出力の中で弱くなる。結果として、AI はルールを知っているように見えながら、別の作業では守らない。

したがって、重要なルールは、自然言語で伝えるだけでなく、検査可能な形へ移す必要がある。文章作成なら、参照番号、リンク表示、見出し構造、表記揺れ、未参照文献の有無を個別に確認する。コード生成なら、テスト、静的解析、型検査、権限設定、差分レビューを組み合わせる。業務判断なら、承認経路、記録、例外条件、責任分界を明示する。第一に、自然言語のルールは、AI に作業の方向を与える。第二に、検査可能な構造は、その方向から外れた出力を見つけて止める。AI にルールを覚えさせることと、成果物をルールに従わせることは、この二つを接続して初めて近づく。

この章で確認したことは、AI の物忘れを理解するうえで中心的である。AI が前に伝えた規則を守らないとき、単純に記憶が消えたとは限らない。自然言語で与えられた規則が、現在の出力で十分な強制力を持たなかったのである。第一段階では、規則が文脈内の意味として扱われる。第二段階では、その規則が不変条件として実装されていないため、対象全体への検査が保証されない。ここから、AI を実務で使うときの結論が導かれる。重要な規則ほど、自然言語の記憶ではなく、検査、テスト、差分確認、承認といった外部構造で支えなければならない。

7. 人間の記憶も再構成的だが、AI の物忘れとは同じではない

AI の物忘れを考えると、人間の記憶との比較が浮かぶ。人間の記憶も、録画のように過去をそのまま保存しているわけではない。現在の目的、感情、文脈に応じて、過去の出来事を組み直しながら思い出す。人間の記憶に再構成性があることは、記憶研究でも繰り返し論じられている[16]。記憶の失敗や歪みを整理する研究も、人間の記憶が完全な保存装置ではないことを示している[17]。この知見は、AI の物忘れを考えるときにも一つの補助線になる。記憶とは、単に過去の情報を倉庫から取り出す処理ではない。現在の状況に応じて、過去情報が組み直される働きでもある。

この比較には意味がある。AI も、人間も、過去情報を単純な録画や台帳として扱っていないように見える。人間は、過去の出来事を思い出すとき、現在の関心、目的、感情、他者への説明の仕方に影響される。AI も、過去の会話や指示を現在の依頼、作業対象、出力形式と結びつけながら応答を作る。第一に、どちらの場合も、過去情報は現在の文脈から切り離された固定物として現れるわけではない。第二に、現在の文脈が変われば、過去情報の現れ方も変わる。だから、AI の物忘れを人間の物忘れにたとえることには、一定の分かりやすさがある。

観点 人間の記憶 AI の物忘れ 整理すべき点
再構成性 現在の目的、感情、文脈に応じて過去を思い出す。 現在の依頼、文脈、作業対象に応じて過去情報が出力へ反映される。 どちらも単純な録画再生ではないという点では似ている。
主体 身体、経験、生活史、自己同一性を持つ主体が記憶する。 文脈処理と生成の仕組みが、記憶しているように見える出力を作る。 似た現象に見えても、記憶している主体の性質が異なる。
失敗の原因 注意、疲労、感情、目的、社会的状況などが絡む。 文脈内の情報が現在の制約として十分に働かない。 人間的な忘却の原因を、そのまま AI に移してはならない。
責任 記憶の失敗は、本人の判断、説明、関係性、社会的責任と結びつく。 出力の誤りは、利用者側の採用、検査、運用責任と結びつく。 AI が忘れたように見えても、成果物として採用する責任は別に考える必要がある。

ここで整理できるのは、再構成性という共通点だけを見ると、AI と人間を近づけすぎてしまうということである。人間の記憶は、身体経験、感情、社会的責任、自己同一性、他者との関係の中で働く。思い出すことは、単なる情報処理ではなく、その人がどのような経験を持ち、何を大事にし、誰に対して説明するのかと結びついている。第一に、人間の記憶は生活史の中に位置づく。第二に、その記憶の失敗は、本人の注意、疲労、感情、責任、関係性の問題として現れる。人間が忘れるという現象には、生物的で社会的な厚みがある。

一方、AI の出力は、身体経験や生活史を持つ主体の記憶ではない。LLM が過去の発言を参照したように見えるとき、そこで起きているのは、文脈内の情報が現在の出力にどの程度反映されたかという処理である。第一に、過去のルールや会話は、現在の応答を作る材料として扱われる。第二に、その材料が現在の制約として十分に働かなければ、出力から落ちる。ここで起きているのは、生活史を持つ主体の忘却ではなく、文脈から出力を再構成するシステムにおける制約適用の不安定性である。

この違いを見落とすと、AI の物忘れを人間的な注意力や誠実さの問題として読んでしまう。AI が「忘れていた」と言うと、人間はそこに反省、注意不足、怠慢、改善意志のようなものを見やすい。しかし、会話上の表現と、内部で起きている処理は同じではない。第一に、AI は人間に分かりやすい言語形式で応答するため、人間的な心の働きがあるように見える。第二に、その見え方に引きずられると、実際には検査構造や制約管理の問題であるものを、AI の態度や性格の問題として扱ってしまう。これは、実務上も危険である。態度を正すように指示しても、検査構造がなければ同じ種類の漏れは再発しうる。

人間記憶との比較は、再構成性を理解する補助線として使うのがよい。過去情報は、常に固定された形で取り出されるわけではない。現在の目的や文脈によって、使われ方が変わる。この点は、人間の記憶と AI の出力の見え方をつなぐ。ただし、そこから先は分けなければならない。第一に、人間の記憶は主体の経験と責任に結びつく。第二に、AI の物忘れは、文脈内の情報が現在の出力を拘束する制約として働くかどうかに結びつく。共通点は再構成性であり、相違点は主体性と責任の所在である。

この整理は、AI を実務で使うときの判断にもつながる。人間に対してなら、記憶違いの理由を聞き、注意の向け方を変え、作業手順を見直し、責任の所在を確認することになる。AI に対しては、同じ言葉で叱責しても十分ではない。必要なのは、どの情報を現在の作業で使わせるのか、どの条件を検査項目にするのか、どの違反を自動または手動で検出するのかを設計することである。第一に、AI の出力は人間的な会話形式を取るため、記憶している主体のように見える。第二に、実際には制約適用の仕組みとして扱う方が、再発防止につながる。

ここで得られる一般化は、記憶が再構成的であるという共通点と、主体として記憶しているわけではないという相違点を分けることである。AI の物忘れは、人間の脳と同じ現象として読むのではなく、文脈から出力を再構成するシステムの制約適用問題として読む必要がある。第一段階では、人間記憶との比較によって、記憶が固定保存ではないことを理解できる。第二段階では、AI の物忘れを、主体の心理ではなく、出力生成、文脈処理、検査構造の問題として切り出せる。この切り分けによって、AI の失敗を感情的に受け止めるのではなく、どこに外部化された検査を置くべきかを考えられるようになる。

8. 意識ではなく、制約適用の問題として読む

「忘れる」という言葉は、人間の心を連想させる。AI が忘れた、理解していなかった、反省した、気をつけると言った、という表現は、会話の中では自然に使われる。会話型 AI は、人間の発話に近い形式で応答するため、そこに注意、反省、意図、誠実さのようなものを読み込みやすい。しかし、AI の物忘れを説明するために、AI が意識を持つかどうかを決める必要はない。問題は、意識の有無ではなく、過去の条件が現在の出力で制約として働くかどうかである。第一に、AI は人間に理解しやすい言語で応答する。第二に、その言語形式が人間的であるほど、内部にも人間的な心の働きがあるように見えやすくなる。ここで擬人化が起きる。

擬人化は、日常的な説明としては便利である。AI が忘れた、AI が勘違いした、AI が反省した、と言えば会話は進む。しかし、構造を分析する場面では、この表現は問題を曖昧にする。人間が忘れる場合には、注意、疲労、感情、動機、責任感、生活上の優先順位が関係する。AI が物忘れするように見える場合には、文脈内の条件が現在の出力で十分な制約として働かなかったことが問題になる。第一に、人間的な語彙は現象の見え方を説明する。第二に、システム上の原因を説明するには、文脈、制約、生成、検査という別の語彙が必要になる。ここを混同すると、再発防止の方向を誤る。

見え方 人間的な読み方 構造的な読み方 実務上の帰結
忘れた 注意が抜けた、記憶から落ちたように見える。 過去の条件が現在の出力で制約として働かなかった。 重要条件を再提示し、検査項目として明示する必要がある。
理解していなかった 意味を把握していなかったように見える。 説明できる知識が、対象作業へ適用されなかった。 説明要求ではなく、対象全体への適用確認が必要になる。
反省した 次回は注意して改善する主体がいるように見える。 謝罪や改善表明は、会話文脈に応じた出力である。 再発防止には、態度表明ではなく検査構造の追加が必要になる。
気をつけると言った 以後の行動が変わる約束のように見える。 自然言語の約束が、常時実行される不変条件になるわけではない。 守るべき条件を、手順、テスト、レビュー、承認に落とす必要がある。

機械が知能を持つと言えるかという問いは、Turing の議論以来、長く論じられてきた[18]。Turing の議論が重要なのは、機械の内面を直接見るのではなく、対話を通じて知能をどう判定するかという問題を開いた点にある。ここには、外から観察できる振る舞いと、内部に意識や理解があるかという問いの距離がある。第一に、言語的に自然な応答は、知的な振る舞いとして観察できる。第二に、その観察可能な振る舞いだけから、内部に人間と同じ意識や理解があると直ちに結論できるわけではない。この区別は、AI の物忘れを考えるときにも有効である。

また、言語的に正しく応答できることが理解そのものを意味するのかという問題は、Searle の中国語の部屋の議論で有名である[19]。この議論は、記号を規則に従って操作できることと、意味を理解していることは同じなのかを問う。Stanford Encyclopedia of Philosophy でも、この議論は人工知能、理解、心の哲学をめぐる代表的な論点として整理されている[20]。ここから本稿に必要な点を取り出すなら、言語的に整った応答と、内部に人間的な理解があることは分けて考えるべきだということである。第一に、AI は理解しているように見える文章を出力できる。第二に、その見え方をそのまま意識や責任感の存在として扱うと、物忘れの原因を誤って心理化してしまう。

ただし、AI の物忘れを説明するために、意識をめぐる哲学的な結論を急ぐ必要はない。AI に意識があるかどうかを問わなくても、次の構造は説明できる。AI は過去文脈を固定台帳として参照していない。自然言語のルールは不変条件として実行されない。生成と検査は別の働きである。その結果、過去の条件が現在の作業で抜けることがある。第一に、AI の出力は文脈から生成される。第二に、生成された出力が過去のすべての条件を満たしているかどうかは、別途検査しなければならない。この説明には、意識の有無を仮定しなくてよい。

むしろ、意識の問題に寄せすぎると、実務上の論点が見えにくくなる。AI が本当に理解しているのか、反省しているのか、意図を持つのかという問いは重要である。しかし、文書修正、コード生成、参考文献整合性、業務判断支援の場面でまず必要になるのは、出力が条件を満たしているかを確認することである。第一に、意識の有無は、現在の成果物が規則を守っているかを直接保証しない。第二に、成果物の規則遵守は、検査項目、手順、差分確認、テスト、承認によって確認される。このため、AI の物忘れを扱う実務では、心の有無より、制約がどこで固定され、どこで検査されるかが中心になる。

この章の役割は、擬人化を制御することにある。AI は人間のように謝る。人間のように理由を述べる。人間のように次は気をつけると表現する。しかし、それらは会話として自然な出力であり、人間的な注意力や反省が内部で作動していることを意味しない。第一に、謝罪や改善表明は、会話の流れに合う応答として生成される。第二に、それだけでは出力を拘束する検査手順は増えない。ここで必要なのは、反省の言葉を引き出すことではなく、同じ種類の失敗が検出される構造を作ることである。

AI の物忘れは、心の問題ではなく、制約をどのように固定し、検査し、実行するかというシステム設計の問題である。過去の条件が文脈内にあるだけでは足りない。その条件が現在の作業で呼び出され、対象へ適用され、成果物全体に対して検査され、違反があれば修正される必要がある。第一段階では、AI の人間的な応答形式に惑わされず、現象を制約適用の問題として切り出す。第二段階では、その制約を自然言語の記憶に任せるのではなく、チェックリスト、テスト、差分確認、承認、監査のような外部構造で支える。ここで、AI の物忘れは哲学的な不可解さではなく、設計可能な運用上の課題として扱えるようになる。

9. 知っていることと、作業中に適用できることは違う

第 2 章では、AI の物忘れを存在、想起、適用、検査、修正の段階に分けた。この章では、その中でも特に、知識として説明できることと、作業中に適用できることの断絶を掘り下げる。

AI は、ある規則を説明できるのに、その規則を作業中に守れないことがある。この現象は、知識と適用の違いとして整理できる。知識とは、問われたときに説明できる内容である。適用とは、その知識を別の対象へ当てはめ、出力や判断を実際に変える働きである。AI の物忘れで問題になるのは、知識の有無だけではない。むしろ重要なのは、知識が現在の作業で呼び出され、対象に当てはめられ、成果物全体に対して検査されるかどうかである。第一に、AI は規則を言語的に説明できる。第二に、その説明能力が、実作業での一貫した規則適用を保証するわけではない。

この違いは、会話の流れを見ると分かりやすい。ある規則について尋ねると、その規則だけが会話の中心になる。AI は、その規則の意味、適用例、注意点を説明しやすい。ところが、実際の作業では、規則は単独で現れない。文章の内容、文体、形式、参照番号、修正範囲、禁止事項、出力形式などと同時に処理される。第一に、説明場面では規則そのものが最も目立つ条件になる。第二に、作業場面では規則が多数の条件の一つになり、対象の複雑さに埋もれることがある。このため、説明できることと、作業中に使えることの間には距離がある。

段階 求められる働き AI が失敗しやすい点 物忘れとして見える理由
説明 規則の意味を言葉で述べる。 規則だけを扱うため、実際の対象への適用までは確認されない。 正しく説明できるため、実作業でも守れるように見える。
識別 作業対象の中から、規則が関係する箇所を見つける。 対象が長い場合や条件が多い場合、該当箇所の抽出が漏れる。 知っている規則が、必要な箇所で呼び出されなかったように見える。
適用 規則を具体的な文、構造、判断へ当てはめる。 抽象的な規則を個別箇所へ変換する段階でずれが生じる。 規則の理解はあるのに、成果物では守られていないように見える。
検査 対象全体が規則を満たしているか確認する。 自然な出力が作られる一方で、網羅的な照合が抜ける。 確認したように見えても、違反が残る。
修正 違反箇所を必要な範囲だけ直す。 局所修正のつもりで周辺構造や別条件を壊すことがある。 一つの規則を直す過程で、別の規則を忘れたように見える。

言語モデルには、個々の部品を知っていても、それらを組み合わせた推論や制約適用で失敗することがある。複数の要素を組み合わせると性能が落ちる問題は、合成性のギャップとして研究されている[21]。この論点は、AI の物忘れを考えるうえでも重要である。単独の規則を説明する能力と、複数の規則を同時に満たす能力は同じではない。第一に、規則が一つだけなら、適用対象も比較的明確になる。第二に、複数の条件が組み合わさると、それぞれの条件を同時に保ち、相互の衝突を処理し、成果物全体へ反映する必要が出てくる。ここで、知識はあっても制約の組み合わせに失敗する。

また、モデルが示す説明が、実際の内部的な理由や判断過程を忠実に表しているとは限らないことも指摘されている[22]。これは、AI が後からもっともらしい説明を出せることと、作業時に正しく規則を適用したことが一致しない可能性を示している。第一に、AI は出力後に、その出力に合う説明を生成できる。第二に、その説明は、出力が実際にどの規則をどの順序で適用して作られたかの忠実な記録とは限らない。このため、AI の事後説明を、そのまま作業中の検査履歴として扱うことはできない。

この点は、AI の自己説明を評価するときに重要である。AI が「確認しました」「次から気をつけます」「この規則を守ります」と述べても、それは会話上の応答であって、成果物全体を走査した証拠ではない。第一に、自然言語の説明は、利用者に安心感を与える。第二に、その安心感が強いほど、実際の照合を省いてしまう危険がある。AI が規則を説明できるかどうかではなく、対象のどこにその規則を適用し、どの箇所を検査し、どの違反を修正したのかを確認しなければならない。

実務では、この違いが大きな意味を持つ。AI が規則を説明できると、人間はその規則を使えると考えがちである。しかし、作業には別の力が必要になる。対象を読み、該当箇所を見つけ、規則を当てはめ、違反を検出し、必要な範囲だけ直す力である。第一に、説明要求では規則そのものが中心になる。第二に、実作業では規則は多数の条件の一つになり、他の条件との関係の中で処理される。だから、説明できても漏れる。AI の物忘れは、知識不足だけでなく、知識を作業へ変換する段階で起きる。

この問題は、文章作成だけに限らない。コード生成でも、仕様を説明できることと、すべての境界条件を満たす実装を作ることは違う。法務文書でも、条項の意味を説明できることと、契約書全体の矛盾を検出することは違う。業務手順でも、ルールを列挙できることと、例外処理を含む現場の判断に適用できることは違う。第一に、知識は抽象的な説明として存在しうる。第二に、実務では、その知識を対象、例外、文脈、責任範囲へ当てはめる必要がある。ここで、AI に任せられる部分と、人間が検査構造として設計すべき部分が分かれる。

ここから、AI の信頼性を見る基準も変わる。知識があるかどうかだけでは足りない。必要な場面でその知識を使えるか、使った結果を検査できるか、違反時に対象箇所だけを修正できるかを見る必要がある。第一に、AI の説明能力は、規則を理解しているように見える出力を生む。第二に、実務上の信頼性は、その規則が成果物全体に適用され、検査され、必要な範囲で修正されたときに初めて高まる。AI の物忘れは、知識不足というより、知識を作業制約として安定的に運用できないことから生じる。

したがって、AI に何かを任せるときは、「知っているか」を確認するだけでは不十分である。必要なのは、「どこに適用したか」「どの範囲を検査したか」「何を変更し、何を変更しなかったか」を確認することである。第一段階では、知識が現在の作業対象に結びついているかを見る。第二段階では、その適用結果が成果物全体に対して検査されているかを見る。この二段階を外部化して初めて、AI の説明能力を実務上の信頼性へ近づけられる。

10. 生成する能力と、漏れなく検査する能力は違う

LLM は、文脈に合う文章を生成することに強い。要約、説明、章構成の整理、言い換え、草稿作成では大きな力を持つ。与えられた材料を読み取り、自然な流れに並べ替え、読者に届く形へ整えることができる。一方、すべての条件を漏れなく照合する監査器としては、別の構造が必要になる。生成と検査は、どちらも「出力を良くする」働きに見える。しかし、目的が違う。生成は、文脈に合う答えを作る働きである。検査は、定められた条件に照らして、違反を見つける働きである。第一に、生成では全体の自然さが評価されやすい。第二に、検査では一つの条件違反も見落とさないことが求められる。この違いを分けないと、AI の物忘れは見えにくくなる。

生成では、全体として自然で、文脈に合い、要求に応じた出力を作ることが重視される。文章なら、段落がつながり、説明が破綻せず、見出しと本文が対応していることが重要になる。検査では、どれほど小さな条件違反でも見落とさないことが重視される。参照番号が一つずれている。リンク表示が指定形式と違う。禁止されたタグが一箇所だけ残っている。修正不要の箇所まで変わっている。こうした失敗は、文章全体が自然であっても成立する。第一に、生成の成功は、出力が読める形になっているかで判断されやすい。第二に、検査の成功は、指定された条件をすべて満たしているかで判断される。このため、流暢な出力は、検査済みの出力と同じではない。

この違いは、幻覚の問題ともつながる。大規模言語モデルがもっともらしいが誤った内容を出す問題については、多くの調査研究がある[23]。OpenAI も、言語モデルの幻覚について、評価や訓練の仕組みが推測を促す場合があると説明している[24]。ここで重要なのは、幻覚を単なる知識不足としてだけ見るのではなく、生成の性質として見ることである。LLM は、空白を残すよりも、文脈に合う続きを作ろうとする。第一に、文脈に合う出力を作る能力が高いほど、足りない情報を自然に補ったように見える。第二に、その補いが事実や制約に照らして正しいとは限らない。生成の力が強いことは、検査の力が強いことを意味しない。

物忘れの問題も、幻覚と同じ根を一部共有する。AI は空欄を埋めるように、文脈に合う出力を作ろうとする。足りない条件があると、推測で補うことがある。明示された条件が多すぎると、一部を弱く扱うことがある。結果として、自然な文章や整った成果物が出る一方で、検査すべき規則が漏れる。第一に、AI は現在の依頼に対して、もっとも整合的に見える応答を構成する。第二に、その応答を構成する過程で、過去の条件や細かな形式規則が、現在の生成目的より弱くなることがある。このとき、出力は破綻していない。むしろ整っている。だからこそ、条件違反が見落とされやすい。

能力 主な目的 弱点 物忘れとの関係
生成 文脈に合う自然な出力を作る。 もっともらしさが高くても、条件違反が混じることがある。 過去の規則が弱くなっても、文章としては成立するため、忘れたように見える。
検査 定められた条件に照らし、違反を漏れなく見つける。 自然言語の確認だけでは、検査項目が固定されにくい。 確認したように見えても、実際には全条件を照合していないことがある。
修正 違反箇所を直し、不要な変更を避ける。 修正範囲が広がると、別の制約を壊すことがある。 一つの規則を直す過程で、別の規則が落ちたように見える。
監査 出力全体が作業条件、根拠、形式、責任範囲に合っているか確認する。 観点が多いほど、自然言語だけでは抜け漏れが起きやすい。 成果物として整っていても、運用上の条件を満たしていないことがある。

この対応関係から、AI の出力を評価するときに、生成、検査、修正、監査を分ける必要があると分かる。生成は、新しい文章や候補を作る働きである。検査は、指定された条件に照らして違反を見つける働きである。修正は、見つけた違反を必要な範囲で直す働きである。監査は、成果物が作業目的、根拠、形式、責任範囲に合っているかを確認する働きである。第一に、これらは互いに関連している。第二に、しかし一つができることは、他のすべてができることを意味しない。AI が良い文章を作れることは、AI がすべての条件違反を見つけたことを意味しない。

特に危険なのは、「確認しました」という応答を、検査の完了と同一視することである。AI は、会話の流れに合う形で確認したと述べることができる。しかし、その言葉だけでは、どの条件を、どの範囲に対して、どの順序で照合したのかは分からない。第一に、確認という言葉は、利用者に安心感を与える。第二に、その安心感によって、実際の検査手順が省略されることがある。ここで、生成された確認文と、実行された検査処理の違いが問題になる。確認したという文章があることと、検査が完了したことは同じではない。

この問題は、文章作成だけではなく、コード生成や業務判断でも同じである。コードなら、動きそうな関数を生成できることと、境界条件、例外処理、権限、性能、セキュリティを検査できることは違う。業務文書なら、自然な報告書を作れることと、根拠、日付、参照、承認範囲、責任分界を満たしていることは違う。第一に、生成は候補を作る。第二に、検査は候補を採用できる状態へ近づける。AI の出力をそのまま成果物に近いものとして扱うと、この二段階が混ざる。そこに、AI の物忘れが実害として入り込む余地が生まれる。

したがって、AI にレビューをさせるときは、「確認して」と頼むだけでは弱い。確認項目を固定し、対象範囲を決め、可能なものは機械的に検査する必要がある。文章の意味を読む作業は AI に向く。論点のつながり、説明不足、過剰な抽象化、読者にとって分かりにくい箇所を見つけることには有用である。一方、参照番号、リンク表示、構文、未参照項目、表記揺れ、禁止タグ、差分範囲のような反復検査は、できるだけ検査手順として外部化する方がよい。第一に、AI は意味のある候補を作る。第二に、機械的な検査は、守るべき条件を固定して確認する。両者を分けて使うことで、AI の物忘れを減らせる。

ここから得られる要点は、生成器と監査器の違いを分けることにある。LLM は、文脈に応じた出力を作る生成器として強力である。しかし、すべての条件を漏れなく照合する監査器として使うには、検査項目、対象範囲、合否条件、修正範囲を別に設計しなければならない。第一段階では、AI に文章、候補、構成、説明を作らせる。第二段階では、その出力が条件を満たしているかを、チェックリスト、テスト、差分確認、構文検査、人間の判断で確認する。ここで初めて、AI の生成能力を、実務上使える成果物へ近づけることができる。

AI の物忘れは、生成能力の欠如からだけ生じるのではない。むしろ、生成がうまいからこそ見落とされる場合がある。自然で、整っていて、要求に応じたように見える出力の中に、過去の規則の抜け落ちが紛れ込む。生成は出力の形を整え、検査は出力が条件を満たしているかを確認する。この二つを分けて考えることが、AI の物忘れを扱うための基本になる。

11. AI の物忘れは、条件が多い仕事ほど表面化する

AI の物忘れは、単純な質問では目立ちにくい。短い質問に答えるだけなら、必要な条件は少ない。質問の意味を取り、関連する知識を出し、自然な文章として返せば、多くの場合は成立する。だが、長い文章を修正する、既存成果物を壊さずに最小修正する、複数の表記規則を守る、参考文献を整合させる、ファイルとして生成する、といった仕事では、条件が急に増える。条件が増えるほど、AI は自然な出力を作るだけでなく、既存の制約を保持し続けなければならない。第一に、作業の複雑さは、生成すべき内容の量だけで決まるのではない。第二に、守り続けるべき条件の数と種類が増えるほど、物忘れのような失敗が表面化する。

ここには二段階の因果関係がある。第一に、複雑な仕事では、満たすべき条件が増える。本文の論理、表記、HTML 構造、参考文献、リンク、出力形式、修正範囲、禁止事項が同時に関係する。第二に、条件が増えるほど、生成過程で一部の条件が弱くなり、照合漏れが起きやすくなる。AI は新しく書くことには強い。何もないところから草稿を作り、説明を並べ、構成を提案する作業では力を発揮する。しかし、既存の条件をすべて保持しながら局所修正する作業では、別の能力が必要になる。そこでは、何を書くかだけでなく、何を変えないか、どの制約を壊していないか、どの範囲だけを直したかが問われる。

この違いは、新規生成と制約維持の違いとして整理できる。新規生成では、出力全体の自然さ、網羅性、説明の分かりやすさが中心になる。制約維持では、既存の構造、既存の表記、既存の参照、既存の範囲指定を保ったまま、必要な箇所だけを変えることが中心になる。第一に、新規生成は、足りない部分を補う方向に働く。第二に、制約維持は、余計な変更を抑える方向に働く。この二つはしばしば反対方向の力を持つ。AI が文章をよくしようとして補足を加えるほど、最小修正の条件を壊すことがある。逆に、最小修正を重視しすぎると、必要な論理補強が足りなくなることもある。

仕事の種類 条件の量 起きやすい失敗 必要な制御
単純な説明 少ない。主に質問内容と回答の正確さが問題になる。 個別知識の誤りや説明不足が中心になる。 根拠確認と、説明の粒度調整が中心になる。
長文の執筆 多い。章構成、用語、論理展開、参照が同時に関係する。 似た表現の反復、参照漏れ、論点の重複、抽象語の使いすぎが起きる。 章ごとの命題、因果関係、用語、参照位置を個別に確認する必要がある。
既存成果物の最小修正 非常に多い。直す箇所と維持する箇所を分ける必要がある。 不要な書き換え、既存構造の破壊、検査項目の漏れが起きる。 変更対象、非変更対象、差分、検査項目を明確に分ける必要がある。
参照整合性の確認 非常に多い。本文中の初出順、参照番号、参考文献側の ID、リンク表示が結びつく。 番号ずれ、未参照文献、リンク本文の形式違反、同一段落内の順序違反が起きる。 本文参照と参考文献リストを対応表として照合する必要がある。
ファイル生成 多い。内容、構造、文字コード、ファイル名、出力形式、ダウンロード提供が関係する。 本文は整っていても、ファイル形式、参照構造、禁止タグ、リンク表示に漏れが残る。 生成後に構文、参照、禁止要素、ファイル出力を分けて確認する必要がある。

ここで整理できるのは、AI の物忘れが、仕事の難しさと単純に比例するわけではないということである。難しい概念を説明する仕事でも、条件が少なければ出力は安定しやすい。逆に、概念としては平易な修正でも、既存構造を壊さず、表記規則を守り、参照番号を一致させ、不要な変更を避けるとなると、条件は多くなる。第一に、知的に難しい仕事と、制約管理が難しい仕事は別である。第二に、AI の物忘れは、後者で目立ちやすい。なぜなら、制約管理では、出力全体の自然さよりも、細部の一貫性と非変更部分の保持が重要になるからである。

AI が外部ツールを使い、推論と行動を組み合わせる研究も進んでいる。ReAct は、推論と行動を組み合わせることで、外部環境を参照しながら問題解決する枠組みを示した[25]。Toolformer は、言語モデルが外部ツールを使う方向を示した研究である[26]。これらの研究が示しているのは、LLM 単体の生成能力だけではなく、外部の道具、検索、操作、検査を組み合わせる重要性である。第一に、モデルは文脈を読み、次にすべき行動を言語的に構成できる。第二に、外部環境や道具を使うことで、モデル内部だけでは不安定な情報取得や確認を補える。ここから、AI の物忘れへの対策も、モデルに注意を促すだけではなく、外部構造との組み合わせとして考える必要がある。

ただし、外部ツールを使えば物忘れが自動的に消えるわけではない。検索ツールを使っても、検索結果をどの規則へ結びつけるかは別問題である。ファイル操作ツールを使っても、どの範囲を変更し、どの範囲を維持するかは別問題である。検査ツールを使っても、何を検査項目にするかが曖昧なら漏れは残る。第一に、外部ツールは、情報取得、実行、検査の能力を補う。第二に、そのツールをどの目的で使い、どの条件を検査し、どの結果を採用するかは、作業設計として決めなければならない。したがって、道具の追加は必要条件になりうるが、十分条件ではない。

条件が多い仕事では、AI は複数の役割を同時に求められる。文章を書く生成器であり、既存構造を守る編集者であり、参照を照合する検査者であり、変更範囲を抑える差分管理者であり、最終成果物を出力する作業者でもある。第一に、役割が増えるほど、各役割に必要な判断基準も増える。第二に、それらの判断基準が同時に明示されていなければ、AI は現在の文脈で目立つ役割に寄りやすい。たとえば、文章を厚くすることに注意が向けば、最小修正の制約が弱くなる。構造を守ることに注意が向けば、論理の補強が浅くなる。ここで、AI の物忘れは、単一能力の不足ではなく、複数役割の同時制御の不安定さとして現れる。

この問題を扱うには、仕事を分解する必要がある。長文を作るなら、まず章構成、次に各章の命題、次に根拠、次に参照、最後に HTML 構造を確認する。既存成果物を修正するなら、変更対象、維持対象、許可された変更、禁止された変更を分ける。参考文献を整合させるなら、本文初出順、本文側リンク、参考文献側 ID、リンク表示、未参照項目を別々に検査する。第一に、複雑な仕事は、一つの自然言語依頼にまとめると制約が混ざる。第二に、制約を分解すると、どの条件がどの段階で守られるべきかが明確になる。AI の物忘れを減らすには、作業そのものを段階化する必要がある。

ここから、AI の物忘れは、AI が何も理解できないから起きるのではないことが分かる。むしろ、一定の理解と生成能力があるからこそ、複雑な仕事を任せたくなる。その一方で、複雑な仕事ほど、制約の保持、照合、局所修正が必要になる。第一に、AI は新しい候補を作ることで作業を進める。第二に、既存の条件を壊さずに作業を完了させるには、候補生成とは別の検査と差分管理が必要になる。背後構造は、新規生成と制約維持の違いである。AI の力を使うなら、制約が多い仕事ほど、外部の検査構造を組み合わせなければならない。

条件が多い仕事では、AI にすべてを一度に任せるよりも、生成、適用、検査、修正、再検査を分けた方がよい。第一段階では、AI に作業候補を作らせる。第二段階では、守るべき条件を固定し、成果物全体に対して検査する。第三段階では、必要な箇所だけを修正し、不要な変更を避ける。第四段階では、修正によって別の条件が壊れていないかを確認する。この分解によって、AI の物忘れは完全には消えないとしても、どこで制約が抜けたのかを追いやすくなる。

12. 重要なルールは、AI の記憶ではなく検査構造として固定する

AI の物忘れへの対策は、AI にもっと強く覚えさせることだけではない。重要なのは、守るべき規則を検査可能な構造として固定することである。自然言語でルールを伝えることは必要である。作業の目的、禁止事項、出力形式、判断基準を伝えなければ、AI は何を重視すべきかを読み取れない。しかし、それだけでは、ルールは文脈要素として働くにとどまる。第一に、自然言語のルールは、出力の方向を整える。第二に、そのルールが守られたかどうかを確認するには、別の検査構造が必要になる。したがって、重要な規則は、チェックリスト、テスト、構文検査、差分確認、レビュー基準、権限設計として外部化しなければならない。

ここでいう検査構造とは、AI の出力や操作が条件を満たしているかを、人間または機械が確認できる形にした仕組みである。文章なら、見出し構造、参照番号、リンク表示、表記揺れ、禁止要素の有無を確認する手順がある。コードなら、テスト、静的解析、型検査、権限確認、依存関係確認がある。業務判断なら、承認者、判断基準、差し戻し条件、記録、監査の流れがある。第一に、検査構造は、守るべき条件を個別の確認項目へ分解する。第二に、分解された項目は、出力の自然さに惑わされず、合否として確認しやすくなる。AI の記憶に頼る運用から、条件を検査する運用へ移すことが、物忘れへの現実的な対策になる。

AI のリスク管理については、NIST の AI リスク管理フレームワークが、AI の設計、開発、利用、評価に信頼性の観点を組み込む枠組みを示している[27]。この枠組みが重要なのは、AI の性能だけでなく、リスクを特定し、測定し、管理し、運用へ組み込む視点を与える点にある。第一に、AI の出力は単体で評価されるだけでは不十分である。第二に、その出力がどの場面で使われ、どの判断へ影響し、どの失敗が許容できないのかを管理する必要がある。AI の物忘れも、単なる応答ミスではなく、利用場面に応じたリスクとして位置づけるべきである。

生成 AI に特化したプロファイルも、生成 AI のリスクを管理するための実務的な観点を整理している[28]。生成 AI では、もっともらしい出力、根拠の不明確さ、予測しにくい振る舞い、利用者による過信が問題になりやすい。これらは、本稿で扱ってきた物忘れともつながる。第一に、生成 AI は自然な出力を作るため、条件違反があっても一見すると成果物として成立してしまう。第二に、その出力を人間が検査せずに採用すると、AI が落とした条件が業務や公開物へ持ち込まれる。したがって、生成 AI の利用では、出力を作る工程だけでなく、出力を評価し、採用し、記録する工程が重要になる。

また、OWASP の大規模言語モデル向けリスク整理は、プロンプト注入、過剰な権限、機密情報漏えい、不適切な出力処理など、LLM 利用時の具体的な危険を示している[29]。これらのリスクは、AI の物忘れと直接同じではない。しかし、共通する構造がある。AI に自然言語で「してよいこと」と「してはいけないこと」を伝えるだけでは、権限、入力、出力、外部操作を十分に制御できない。第一に、LLM は入力された文脈に強く影響される。第二に、その文脈が悪意ある指示や曖昧な依頼を含む場合、守るべき境界が崩れることがある。だからこそ、権限、入力検査、出力検査、ログ、承認を別構造として設ける必要がある。

さらに、CISA はエージェント型 AI サービスを慎重に導入するための注意点を示している[30]。エージェント型 AI では、AI が文章を返すだけでなく、外部ツールを使い、ファイルを操作し、システムへ接続し、場合によっては作業を実行する。ここでは、物忘れの意味がさらに重くなる。第一に、AI がルールを落とした出力を作るだけなら、人間が読む段階で止められる可能性がある。第二に、AI が外部操作まで行う場合、落としたルールがそのまま実行結果へ反映される可能性がある。そのため、エージェント型 AI では、記憶や注意喚起ではなく、権限分離、実行前確認、操作ログ、承認手順が不可欠になる。

固定すべき対象 自然言語だけに任せた場合 検査構造として固定した場合 物忘れへの効果
出力形式 指示としては伝わるが、作業が複雑になると崩れることがある。 テンプレートや構文検査により、違反を検出しやすくなる。 形式条件が文脈から落ちても、検査で発見できる。
参照整合性 番号、リンク、未参照項目の確認が漏れることがある。 本文参照と参考文献リストを対応表として照合できる。 自然な文章に紛れた番号ずれやリンク形式違反を検出できる。
修正範囲 必要な箇所だけを直すつもりでも、周辺まで書き換えることがある。 差分確認により、変更対象と非変更対象を分けられる。 一つの制約を直す過程で別の制約を壊す失敗を見つけやすくなる。
権限範囲 AI がどこまで触ってよいかが曖昧になりやすい。 読み取り、書き込み、実行、承認を分けて管理できる。 AI が過去の制限を落としても、操作権限の側で被害を抑えられる。
採用判断 AI の出力が自然だと、そのまま通りやすい。 採用条件、確認者、差し戻し基準を明確にできる。 生成された出力と、採用可能な成果物を分けて扱える。
監査記録 後から、何を根拠に採用したのかが曖昧になりやすい。 入力、出力、確認項目、承認、変更履歴を残せる。 物忘れによる失敗が起きたとき、どこで止められなかったかを追跡できる。

この表が示しているのは、検査構造が AI の能力を否定するものではないということである。むしろ、AI の能力を使うために検査構造が必要になる。AI は、草稿を作り、論点を整理し、候補を比較し、複雑な情報を扱う力を持つ。その一方で、自然言語で伝えた規則を常に固定制約として実行するわけではない。第一に、AI は作業を進める力を持つ。第二に、その作業が条件を満たしているかを確認する構造がなければ、進んだ作業の中に違反が残る。したがって、検査構造は AI の代替物ではなく、AI を安全に使うための補助骨格である。

これらの文献が示す方向は一致している。AI の能力を使うほど、入力、権限、検査、承認、監査を設計しなければならない。AI が忘れるから使えない、という結論ではない。AI の記憶を固定制約として過信しないことが重要である。人間が自然言語で伝えたルールは、必要条件ではあるが十分条件ではない。自然言語は AI に目的と方針を伝え、検査構造はその方針から外れた出力や操作を見つけ、止める。両者を分けて設計することで、AI の物忘れは管理可能なリスクに近づく。

ここから得られる要点は、AI に「覚えさせる」ことと、AI の出力を「守らせる」ことは違うという点である。覚えさせるとは、文脈やメモリに情報を置くことである。守らせるとは、出力や操作が条件を満たしているかを検査し、違反時に止めることである。第一に、覚えさせることは、AI がその情報を参照する可能性を高める。第二に、守らせることは、参照されなかった場合や適用に失敗した場合でも、違反を発見できるようにする。AI を実務に入れるほど、後者が重要になる。

物忘れを完全になくすより、物忘れしても検出できる構造を作る方が現実的である。これは AI への期待を下げる話ではない。AI を、記憶も判断も検査もすべて一体で担う存在として扱わないという話である。第一段階では、AI に生成、整理、比較、草稿化を担わせる。第二段階では、人間と機械的な検査構造が、出力の採用条件を確認する。第三段階では、運用上の権限、承認、記録によって、失敗がそのまま実害へ進まないようにする。ここで、AI の物忘れは、避けられない欠陥ではなく、設計によって閉じ込めるべきリスクとして扱える。

13. AI に任せるほど、制約を設計する仕事が残る

AI が物忘れする理由は、記憶がないからではない。計算機上で動いていないからでもない。AI は計算機上で動いている。しかし、通常のプログラムのように、過去のルールを固定状態として保存し、すべての出力に対して必ず検査する仕組みとして動いているわけではない。LLM は、文脈から応答を再構成する生成器である。ここで重要なのは、計算機であることと、規則を不変条件として実行することが同じではないという点である。前者は処理基盤の話であり、後者は設計された制約構造の話である。

この構造では、過去のルールが情報として存在していても、現在の作業で制約として働くとは限らない。文脈が長くなるほど、条件が多くなるほど、別の要求が強くなるほど、一部の規則は弱くなることがある。AI は後から正しい説明を出せるかもしれない。しかし、それは作業中にその規則を適用したことを意味しない。知識、想起、適用、検査、修正は別の働きである。第一に、情報は文脈内に存在しうる。第二に、その情報が成果物を拘束するには、対象へ適用され、検査され、違反時に修正されなければならない。この連鎖のどこかが切れると、外からは物忘れに見える。

したがって、AI の物忘れは、記憶喪失ではなく制約適用の不安定性として理解する必要がある。この理解は、AI の欠点を数えるためだけのものではない。むしろ、AI を実務に組み込むときの設計原理を示している。AI に任せるほど、人間の仕事は消えない。仕事の位置が変わる。文章を一から書く、候補を出す、論点を整理する、比較案を作るといった生成作業の一部は AI に移る。その一方で、問いを切り、判断軸を定め、重要な規則を固定し、検査構造を作り、採用可否を決める仕事は、人間側により強く残る。

ここで一段高い問題として見えてくるのは、AI 時代の実務能力は、単に AI を使いこなす能力ではないということである。AI に何を出させるかだけでなく、何を守らせるか、何を検査するか、何を採用しないか、どこで止めるかを設計する能力が必要になる。第一に、AI は生成の速度と量を引き上げる。第二に、生成されたものが増えるほど、判断、検査、責任の構造が弱い場所に誤りが流れ込みやすくなる。つまり、AI が広がるほど重要になるのは、出力を増やす力だけではなく、出力を選別し、拘束し、採用可能な成果物へ変換する力である。

この意味で、AI の物忘れは、単なる会話上の不便ではない。AI と人間の役割分担を考えるための入口である。AI は、過去の指示を人間の約束のように保持する存在ではない。自然言語で伝えた規則を、常に固定制約として実行する存在でもない。AI は、文脈から出力を作る。その出力を、どの条件に照らして採用するかは、別に設計されなければならない。ここに、AI 利用の中心課題がある。AI に覚えさせることと、AI の出力を守らせることを分ける必要がある。

結論は、AI を信じるか疑うかという二択ではない。AI にすべてを任せるか、使わないかでもない。AI は記憶を失うのではなく、記憶を固定制約として安定適用できない。だから、計算機上で動いていても、物忘れのように振る舞う。この性質を前提にすれば、実務上の設計は明確になる。AI には生成、整理、比較、草稿化を担わせる。人間は、目的、判断軸、禁止事項、検査項目、採用条件、責任範囲を固定する。AI 時代に必要なのは、AI に任せる技術だけではない。AI に任せても壊れてはならないものを、検査できる形で残す技術である。

参考文献

  1. id774, AI に任せる前に、人間が残すべき判断（2026-06-21）. https://blog.id774.net/entry/2026/06/21/4912/
  2. id774, AI の答えは、採用されたときに責任になる（2026-06-26）. https://blog.id774.net/entry/2026/06/26/4925/
  3. id774, AI は思考設計格差を拡大する（2026-02-19）. https://blog.id774.net/entry/2026/02/19/3698/
  4. id774, 生成 AI の競争軸は、モデルから業務実装へ移る（2026-06-25）. https://blog.id774.net/entry/2026/06/25/4922/
  5. OpenAI Help Center, Memory FAQ. https://help.openai.com/articles/8590148-memory-faq
  6. OpenAI, Memory and new controls for ChatGPT（2024-02-13）. https://openai.com/index/memory-and-new-controls-for-chatgpt/
  7. Ashish Vaswani, Noam Shazeer, Niki Parmar, Jakob Uszkoreit, Llion Jones, Aidan N. Gomez, Lukasz Kaiser, Illia Polosukhin, Attention Is All You Need（2017）. https://arxiv.org/abs/1706.03762
  8. Tom B. Brown et al., Language Models are Few-Shot Learners（2020）. https://arxiv.org/abs/2005.14165
  9. Emily M. Bender, Timnit Gebru, Angelina McMillan-Major, Shmargaret Shmitchell, On the Dangers of Stochastic Parrots: Can Language Models Be Too Big?（2021）. https://dl.acm.org/doi/10.1145/3442188.3445922
  10. Patrick Lewis, Ethan Perez, Aleksandra Piktus, Fabio Petroni, Vladimir Karpukhin, Naman Goyal, Heinrich Küttler, Mike Lewis, Wen-tau Yih, Tim Rocktäschel, Sebastian Riedel, Douwe Kiela, Retrieval-Augmented Generation for Knowledge-Intensive NLP Tasks（2020）. https://arxiv.org/abs/2005.11401
  11. Charles Packer, Sarah Wooders, Kevin Lin, Vivian Fang, Shishir G. Patil, Ion Stoica, Joseph E. Gonzalez, MemGPT: Towards LLMs as Operating Systems（2023）. https://arxiv.org/abs/2310.08560
  12. Nelson F. Liu, Kevin Lin, John Hewitt, Ashwin Paranjape, Michele Bevilacqua, Fabio Petroni, Percy Liang, Lost in the Middle: How Language Models Use Long Contexts（2023）. https://arxiv.org/abs/2307.03172
  13. Xinyu Liu, Runsong Zhao, Pengcheng Huang, Chunyang Xiao, Bei Li, Jingang Wang, Tong Xiao, Jingbo Zhu, Forgetting Curve: A Reliable Method for Evaluating Memorization Capability for Long-context Models（2024）. https://arxiv.org/abs/2410.04727
  14. Dongyu Gong, Xingchen Wan, Dingmin Wang, Working Memory Capacity of ChatGPT: An Empirical Study（2023）. https://arxiv.org/abs/2305.03731
  15. Yuntao Bai et al., Constitutional AI: Harmlessness from AI Feedback（2022）. https://arxiv.org/abs/2212.08073
  16. Daniel L. Schacter, Donna Rose Addis, Randy L. Buckner, Constructive memory: past and future（2012）. https://pmc.ncbi.nlm.nih.gov/articles/PMC3341652/
  17. Daniel L. Schacter, The Seven Sins of Memory: An Update（2021）. https://pmc.ncbi.nlm.nih.gov/articles/PMC8285452/
  18. A. M. Turing, Computing Machinery and Intelligence（1950）. https://philpapers.org/rec/TURCMA
  19. John R. Searle, Minds, Brains, and Programs（1980）. https://www.cambridge.org/core/journals/behavioral-and-brain-sciences/article/minds-brains-and-programs/DC644B47A4299C637C89772FACC2706A
  20. Stanford Encyclopedia of Philosophy, The Chinese Room Argument. https://plato.stanford.edu/entries/chinese-room/
  21. Ofir Press, Muru Zhang, Sewon Min, Ludwig Schmidt, Noah A. Smith, Mike Lewis, Measuring and Narrowing the Compositionality Gap in Language Models（2022）. https://arxiv.org/abs/2210.03350
  22. Miles Turpin, Julian Michael, Ethan Perez, Samuel R. Bowman, Language Models Dont Always Say What They Think: Unfaithful Explanations in Chain-of-Thought Prompting（2023）. https://arxiv.org/abs/2305.04388
  23. Lei Huang et al., A Survey on Hallucination in Large Language Models（2023）. https://arxiv.org/abs/2311.05232
  24. OpenAI, Why language models hallucinate（2025-09-05）. https://openai.com/index/why-language-models-hallucinate/
  25. Shunyu Yao, Jeffrey Zhao, Dian Yu, Nan Du, Izhak Shafran, Karthik Narasimhan, Yuan Cao, ReAct: Synergizing Reasoning and Acting in Language Models（2022）. https://arxiv.org/abs/2210.03629
  26. Timo Schick, Jane Dwivedi-Yu, Roberto Dessì, Roberta Raileanu, Maria Lomeli, Luke Zettlemoyer, Nicola Cancedda, Thomas Scialom, Toolformer: Language Models Can Teach Themselves to Use Tools（2023）. https://arxiv.org/abs/2302.04761
  27. NIST, Artificial Intelligence Risk Management Framework (AI RMF 1.0)（2023）. https://www.nist.gov/itl/ai-risk-management-framework
  28. NIST, Artificial Intelligence Risk Management Framework: Generative Artificial Intelligence Profile（2024）. https://www.nist.gov/publications/artificial-intelligence-risk-management-framework-generative-artificial-intelligence
  29. OWASP, OWASP Top 10 for Large Language Model Applications. https://owasp.org/www-project-top-10-for-large-language-model-applications/
  30. CISA, Careful Adoption of Agentic AI Services（2026-05-01）. https://www.cisa.gov/resources-tools/resources/careful-adoption-agentic-ai-services