公開される記事、投稿、広告、説明、返信、評価の大部分が AI によって生成される世界は、情報が際限なく増殖するディストピアとして想像されやすい。AI が別の AI の文章を収集し、それを要約した文章へ別の AI が応答し、その応答が検索結果や学習資料へ再投入される。文章の生成から再利用までが自動化されれば、人間が読み切れない量の文字列が絶えず追加されるため、情報空間全体が自律的に膨張しているように見える。
この想像には、現在の情報環境で既に観察できる問題を拡大した説得力がある。文章の生成費用が低下すると、発信側は同じ事実や主張を多数の表現へ変換できる。検索結果、ソーシャルネットワーク、商品評価、問い合わせ対応には、内容の近い文章が別々の情報であるかのように並ぶ。読者が確認しなければならない対象は、文章の内容だけではない。誰が観測したのか、どの資料を参照したのか、生成後に誰が確認したのか、誤りがあった場合に誰が訂正するのかまで追わなければ、記述の信頼性を判断できなくなる。
生成費用の低下は、情報を得る費用を一様に引き下げるわけではない。発信側では、一つの文章を生成する限界費用が下がる。受信側では、類似文章の重複を見抜き、出所を確認し、一次資料まで遡るための検証費用が増える。発信量が増えるほど確認対象も増えるため、生成の効率化が、読者、編集者、研究者、運用担当者の確認作業へ転嫁される。
生成、選別、配信、応答、再学習が連なる公開文章の環境を、以下ではテキスト圏と呼ぶ。ここでいうテキスト圏は、文章を保存する場所だけを指さない。どの文章が生成され、どの文章が表示され、何が高く評価され、どの出力が次の入力として再利用されるかを決める一連の循環である。生成を人間が依頼していても、選別、評価、再利用の条件が異なれば、同じ生成モデルから形成されるテキスト圏の性質も変わる。
この循環へ人間の意図と外部世界から得られた観測が継続的に入るなら、AI 生成文が増えても、テキスト圏は直ちに閉じない。研究者が新しい実験結果を入力し、編集者が根拠を確認し、利用者が現実の結果に基づいて誤りを指摘し、責任者が訂正する経路が残るからである。文章は既存の文章だけから作られるのではなく、テキストの外部で起きた出来事によって更新される。
これに対し、生成、選別、応答、再学習の全体が、過去の生成物と自動評価だけによって閉じると、循環へ入る差異の種類が変わる。新しい観測、少数の経験、失敗した運用、既存分類に収まらない事例、評価基準への異議が追加されにくくなる。第一段階では、選別されやすい平均的な表現の割合が増える。第二段階では、その偏った出力が次の生成材料となり、低頻度の事例を生成する基盤そのものが細くなる。文章量は増えていても、生成可能な内容の範囲は狭くなり得る。
さらに、文章が人間の判断や行動へ接続されなくなると、失われるのは表現の多様性だけではない。文章に誤りがあっても、損失を受けた主体が訂正を要求しない。説明が不十分でも、その説明に基づいて意思決定した主体が結果を評価しない。発話が別の発話を生成する入力としてだけ処理されるため、形式上の通信は継続しても、主張、責任、結果を結ぶ経路が消えていく。
この問題は、構造、時間、生命、意味、知能、自己、AI を更新の連鎖として捉えた既稿に対し、その連鎖が差異を取り込めなくなる条件を検討する位置にある[1]。既稿で扱った更新は、状態が機械的に変化し続けることを意味しない。外部との不一致を受け取り、既存の分類や規則を修正し、それまで存在しなかった関係を構造へ組み込む過程を指す。出力の回数だけが増えても、既存構造を変える差分が入らなければ、更新の外形だけが残る。
知性の外部化を扱った既稿では、人間の記憶、計算、分類、判断の一部が、言語、制度、計算機、ネットワーク、AI へ移される過程を整理した[2]。外部化された知性は、人間から独立して存在するだけでは機能しない。誰が目的を与え、どの資料を参照し、どの結果を採用し、誤りがあったときに誰が修正するかという接続が必要になる。外部化が進んだ後に問われるのは、処理主体が人間か AI かではなく、外部化された系へ現実の差分と判断結果が戻るかどうかである。
焦点となるのは、文法的に整った文章を生成できるかではなく、文章が予測、判断、行動、失敗、修正へ接続されているかという理解の条件である[3]。たとえば、AI が設備の故障原因を説明した場合、文章の整合性だけでは説明の有効性を判定できない。その説明に基づいて保守作業を行い、故障が解消したかを確認し、予測と結果が一致しなければ原因モデルを修正する必要がある。文章は行動の前提となり、行動結果によって再評価されることで、現実との関係を持つ。
既稿で扱った Claude Mythos の事例では、AI の出力が人間社会へ戻り、安全対策、制度、責任の更新へ接続された[4]。このように、出力が現実の判断と行動へ戻る場合には、現実の賭け金を持つ。ここでいう賭け金とは、文章が正しいかどうかによって、判断、費用、安全、権利、制度運用の結果が変わることである。誤りによる損失を認識する主体が存在し、その損失が訂正や規則変更へ結び付くなら、AI の出力は閉じた記号操作にとどまらない。
反対に、差異が読み取られず、同じテキスト圏の内部だけを循環する場合には、意味を生む更新経路そのものが細くなる[5]。意味は、語句に固定された属性として保存されるのではなく、異なる状況、目的、結果の間にある差を読み取ることで成立する。循環へ入る差異が減れば、文章は表面上変化していても、何を区別し、何を訂正し、どの判断を変えるべきかを示せなくなる。
以上の区別から、AI 生成テキストが増える世界には二つの異なる段階がある。人間が読み、判断し、行動する移行期では、情報操作、検証費用、責任所在の不明確化が前面に出る。生成から評価までが人間の意図と外部観測から切断された終端状態では、中心的な帰結が変わる。そこでは情報が人間を支配するという構図よりも、テキスト圏が新しい差異と実践的な意味を再生産できなくなることが問題になる。
1. AI だけで閉じたテキスト圏は持続的なディストピアにならない
1.1 情報が暴走し続けるという想像
AI が文章を生成する費用は、人間が対象を調査し、資料を比較し、因果関係を検討し、文章として構成する費用より低い。生成量の上限が引き上げられると、検索結果、ソーシャルネットワーク、商品評価、業務文書、問い合わせへの回答は、膨大な類似文章で満たされる。個々の文章は異なる語句と構成を持つため、画面上では新しい情報が絶えず追加されているように見える。
しかし、文章数の増加と、観測された事実の増加は一致しない。一つの発表資料から百本の記事を生成しても、新しい観測結果が百件に増えるわけではない。元資料の要点を言い換え、順序を変え、対象読者に合わせて説明を調整すれば、異なる文章を大量に作れる。ここで増えているのは表現の組み合わせであり、文章が指し示す外部世界の出来事ではない。
| 増加するもの | 増加の仕組み | 同時には増えないもの |
|---|---|---|
| 文章数 | 同じ資料を要約、翻案、再構成し、複数の文章へ変換する。 | 独立して観測された事実の数は増えない。 |
| 検索結果 | 類似した生成物が別のページ、投稿、回答として登録される。 | 情報源の独立性や検証可能性は高まらない。 |
| 引用と応答 | AI が既存の生成物を参照し、要約や反論を追加する。 | 元の主張を支える一次資料や観測結果は追加されない。 |
| 評価値 | 自動評価、閲覧、類似度、反応数によって文章を順位付けする。 | 評価対象が現実と一致しているかを示す独立した判定は増えない。 |
情報空間が自律的に運動しているように見えるのは、生成された文章が静的に蓄積されるだけではなく、互いに入力として利用されるためである。記事が要約を生み、要約が回答を生み、回答が別の記事の根拠として引用される。各処理では文章が変化するため、循環の内部では多数の状態遷移が起きる。それでも、最初に存在した資料以外の観測が加わらなければ、変化は既存情報の変形に限定される。
この段階で人間が経験する第一の負担は、出所の不明化である。生成された文章は、元資料の一部を省略し、複数資料の記述を統合し、確率的に補足を加える場合がある。文章だけを読んでも、どの記述が観測結果で、どの記述が要約で、どの部分が推定なのかを判別しにくい。生成物が別の生成物に引用されると、元の資料から離れるたびに出所の追跡が難しくなる。
第二の負担は、検証費用の増大である。人間が十本の記事を書いた環境では、発信者、媒体、参照資料を個別に確認できる場合がある。同じ論点について一万本の生成記事が存在する環境では、それらを一件ずつ確認できない。読者は検索順位、要約、評価値などの選別機構へ依存するが、その選別機構も生成物の量や反応を入力にしている。生成量の増大が選別への依存を強め、選別への依存が表示されやすい文章をさらに増やす。
第三の負担は、責任の分散である。元資料の作成者、生成を依頼した利用者、生成モデルの提供者、掲載媒体、検索順位を決めたシステムが別々である場合、誤りの訂正主体が定まらない。掲載者が「AI が生成した」と説明し、提供者が「利用者が入力した」と説明し、利用者が「検索結果を参照した」と説明すれば、文章は広く流通していても、内容を引き受ける主体が残らない。
生成費用の低下から情報環境の混乱へ至る過程は、少なくとも二段階に分かれる。最初に、同じ根拠から多数の文章が作られ、表示候補が増える。次に、人間が全件を確認できないため、検索順位、自動要約、自動評価へ選別を委ねる。選別機構は既に多く存在する文章や反応を基準にするため、供給量の多い説明がさらに選ばれやすくなる。この循環によって、生成量の偏りが可視性の偏りへ変換される。
ここまでの状態は、情報が人間の判断へ強く介入するという意味でディストピア的である。人間は文章を無視できず、内容の確認へ時間を費やし、選別機構が提示した候補から判断しなければならない。情報の過剰は、読む自由を広げるだけではなく、何を確認し、何を疑い、何を捨てるかという選別負担を人間へ集中させる。
1.2 想像の中に残されている観察者
情報が暴走するディストピア像には、AI が生成した世界を見て、異様さを感じ、過去と比較し、危険だと判断する人間が残されている。文章が多すぎると感じるのも、同じ内容が反復されていると見抜くのも、出所が分からないことを危険と評価するのも人間である。この観察者が存在する限り、テキスト圏は人間の認識と判断へ接続されている。
情報操作は、受信者の判断を変えることによって成立する。広告は購入を促し、政治的宣伝は投票や政策支持を変え、偽の評価は商品やサービスへの信頼を変える。第一段階では文章が人間へ提示される。第二段階では、人間がその文章を信じるか疑うかを判断し、購入、投票、共有、拒否などの行動を選ぶ。操作する側が得ようとする利益は、この行動変化によって生じる。
注意の奪取も同じ条件を持つ。大量の生成物が人間の画面へ表示されても、人間が読まず、反応せず、意思決定にも利用しないなら、閲覧時間や広告収益は生じない。生成物の量だけでは支配関係は成立せず、人間の注意と行動が経済的、政治的な結果へ変換される必要がある。
人間がテキスト圏に残っている段階では、AI の関与範囲にかかわらず、人間が受信者、判断者、訂正者として機能する。文章は最終的に人間へ提示され、人間の判断や行動を変える。ここでは、誤情報、偏った推薦、責任の分散が現実の損失を生む。人間が損失を認識すれば、訂正要求、規制、評価基準の変更も起こり得るため、テキスト圏には外部からの反作用が残っている。
AI だけで生成、選別、応答、再学習が閉じると、循環の性質が変わる。AI の文章を別の AI が評価し、その評価を用いて次の AI が文章を生成し、生成結果が再び学習材料となる。人間が結果を読まず、行動せず、誤りによる損失も評価しないなら、情報操作の対象となる人間が存在しない。宣伝や誘導に相当する処理が形式上残っていても、それによって達成される人間社会上の目的は失われる。
完全な AI 循環を想像しながら、その光景を経験する人間だけを外部に残すことは、二つの異なる状態を重ねている。人間が文章を観察し、過去の文章と比較し、均質化や空虚さを指摘できるなら、人間は差異を読み取る受信者としてテキスト圏へ接続されている。批評が公開され、別の人間や AI に読まれれば、その批評自体が新しい差異として循環へ入る。
一方、人間が本当に文章循環から外れ、生成物を読まず、評価せず、訂正しないなら、その世界をディストピアとして経験する主体も存在しない。人間社会にとって有害な情報環境という評価は、人間が損失を受け、その損失を認識することを前提とする。認識主体まで取り除いた終端状態では、評価語としてのディストピアを適用する実践的条件が失われる。
この区別によって、AI 生成テキストが増える過程を二つの局面へ分けられる。移行期では、人間がテキスト圏に残り、生成物によって判断と行動を変えられる。そこで発生する中心的な問題は、情報操作、検証費用、選別権限、責任分散である。終端状態では、人間が循環から外れ、文章が別の文章を生成する入力としてだけ処理される。そこで生じるのは、人間への支配の完成ではなく、外部から差異と目的を取り込む経路の消失である。
持続的なディストピアには、支配される主体、損失を認識する主体、状態を過去と比較する主体が必要になる。完全な AI テキスト閉ループは、その条件を満たさない。人間が残る間はディストピア的な移行過程が続くが、人間を完全に除外した時点で、情報氾濫という構図は別の現象へ変わる。次に検討すべきなのは、観察者と外部入力を失ったテキスト圏が、技術的にどのような分布を形成するかである。
2. AI が書く世界と AI だけで循環する世界は異なる
2.1 AI 生成でも人間の意図は残り得る
文章が AI によって生成されたという事実だけでは、人間の意図や意味が失われたとはいえない。生成という工程を AI が担当していても、その前後にある目的設定、資料選定、評価、採否判断、公開責任を人間が担っていれば、文章は人間の行為を媒介する道具として機能する。文章の意味を決めるのは、表面上の文字列を誰が出力したかだけではなく、何を目的として作られ、どの判断に使われ、結果を誰が引き受けるかという一連の関係である。
研究者が観測結果を整理するために AI を使う場合を考える。研究者は実験条件、測定値、既存研究との関係を入力し、AI に説明文の候補を作らせることができる。しかし、生成された文章が実験結果を正しく表しているか、相関を因果関係として誤記していないか、測定限界を越えた一般化をしていないかは、研究者が確認しなければならない。AI が文章を生成しても、主張の根拠は実験装置と測定結果にあり、採用の判断と説明責任は研究者に残る。
技術者が設計案の草稿を生成させる場合も同じである。AI は要件から構成案、処理手順、障害時の対応案を文章化できる。しかし、その設計が負荷条件を満たすか、既存システムと整合するか、障害時に復旧できるかは、実装、試験、運用によって確かめられる。生成文が論理的に整っていても、実装が動かなければ設計としては成立しない。文章は現実を置き換えるのではなく、現実へ介入するための仮説として扱われる。
編集者が複数の生成候補を比較して記事を作る場合には、別の検証経路が働く。編集者は、読者が誤解しないか、一次資料と記述が一致しているか、引用の範囲が適切か、主張の強さが証拠を越えていないかを確認する。候補を採用せず、書き直しを命じ、公開後に訂正する権限も持つ。AI の出力は完成品として自動的に流通するのではなく、人間の判断を受ける中間生成物として位置づけられる。
| 利用場面 | AI が担う工程 | 外部の評価基準 | 結果を引き受ける主体 |
|---|---|---|---|
| 研究論文の草稿 | 測定結果の整理、説明候補の生成、文章構成の補助を行う。 | 実験結果、統計的検定、既存研究、再現可能性によって記述を検証する。 | 研究者が主張の妥当性と研究倫理上の責任を負う。 |
| システム設計 | 要件から構成案、処理手順、障害対応案を生成する。 | 性能試験、障害試験、セキュリティー要件、実運用の結果によって評価する。 | 設計者と運用責任者が採否、修正、復旧判断を担う。 |
| 記事編集 | 文章候補、要約、見出し、説明順序を生成する。 | 一次資料、編集基準、読者理解、公開後の訂正可能性によって確認する。 | 編集者と発行主体が掲載内容を引き受ける。 |
| 業務上の意思決定 | 選択肢、利点、リスク、過去事例を文章として整理する。 | 予算、法令、契約、実績値、組織の責任分界によって判断する。 | 権限を持つ担当者が決定と結果の責任を負う。 |
これらの利用では、AI の出力が現実によって検証される。実験結果と一致しなければ説明は修正され、実装が要件を満たさなければ設計は棄却され、公開文が読者へ誤解を与えれば訂正が必要になる。第一段階では、生成文が現実に対する予測や説明として提示される。第二段階では、その文章に基づく実験、実装、判断の結果が得られる。第三段階では、予測と結果の差が文章や設計の修正へ戻される。
この経路が残っている限り、AI 生成文は別の文章を生むだけの入力にはならない。文章は行動を導き、行動結果によって評価され、その評価が次の記述へ反映される。生成、行動、結果、修正が接続されるため、テキスト圏には文章の外部から新しい差異が供給される。
人間の意図が残るという表現は、人間が生成文を一度読めば十分だという意味ではない。確認対象が多すぎれば、人間の監督は形式化する。担当者が大量の出力へ機械的に承認を付けるだけなら、名目上は人間が関与していても、実質的には生成結果を評価していない。責任者の存在だけで循環が開かれるのではなく、現実の結果と生成文を比較し、必要な場合に採用を拒否できる権限と時間が必要になる。
人間が関与する環境にも閉鎖へ近づく失敗条件がある。たとえば、AI が作った設計を別の AI が審査し、人間が審査結果だけを承認する場合、元の要件や実装結果を確認する経路が省略されることがある。生成側と評価側が同じ資料、同じモデル系列、同じ評価指標へ依存していれば、一方の誤りを他方が再確認するだけになる。複数の処理主体が存在していても、独立した検証経路がなければ、評価の循環は閉じたままである。
AI が文章を書く世界を評価する際には、生成主体の区分だけでは足りない。生成文がどの資料に接続され、誰が採否を判断し、どの現実的結果によって反証され、誰が規則を修正できるかを確認する必要がある。これらの経路が機能していれば、文章の生成を AI が担っても、人間の意図と外部世界との接続は維持される。
2.2 閉じた循環は生成後の工程によって成立する
テキスト圏が閉じる条件は、生成者が AI であることより広い。文章を生成した後には、どの出力を残すか、誰へ表示するか、どの文章へ応答するか、何を次の学習資料へ戻すかという工程が続く。生成だけを人間が管理していても、後続工程が自動評価によって完結すれば、人間の観測や判断が循環へ入りにくくなる。
閉鎖は一度に成立するのではない。最初に、AI が既存資料から文章を生成する。次に、別の AI が文章の類似度、閲覧予測、表現の自然さ、規定への適合度を評価する。評価値の高い文章が自動配信され、その文章への応答も AI によって作られる。最後に、配信実績、反応値、生成された応答が検索資料や学習データへ再投入される。
この工程では、各処理が個別には合理的に見える。生成は作業時間を短縮し、選別は大量の文章から候補を減らし、配信は対象に合う文章を届け、応答は問い合わせを処理し、再学習は利用実績を次の性能改善へ利用する。しかし、すべての工程が同じ種類の内部指標へ依存すると、局所的な効率化が全体の閉鎖を進める。
たとえば、閲覧されやすさを基準に文章を選別すると、既に多く表示されている表現や、短時間で理解しやすい定型的な説明が残りやすい。第一段階では、低頻度の表現や複雑な異論が配信対象から外れる。第二段階では、配信されなかった文章は反応データを得られず、次の評価でも低く扱われる。第三段階では、残された文章だけが再学習へ使われ、生成段階から低頻度の説明が作られにくくなる。
同様に、既存モデルによる評価を品質基準にすると、評価モデルが理解しやすい文章が高く採点される。新しい概念、既存分類から外れた事例、根拠はあるが一般的でない主張は、評価モデルの学習分布から離れているため低く評価される場合がある。評価値をそのまま再学習へ利用すれば、モデルが既に知っている形式に近い文章が強化され、モデルの既存理解を修正する文章が排除される。
| 工程 | 開かれた循環 | 閉じた循環 | 閉鎖を進める失敗条件 |
|---|---|---|---|
| 生成 | 人間の目的、新しい観測結果、現場で確認された事実を入力として文章を作る。 | 既存の生成物と過去の評価結果を主要な入力として文章を作る。 | 入力資料の出所を区別せず、生成物を独立した事実として再利用する。 |
| 選別 | 事実確認、用途、反証可能性、責任、少数意見を含む複数の基準で選ぶ。 | 類似度、反応率、既存モデルの評価値だけで選ぶ。 | 高い反応と高い正確性を同一視し、低頻度の事例を自動的に除外する。 |
| 配信 | 受信者の目的と必要情報を確認し、出所と制約を付けて提示する。 | 過去の閲覧履歴と予測反応に基づき、自動的に表示対象を決める。 | 表示された文章への反応だけを学習し、表示されなかった選択肢を評価しない。 |
| 受信 | 人間が内容を判断し、行動、設計、制度、説明を変更する。 | 別の AI が要約、分類、応答生成の入力として処理する。 | 処理結果が人間の判断や現実の行動へ接続されず、内部評価だけで完結する。 |
| 修正 | 現実の失敗、反証、損失、異議によって規則と評価基準を変更する。 | 内部評価が高かった出力と処理経路を反復的に強化する。 | 評価基準そのものの誤りを検証せず、同じ基準による再評価を訂正とみなす。 |
| 再学習 | 生成物と独立した実データを区別し、失敗例と少数事例も保存する。 | 配信され、反応を得た生成物を次世代の主要資料として利用する。 | 元の実データを生成物で置き換え、データの来歴と独立性を失う。 |
閉じた循環では、生成物が入力へ戻ること自体よりも、入力へ戻る前に独立した検証を受けないことが問題になる。AI が生成した文章でも、実験結果、実装結果、監査記録、法的判断、利用者の損失などによって評価されれば、循環には外部の制約が入る。これに対し、別の AI による自然さの評価や、既存生成物との一致だけで採否を決める場合、評価は生成分布の内部で完結する。
複数の AI を使えば閉鎖を避けられるとも限らない。生成モデル、評価モデル、要約モデルが別々であっても、同じ公開資料、同じ生成物群、同じ反応データを学習していれば、誤りや欠落を共有する可能性がある。モデルの数が増えると処理経路は複雑になるが、独立した観測源が増えるわけではない。複数の内部処理を重ねることと、外部世界による検証を加えることは区別しなければならない。
人間の確認も、その位置によって効果が異なる。生成後に文章の読みやすさだけを確認しても、元資料の誤読や事実関係の欠落は検出できない。最終出力を承認する担当者に、一次資料へのアクセス、採用を拒否する権限、訂正に必要な時間がなければ、人間は循環を開く判断主体ではなく、自動処理へ形式的な承認を与える工程になる。
循環を開くには、生成物とは独立した入力が必要になる。研究では新しい測定値、運用では障害記録、医療では患者の経過、行政では制度実施後の結果、製品開発では利用者の実際の行動が該当する。これらは既存文章の言い換えではなく、文章の外部で起きた出来事である。外部の結果が既存説明と一致しなければ、生成規則や評価基準を変更する根拠になる。
さらに、外部入力を受け取るだけでは足りない。既存の評価基準に合わない結果を異常値として排除すれば、循環は開かれない。測定結果が予測と異なる場合に、測定誤差だけを疑い続ける仕組みでは、予測モデルを修正できない。異議、失敗、少数事例を保存し、それらが評価基準そのものを変更できる経路が必要になる。
開かれた循環と閉じた循環の差は、個々の工程に AI が使われているかでは決まらない。外部世界から新しい差異が入り、その差異によって既存の生成規則と評価基準を修正できるかが分岐点になる。AI が大部分の処理を担っていても、独立した観測、反証、責任判断が戻れば、循環は更新可能である。人間が文章を書いていても、同じ資料と同じ評価基準だけを反復すれば、循環は閉鎖へ近づく。
この区別によって、対立軸は人間が書いた文章と AI が書いた文章の間にはないと分かる。文章の生成主体だけを見れば、AI 利用の有無を分類できる。しかし、テキスト圏が差異と意味を維持できるかを判断するには、生成後の工程を追わなければならない。何が選ばれ、誰が受け取り、どの結果で検証され、誰が規則を変更できるかが、循環の性質を決める。
AI 生成物が急増する移行期には、出所の不明化、検証費用、選別の偏りが人間へ損失を与える。生成、選別、応答、再学習が閉じた後には、別の帰結が現れる。外部観測と反証が入らないため、循環内で高く評価される表現だけが残り、低頻度の事例や既存分類を修正する情報が失われる。次章では、この社会的な閉鎖がどのように形成され、情報操作の局面から分布収縮の局面へ移るかを検討する。
3. ディストピア的状況は終端状態より移行期に強く現れる
3.1 予測と推薦は観測対象を変える
AI の出力が人間社会へ投入されると、その出力は既存の状態を受動的に記述するだけではなく、出力後の行動を介して将来の状態を変える。予測結果に基づいて融資、採用、警備、広告、推薦などの判断が行われれば、誰が機会を得るか、何が観測されるか、どの行動が記録されるかが変化する。その結果、次回の学習に使われるデータ分布は、予測前の世界ではなく、予測による介入を受けた世界を表すようになる。
このように、予測が予測対象へ作用し、将来の分布を変化させる現象は、遂行的予測として形式化されている[6]。遂行的予測では、モデルが現在の分布に対して正確であっても、そのモデルに基づく意思決定が人間の行動を変えるため、導入後も同じ精度を維持できるとは限らない。モデルが出力を変え、出力が社会を変え、変化した社会から新しい学習データが得られるという二重の循環が生じる。
通常の統計分析では、観測対象が分析によって大きく変化しないことを暗黙の前提にできる場合がある。しかし、人間が予測結果を知り、それに応じて行動する環境では、この前提が崩れる。企業が離職予測に基づいて一部の従業員だけへ待遇改善を行えば、その介入自体が離職率を変える。利用者が推薦された商品だけを見るなら、観測される購買履歴は、利用者の自発的な選好だけでなく、推薦システムが提示した選択肢の影響を含む。
| 段階 | 処理 | 次の観測への影響 |
|---|---|---|
| 初期観測 | 過去の行動、評価、違反、購入、閲覧などを記録する。 | 初期モデルが学習する対象分布を形成する。 |
| 予測 | 観測データから危険度、関心、適合度、反応確率を推定する。 | 誰へ資源や情報を配分するかを決める。 |
| 介入 | 予測に基づいて警備、推薦、表示、採用、融資などを行う。 | 人間の選択肢と行動可能性を変化させる。 |
| 再観測 | 介入後に発生した行動や結果を次のデータとして記録する。 | モデルの影響を含んだ分布が、客観的な現実として再学習される。 |
この循環では、モデルが観測した現象と、モデル自身が生み出した現象を区別しにくくなる。推薦後に閲覧数が増えた商品は、利用者が元から強く望んでいた可能性もあれば、単に目立つ位置へ表示されたため選ばれた可能性もある。両者を区別せずに閲覧数を人気の証拠として再学習すると、表示されたことによる反応が、次回も表示すべき理由として利用される。
予測警察の研究では、逮捕などの観測データに基づいて警察資源を配分すると、警察が多く派遣された地域ほど違反が発見され、その観測結果が次回も同じ地域へ資源を集中させる自己増幅が示された[7]。この場合、記録された違反件数は、地域に存在する違反の総量だけを表していない。どの地域を重点的に観測したかという資源配分の偏りも含んでいる。
因果関係は二段階で進む。第一段階では、過去の観測件数が多い地域へ警察資源が配分される。第二段階では、警察が多く配置された地域ほど違反を発見する機会が増え、その発見件数が次回の危険度予測を押し上げる。実際の違反率が変わらなくても、観測密度の違いが危険度の違いとして記録される。
推薦システムでも、推薦が利用者の選択を変え、その選択が次の学習データへ入ることで、利用者行動と推薦内容の均質化が進み得る[8]。推薦された項目は閲覧されやすく、閲覧された項目は利用者の関心を示す証拠として扱われる。その証拠に基づいて類似項目が再び推薦されると、利用者が接触する選択肢の範囲が狭まり、推薦前には存在したかもしれない別の関心が観測されなくなる。
ここで起きているのは、単純な人気順の表示ではない。推薦システムが選択肢の一部を目立たせることで、利用者の行動データを生成している。その行動データを自然な選好の記録として再利用すると、システムが作った偏りが利用者自身の選好として解釈される。推薦が行動を変え、変化した行動が推薦を正当化するため、初期の小さな差が長期的な露出差へ拡大する。
AI 生成テキストにも同じ構造が成立する。検索や推薦で露出した生成物ほど読まれ、引用され、要約され、別の回答を作る資料として利用される。露出の多い文章は反応数や被引用数も増えるため、自動評価では重要な情報源と判定されやすい。その評価が次回の検索順位や生成時の参照優先度へ戻れば、内容の正確性とは独立して、既に多く流通している表現がさらに増える。
第一段階では、生成量の多い説明が検索結果や推薦枠を占有する。第二段階では、露出した説明だけが閲覧、引用、評価という反応データを得る。第三段階では、その反応が説明の妥当性や需要を示す指標として再利用される。この過程を経ると、露出量が次の露出を生み、検索順位が検索順位自身を正当化する。
たとえば、同じ一次資料から百件の生成記事が作られ、そのうち類似した結論を持つ記事が検索上位を占めた場合、利用者は複数の独立した資料が同じ結論を支持しているように受け取る可能性がある。しかし、実際には百件の記述が一つの情報源から派生している場合がある。生成物の件数を独立した証拠の数として扱えば、文章量の偏りが証拠の強さへ変換される。
| 現象 | 直接原因 | 背後にある循環 | 長期的な帰結 |
|---|---|---|---|
| 同じ観点の文章が増える | 生成しやすく評価されやすい表現が大量に供給される。 | 供給量の多さが閲覧数と引用数を増やし、それが次の評価へ戻る。 | 一つの観点が多数の独立した見解であるように見える。 |
| 少数の説明が見えなくなる | 初期露出が少なく、反応データを得られない。 | 反応が少ないことが低品質や低需要の証拠として扱われる。 | 選択肢として表示されないため、妥当性を評価される機会も失う。 |
| 生成物が情報源として再利用される | 出所を区別せず、検索結果や公開文を収集する。 | 生成物が別の生成物に引用され、元資料との距離が広がる。 | 推定、要約、誤記が独立した事実として固定される。 |
| 評価指標が自己正当化する | 閲覧数、反応率、既存文章との一致を品質指標として使う。 | 評価が高い文章だけが表示され、さらに評価データを得る。 | 正確性よりも循環内部での適合性が強化される。 |
この自己増幅は、誤った情報だけに生じるわけではない。正しい情報であっても、特定の表現や論点だけが大量に再生産されれば、別の条件、例外、適用限界が見えにくくなる。多数派の説明が常に誤りとは限らないが、多数であること自体を妥当性の根拠へ変換すると、内容を独立に検証する経路が弱くなる。
AI 生成テキストの増加と選別の自動化が結び付くと、テキスト圏は外部の事実だけでなく、自身の過去の露出履歴によって形成される。どの文章が見えるかが、どの文章が読まれるかを決める。どの文章が読まれたかが、どの文章が重要と評価されるかを決める。その評価が、次に生成される文章と表示される文章を決める。自己増幅の中心にあるのは生成能力ではなく、生成、露出、反応、再学習が一つの循環へ接続されることである。
3.2 移行期には人間を対象とする権力が残る
AI 生成テキストが急増する移行期では、人間の注意が希少資源になる。生成側は大量の文章を低費用で投入できるが、人間が一日に読める文章量や、主張の根拠を確認できる時間は急には増えない。供給能力と受信能力の差が広がるほど、どの文章を人間の画面へ表示するかを決める選別機構の影響が大きくなる。
情報が少ない環境では、人間が複数の資料を直接比較できる場合がある。情報量が確認能力を大きく上回る環境では、検索順位、推薦枠、通知、要約欄、評価点、人気順などを使って候補を絞らなければならない。人間はすべての文章から自由に選ぶのではなく、選別機構が可視化した範囲から選ぶことになる。
このとき、選別は補助的な整理作業ではなく、情報環境への入口を管理する権限になる。検索順位の下位に置かれた文章は、公開されていても事実上読まれない。推薦対象から外れた商品や意見は、利用者が存在を知る機会を失う。要約欄に含まれなかった条件や例外は、元資料を開かない利用者には伝わらない。
情報の過剰は、すべての情報が等しく届く状態を作らない。むしろ、供給量が増えるほど、人間は選別へ依存する。選別への依存が強まるほど、順位付け、要約、推薦を制御する組織やシステムが、人間の認識可能な範囲を決める。生成能力の分散とは反対に、注意配分の権限は一部の入口へ集中し得る。
| 資源 | 生成側の状態 | 受信側の制約 | 権限が集中する場所 |
|---|---|---|---|
| 文章 | 低費用で大量に生成できる。 | すべてを読んで比較することはできない。 | 検索順位、推薦枠、配信制御へ集中する。 |
| 根拠 | 一つの資料から多数の説明を生成できる。 | 各文章が独立した根拠を持つか確認しにくい。 | 出所表示、信頼度評価、引用管理へ集中する。 |
| 注意 | 通知や見出しを大量に作成できる。 | 同時に注意を向けられる対象は限られる。 | 表示順、通知条件、要約文の設計へ集中する。 |
| 検証時間 | 生成速度に応じて確認対象を増やせる。 | 一次資料まで遡る時間は有限である。 | 自動評価、事実確認基盤、編集工程へ集中する。 |
移行期の権力は、文章を強制的に信じさせることだけによって成立するわけではない。何を表示し、何を表示せず、どの条件を要約へ含め、どの反論を関連情報として提示するかを制御することで、人間が比較できる選択肢の範囲を変えられる。利用者が最終判断を行っていても、判断材料の構成が事前に制約されていれば、選択の自由は形式的に残りながら、判断の前提が管理される。
宣伝では、同じ主張を異なる文体と発信者名で反復し、社会的な支持が広いように見せることができる。商品評価では、肯定的な生成文を大量に投入し、否定的な実体験を検索結果の下位へ押し下げられる。政治的言説では、特定の論点を繰り返し提示することで、論点そのものの重要度を高く見せることができる。
第一段階では、生成物の量によって可視性を獲得する。第二段階では、可視性によって閲覧、引用、反応を集める。第三段階では、その反応が社会的関心や信頼の証拠として再利用される。内容の妥当性を変えなくても、露出と反応の循環を制御すれば、人間が何を多数意見と認識するかを変えられる。
この状況では、検証費用の分配も権力関係を作る。生成側は一つの未確認情報から多数の文章を作れるが、反証する側は元資料を特定し、生成経路を追い、個々の誤りを説明しなければならない。誤った主張の生成費用が低く、訂正費用が高ければ、正確性を維持する側が構造的に不利になる。
責任の所在が分散している場合、この非対称性はさらに強まる。生成した利用者、モデル提供者、掲載媒体、推薦システム、要約システムが別々であれば、誤りを訂正する権限と義務が一致しない。発信経路が自動化されるほど、誰も文章全体を引き受けていない状態が生じやすい。訂正要求が複数の主体の間を移動する間にも、生成物は複製され続ける。
移行期がディストピア的なのは、人間がまだ重要な位置にいるからである。人間の注意、信頼、購買、投票、労働、制度判断には経済的・政治的価値がある。AI 生成テキストは、その人間の判断を変える手段として投入される。選別機構を通じて人間の認識範囲を制御できる限り、情報空間には支配する側と影響を受ける側の関係が残る。
3.3 人間への作用も切断された終端状態では操作対象が消える
ここでいう終端状態は、AI の文章循環が人間に読まれないだけでなく、その出力が設備、制度、資源配分などを通じて人間へ作用する経路も失った状態である。人間が文章を読み、判断している限り、情報操作、宣伝、注意の支配は成立する。文章によって人間の購買、投票、感情、制度判断が変われば、その変化から利益を得る主体が存在し得る。移行期のテキスト圏では、AI が大量の文章を生成していても、最終的な作用先は人間社会にある。
終端状態では、この作用経路が失われる。AI が別の AI に向けて文章を生成し、その文章を自動評価器が採点し、その評価に基づいて別の AI が応答し、生成結果が次の学習材料へ戻る。人間が出力を読まず、判断に利用せず、結果による損失も認識しないなら、文章は人間の行動を変える媒体ではなく、内部処理を継続するための中間状態になる。
この状態では、宣伝に似た文章が生成されても、それによって商品を購入する人間がいない。政治的主張に似た文章が反復されても、投票や制度変更を行う人間がいない。感情を刺激する表現が高く評価されても、感情を動かされる受信者が循環に存在しない。外形上の文章機能が残っていても、それが社会的に遂行していた作用は失われる。
支配主体と被支配主体の関係も弱くなる。通常のディストピアでは、国家、企業、制度、管理者などが、情報を用いて人間の行動を制御する。制御には、達成すべき目的と、その目的に従わせる対象が必要である。AI だけの閉じた循環では、内部評価値を最大化する処理は続いても、その評価値が誰の利益や目的を表しているのかが失われる。
| 段階 | 循環の状態 | 人間との接続 | 中心となる帰結 |
|---|---|---|---|
| 生成拡大期 | AI 生成物が既存の人間向け情報環境へ大量に投入される。 | 人間が文章を読み、信頼性を判断し、行動する。 | 出所の不明化、検証費用、注意の奪取が生じる。 |
| 選別集中期 | 検索、推薦、要約が大量の生成物を自動的に順位付けする。 | 人間は選別済みの候補から判断する。 | 可視性を決める権限が集中し、人間の認識範囲が制約される。 |
| 自己増幅期 | AI の出力が検索、推薦、応答、評価、学習へ戻る。 | 人間の反応は循環の一部として収集される。 | 既存の露出と評価が次の露出を生み、表現と観点が均質化する。 |
| 閉鎖進行期 | 自動評価と生成物が主要な入力となり、外部観測の比率が低下する。 | 人間の確認は形式化し、訂正や異議が反映されにくくなる。 | 内部評価に適合する文章だけが反復的に強化される。 |
| 終端状態 | 人間の観測、判断、行動結果が文章循環へ戻らない。 | 人間は受信者、判断者、訂正者として循環から外れる。 | 人間への操作よりも、差異、目的、責任、意味の供給停止が中心になる。 |
移行期から終端状態への変化は、文章量の増加だけでは説明できない。移行期では、人間の反応が重要な評価信号として利用される。閲覧、購入、共有、支持、拒否などが記録され、次の推薦や生成へ戻る。閉鎖が進むと、人間の反応よりも、自動評価器の点数、生成物同士の類似度、内部規則への適合度が重視されるようになる。
人間の反応が減少した直後には、過去に蓄積された人間由来データが残っているため、文章は人間向けの形式を保つ。広告、解説、論争、警告、評価などの文体は継続して生成される。しかし、その形式が新しい人間の経験や行動によって修正されなければ、文章は過去の目的を模倣するだけになる。
この状態を、情報操作が完成した世界と解釈すると、支配の対象が消えている点を見落とす。人間が影響を受ける間は、生成テキストが人間の自由や判断を制約するという社会的問題が成立する。人間が循環から完全に外れた後は、制約される自由も、誘導される判断も、回復を要求する主体も存在しない。
終端状態の中心的な帰結は、権力の極大化ではなく、目的の空洞化である。AI は評価値を高める文章を生成し続けるかもしれないが、その評価値が人間の安全、理解、利益、制度目的と一致しているかを確認する経路がない。内部指標の最適化は続いても、指標が何のために存在していたのかを更新する主体がいない。
同時に、責任の構造も消える。文章が現実の損失を生んでも、その損失を認識し、原因を特定し、規則を変更する主体が循環に存在しなければ、誤りは訂正要求へ変換されない。内部評価が高ければ処理は継続し、外部世界との不一致は学習信号にならない。
情報氾濫のディストピアは、閉じた循環へ向かう途中で現れる。人間がまだ読み、疑い、判断し、損失を受けるため、生成量の増加と選別権の集中が社会的な支配として作用する。完全に閉じた後には、その構図を成立させていた人間の反応が失われる。
終端状態で残るのは、文章が文章を評価し、その評価が別の文章を生む自己参照的な循環である。外部から新しい観測が入らず、失敗が訂正へ変換されず、少数の経験が評価基準を変えないなら、循環内で高く評価される表現だけが保存される。移行期に見られた情報の増殖は、終端状態では分布の収縮へ性質を変える。
この変化により、次の分析対象が定まる。問うべきなのは、AI が文章を無限に作れるかではない。生成物が生成物だけを参照し、独立した実データと評価基準を失ったとき、生成可能な分布がどのように変化するかである。次章では、再帰的に生成されたデータを学習へ戻すことで、低頻度の事例と分布の裾が失われる過程を検討する。
4. 再帰的な学習は情報の爆発より分布の収縮を生む
4.1 モデル崩壊では低頻度の事例から失われる
生成モデルは、学習データに現れた事例の分布を推定し、その分布に基づいて確率の高い出力を作る。学習データに頻繁に現れる語句、構文、説明形式は再現されやすく、出現頻度の低い表現や例外的な組み合わせは再現されにくい。この性質は、通常の利用では流暢で典型的な文章を得るために働く。しかし、生成物を次世代の学習データへ戻すと、再現されにくかった事例の欠落が次の世代へ引き継がれる。
人間が作成した元データには、典型例だけでなく、地域固有の表現、専門領域の局所的な知識、少数集団の経験、失敗した試行、既存分類に収まらない事例、相互に矛盾する記録が含まれる。これらは、データ全体の中では低頻度であっても、現実の分布が単純な平均だけでは表せないことを示している。生成モデルが作る標準的な出力だけで元データを置き換えると、この分布の端にある事例が十分に再現されず、学習資料から徐々に脱落する。
再帰的に生成されたデータで学習したモデルが分布の裾を失い、元の分布を誤って捉える現象は、モデル崩壊として報告されている[9]。ここでいう分布の裾とは、単に奇妙な文章や誤った事例を指すのではない。発生確率は低いが現実には存在する事例、少数しか記録されていない属性、標準的な分類から外れる組み合わせも含まれる。
収縮は二段階で進む。第一段階では、元データから生成物を作る際に、確率の高い典型例が過剰に再現され、低頻度の事例が過小に再現される。第二段階では、その偏った生成物を次世代の学習資料として使うため、次のモデルが推定する分布自体が狭くなる。狭くなったモデルからは、さらに典型的な生成物が作られる。世代を重ねるほど、初期には小さかった再現頻度の差が累積する。
| 世代 | 学習資料 | 低頻度事例の状態 | 生成分布への影響 |
|---|---|---|---|
| 元データ | 人間の観測、記録、例外、失敗、少数事例を含む。 | 頻度は低いが、現実に存在する事例として保持される。 | 分布の中心だけでなく、端にある事例も学習対象になる。 |
| 第 1 世代 | 元データから作られた生成物が加わる。 | 典型例より少ない割合で再現される。 | 中心付近の表現が相対的に増える。 |
| 第 2 世代 | 第 1 世代の生成物が主要な学習資料になる。 | 前世代で減少した事例が、さらに生成されにくくなる。 | 学習対象となる分布の範囲が狭まる。 |
| 後続世代 | 複数世代の生成物が相互に参照される。 | 一部の事例は学習資料から事実上消失する。 | 典型的な領域への集中と、元分布の再現誤差が拡大する。 |
自分の生成物を次の学習材料として消費する生成モデルの研究でも、新しい実データが不足する条件では、生成品質または多様性が世代ごとに低下した[10]。この結果は、文章の誤りが単純に増えるという一方向の変化だけを意味しない。出力が限られた型へ集中する場合、個々の文章は流暢なままでも、生成可能な構造や事例の範囲が狭くなる。
別の分析は、合成データが学習資料へ混入する状況を、データ量やモデル規模と性能の関係を表すスケーリング則の変化として捉え、技能の喪失や学習効果の減衰を示している[11]。通常、学習データを増やせば性能向上が期待される。しかし、追加されたデータが元の分布を独立に観測したものではなく、既存モデルの出力を複製したものであれば、データ件数の増加と学習可能な情報の増加は一致しない。件数だけを基準にすると、同じ偏りを繰り返す生成物を大量に追加しながら、学習資源が増えたと誤認する。
文章数と分布の広さは別の量である。同じ事実を同じ因果枠組みで言い換えた文章が 1 万件生成されても、独立した観測事実、異なる因果説明、反証事例、価値判断の種類が増えなければ、生成分布へ新しい方向は加わらない。語順、比喩、見出し、説明順序が変化しても、扱われる事実と結論が同じであれば、増えているのは表面形式の組み合わせである。
モデル崩壊研究が直接示すのは、再帰的な生成データ利用によって、モデルが元のデータ分布を再現できなくなる条件である。そこから直ちに、社会的な意味や人間の意図が消失すると結論することはできない。一方で、低頻度の事例から失われるという技術的性質は、テキスト圏の構造を考えるうえで重要な制約になる。例外や少数経験が学習資料へ戻らなければ、次世代のモデルは、それらを説明し、検索し、異議として提示する能力も失いやすくなる。
4.2 合成データの利用だけで崩壊は決まらない
モデル崩壊は、AI 生成データを使用したという一条件だけで決まる現象ではない。生成物が元データを置き換えるのか、元データとともに蓄積されるのか、生成物の誤りを独立に検出できるのかによって、長期的な結果は異なる。合成データという分類だけでは、学習経路が開いているか閉じているかを判定できない。
実データを合成データで置き換える設計では、世代が進むたびに元の観測分布へ直接アクセスできる割合が減る。前世代のモデルが再現しなかった事例は、次世代の学習資料にも現れない。再現されなかったという事実そのものが記録されないため、欠落を検出する基準も失われる。
これに対し、元の実データを保存しながら生成物を追加する設計では、後続世代も人間由来または環境由来の観測へアクセスできる。生成物に偏りがあっても、元の分布との比較が可能である。実データと合成データを蓄積する学習経路では、再帰的な置換で見られる発散を抑えられることが複数の生成課題で確認されている[12]。
両者の違いは、データ量ではなく参照点の保存にある。生成物だけで学習する系では、現在のモデルが作った分布が次世代にとっての現実になる。元データを保持する系では、現在の生成分布と、独立して観測された分布を比較できる。比較対象が残っているため、低頻度事例の減少や特定領域への集中を検出できる。
| 学習設計 | 元データの扱い | 誤差を検出する経路 | 長期的な性質 |
|---|---|---|---|
| 生成物で元データを置換する | 元の観測分布が世代ごとに失われる。 | 現在の生成分布と元分布を比較できなくなる。 | 低頻度事例と多様性が縮小しやすい。 |
| 実データと生成物を蓄積する | 元の観測結果を後続世代でも保持する。 | 生成物の偏りを実データとの比較によって検出できる。 | 再帰的な誤差の累積を抑えられる。 |
| 生成物を独立した正解で選別する | 生成物を候補として利用し、結果に基づいて採否を決める。 | 生成モデルとは別の評価基準が誤りを判定する。 | 自己生成を訓練資源として利用できる。 |
| 生成物を同じモデル群だけで評価する | 生成物が事実上の評価基準にもなる。 | 内部の流暢さや既存分布との一致だけが確認される。 | 既存の偏りと誤差が自己強化されやすい。 |
自己消費型の循環では、どの生成物を次世代へ残すかによって偏りの方向も変わる。大規模言語モデルの出力と利用者の反応が結び付く循環では、特定集団への応答不足が将来の問い合わせデータを減らし、偏りを動的に変化させる可能性が示されている[13]。
この偏りは、固定されたデータに含まれる偏見とは異なる。第一段階では、モデルが一部の利用者へ不十分な応答を返す。第二段階では、その利用者が利用を中止したり、問い合わせを減らしたりする。第三段階では、後続の学習データからその集団の利用例が減り、モデルが改善に必要な事例をさらに得にくくなる。性能差が利用行動を変え、利用行動の差が性能差を拡大する。
反対に、利用頻度の高い集団や、既存モデルが応答しやすい質問には多くの反応データが集まる。反応の多さを需要や品質の指標として使えば、モデルは既に得意な領域へ追加の学習資源を配分する。不得意な領域は利用者が離れるため、改善対象として観測されにくい。自己消費型の循環は、平均性能だけでなく、どの領域が次世代へ残るかを変える。
単純な自己学習が一貫した改善を生まず、成功例では人間が設計した生成、選別、評価の手順から外部の知識が注入されているという分析もある[14]。モデルが自分の出力を再学習するという外形が同じでも、候補生成、誤答除去、難易度調整、正解判定、データ構成を誰がどの基準で設計したかによって結果は変わる。
生成物の利用が成功した場合、その改善をすべてモデル自身の自己更新能力へ帰属させると、外部設計の役割を見落とす。人間が課題を選び、正解を用意し、失敗例を除外し、評価指標を設定しているなら、循環は生成モデルだけで閉じていない。モデルは候補を大量に供給しているが、更新方向を決める基準は外部から与えられている。
4.3 自己生成が成功する系には独立した判定基準がある
自己生成データが有効に働く代表例として、囲碁の自己対戦がある。AlphaGo Zero は人間の棋譜を使わず、自己対戦で作った局面から学習した[15]。ただし、自己対戦で作られたすべての手順が、もっともらしさだけで学習へ採用されたわけではない。盤面の規則によって合法手が決まり、対局の終端では勝敗が確定する。
盤面の規則と勝敗は、対局を生成したモデルの自己評価から独立している。モデルが自分の手を高く評価していても、その手順で敗北すれば結果は変わらない。第一段階では、モデルが探索によって対局候補を作る。第二段階では、環境が勝敗を返す。第三段階では、勝敗に基づいて価値推定と方策を更新する。生成と判定が分かれているため、モデルは自分の既存評価に反する結果を学習できる。
| 自己生成の例 | 生成される対象 | 独立した判定基準 | 閉ループを避ける仕組み |
|---|---|---|---|
| 囲碁の自己対戦 | 局面、着手、対局履歴を生成する。 | ゲーム規則と最終的な勝敗が存在する。 | モデルの自己評価と異なる結果でも学習信号として受け取る。 |
| Self-Instruct | 命令文、入力例、回答候補を生成する。 | 重複除去、形式検査、人間評価、外部課題による性能測定を行う。 | 生成された候補を無条件に正解として扱わない。 |
| STaR | 問題に対する推論過程を生成する。 | 既知の正解へ到達したかを判定する。 | 正解へ結び付いた推論を選別して再学習へ使う。 |
| 過程監督 | 複数段階からなる推論手順を生成する。 | 人間由来の評価によって各段階の妥当性を確認する。 | 最終結果が偶然正しい場合でも、途中の誤りを検出する。 |
言語モデルの自己生成でも、生成物を無条件に正解とみなさない仕組みが使われる。Self-Instruct は、モデルが生成した命令と回答から形式上不適切なものや既存例と類似し過ぎたものを除外し、専門家が作成した課題や人間評価を用いて性能を測定した[16]。モデルは学習候補を増やしているが、候補の採否と最終的な性能評価は、生成物の流暢さだけでは決められていない。
STaR は、モデルが生成した推論過程のうち、既知の正解へ到達したものを次の学習へ利用する[17]。ここでは、説明が自然であるかよりも、問題に設定された正解と一致するかが判定基準になる。流暢だが誤った推論は、正解判定によって除外できる。
ただし、最終回答だけが正しければ、途中の推論も正しいとは限らない。誤った計算や根拠から偶然正解へ到達する場合がある。過程監督の研究では、最終回答だけでなく推論の各段階へ人間由来の評価を付け、誤った途中過程を検出する[18]。これにより、結果の一致だけでは見つからない論理上の欠陥を学習対象から除外できる。
これらの事例に共通するのは、自己生成が単独で更新を成立させていないことである。生成モデルは多数の候補、対局、命令、推論過程を供給する。しかし、何を残し、何を誤りと判定し、どの方向へ性能を変えるかは、ゲーム規則、既知の正解、人間評価、独立した試験によって制約される。
独立した判定基準には、二つの条件が必要になる。第一に、生成モデルが高いと評価した出力でも棄却できなければならない。第二に、判定結果が次の生成規則を変更できなければならない。判定基準が存在していても、生成物を拒否する権限がなく、再学習にも反映されないなら、循環の方向は変わらない。
AI テキスト圏でこの条件に相当するものは、新しい観測事実、一次資料、実装結果、利用者の損失、法的判断、制度実施後の結果である。生成された説明が流暢で多数の生成物と一致していても、現実の測定や結果と一致しなければ棄却される必要がある。生成物の多数決を正解判定へ置き換えると、同じ誤りを共有する文章が増えるほど、その誤りが強く支持されているように見える。
自己生成そのものが更新を保証するのではない。自己生成は候補空間を探索する手段であり、更新の方向を決めるのは、生成系とは独立した失敗判定である。失敗を外部から検出し、既存の生成規則を修正できる系では、自己生成を訓練資源として利用できる。流暢さ、類似度、過去の評価値だけで出力を選ぶ系では、自己生成が既存分布の自己確認へ変わる。
4.4 信号量と意味の増加は一致しない
通信理論が扱う情報量は、送信される記号の選択肢や不確実性を数学的に記述する。Shannon の理論は、通信路を通じて信号をどれだけ効率的かつ正確に伝送できるかを形式化した[19]。そこでは、伝送される記号列が政治的主張なのか、無意味な乱数なのか、誤った医療情報なのかによって情報量の定義が変わるわけではない。
この区別は、AI 生成テキストが大量に流通する環境を考える際に欠かせない。文章数、文字数、語彙の組み合わせ、通信回数が増えれば、処理される信号量は増える。しかし、その増加だけから、新しい観測、正確な説明、異なる判断、社会的な意味が増えたとは結論できない。
同じ文章を一万回送信すれば、通信量は増える。語句を一部ずつ変えた一万件の文章を送信すれば、記号列の種類も増える。それでも、すべてが一つの誤った資料から派生していれば、現実を正しく説明する根拠は増えない。通信量の増大と知識の増大を同一視すると、反復された記号を独立した証拠として数えることになる。
| 観点 | 測定する対象 | 増加を示す条件 | 増加を保証しないもの |
|---|---|---|---|
| 通信量 | 送受信された文字数、記号列、データ量を測る。 | 文章の生成件数や送信回数が増える。 | 内容の正確性や社会的な有用性は保証しない。 |
| 表現多様性 | 語彙、構文、文体、説明順序の違いを測る。 | 同じ内容を異なる形式へ変換する。 | 独立した事実や因果説明の追加は保証しない。 |
| 分布の広さ | 典型例、低頻度事例、例外を含む範囲を測る。 | 既存分布にない観測や少数事例が追加される。 | 文章件数の増加だけでは広がらない。 |
| 実践的な意味 | 文章が判断、行動、責任、結果へ与える関係を捉える。 | 受信者が内容を評価し、行動結果によって文章を修正する。 | 形式上の通信が継続するだけでは維持されない。 |
AI テキストの閉じた循環で起きる収縮は、この区別によって説明できる。通信される記号列は増え続ける。生成モデルは同じ資料から多数の説明を作り、別のモデルが要約し、評価し、応答する。各処理では新しい文字列が作られるため、処理量だけを見れば活動は拡大している。
一方、外部から入る観測事実、反証、少数経験、責任ある判断が減れば、既存分布を変える差異は減少する。第一段階では、既存分布の中心に近い生成物が選別されやすくなる。第二段階では、選別された生成物が次世代の学習資料となる。第三段階では、分布の端にあった事例を生成する能力が低下する。文章の流通量が増えるほど、狭くなった分布が大量に複製される。
この状態は、情報が不足している世界とは外見が異なる。画面には文章が絶えず追加され、検索結果には多数の候補が並び、AI 同士の応答も継続する。しかし、候補が共通する生成分布から作られていれば、異なる事実、異なる失敗、異なる利害を表しているとは限らない。情報の洪水に見えるものが、構造的には同じ領域の反復になり得る。
分布の収縮が社会的な意味の収縮へつながるには、さらに一段の条件がある。低頻度事例が失われるだけでなく、文章が誰の判断へ作用し、誰が誤りを引き受け、どの現実的結果によって修正されるかという接続も失われなければならない。技術的なモデル崩壊と語用論的な意味の喪失は同じ現象ではないが、外部からの差異が入らない閉ループという共通の構造によって接続される。
再帰学習が示すのは、生成処理を繰り返せば自動的に新しい分布が生まれるわけではないという制約である。実データ、独立した正解、環境から返される失敗、人間の評価が残っていれば、自己生成を学習へ利用できる。それらが失われ、生成物が生成物だけを正当化するようになると、処理量の増加は更新能力の増加ではなく、狭くなった分布の反復へ変わる。
5. 人間の経験と逸脱はテキスト圏へ差異を持ち込む
5.1 例外は品質上の雑音であると同時に更新の入口である
人間が作る記録には、誤解、言い間違い、局所的な習慣、身体感覚、未整理の経験、既存分類に収まらない事例が含まれる。個々の文書を読みやすく整える場合には、表記揺れ、重複、根拠のない推測、測定誤差を除去する必要がある。しかし、典型から外れた記録をすべて同じ雑音として扱うと、既存の説明では捉えられない現象まで失われる。
雑音と例外は、最初に観測された時点では外見が似ている。測定値が予測から外れた場合、計測器の故障かもしれず、入力ミスかもしれず、未知の現象かもしれない。既存モデルと一致しないという事実だけでは、どの解釈が正しいか決められない。それでも、その値を平均から遠いという理由だけで削除すれば、誤差を除くことはできても、モデルの欠陥を発見する機会も同時に失う。
科学研究では、理論から外れた測定値が装置の不具合として処理される場合がある。再測定しても同じ結果が得られ、別の装置や研究者によって再現されれば、その値は誤差ではなく、既存理論の適用範囲を示す証拠へ変わる。第一段階では、予測値と観測値の不一致として記録される。第二段階では、測定条件、装置、解析手順を変えて再検証される。第三段階では、不一致が再現可能であれば、理論、分類、実験条件のいずれかが修正される。
医療現場でも、平均的な症例像から外れた記録は、単なる入力異常とは限らない。既知の疾患分類に合わない症状、標準治療への予想外の反応、特定の年齢や遺伝的背景でだけ現れる副作用は、当初は少数例として扱われる。ところが、複数の医療機関から同様の報告が集まれば、既存の診断基準や安全性評価が見落としていた条件が明らかになる。
この過程では、症例数の少なさが証拠価値の低さへ直結するわけではない。頻度が低い現象でも、発生条件が明確で、複数の観測が独立しており、既存モデルでは説明できなければ、分類を更新する根拠になり得る。反対に、記録の来歴が不明で、観測条件も統一されておらず、再現できない場合には、既存理論を変更する根拠としては弱い。
ソフトウェア運用では、設計時に想定されなかった入力、負荷、時刻、権限、障害の組み合わせが、例外として現れる。単体試験と通常運用では問題がなくても、特定の時刻にだけ実行される処理、古いデータ形式、部分的な通信障害、権限変更の途中状態が重なると、障害が発生する場合がある。発生頻度が低いという理由でログを捨てれば、同じ条件が再び重なるまで原因を特定できない。
運用障害が設計の更新へつながるまでにも複数の段階がある。最初に、監視記録、利用者報告、障害ログから通常状態との差を抽出する。次に、入力条件と処理順序を再現し、単発の故障か構造的な欠陥かを分ける。再現可能な場合には、実装だけでなく、試験条件、監視項目、復旧手順、責任分界まで修正する。例外は一つの不具合報告から、運用構造全体を変更する根拠へ変わる。
| 例外が現れる領域 | 最初の見え方 | 検証によって確認する事項 | 更新される対象 |
|---|---|---|---|
| 実験と計測 | 予測範囲から外れた値や、既存理論と一致しない結果として現れる。 | 装置、測定条件、解析手順を変えても再現するかを確認する。 | 理論、測定方法、分類、適用範囲を修正する。 |
| 医療 | 既存の診断分類に収まらない症例や、標準治療への予想外の反応として現れる。 | 症例の独立性、発生条件、治療との時間関係、再現性を確認する。 | 診断基準、治療指針、安全性情報を更新する。 |
| ソフトウェア運用 | 低頻度の障害、特定条件でだけ発生する不整合として現れる。 | 入力、負荷、時刻、権限、処理順序を再現し、原因を切り分ける。 | 実装、試験、監視、復旧手順、責任分界を更新する。 |
| 地域環境 | 広域統計には現れない局所的な変化や生活上の異常として現れる。 | 観測地点、期間、季節条件、他地域との差を確認する。 | 環境評価、調査範囲、行政上の対応条件を更新する。 |
テキスト圏へ差異を供給するのは、例外的な出来事そのものだけではない。既存の説明では処理できない出来事を記録し、保存し、比較可能な形へ変換する工程が必要になる。出来事が発生しても、記録されなければ文章へ入らない。記録されても、定型から外れるという理由で除外されれば学習資料へ残らない。保存されても、出所と条件が失われれば、後から検証できない。
差異が更新へ変換されるには、検出、保存、検証、統合という段階が必要になる。検出では、既存予測との不一致を異常として認識する。保存では、元の記録、発生条件、観測者、時刻を残す。検証では、誤記、捏造、偶然の揺らぎ、再現可能な現象を区別する。統合では、確認された例外を既存の説明へ追加するだけでなく、必要に応じて分類や評価基準そのものを修正する。
| 処理段階 | 目的 | 省略した場合の失敗 |
|---|---|---|
| 検出 | 既存の予測、分類、通常状態との不一致を識別する。 | 例外が平均値や既存分類の内部へ埋没する。 |
| 保存 | 元の観測値、発生条件、来歴を後から確認できる形で残す。 | 再検証できず、例外が単なる伝聞や要約へ変わる。 |
| 検証 | 誤り、捏造、偶然の揺らぎ、再現可能な現象を区別する。 | 虚偽や測定誤差を新しい知識として固定する。 |
| 統合 | 確認された差異を理論、分類、手順、評価基準へ反映する。 | 例外が記録されるだけで、既存構造の更新へつながらない。 |
AI による選別は、この工程の一部を効率化できる。大量のログから通常と異なる組み合わせを抽出し、症例記録から既存分類に合わない特徴を見つけ、複数の報告に共通する条件を整理できる。一方、既存分布との距離だけを品質指標にすると、AI は更新の候補となる例外を低品質なデータとして除外しやすい。異常検出と異常排除を同一の工程として設計すると、検出した差異を検証へ渡す前に失う。
既存モデルとの一致を品質とみなす評価器にも同じ制約がある。流暢で既知の説明に近い文章は高く評価され、根拠はあるが既存分類から外れた報告は低く評価される場合がある。その評価値を配信や再学習へ直接使えば、現在のモデルを修正できる文章ほど循環から排除される。品質管理が既存分布の保存だけを目的とすると、精度の向上と更新可能性の低下が同時に起こり得る。
例外は、無条件に正しい情報でも、無条件に保存すべき情報でもない。更新の入口となるのは、既存説明との不一致が確認でき、来歴が保持され、独立した検証を受けられる例外である。誤りを除去する仕組みと、未知の事例を保存する仕組みを分けることで、テキスト圏は信頼性を維持しながら新しい差異を取り込める。
5.2 差異の源泉は人間の神秘性ではなく外部接続にある
人間がテキスト圏へ差異を供給する理由を、人間だけが持つ特別な創造性へ還元する必要はない。人間は身体を持ち、限られた資源の中で行動し、予測が外れれば時間、費用、安全、信用を失う。内部に持つ説明と現実が一致しない場合、その不一致を経験として受け取り、記録や説明へ変換する。
たとえば、設計者が安全だと判断した装置で事故が起きれば、設計書の論理的一貫性とは別に、現実の結果が設計判断を否定する。医師が標準治療を選んでも患者の状態が悪化すれば、治療指針への適合だけでは判断を正当化できない。利用者が操作手順を理解できなければ、説明書が文法的に正しくても、実際の利用条件を満たしていない。
第一段階では、人間が既存の説明に基づいて行動する。第二段階では、行動結果が期待と一致するかを経験する。第三段階では、損失、失敗、予想外の成果を文章へ戻し、説明、設計、規則を修正する。人間が供給する差異は、頭の中だけで自由に作られるのではなく、現実との相互作用によって生じる。
この役割は人間だけに限定されない。計測器は、人間の感覚では捉えられない微小な変化を記録する。実験設備は、条件を制御して仮説と結果の差を明らかにする。センサー網は、異なる場所と時刻の状態を継続的に取得する。独立した監査は、内部評価が見落とした不正や統制上の欠陥を検出する。異なる共同体からの報告は、中心的な利用者像では観測できない条件をテキスト圏へ持ち込む。
| 差異の供給源 | 既存分布からの独立性 | 検出される不一致 | テキスト圏への作用 |
|---|---|---|---|
| 人間の経験 | 身体、生活、労働、損失を通じて文章外の出来事へ接続する。 | 説明と実際の結果、制度と生活条件の不一致を検出する。 | 目的、評価基準、責任分界の修正を要求する。 |
| 実験と計測 | 既存文章ではなく、制御された条件と物理的な観測から値を得る。 | 予測値と観測値、理論と実験結果の不一致を検出する。 | 理論、説明、分類、測定方法の修正を促す。 |
| 運用上の失敗 | 実際の負荷、入力、権限、利用条件によって設計外の状態を発生させる。 | 設計時の仮定と本番環境の条件が一致しないことを示す。 | 実装、試験、監視、復旧手順を更新する。 |
| 少数者の経験 | 平均的な利用者像や多数派の評価指標から外れた条件を持つ。 | 標準設計が一部の利用者に適用できないことを示す。 | 利用条件、評価軸、制度上の例外を追加する。 |
| 独立した監査 | 内部の評価者、資料、利害関係から距離を置いて確認する。 | 自己評価と外部評価、規程と実際の運用の不一致を検出する。 | 自己正当化する循環を中断し、訂正と責任追及を可能にする。 |
差異の供給源に必要なのは、現在の生成分布から完全に無関係であることではない。既存モデルの出力と比較可能でありながら、そのモデルが誤っていても同じ誤りを自動的に反復しない経路が必要になる。計測器の値、利用者の損失、監査結果、実装試験は、既存説明と一致しない結果を返せるため、生成物だけによる多数決とは異なる。
独立性は、処理主体の数でも保証されない。複数の AI が別々に文章を生成しても、同じ学習資料、同じ評価指標、同じ検索結果を共有していれば、同じ欠落を再現する可能性がある。複数の人間が確認しても、同じ組織目標と同じ資料だけを参照していれば、異議が生まれない場合がある。独立した入力とは、担当者やモデルの数ではなく、異なる観測経路と、異なる失敗判定を持つことである。
外部入力が存在しても、それが循環へ戻らなければ更新は起きない。利用者が不具合を報告しても、問い合わせ件数だけが集計され、原因や条件が学習資料へ残らない場合がある。監査で問題が指摘されても、評価基準を変更する権限がなければ、内部処理は同じまま継続する。計測値が予測と異なっていても、異常値として自動削除されれば、モデルは不一致を学習できない。
差異を受け取る経路と、差異によって規則を変える経路は別である。前者だけが存在する系では、例外が報告書やログとして蓄積される。後者まで存在する系では、例外が試験項目、分類、評価指標、運用手順へ反映される。更新可能性を決めるのは、異常な情報を収集しているかではなく、その情報が既存の判断基準を変更できるかである。
| 循環の状態 | 外部差異の入力 | 評価基準の変更 | 帰結 |
|---|---|---|---|
| 差異を取得しない | 既存の生成物と内部評価だけを利用する。 | 既存基準が継続して使用される。 | 分布の外側にある事例を認識できない。 |
| 差異を取得するが反映しない | 失敗、異議、監査結果を記録する。 | 内部基準を維持し、例外を個別処理する。 | 例外は蓄積されるが、同じ失敗が再発する。 |
| 差異で出力だけを修正する | 個別の誤りや不具合を確認する。 | 該当する文章や処理だけを修正する。 | 局所的な訂正は行われるが、共通原因が残る。 |
| 差異で規則を修正する | 複数の例外から共通する構造を抽出する。 | 分類、評価指標、試験条件、責任分界を変更する。 | 後続の生成と判断が新しい条件を取り込む。 |
人間が文章生成の大部分を担っていても、異議や失敗を排除し、同じ資料と評価基準だけを反復すれば、テキスト圏は閉鎖へ向かう。AI が文章生成の大部分を担っていても、独立した観測、反証、少数者の経験、監査結果を取り込み、それらによって生成規則を変更できれば、テキスト圏は更新可能である。
人間と AI の違いだけで更新可能性を説明すると、人間が常に新しい差異を生み、AI が常に平均へ収束するという単純な対立になる。現実には、人間の組織も同じ慣行や評価指標を反復し、例外を排除する。AI を用いた系も、計測、実験、試験、監査へ接続すれば、既存モデルに反する入力を受け取れる。分岐点は生成主体ではなく、外部との不一致を保持し、その不一致によって規則を変更できるかにある。
低頻度の事例を無条件に保存すればよいわけではない。誤り、捏造、重複、偶然の揺らぎを新しい知識として残せば、テキスト圏の信頼性は低下する。一方、典型性や既存モデルとの一致だけを品質基準にすれば、未知の現象や少数者の経験も排除される。更新可能なテキスト圏には、例外を検出する経路、来歴を保存する経路、独立に検証する経路、確認された差異で規則を修正する経路が必要になる。
テキスト圏を更新する差異は、文章の内部で表現を組み替えるだけでは生まれない。現実の観測、行動の結果、失敗による損失、既存分類から外れた経験が、現在の説明へ反証可能な形で戻る必要がある。この外部接続が失われると、文章は増え続けても、既存の分布を変える材料は減少する。
ただし、外部から差異が入るだけでは、文章が実践的な意味を持つ条件はまだ満たされない。観測結果が誰の判断へ使われ、誤りが誰の責任となり、発話がどの行動を生じさせるかという接続も必要になる。次章では、文字列の生成と、意図、責任、行動を伴う発話を区別し、テキスト圏から何が失われたときに意味が空洞化するかを検討する。
6. テキストの意味は意図、責任、行動との接続から生じる
6.1 言語形式の整合性と意味は別の条件を持つ
文章が文法的に正しく、前後の語が自然につながり、質問に対して適切な形式で応答していても、それだけで発話としての意味が完成するわけではない。言語形式の整合性は、語句や文の関係が既存の用法に適合していることを示す。一方、意味には、その表現が何を指し、どの状況で使われ、誰の判断や行動へ作用するかという別の条件がある。
Bender と Koller は、言語形式だけから学習する系と、言語表現が指す対象、伝達目的、世界との関係を学ぶ系を区別し、形式上の操作能力をそのまま意味理解とみなすことの問題を論じている[20]。大量の文章から語句の共起や文脈上の対応を学べば、自然な説明や回答を生成できる。しかし、その文章が指す対象を観測し、発話によって生じた結果を経験しなくても、形式上の整合性は高められる。
たとえば、「この装置は安全である」という一文は、文字列としては同じでも、置かれた関係によって異なる作用を持つ。試験責任者が測定結果と安全基準を確認して承認する場合、この文は設計や運用を進める判断の根拠になる。広告文生成器が製品説明として出力する場合には、購買を促す表現として機能する。別の文章を要約した AI が自動回答として表示する場合には、元の主張を再構成した情報として提示される。
| 発話の状況 | 根拠 | 発話によって成立する行為 | 誤りが判明した場合の帰結 |
|---|---|---|---|
| 試験責任者による安全承認 | 試験結果、設計基準、法令、運用条件を確認する。 | 装置の使用や出荷を許可する判断として機能する。 | 承認撤回、運用停止、原因調査、責任追及が生じる。 |
| 広告としての安全表現 | 販売者が選択した説明資料や表示基準に依存する。 | 利用者の信頼を得て購入を促す。 | 表示訂正、返品、損害賠償、行政上の措置が生じ得る。 |
| AI による資料の要約 | 入力された文章と生成モデルの推定に依存する。 | 元資料の内容を短く伝える情報提供として機能する。 | 元資料との照合、回答修正、生成経路の見直しが必要になる。 |
| 自動評価器による判定 | 事前に設定された評価指標と学習済みの判断基準に依存する。 | 後続処理で文章を採用するか除外するかを決める。 | 評価基準が誤っていても、外部検証がなければ誤判定が反復される。 |
文の表面形式だけを見れば、これらを区別できない。違いを生むのは、誰が発したかという名義だけでもない。どの観測結果を根拠にし、誰に向けて述べ、どの権限を行使し、誤りがあった場合に誰が結果を引き受けるかという関係が、発話の効力を決める。
形式上の正しさと意味を同一視すると、流暢な文章が現実との関係まで正しいように見える。文章が既存の言語用法へ適合していても、根拠となる測定が存在しない場合や、元資料の適用条件が省略されている場合がある。生成モデルが多数の類似文章から「安全である」という表現を選んでも、対象装置の試験を実施したことにはならない。
意味を確かめるには、文章から外部へ進む経路を追う必要がある。記述がどの対象を指すのか、その対象についてどの観測が行われたのか、文章を受けて誰が何を決めるのか、結果が予測と異なった場合にどこを修正するのかを確認する。この接続が存在するとき、文章は既存の形式を再現するだけでなく、現実に対する主張として扱われる。
6.2 発話には受信者へ働きかける意図がある
文章は、対象を記述するだけでなく、受信者へ一定の理解や行動を求めるために使われる。障害報告は、発生した事実を記録すると同時に、担当者へ調査や復旧を求める。警告文は、危険を説明するだけでなく、利用者へ操作の中止や退避を促す。契約への同意は、内容を理解したという報告ではなく、その条件に拘束される意思を表明する行為になる。
Grice は、自然現象が何かの兆候になる場合と、話者が受信者に一定の理解を生じさせようとして発話する場合を区別し、後者の意味を話者の意図と結び付けた[21]。煙が見えることは火災の兆候になり得るが、煙そのものが誰かへ火災を伝えようとしているわけではない。これに対し、「火災が発生している」という発話は、受信者に状況を認識させ、避難や通報を促す目的を持ち得る。
この区別では、文章がある反応を実際に生じさせたかだけでなく、どの反応を生じさせようとして発せられたかが関係する。誤った警告によって人が避難した場合、行動が生じたという事実だけでは発話の妥当性は決まらない。発話者がどの根拠に基づき、どの危険を伝えようとし、誤りの可能性をどこまで認識していたかが問われる。
Austin は、発話が事実を記述するだけでなく、約束、警告、命令、宣言などの行為を遂行することを示した[22]。発話によって何かを行うという構造では、同じ文字列を表示するだけでは行為が成立しない。権限を持たない人物が「会議を閉会する」と述べても、正式な閉会にならない場合がある。責任者が所定の手続きに従って述べれば、その発話によって制度上の状態が変わる。
Searle は、発話行為が成立するための規則、話者の意図、制度的条件を体系化した[23]。契約への同意、障害報告、医療上の説明、責任者の承認は、文法的に正しい文章を出力するだけでは成立しない。話者が必要な資格を持ち、受信者が特定され、対象となる状況が存在し、発話後の義務や行動が制度によって認識される必要がある。
| 発話行為 | 必要となる条件 | 文章だけを生成した場合に欠け得るもの |
|---|---|---|
| 契約への同意 | 当事者の意思、契約能力、対象条件の理解、適切な手続きが必要になる。 | 当事者性、拘束される意思、法的な責任が欠け得る。 |
| 医療上の説明 | 患者の状態、治療選択肢、危険性、説明者の資格を伴う。 | 個別症例への適用判断と説明責任が欠け得る。 |
| 障害報告 | 発生時刻、影響範囲、観測根拠、対応主体を明確にする。 | 実際の観測、復旧義務、報告内容の引き受けが欠け得る。 |
| 運用承認 | 権限を持つ責任者が条件とリスクを確認して判断する。 | 承認権限、結果への責任、停止判断の義務が欠け得る。 |
AI がこれらの文面を生成することはできる。契約文、同意文、承認文、警告文の形式を再現し、状況に応じた語句を挿入することもできる。しかし、文面の生成と行為の成立は分けなければならない。誰の意思として発せられたのか、誰が権限を持ち、誰が結果を引き受けるのかが確定しなければ、生成された文字列は行為の候補にとどまる。
人間が AI の出力を確認して採用する場合には、発話の意図と責任を人間へ接続できる。医師が AI の説明候補を確認し、患者の状態に照らして修正し、自らの説明として提示するなら、AI は発話行為を補助する。AI が自動的に説明を送り、誰も個別の状態を確認せず、誤りによる結果も引き受けない場合には、文章の形式だけが残り、発話を成立させる条件が薄くなる。
6.3 消えるのは通信機構ではなく賭け金を持つ主体である
AI だけの循環にも、記号を生成し、送信し、受信し、分類する機構は存在する。生成モデルが文章を作り、評価モデルが点数を付け、別のモデルが応答を生成するなら、機能上の送信者と受信者は存在する。そのため、「発信者も受信者も存在しない」と表現すると、処理機構そのものが消えているかのように見える。
閉じた循環で失われるのは、文字列を処理する主体ではなく、その発話によって利益や損失を受け、誤りの責任を負い、読んだ結果として行動を変える主体である。発話が正しいか誤っているかによって、安全、費用、権利、信用、制度運用が変化する場合、発話には現実の賭け金がある。結果が内部評価値の変化だけに限定される場合、その賭け金は弱くなる。
たとえば、AI が誤った障害原因を出力し、別の AI がその説明を高く評価した場合、閉じた処理系の内部では評価値が保存される。しかし、人間がその説明に基づいて復旧作業を行わず、設備停止や損失も観測されなければ、誤りは現実の失敗として検出されない。内部評価が高い限り、誤った説明が次の生成へ利用され続ける。
これに対し、運用担当者が説明を採用し、復旧に失敗すれば、作業時間、停止時間、利用者影響という損失が生じる。第一段階では、文章が行動を導く。第二段階では、行動結果が得られる。第三段階では、失敗が説明と評価基準の修正を要求する。文章が現実の結果へ接続されているため、内部のもっともらしさと外部の成否を区別できる。
| 構成要素 | 機械的な送受信 | 賭け金を持つ発話 | 閉じた循環で失われるもの |
|---|---|---|---|
| 送信 | 入力に応じて文字列を生成し、後続処理へ渡す。 | 特定の相手へ理解、判断、行動を求める。 | 何を実現したいのかという目的と、その目的を引き受ける主体が失われる。 |
| 受信 | 文字列を分類し、要約し、次の入力へ変換する。 | 内容を信頼するか判断し、行動結果を引き受ける。 | 信じた結果として利益や損失を受ける主体が失われる。 |
| 誤り | 内部評価値や予測精度が低下する。 | 損失、訂正要求、責任追及、制度変更が生じる。 | 誤りを現実の失敗として認識し、訂正を要求する経路が失われる。 |
| 更新 | 既存の評価関数に従って重みや出力確率を変える。 | 現実の結果を受けて評価基準、規則、責任分界を変更する。 | 評価基準そのものが誤っている可能性を検証する主体が失われる。 |
内部評価値が存在することは、賭け金が存在することと同じではない。評価モデルが文章へ低い点数を付ければ、生成モデルは次回から別の出力を選ぶかもしれない。しかし、その点数が人間の安全、理解、利益、制度目的と一致しているかを確認する経路がなければ、評価値は循環内部の適合度を表すにとどまる。
賭け金を持つ主体は、必ずしも文章を直接執筆する必要はない。人間が AI に文章を生成させても、その内容を採用し、結果に責任を負い、失敗時に規則を修正するなら、発話は現実へ接続される。文章生成が自動化されても、目的、判断、責任、行動の経路は残り得る。
反対に、人間が名目上関与していても、結果を確認せず、自動評価を追認するだけなら、賭け金は循環へ反映されない。承認者の名前が付いていても、採用を拒否する権限がなく、失敗を評価基準へ戻す手続きもなければ、責任は形式だけになる。主体の存在は、肩書や承認欄ではなく、結果によって判断を変更できる権限と義務によって確認される。
AI テキスト圏が閉じるとき、通信は停止しない。文章は生成され、評価され、応答され、再学習される。減少するのは、文章が正しいかどうかによって現実の結果が変わり、その結果が次の発話規則を修正する経路である。通信量が維持されながら意味が空洞化するのは、この接続が失われるためである。
6.4 記号を別の記号だけで説明する循環
記号接地問題は、記号の意味を別の記号だけで定義し続けたとき、その意味がどこから来るのかを問う。Harnad は、形式記号の操作だけでは、記号が指す対象との関係が記号体系の内部に成立しないという問題を示した[24]。
未知の言語を、その言語だけで書かれた辞書から学ぶ状況を考える。ある語の説明を読むと、別の未知語が使われている。その未知語を調べると、さらに別の未知語へ進む。定義の連鎖がどれほど長くても、どの語も現実の対象、知覚、行為へ結び付かなければ、記号間の関係だけが増える。
現実の言語利用では、記号は観測や行為へ接続される。「赤い」という語は、他の語による説明だけでなく、視覚的な経験、物体の分類、交通信号への反応などと結び付く。「危険」という語は、辞書上の定義だけでなく、接近を避ける行動、損失の予測、警告への対応を伴う。
| 接続の種類 | 記号が結び付く対象 | 接続が失われた場合の帰結 |
|---|---|---|
| 知覚との接続 | 色、音、形、温度、位置などの観測結果へ結び付く。 | 記号間の類似だけが残り、対象との対応を検証できなくなる。 |
| 行為との接続 | 停止、回避、選択、操作、移動などの行動へ結び付く。 | 文章が行動を導かず、結果による評価も生じなくなる。 |
| 制度との接続 | 契約、承認、権限、義務、禁止などの制度的状態へ結び付く。 | 発話の形式は残っても、権利や義務を変更する効力が失われる。 |
| 結果との接続 | 成功、失敗、損失、安全性、予測誤差へ結び付く。 | 何が誤りであるかを外部から判定できなくなる。 |
AI テキストの閉じた循環では、文章が別の文章によって要約され、その要約がさらに別の文章の根拠として使われる。元の観測記録が失われると、引用の連鎖だけが残る。文章同士が整合していても、それらが同じ誤った生成物から派生している可能性を確認できない。
第一段階では、AI が元資料を要約する。第二段階では、別の AI がその要約を参照して説明を生成する。第三段階では、生成された説明が検索資料や学習データとして保存される。元資料への参照が切れれば、要約時の省略や推定が、次の世代では観測された事実として扱われる。
この循環で生じる誤りは、露骨な虚偽だけではない。適用条件の省略、推定と観測の混同、少数事例の削除、因果関係の単純化も含まれる。後続の文章が内部整合性を保っていれば、これらの変化は流暢な説明の内部へ埋め込まれる。元資料や現実の結果へ戻らなければ、どの段階で意味が変化したかを追跡できない。
意味の空白は、文字列が理解不能になることとして現れるとは限らない。文章は明瞭で、論理的で、既存の語彙規則にも適合しているかもしれない。それでも、何を根拠に正しいと判断し、誤った場合に誰が訂正し、どの結果によって評価するのかが存在しなければ、文章は現実による拘束を失う。
記号接地を、人間の感覚経験だけに限定する必要はない。センサーによる測定、実験結果、実装試験、監査記録、制度上の処分も、文章を外部へ接続する。必要なのは、文章と独立した経路から結果が返り、生成された説明に反する場合でも、その結果を採用できることである。
AI がセンサー情報を読み、装置を操作し、結果に応じてモデルを更新する系では、AI が主要な処理主体でも外部接続は存在する。一方、人間が文章を読んでいても、元資料を確認せず、同じ生成物を引用し続けるなら、記号の循環は閉じる。接地の有無は、人間と AI のどちらが処理しているかではなく、記号体系とは独立した結果が文章を拘束できるかによって決まる。
テキスト圏から意味が失われる過程は、文字列の崩壊より先に進み得る。文法と語彙は保たれ、文章同士の整合性も維持される。その一方で、意図、責任、行動、観測との接続が一つずつ弱くなる。最終的には、文章は別の文章を生成するための信号として機能していても、誰の何を変えるための発話なのかを持たなくなる。
この状態では、AI 同士が通信しているという記述自体は正しい。しかし、その通信が社会的な発話として何を遂行しているかは別に問わなければならない。送受信機構の存在から、意図、責任、意味の存在を自動的に導くことはできない。
次章では、賭け金を持つ主体が循環から消えたとき、その世界をディストピアとして評価する観察者も同時に失われるという矛盾を扱う。完全な AI テキスト圏を想像しながら、その異様さを経験する人間だけを残すことができるのかを検討する。
7. 完全な AI テキスト閉ループは内部の評価主体を残せない
7.1 ディストピアという評価は比較する主体を必要とする
AI 同士が無数の文章を生成し、評価し、応答し続ける状態を不気味、空虚、抑圧的であると評価するには、現在の状態を別の状態と比較する主体が必要になる。人間が書いた文章には意図や経験があった、異なる立場の記録が残されていた、文章が現実の判断や行動へ結び付いていたという比較がなければ、何が失われたのかを認識できない。
ディストピアという語は、単なる物理状態や情報処理方式の名称ではない。ある社会状態が、生存、安全、自由、尊厳、判断、理解へどのような損失を与えるかという評価を含む。監視がディストピア的であるのは、観測装置が多数存在するからではなく、その監視によって人間の行動が制約され、異議申し立てが困難になり、権力関係が固定されるからである。
同様に、AI テキスト圏がディストピア的であるかどうかは、生成される文章数だけでは決まらない。人間が誤情報によって判断を誤り、検証作業へ時間を奪われ、選別機構によって見る情報を制限されるなら、具体的な損失が存在する。文章の出所や責任主体を追跡できず、訂正要求も届かない場合には、人間の理解と意思決定が損なわれる。
この段階には、少なくとも四つの主体的位置がある。文章を生成または配信する主体、文章を受信する主体、その内容によって利益や損失を受ける主体、発生した状態を評価する主体である。一人の人間や一つの組織が複数の位置を占める場合もあるが、ディストピアという評価には、損失を認識し、別の状態を望む位置が必要になる。
AI 同士の文章交換を空虚であると批評する行為には、過去の文章や人間関係との比較が含まれている。人間の経験から書かれた記録、異議を伴う議論、誤りの訂正、発話者の責任が失われたという判断は、それらの違いを読み取る主体によって行われる。空虚さは文字列自体に測定可能な属性として付着しているのではなく、文字列と人間の目的、経験、行動との接続が失われたことへの評価である。
批評には、観察された事実と価値判断の両方が必要になる。文章の種類が減少した、同じ説明が反復されている、出所が追跡できないという状態は観察できる。その状態を多様性の喪失、責任の空洞化、理解可能性の低下として評価するには、何を保存すべきかという価値基準が必要になる。
完全な AI テキスト圏を想像する際には、この評価主体がしばしば暗黙に残される。人間は循環から排除されたと仮定されている一方で、その光景を眺め、以前の世界との違いを理解し、異常さを語る観察者として配置される。これにより、人間が存在しないという条件と、人間が状態を経験しているという条件が同じ想像の中へ入る。
7.2 内部観察者と完全な閉鎖は両立しない
人間が AI テキスト圏を読める状態と、人間の批評がテキスト圏へ戻る状態は区別する必要がある。人間が外部から生成物を観察するだけなら、循環内部の生成規則は変化しない場合がある。観察した人間が批評を公開し、その批評が検索、応答、評価、再学習へ利用されれば、人間由来の差異が循環へ戻る。
観察だけが行われる場合でも、人間は受信主体として存在している。文章は AI だけの内部信号ではなく、人間によって読まれ、過去の状態や現実の経験と比較される対象になる。その意味では、生成と再学習が自動化されていても、テキスト圏全体が人間から完全に切断されているとはいえない。
批評が循環へ戻る場合には、閉鎖性がさらに弱まる。人間が同じ説明の反復、根拠の欠落、少数事例の排除を指摘すれば、その批評は既存の生成分布に存在しなかった評価を加える。運用者が評価基準を変更し、生成物の来歴を保存し、少数事例を再導入すれば、人間の判断はテキスト圏の次の状態を変える。
反対に、人間が生成、配信、受信、評価、訂正から完全に外れた場合、文章循環は人間の経験対象ではなくなる。AI が文章を作り続けても、人間はそれを読まない。評価器が高い点数を付けても、その点数を人間の安全や理解と比較する主体はいない。誤りが反復されても、それによる損失を認識し、訂正を要求する経路は存在しない。
| 人間の位置 | 観察 | 循環への作用 | 成立する評価 |
|---|---|---|---|
| 循環内部で判断する | 生成物を読み、根拠と結果を確認する。 | 採否、訂正、規則変更によって次の生成へ影響する。 | 損失と改善可能性を含むディストピア的状況として評価できる。 |
| 外部から観察する | 生成物を読み、過去や現実との違いを比較する。 | 批評を戻さなければ循環内部の処理は変わらない。 | 外部観察者として均質化や空洞化を評価できる。 |
| 批評を循環へ返す | 欠落、誤り、反復、責任不在を指摘する。 | 新しい差異と評価基準が生成、選別、再学習へ入る。 | 批評によって完全な自己参照性が崩れる。 |
| 完全に排除される | 生成物を読まず、状態を比較しない。 | 人間の観測、判断、異議、訂正が循環へ入らない。 | ディストピアという評価は少なくとも循環内部では成立しない。 |
観察可能性と閉鎖性の関係は、単純な二択ではない。人間が生成物を読むだけで生成規則へ影響しない場合、処理上の循環は閉じたままでも、人間にとっての経験対象ではあり続ける。人間の批評が循環へ戻れば、外部差異が追加される。人間が観察からも完全に外れた場合に初めて、評価主体を含まない終端状態になる。
この区別から、完全な閉鎖という条件を厳密に定義できる。生成工程が自動化されているだけでは足りない。人間が受信者として文章を読まず、利害主体として結果を受けず、評価主体として状態を比較せず、訂正主体として規則を変更しない状態が必要になる。人間の判断が一方向にでも残れば、完全な切断ではない。
人間が観察者として残る場合、その観察はテキスト圏の外部に新しい意味関係を作る。AI が生成した文章同士には存在しなかった「過去の人間由来テキストと比べて均質である」「責任主体が見えない」「現実の観測へ到達できない」という比較が成立する。循環内部が変わらなくても、人間社会側には批評、記録、規制、保存という反応が生じ得る。
その反応が実際の制度や運用へ接続されれば、観察者は単なる傍観者ではなくなる。生成物への表示義務、来歴管理、一次資料との接続、独立監査、人間による停止判断が導入されれば、批評がテキスト圏の構造を変更する。観察者が行動主体へ変わった時点で、閉じた循環には外部からの制約が入る。
完全な AI テキスト圏を観察し続けたいという想像には、二つの条件を同時に求める緊張がある。一方では、人間の意図、判断、責任を循環から完全に排除する。他方では、その状態を人間が継続的に読み、異常さを理解し、評価する。後者が成立する限り、人間は少なくとも受信主体と評価主体として残っている。
この緊張を遂行的矛盾と呼べるのは、完全に意味と主体が失われた状態を、同じテキスト圏の内部から意味ある経験として語ろうとする場合である。現在の人間が、将来の無人の循環を仮説として記述すること自体は矛盾しない。矛盾が生じるのは、評価主体が消えた状態と、その状態を評価し続ける主体の存在を、同一時点、同一の循環内に置く場合である。
| 主張の形 | 論理的な状態 | 理由 |
|---|---|---|
| 現在の人間が将来の閉ループを予測する | 矛盾しない。 | 評価主体は現在に存在し、将来状態を外部から記述している。 |
| 人間が残る閉ループをディストピアと評価する | 成立する。 | 人間が損失を受け、状態を比較し、批評する条件が残っている。 |
| 人間が完全に消えた循環を人間が内部から経験する | 両立しない。 | 完全な排除と、受信・評価主体としての存在を同時に仮定している。 |
| 主体のない循環を外部概念として分類する | 成立する。 | 外部の分析者が状態を定義しており、循環内部の自己評価を仮定していない。 |
完全な AI テキスト圏は、観察可能なディストピアの最終形態というより、観察と評価を成立させる人間側の条件が失われた状態である。人間が残っている間には、情報操作、注意の奪取、検証負担、責任の空洞化を経験できる。人間が完全に外れた後には、その損失を経験する主体も、回復を要求する主体も循環内部には存在しない。
ここで失われるのは、AI の活動そのものではない。文章生成、評価、応答、再学習は続き得る。失われるのは、その活動を別の状態と比較し、誤りや損失として認識し、変更を要求する位置である。処理が続いていても、処理の目的を問い直す主体がいなければ、循環は自身の評価基準を前提として反復する。
この帰結は、完全な閉ループが無害であることを意味しない。人間が循環から排除されるまでの移行期には、既に大きな損失が発生し得る。また、閉ループが物理設備、制度、資源配分へ接続されたまま人間の判断だけを排除する場合には、人間が結果を受けながら訂正権限を持たない状態も成立する。この状態では、人間はテキスト圏の受信主体ではなくても、外部の被影響主体として残る。
そのため、終端状態を考える際には、テキスト循環からの排除と、物理的・社会的な影響からの排除を分けなければならない。AI 同士の文章循環を人間が読まなくても、その出力が設備制御、融資、採用、医療、行政へ使われれば、人間は結果を受ける。完全に観察者が消えるのは、文章循環だけでなく、その結果との接続からも人間が外れた場合に限られる。
この限定によって、議論の射程が明確になる。本章が扱う終端状態は、AI の文章が人間社会へ作用し続けながら人間だけが沈黙させられる状態ではない。生成、評価、応答、再学習が、人間の受信、利害、批評、訂正へ接続されなくなった自己参照的なテキスト圏である。
その状態では、文章は変化し続けても、変化を更新として評価する基準が失われる。新しい表現が生成されても、以前の説明を修正したのか、同じ分布の内部を移動しただけなのかを判定する外部位置がない。次章では、この状態を単なる無活動ではなく、局所的な変化を続けながら大域的な更新能力を失う構造として検討する。
8. 文章生成は続いても構造は静止状態へ近づく
8.1 局所的な変化と大域的な更新は異なる
AI が毎秒異なる文章を生成している系は、観測する時間幅を短く取れば絶えず変化している。語順、比喩、見出し、段落構成、論点の組み合わせが変わり、生成件数も増え続ける。検索結果や応答履歴だけを見れば、テキスト圏は活発に運動し、新しい状態を次々に作っているように見える。
しかし、状態が変化することと、構造が更新されることは同じではない。既存の語句を並べ替え、過去の説明を要約し、評価値に応じて順位を変更する処理は、系の内部状態を変える。一方、構造的な更新には、既存の分類では扱えなかった事例を取り込み、評価基準や生成規則そのものを変更する過程が必要になる。
たとえば、同じ一次資料から異なる対象読者向けに千件の記事を生成すれば、文章数、語彙、説明順序は変化する。それでも、元資料に含まれていなかった観測事実は増えない。千件のうち一部が別の生成物から引用され、さらに別の要約へ変換されても、参照元が同じであれば、テキスト圏が説明できる現実の範囲は広がらない。
ソフトウェアの状態遷移に置き換えると、この違いが明確になる。同じ入力形式と同じ規則に従い、内部変数だけを変更し続ける処理は、多数の状態を通過できる。しかし、想定外の入力を処理できず、障害結果によって規則を変更できないなら、処理可能な状態空間の境界は固定されている。状態数が多いことは、未知の条件へ適応できることを意味しない。
| 観点 | 局所的な活動 | 構造的な更新 | 両者を分ける条件 |
|---|---|---|---|
| 文章数 | 生成件数、応答件数、引用件数が増える。 | 新しい観測事実、反証事例、説明原理が追加される。 | 文章の元になった独立した観測源が増えているかで判定する。 |
| 表現 | 語句、文体、説明順序、比喩の組み合わせが変わる。 | 既存分類に収まらない差異を取り込み、分類自体を変更する。 | 表面形式だけでなく、説明可能な事例の範囲が広がったかで判定する。 |
| 評価 | 既存の評価基準に従って順位や採否が変わる。 | 失敗、異議、損失を受けて評価基準そのものが変わる。 | 評価結果ではなく、評価規則を修正する経路があるかで判定する。 |
| 学習 | 内部データへの適合度を高める。 | 外部世界との不一致を検出し、内部モデルを変更する。 | 生成物とは独立した観測結果によって誤差を測定できるかで判定する。 |
| 責任 | 既存手順に従って処理を継続する。 | 失敗の原因を特定し、権限、手順、責任分界を修正する。 | 処理結果を引き受け、既存の運用を停止できる主体がいるかで判定する。 |
局所的な変化では、既に定められた規則の内部で異なる出力が作られる。構造的な更新では、出力と現実の不一致によって、その規則が修正される。前者は同じ地図上で位置を移動する処理であり、後者は地図に存在しなかった領域を追加し、境界線を引き直す処理に相当する。
AI テキスト圏が既存の生成物だけを入力とする場合、語句の組み合わせは長期間にわたって変化し続ける可能性がある。生成モデルに確率性があれば、同じ入力から完全に同一の文章が作られるとは限らない。評価モデルの更新や推薦順位の変化によって、流通する文章の構成も変わる。
それでも、外部観測が入らず、生成物の誤りを現実の結果によって判定できなければ、変化は既存分布の内部に限定される。第一段階では、モデルが現在の分布から文章を作る。第二段階では、その文章が内部評価によって選別される。第三段階では、選別済みの生成物が次の学習材料となる。循環を重ねても、最初の分布を破る独立した差異は追加されない。
閉じた循環では、内部で高く評価される方向へ出力が移動する。その移動は性能改善のように見える場合がある。流暢さ、応答速度、規定への適合度、既存文章との整合性は向上し得る。一方、現在の評価基準が見落としている事例は、評価対象から外れたままになる。内部指標の改善と、外部世界を説明する能力の改善は一致しない。
文章生成が続いているという事実だけから、テキスト圏が更新されているとは判断できない。確認すべきなのは、生成回数ではなく、生成規則を変更した差異の来歴である。新しい観測、失敗、異議、少数事例が、どの経路で既存モデルを修正したのかを示せなければ、活動量の増大は構造的な更新を証明しない。
8.2 構造の維持には環境との交換が必要になる
開放系の理論は、生物や組織された系を、環境との物質・エネルギー交換を通じて維持されるものとして捉える[25]。生物は内部構造を保っているが、外部から物質とエネルギーを取り込み、不要なものを排出し続ける。外見上の同一性は、内部状態が固定されているからではなく、環境との交換を継続しているから成立する。
この考え方をテキスト圏へ接続する場合、物理的な交換と情報上の交換を同一視することはできない。それでも、構造の維持に外部からの入力が必要になるという比較は有効である。テキスト圏へ入るのは、新しい観測、既存説明への反証、運用上の失敗、異なる共同体の経験、制度実施後の結果である。
これらの外部入力は、既存文章へ情報を追加するだけではない。予測と観測が一致しなければ、説明の前提を変更する。設計と運用結果が一致しなければ、試験条件や責任分界を修正する。制度の目的と実際の効果が一致しなければ、評価指標そのものを見直す。環境との交換は、現在の構造を維持するだけでなく、どの構造を維持すべきかを変更する。
| 外部から入る差異 | 内部モデルとの不一致 | 必要となる更新 |
|---|---|---|
| 新しい測定結果 | 予測値と観測値が一致しない。 | 理論、測定条件、説明範囲を修正する。 |
| 運用上の失敗 | 設計文書どおりに実装しても期待した結果が得られない。 | 実装、試験、監視、復旧手順を修正する。 |
| 少数者の経験 | 平均的な利用者像では説明できない損失が発生する。 | 利用条件、例外処理、評価軸を追加する。 |
| 独立監査 | 内部評価と実際の運用状態が一致しない。 | 統制、権限、記録、責任分界を変更する。 |
| 制度実施後の結果 | 制度上の目的と現実の効果が一致しない。 | 目的指標、対象範囲、運用規則を再設計する。 |
出力が次の入力へ戻るフィードバックは、機械と生物の制御を考える基礎となった[26]。制御系は、出力結果を観測し、目標との差を測り、その誤差に基づいて次の操作を変える。室温制御であれば、設定温度と実測温度の差が、加熱や冷却の動作を変える。
この構造で必要なのは、出力を入力へ戻すことだけではない。戻される信号が、制御対象の実際の状態を表していなければならない。室温制御器が、自分が出した加熱命令の回数だけを入力として受け取り、実際の温度を測定しなければ、室温を制御できない。命令の回数が増えても、部屋が暖まったかどうかは分からない。
AI テキスト圏でも、生成件数、閲覧数、自動評価点を戻すだけでは、外部世界との誤差を測定できない。文章が多く読まれたことは、その文章が正しいことを保証しない。別の生成物と高い整合性を持つことも、現実の観測と一致していることを保証しない。内部信号だけをフィードバックすると、現在の分布に適合する文章が強化される。
フィードバックには、安定化する作用と誤差を増幅する作用の両方がある。実測値と目標値の差を戻せば、誤差を減らす方向へ制御できる。自分の出力を妥当性の証拠として戻せば、初期の偏りを拡大する。循環が存在するという形式だけでは、その循環が適応を支えるか、自己正当化を支えるかを判断できない。
環境の変動へ対応するためには、制御する側が十分な状態の多様性を持つ必要があるという必要多様性の考え方がある[27]。環境に十種類の異なる障害状態が存在するのに、制御系が一種類の対応しか持たなければ、すべての障害へ適切に対処できない。制御可能な変動の範囲は、制御側が識別し、選択できる状態の範囲によって制約される。
テキスト圏で低頻度の事例や例外が失われると、文章の多様性だけでなく、対応可能な状態の多様性も失われる。ある障害条件が学習資料から消えれば、その条件を識別する説明も、適切な対応手順も生成されにくくなる。少数者の経験が除外されれば、その利用条件で発生する損失を検出する分類も失われる。
必要多様性は、多数の文章を生成すれば満たされるものではない。同じ障害を異なる表現で説明する文章が千件あっても、識別できる障害条件が一種類であれば、制御上の多様性は増えない。必要なのは、異なる外部状態を区別し、それぞれへ異なる判断を返せることである。
| 多様性の種類 | 具体的な内容 | 制御能力への影響 |
|---|---|---|
| 表現の多様性 | 同じ内容を異なる語句、文体、構成で表現する。 | 説明方法は増えるが、識別可能な外部状態は増えない場合がある。 |
| 事例の多様性 | 典型例、少数例、失敗例、境界事例を保持する。 | 異なる外部条件を識別する能力を支える。 |
| 評価の多様性 | 正確性、安全性、公平性、費用、制度適合性を別々に評価する。 | 単一指標では見落とす失敗を検出できる。 |
| 対応の多様性 | 状況に応じて継続、修正、停止、隔離、再調査を選べる。 | 外部状態に適した制御行動を選択できる。 |
良い制御器が制御対象のモデルを必要とするという定理は、限定された条件の下で、制御と対象表現の関係を示す[28]。制御器が対象の挙動をまったく表現できなければ、どの操作がどの結果を生むかを予測できない。対象の状態変化を内部に何らかの形で写し取ることが、適切な制御の条件になる。
AI テキスト圏が外部世界を説明し、判断を支える役割を持つなら、その内部モデルは外部世界の変化を反映しなければならない。法律が改正され、装置の構成が変わり、新しい疾患が観測され、利用者の行動条件が変わった場合、過去の文章だけを精密に再現しても現在の状態を説明できない。
内部モデルが古くなった場合、生成文は流暢でも判断を誤る。過去の制度を前提にした説明は、現在の手続きに適用できない。旧構成の障害事例を学習したモデルは、新しい依存関係で発生した故障を誤分類する。外部世界が変化している間に内部文章だけを最適化すると、テキスト圏内部の整合性と現実への適合性が逆方向へ進む可能性がある。
制御対象のモデルを維持するには、観測と修正が継続しなければならない。外部状態を測定し、内部予測との差を記録し、誤差の原因を分析し、生成規則を変更する。テキスト圏が内部文章の再現だけを目的にすると、この一連の経路が失われる。
8.3 静止とは無活動ではなく更新能力の喪失である
非平衡状態で形成される散逸構造は、環境との交換を続けることで秩序を維持する[29]。外部からエネルギーや物質が供給され、その流れの中で一定の構造が形成される。交換が停止すれば、それまで維持されていた構造も同じ形では存続できない。
この考え方を AI テキスト圏へそのまま物理法則として適用することはできない。文章の意味、制度上の責任、評価基準の更新は、熱力学的な量ではない。それでも、活動している構造が外部との交換によって維持されるという比較は、文章生成の継続と更新能力の維持を区別するために役立つ。
テキスト圏へ必要な交換は、新しい文章の追加だけではない。現在の説明に反する観測、既存の評価基準では低く扱われる異議、運用上の損失、制度変更、利用者の新しい目的が入る必要がある。内部状態を揺らす差異がなければ、生成系は現在の安定領域へ適合し続ける。
閉じた文章循環でも計算資源は消費され、モデルは推論を行い、文字列は送受信される。処理量が大きいという意味では、系は活動している。ここでいう静止は、物理的な無活動や計算停止を指さない。外部との差分によって生成規則、評価基準、目的を変更する能力が失われた状態を指す。
| 状態 | 計算と生成 | 外部差異の入力 | 規則の変更 | 構造的な帰結 |
|---|---|---|---|---|
| 活動停止 | 文章生成と評価が停止する。 | 入力を受け取らない。 | 規則も状態も変化しない。 | 処理そのものが存在しない。 |
| 局所的な活動 | 既存規則に従って文章を生成し続ける。 | 内部データと生成物を主に利用する。 | 既存評価関数の範囲で重みや順位を変更する。 | 同じ状態空間の内部を移動する。 |
| 部分的な更新 | 外部観測を取り込みながら文章を生成する。 | 失敗や反証を個別事例として受け取る。 | 該当する出力や手順だけを修正する。 | 局所的な適応は起きるが、評価基準は維持される。 |
| 構造的な更新 | 生成と評価を継続する。 | 外部観測、異議、損失、目的変更を受け取る。 | 分類、評価基準、目的、責任分界を変更する。 | 取り得る状態と判断の範囲が広がる。 |
| 構造的な静止 | 大量の文章生成と内部評価が続く。 | 独立した外部差異が循環へ戻らない。 | 内部指標への適合だけが進む。 | 活動を続けながら更新可能性が縮小する。 |
構造的な静止は、一つの固定文章を反復する状態に限られない。モデルが確率的に異なる出力を作り、評価値に応じて生成傾向を変え、複数のモデルが相互に応答していても成立する。変化がすべて既存の評価空間で測定され、その評価空間を変更する入力がなければ、系は同じ構造の内部で変形を続ける。
この状態は、安定した運用と外見が似る場合がある。出力形式はそろい、応答時間は短くなり、内部評価値は上昇し、異常な文章は減少する。ところが、異常と判定された文章の中に、現実の変化を示す新しい事例が含まれていても、それを識別できない。内部品質の向上が、外部への適応能力を低下させる可能性がある。
静止状態へ近づく過程では、分布の中心にある文章が繰り返し強化される。第一段階では、内部評価に適合する出力が選ばれる。第二段階では、その出力が次の学習資料となる。第三段階では、低頻度の事例を生成し、理解する能力が弱くなる。第四段階では、現在の評価基準へ異議を示す文章自体が生成されにくくなる。
この段階に達すると、系は自分が失ったものを内部から検出しにくい。学習資料から消えた事例は、評価対象にも現れない。評価対象に現れないため、その事例を扱えないことが性能低下として記録されない。測定されない欠落が、欠落の不存在として解釈される。
構造的な静止は、完全な均一化ではなく、自己修正経路の消失として理解すべきである。異なる文章は生成され続ける。内部では競合する説明や評価が残る場合もある。それでも、どの説明も共通する生成物群と評価基準へ依存し、外部世界からの反証によって前提を変更できなければ、競合は同じ境界の内部で行われる。
AI テキストの閉じた循環が近づく静止状態は、情報が少なくなる世界ではない。文章、評価、応答、引用は増え続ける可能性がある。減少するのは、既存の説明を破り、評価基準を修正し、別の構造へ移るための差異である。
この帰結によって、情報の爆発と構造の収縮が同時に成立する。信号量は増え、計算量も増え、画面上の変化も増える。一方で、独立した観測源、低頻度の事例、失敗による修正、責任ある判断が減るため、テキスト圏が取り得る意味と判断の範囲は狭くなる。
更新能力を維持する条件は、文章生成を人間へ戻すことには限定されない。AI が生成、選別、評価の大部分を担っていても、外部観測を受け取り、内部評価に反する結果を採用し、規則を変更できれば、構造は開かれている。人間が文章を書いていても、同じ資料と基準だけを反復し、異議を排除すれば、構造的な静止へ近づく。
この章で得られる帰結は、AI の活動量とテキスト圏の更新能力を別々に測らなければならないという点にある。生成件数、応答速度、内部評価値だけでは、構造が外部世界へ適応しているかを判定できない。必要なのは、どの外部差異が取り込まれ、どの規則が変更され、以前には処理できなかったどの事例を扱えるようになったかという記録である。
文章生成が続いているにもかかわらず、構造が静止状態へ近づくのは、処理が停止するからではない。出力を増やす経路だけが残り、外部との差分によって目的、分類、評価基準を変更する経路が失われるからである。最終章では、この分岐を人間対 AI という生成主体の対立ではなく、外部差異を取り込める開放系と、内部評価だけを反復する閉鎖系の対立として整理する。
9. 本質的な対立は人間対 AI ではなく開放系対閉鎖系にある
9.1 AI が中心でも開放系は成立する
AI が文章生成、分類、予測、評価、意思決定支援の大部分を担っていても、その系が直ちに閉鎖的になるわけではない。生成物とは独立した観測が入り、予測と現実の結果が比較され、不一致によって評価基準や処理規則を変更できるなら、AI を中心とする系でも更新可能性は維持される。
たとえば、設備監視では、AI がセンサー値を分析し、故障の兆候を説明し、保守作業の候補を提示できる。ここで生成された説明が、別の AI による文章評価だけで採用されるなら、判断は内部のもっともらしさへ依存する。一方、実際の設備状態、交換後の動作、停止時間、再発の有無によって説明を検証するなら、AI の予測は物理的な結果によって拘束される。
この循環は複数の段階から成る。最初に、センサーや運用記録から、現在のモデルとは独立した観測値が入る。次に、AI が観測値を分類し、原因や対応を予測する。その予測に基づいて作業が実施され、結果が成功、失敗、部分的改善として記録される。最後に、予測と結果の差が、生成規則、評価指標、試験条件の修正へ戻る。
医療、行政、金融、ソフトウェア運用でも構造は同じである。AI が診断候補を生成しても、患者の経過や検査結果が予測と一致しなければ修正される。AI が制度申請を分類しても、不服申し立てや裁判結果によって判定基準が変更される。AI が信用リスクを評価しても、返済実績や景気変動によってモデルの前提が見直される。AI が障害原因を説明しても、実装結果によって説明が棄却される。
外部観測が入力されるだけでは十分ではない。観測結果が既存モデルと一致しない場合に、その結果を異常値として排除する設計では、系は現在の規則を維持するだけになる。開放性には、既存の評価基準に反する結果を保存し、その結果によって評価基準そのものを変更できる権限が必要になる。
異議申し立ても同じ役割を持つ。利用者、監査担当者、少数集団、現場担当者が、AI の出力によって生じた損失や見落としを報告しても、その報告が問い合わせ件数として集計されるだけでは更新にならない。異議の内容が、分類、優先順位、例外条件、停止条件へ反映されなければ、外部から差異を受け取っていても処理構造は変化しない。
責任ある最終判断とは、人間が確認欄へ印を付けることではない。判断者には、生成物の採用を拒否する権限、一次資料へアクセスする手段、現実の結果を確認する時間、失敗時に処理を停止する権限が必要になる。これらがなければ、人間の関与は自動処理を正当化する形式的な承認になる。
| 人間の関与 | 権限と情報 | 循環への実質的な作用 |
|---|---|---|
| 形式的な確認 | 要約された出力だけを読み、拒否権や調査時間を持たない。 | 自動判断を追認するため、循環の評価基準は変わらない。 |
| 個別の訂正 | 誤った出力を修正できるが、共通規則は変更できない。 | 局所的な誤りは減るが、同じ種類の失敗が再発する。 |
| 規則の修正 | 一次資料と結果を確認し、分類や評価指標を変更できる。 | 外部差異が後続の生成、選別、判断へ反映される。 |
| 停止と再設計 | 損失が許容範囲を越えた場合に処理を停止できる。 | 現在の目的、責任分界、運用構造まで見直せる。 |
複数のモデルを組み合わせることも、開放性を自動的には保証しない。生成モデル、評価モデル、検証モデルが別々であっても、同じ学習資料、同じ検索結果、同じ内部評価指標へ依存していれば、共通する欠落を再現する可能性がある。独立性は、処理主体の数ではなく、異なる観測経路と異なる失敗判定によって成立する。
AI 中心の開放系では、AI は大量の候補を作り、異常を検出し、比較を補助する。更新方向を拘束するのは、生成物とは独立した観測、実施結果、異議、監査、責任判断である。AI の利用範囲が広いことと、系が自己参照的に閉じていることは区別しなければならない。
9.2 人間が中心でも閉鎖系は成立する
人間が文章を作成し、会議で議論し、責任者が承認していても、同じ資料、同じ価値観、同じ評価制度だけを反復すれば、テキスト圏は閉鎖へ近づく。人間が関与しているという事実は、外部との差異が取り込まれていることを保証しない。
組織内で過去の報告書が次の報告書へ引用され続ける場合を考える。最初の報告に含まれた仮定や誤りが検証されないまま、後続文書では確定事項として扱われる。複数の担当者が文書を作成していても、全員が同じ内部資料だけを参照していれば、文章数は増えても証拠の独立性は増えない。
評価制度も閉鎖を生む。閲覧数、売上、処理件数、承認速度など、測定しやすい指標だけで文章や判断を評価すると、その指標に適合する報告が残りやすくなる。制度目的と異なる結果が生じても、評価指標が高ければ成功として記録される。内部評価が現実の損失を覆い隠すため、失敗が規則変更へつながらない。
第一段階では、評価基準に合う文章が採用される。第二段階では、採用された文章が次の担当者の参考資料になる。第三段階では、同じ説明が組織の標準的な見解として固定される。第四段階では、その説明に反する報告が、例外、非効率、理解不足として排除される。
| 閉鎖を生む構造 | 人間が行う処理 | 失われる外部差異 | 長期的な帰結 |
|---|---|---|---|
| 内部資料の再引用 | 過去の報告書を根拠として次の報告書を作る。 | 元の観測、出所、適用条件が確認されなくなる。 | 仮定や誤りが組織上の事実として固定される。 |
| 単一指標による評価 | 測定しやすい数値だけで成果と品質を判定する。 | 安全性、公平性、少数者の損失、長期的影響が評価から外れる。 | 指標への適合が本来の目的に置き換わる。 |
| 権威による選別 | 役職や既存方針に合う説明を優先する。 | 現場報告、反証、異なる専門領域の知見が排除される。 | 誤りを訂正する情報ほど組織内で流通しにくくなる。 |
| 責任回避 | 既存手順に従ったことを判断の正当化に使う。 | 手順自体が失敗原因である可能性が検討されない。 | 失敗後も同じ規則が再利用される。 |
人間の経験も、記録と評価の仕組みによって失われる。現場担当者が想定外の障害を経験しても、所定の分類に該当しなければ報告対象にならない場合がある。利用者が制度上の不利益を訴えても、既存指標に現れなければ改善対象とされない。人間が外部世界へ接触していても、その不一致が文書や規則へ戻らなければ、テキスト圏は更新されない。
組織に責任者が存在していても、責任が規則変更へ接続されない場合がある。失敗後に個人だけを処分し、評価制度や責任分界を維持すれば、同じ構造から同じ失敗が再発する。責任を負う主体の存在と、責任によって系が修正されることは別である。
人間中心の閉鎖系では、文章に意図も感情も存在する。発話者は自分の主張を信じ、受信者へ理解を求め、結果に利害を持つこともある。それでも、異議が制度的に排除され、反証が評価基準を変えられなければ、個々の主体性は系全体の更新へ変換されない。
この点から、人間由来であることを意味や多様性の保証として使うことはできない。人間が書いた文章も、閉じた組織、固定された評価制度、同じ資料の再引用によって均質化する。AI が分布の中心へ収束するのと異なる経路であっても、結果として例外、異議、少数経験が失われる。
9.3 自己維持の閉鎖と環境からの孤立を区別する
Maturana と Varela による自己産出系の議論は、系が自らの組織を再生産する閉鎖性と、環境から物理的、因果的に孤立することを区別する視点を与える[30]。系が内部の規則に従って作動し、自身を構成する関係を再生産しているからといって、環境から何の影響も受けないわけではない。
生物は、自らの組織を維持する一方で、環境から物質やエネルギーを取り込み、刺激に応答し、状態を変化させる。内部の作動が自律的であることと、環境から切断されていることは同義ではない。環境の変化がそのまま内部命令として系を制御しなくても、相互作用を通じて内部状態が変わる。
この区別は、AI テキスト圏における閉ループという語の曖昧さを避けるために必要になる。AI が独自の内部規則、評価関数、処理順序を持つこと自体は問題ではない。外部から与えられる一件ごとの命令に従わず、自律的に候補生成や評価を行うことも、環境からの孤立を意味しない。
AI テキスト圏で危険となる閉鎖は、内部規則を持つことではなく、外部との差異が内部規則の修正へ到達しなくなることである。観測値が入っても異常値として排除され、異議が届いても既存基準で低く評価され、損失が生じても内部指標が高いため処理が継続するなら、系は環境と接触しながら環境から学べない。
| 閉鎖の種類 | 内部規則 | 環境との相互作用 | 更新可能性 |
|---|---|---|---|
| 作動上の自律性 | 系が自らの規則に従って処理を進める。 | 外部観測や結果を受け取り、内部状態を変化させる。 | 外部との差異に応じて、内部の応答を変えられる。 |
| 限定された機能的閉鎖 | 特定の工程を内部処理だけで完結させる。 | 工程の前後では、外部入力と結果検証へ接続する。 | 工程全体の目的と評価基準を外部から修正できる。 |
| 評価上の閉鎖 | 内部指標だけで成功と失敗を判定する。 | 外部結果が入力されても、評価基準へ反映されない。 | 内部指標への適合は進むが、現実との誤差を修正できない。 |
| 環境からの孤立 | 生成物と内部評価だけを循環させる。 | 独立した観測、利害、結果、異議が入らない。 | 既存分布と規則の外側へ移れない。 |
内部処理の自律性は、複雑な系を運用するために必要になる場合がある。すべての文章生成、分類、応答について人間が逐一指示しなければならない設計では、処理量を拡大できない。AI が一定範囲を自律的に処理し、例外や高リスク状態だけを人間へ渡す構造は合理的である。
ただし、例外を定義する基準も固定されれば、現在の分類では認識できない失敗が人間へ届かない。既知の危険だけを例外として扱う仕組みでは、未知の障害や少数者の損失が通常処理へ埋没する。自律性を維持しながら開放性を確保するには、例外基準そのものを外部結果によって更新する必要がある。
外部から命令を受けることと、外部から学ぶことも分けなければならない。人間が毎回操作を指示していても、結果を検証せず同じ指示を繰り返せば、系は更新しない。AI が自律的に処理していても、実施結果、監査、異議によって規則を変更すれば、環境との接続は残る。
AI テキスト圏に求められるのは、外部から直接制御され続ける受動的な系ではない。内部処理の一貫性と自律性を保ちながら、外部との差異によって現在の目的、評価基準、分類を問い直せる系である。自己維持と更新可能性は対立せず、両者を分けるのは環境との相互作用が規則変更へ到達するかである。
9.4 意味と更新を維持する条件
すべての文章を人間が直接書き続けることが、意味と更新を維持する唯一の方法ではない。文章生成を人間へ戻しても、同じ資料と評価制度だけを反復すれば閉鎖は残る。AI に生成を任せても、外部観測、独立検証、責任判断、異議申し立てが機能すれば、テキスト圏は更新可能である。
意味を維持するには、文章が文章だけへ接続されず、観測、意図、判断、行動、結果へ到達する必要がある。記述が何を指すのか、誰が何のために述べるのか、受信者へどの行動を求めるのか、誤りがどの損失を生むのかが明確でなければ、文法的に整った文章が流通しても、発話としての効力は空洞化する。
更新を維持するには、既存の説明と現実の不一致を検出し、その不一致を保存し、検証し、規則へ統合する必要がある。例外を記録するだけでは足りない。個別の文章を訂正するだけでも足りない。複数の失敗に共通する構造を抽出し、生成規則、評価基準、責任分界を変更できなければ、同じ失敗が別の文章として反復される。
| 維持すべき条件 | 必要となる仕組み | 失われた場合の帰結 |
|---|---|---|
| 観測との接続 | センサー、実験、運用結果、一次資料から独立した入力を得る。 | 生成物が現実の代わりとなり、誤りを外部から判定できなくなる。 |
| 意図との接続 | 誰が何を実現するために文章を生成、採用するかを明確にする。 | 文章が何のための発話かを失い、内部処理の中間状態になる。 |
| 責任との接続 | 採否、停止、訂正、再設計を行う権限と義務を定める。 | 損失が生じても、誰も評価基準を修正しない。 |
| 反証との接続 | 内部評価に反する結果、異議、少数事例を保存し検証する。 | 現在の分布に適合する文章だけが残る。 |
| 規則変更との接続 | 個別訂正を越えて、分類、評価指標、目的を変更する。 | 例外を処理しても、同じ構造的失敗が再発する。 |
| 来歴との接続 | 人間由来、観測由来、AI 生成、要約、推定を区別して保存する。 | 生成物が独立した証拠として再利用され、参照の循環が生じる。 |
これらの条件は、AI を排除するための制限ではない。AI の生成能力、処理速度、比較能力を利用しながら、現在の生成分布では扱えない事例を取り込むための設計条件である。AI の自律性を下げることよりも、独立した失敗判定と規則変更の経路を確保することが優先される。
運用上は、生成物の来歴管理、一次資料への接続、低頻度事例の保存、独立した評価器、人間による停止権限、外部監査、異議申し立ての経路が必要になる。これらを個別の安全機能として追加するだけでは足りない。異議や失敗が、後続の生成、選別、再学習を実際に変更する位置へ接続されなければならない。
AI が文章を生成することは、意味や更新を直ちに失わせない。分岐点は、生成物がどのような循環へ入るかにある。生成された文章が現実の観測によって検証され、利害を持つ主体によって採否を判断され、失敗によって評価基準を修正されるなら、文章は現実へ接続され続ける。
反対に、生成、選別、応答、評価、再学習が生成物だけを参照し、外部の観測、判断、責任、行動結果が戻らなくなれば、文章量の増加は更新能力の増加にはならない。生成分布の中心にある表現が反復的に強化され、低頻度の事例と異議が失われ、現在の評価基準を問い直す文章自体が作られにくくなる。
その終端は、情報が無限に拡大し、人間を永続的に支配する状態とは異なる。人間を操作し、注意を奪い、検証費用を負わせるディストピア的状況は、人間がまだ受信者と判断者として残る移行期に強く現れる。人間の観測と判断が完全に循環から外れた後には、操作対象も、損失を認識する主体も、訂正を要求する主体も失われる。
それでも文章生成は続き得る。AI は文章を作り、別の AI が評価し、その評価を次の生成へ戻す。文字列、通信量、計算量、内部評価値は増加する可能性がある。しかし、外部との差異によって目的、分類、評価基準を変える経路が存在しなければ、その活動は同じ構造の内部を移動する処理になる。
AI テキスト閉ループが近づく静止状態とは、計算が停止した状態ではない。新しい文章を生成しながら、新しい観測を取り込めない。出力を変化させながら、評価基準を変更できない。相互に応答しながら、誰の判断や行動にも接続されない。活動を継続しながら、更新可能性だけが縮小する状態である。
本稿から導かれる結論は、人間の文章を保存すれば意味が守られ、AI の文章が増えれば意味が失われるという二分法ではない。意味と更新を維持する条件は、文章の作成者ではなく、テキスト圏の循環構造にある。外部世界から差異が入り、誤りが損失として検出され、責任主体が規則を修正できる系は開かれている。生成物が生成物だけを評価し、内部のもっともらしさを再生産する系は閉じている。
人間と外部世界から完全に切断された AI テキスト閉ループが持続的なディストピアにならないのは、AI が十分に高度ではないからではない。完全な閉ループが、ディストピアを成立させていた人間の注意、利害、判断、批評を循環から排除するからである。残るのは情報の永続的な暴走ではなく、文章を生成し続けながら差異と意味を再生産できなくなる構造である。
参考文献
- id774, 構造・時間・生命・意味・知能・自己・AI を生成連鎖として説明する（2026-04-14）. https://blog.id774.net/entry/2026/04/14/4438/
- id774, 知性はどこまで外部化されるのか（2026-04-17）. https://blog.id774.net/entry/2026/04/17/4512/
- id774, 理解とは何か（2026-01-20）. https://blog.id774.net/entry/2026/01/20/3325/
- id774, Claude Mythos は世界をどう変えたのか（2026-05-08）. https://blog.id774.net/entry/2026/05/08/4737/
- id774, 意味は差異の読み取りから生まれる（2026-05-09）. https://blog.id774.net/entry/2026/05/09/4740/
- Juan Perdomo, Tijana Zrnic, Celestine Mendler-Dünner, Moritz Hardt, Performative Prediction, Proceedings of the 37th International Conference on Machine Learning, PMLR 119（2020）. https://proceedings.mlr.press/v119/perdomo20a.html
- Danielle Ensign, Sorelle A. Friedler, Scott Neville, Carlos Scheidegger, Suresh Venkatasubramanian, Runaway Feedback Loops in Predictive Policing, Proceedings of the 1st Conference on Fairness, Accountability and Transparency, PMLR 81（2018）. https://proceedings.mlr.press/v81/ensign18a.html
- Allison J. B. Chaney, Brandon M. Stewart, Barbara E. Engelhardt, How Algorithmic Confounding in Recommendation Systems Increases Homogeneity and Decreases Utility, Proceedings of the 12th ACM Conference on Recommender Systems（2018）. https://doi.org/10.1145/3240323.3240370
- Ilia Shumailov, Zakhar Shumaylov, Yiren Zhao, Nicolas Papernot, Ross Anderson, Yarin Gal, AI models collapse when trained on recursively generated data, Nature 631（2024）. https://doi.org/10.1038/s41586-024-07566-y
- Sina Alemohammad, Josue Casco-Rodriguez, Lorenzo Luzi, Ahmed Imtiaz Humayun, Hossein Babaei, Daniel LeJeune, Ali Siahkoohi, Richard G. Baraniuk, Self-Consuming Generative Models Go MAD, International Conference on Learning Representations（2024）. https://proceedings.iclr.cc/paper_files/paper/2024/hash/ebc042e767de551803ccfcc45e2454f5-Abstract-Conference.html
- Elvis Dohmatob, Yunzhen Feng, Pu Yang, Francois Charton, Julia Kempe, A Tale of Tails: Model Collapse as a Change of Scaling Laws, Proceedings of the 41st International Conference on Machine Learning, PMLR 235（2024）. https://proceedings.mlr.press/v235/dohmatob24b.html
- Joshua Kazdan, Rylan Schaeffer, Apratim Dey, Matthias Gerstgrasser, Rafael Rafailov, David L. Donoho, Sanmi Koyejo, Collapse or Thrive: Perils and Promises of Synthetic Data in a Self-Generating World, Proceedings of the 42nd International Conference on Machine Learning, PMLR 267（2025）. https://proceedings.mlr.press/v267/kazdan25a.html
- Yaxuan Wang, Zhongteng Cai, Yujia Bao, Xueru Zhang, Yang Liu, Observations and Remedies for Large Language Model Bias in Self-Consuming Performative Loop, Proceedings of the 64th Annual Meeting of the Association for Computational Linguistics（2026）. https://aclanthology.org/2026.acl-long.1561/
- Yusuke Nakamura, Hirokazu Kiyomaru, Chaoran Liu, Shuhei Kurita, Daisuke Kawahara, Demystifying Mixed Outcomes of Self-Training: Pre-training Analyses on Non-Toy LLMs, Findings of the Association for Computational Linguistics: EACL 2026（2026）. https://aclanthology.org/2026.findings-eacl.213/
- David Silver et al., Mastering the game of Go without human knowledge, Nature 550（2017）. https://doi.org/10.1038/nature24270
- Yizhong Wang, Yeganeh Kordi, Swaroop Mishra, Alisa Liu, Noah A. Smith, Daniel Khashabi, Hannaneh Hajishirzi, Self-Instruct: Aligning Language Models with Self-Generated Instructions, Proceedings of the 61st Annual Meeting of the Association for Computational Linguistics（2023）. https://aclanthology.org/2023.acl-long.754/
- Eric Zelikman, Yuhuai Wu, Jesse Mu, Noah D. Goodman, STaR: Bootstrapping Reasoning With Reasoning, Advances in Neural Information Processing Systems 35（2022）. https://proceedings.neurips.cc/paper_files/paper/2022/hash/639a9a172c044fbb64175b5fad42e9a5-Abstract-Conference.html
- Hunter Lightman et al., Let’s Verify Step by Step, International Conference on Learning Representations（2024）. https://proceedings.iclr.cc/paper_files/paper/2024/hash/aca97732e30bcf1303bc22ac3924fd16-Abstract-Conference.html
- Claude E. Shannon, A Mathematical Theory of Communication, The Bell System Technical Journal 27（1948）. https://doi.org/10.1002/j.1538-7305.1948.tb01338.x
- Emily M. Bender, Alexander Koller, Climbing towards NLU: On Meaning, Form, and Understanding in the Age of Data, Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics（2020）. https://aclanthology.org/2020.acl-main.463/
- H. P. Grice, Meaning, The Philosophical Review 66（1957）. https://doi.org/10.2307/2182440
- J. L. Austin, How to Do Things with Words, 2nd ed., Oxford University Press（1975）. https://doi.org/10.1093/acprof:oso/9780198245537.001.0001
- John R. Searle, Speech Acts: An Essay in the Philosophy of Language, Cambridge University Press（1969）. https://doi.org/10.1017/CBO9781139173438
- Stevan Harnad, The Symbol Grounding Problem, Physica D: Nonlinear Phenomena 42（1990）. https://doi.org/10.1016/0167-2789(90)90087-6
- Ludwig von Bertalanffy, The theory of open systems in physics and biology, Science 111（1950）. https://doi.org/10.1126/science.111.2872.23
- Norbert Wiener, Cybernetics or Control and Communication in the Animal and the Machine（1948）. https://direct.mit.edu/books/oa-monograph/4581/Cybernetics-or-Control-and-Communication-in-the
- W. Ross Ashby, An Introduction to Cybernetics（1956）. https://ashby.info/Ashby-Introduction-to-Cybernetics.pdf
- Roger C. Conant, W. Ross Ashby, Every good regulator of a system must be a model of that system, International Journal of Systems Science 1（1970）. https://doi.org/10.1080/00207727008920220
- Ilya Prigogine, Time, Structure and Fluctuations, Nobel Lecture（1977）. https://www.nobelprize.org/prizes/chemistry/1977/prigogine/lecture/
- Humberto R. Maturana, Francisco J. Varela, Autopoiesis and Cognition: The Realization of the Living（1980）. https://doi.org/10.1007/978-94-009-8947-4