Empire of AI から何をどこまで読み取れるか

by

生成 AI をめぐる議論では、人工汎用知能である AGI がいつ実現するのか、機械が人間の能力を超えるのかという問いが前面に出る。モデルの規模、学習データの量、計算資源、評価試験の成績を並べ、現在の延長線上に AGI が存在するかを予測する議論である。しかし、Karen Hao の『Empire of AI』が向けている視線は、性能予測より一段手前にある。AGI を実現可能だと強く信じる人々は、現在の AI がすでに人間と同じ知能を持つことを確認したうえで、その到来を予測しているわけではない。人間の知能も、身体も、言語も、社会的な判断も、十分に分解すれば情報処理として記述でき、必要なデータと計算資源を用意すれば機械上で再現できるという世界観を先に置いているのである[1][2]。

この世界観には、性質の異なる複数の命題が含まれている。人間の知能が脳という物理的基盤に依存すること、脳内の過程を計算として記述できること、その計算を機械で模擬できること、模擬された過程が人間と同じ理解や判断を生むこと、有限のデータからその過程を学習できること、現在の大規模モデルを拡張すればそこへ到達できることは、それぞれ別の主張である。一つが成立しても、次の成立は保証されない。それにもかかわらず、AGI をめぐる産業上の物語では、これらの段階が連続した一つの技術経路として扱われやすい。

人間知能を計算で再現できると考えれば、より多くのデータ、より大きなモデル、より強力な半導体、より大きなデータセンターを集めることは、AGI へ近づくための合理的な手段に見える。その規模を実現するには、数十億ドル規模の資本、長期的な電力供給、冷却用の水、半導体の供給網、世界各地のデータ、人間による評価作業が必要になる。技術上の規模拡大が、資本と物理資源の集中へ変換されるのである。

さらに、この集中は開発設備の所有だけにとどまらない。巨大なモデルを訓練できる企業は、どの能力を知能として評価するか、どのデータを学習へ使うか、どの仕事を自動化の対象とするか、どの失敗を許容するかを決める。モデルの能力を測る基準と、そのモデルを社会へ配置する判断が同じ企業へ集まれば、計算資源の集中は知能の定義権と制度設計権の集中へ進む。Karen Hao が AI 企業を「帝国」と表現する理由は、企業規模が大きいからではない。中心にいる企業が周縁のデータ、労働、土地、電力、水を取り込みながら、その利用目的と利益配分を決定する構造にある。

AGI が完成するまで、この問題が発生しないわけではない。人間の仕事を機械へ移すには、人間の知能全体を再現する必要がないからである。企業は仕事を入力、出力、処理時間、正答率、売上、応答件数といった測定可能な単位へ分解できる。次に、測定しにくい信頼関係、状況に応じた例外判断、長期的な責任、身体的な経験を評価対象から外せば、限定された能力しか持たない AI でも、残された指標上では人間と比較できる。その指標を十分に満たした時点で、企業は人員を削減し、残った例外処理を利用者や少数の従業員へ移せる。

このとき起きているのは、機械が人間の全体へ近づいたという変化だけではない。制度の側が、人間を機械で処理できる部分だけで評価するように変わっている。人間の仕事が代替されたという結果は、AI が人間と同じ理解や責任能力を獲得した証拠にはならない。業務の分解方法、品質基準、例外処理の配分、雇用判断を企業が変更すれば、AGI が存在しなくても人間の制度的な代替は進む。

本稿の中心命題は、AGI 論争の核心が、機械がいつ人間を超えるかという性能予測だけにあるのではないという点にある。人間知能を計算可能とみなす思想は、巨大モデルを合理的な開発目標に見せる。その開発目標は、データ、労働、半導体、電力、水、土地、資本を少数企業へ集める。集められた資源はモデルの能力を高めるだけでなく、どの人間活動を測定し、どの仕事を自動化し、どの損失を許容するかを決める権限を企業へ与える。

『Empire of AI』は、この連鎖が OpenAI の組織、AI 産業の供給網、データ労働、環境負荷へどのように現れたかを追った調査報道として読める。同時に、本書に記載された事実と、Karen Hao がそれらを「帝国」「植民地主義」「疑似宗教」として接続する解釈は、同じ確度では扱えない。公開文書で確認できる事実、内部資料に基づく記述、匿名証言、人物の動機に関する推定、技術開発への政策的提案を分ける必要がある。その区別を保つことで、本書を一つの誤りから全面否定することも、Karen Hao の職業的評価を根拠に全面的に受け入れることも避けられる。

1. OpenAI は権力集中を避けるために始まった

OpenAI は 2015 年、経済的利益に拘束されない非営利の研究組織として設立された。設立時の文書では、研究成果を公開し、特許を広く共有し、安全な AI の利益を可能な限り広く分配すると説明している[3]。これは研究成果の公開方針だけを示したものではない。強力な AI が一企業や一国家へ独占されれば、利益だけでなく、利用目的、停止条件、安全性の判断も少数者へ集中するという危険に、組織形態から対処しようとした構想であった。

設立時の論理は、二段階に分けられる。第一に、高度な AI は経済、軍事、行政、研究へ広く影響しうるため、その能力を一組織が独占すれば社会的な依存が生まれる。第二に、営利企業は投資家への収益と競争上の優位を求めるため、安全性や利益の広い分配より、製品化、秘密保持、市場支配を優先する可能性がある。そこで OpenAI は、利益最大化の圧力から距離を置く非営利組織を採用し、研究の公開によって能力と知識の集中を抑えようとした。

2018 年に公開された OpenAI Charter は、AGI を「経済的価値のある仕事の大部分で人間を上回る高度に自律的なシステム」と定義した。同時に、AGI の利用によって人類全体が利益を得ること、権力の過度な集中を避けること、安全性を競争より優先することを掲げた[4]。ここでは、技術の能力、安全性、利益配分、組織間競争が別々の論点として置かれていない。強力な技術を作る組織は、その技術を誰が利用でき、誰が利益を得て、誰が危険を負うかについても責任を負うという構成になっている。

OpenAI Charter の AGI 定義で注意すべきなのは、意識、感情、身体的経験、人間と同じ意味理解を条件としていない点である。基準となるのは、経済的価値を持つ仕事の大部分で人間を上回れるかどうかである。これは、人間の知能を哲学的に完全再現したかを判定する定義ではなく、労働市場における機能を基準とする定義である。

評価対象 必要とされる条件 社会制度への帰結
人間と同じ意識 主観的経験や自己認識が機械に成立している必要がある。 外部から直接確認する方法が確立しておらず、雇用代替の判断基準にはなりにくい。
人間と同じ理解 記号処理だけでなく、世界との関係の中で意味を理解している必要がある。 理解の有無と、特定作業の成績を分けて評価する必要がある。
経済的作業能力 企業が価値を認める作業を、許容される費用と精度で実行できればよい。 意識や理解が確認されなくても、人員削減や業務再編の根拠になりうる。

この差異により、AGI の議論は人間の完全な複製を待たずに雇用制度へ接続する。AI が人間と同じ経験を持たなくても、文書作成、要約、分類、顧客対応、プログラム生成、分析といった作業を一定の精度で処理できれば、企業は人間との費用比較を始める。さらに業務を AI が扱いやすい単位へ分割すれば、モデル側の能力を高めるだけでなく、仕事の側をモデルへ近づけることができる。OpenAI の AGI 定義は、知能の哲学的な定義であると同時に、人間労働を機械へ移せる範囲を測る経済的な定義として機能する。

OpenAI の原点には、強力な技術を少数者へ集中させないという理念があった。しかし、AGI を実現する経路として大規模な機械学習を選ぶと、その理念とは逆方向の条件が生じる。大きなモデルを訓練するには、大量の計算装置を同時に動かす基盤が必要になる。その基盤を建設し、維持し、更新するには、研究助成や寄付の範囲を超える資本が必要になる。技術上の規模が資金需要を増やし、資金需要が巨大企業との提携を必要とし、その提携が研究成果、計算基盤、製品展開に関する意思決定を少数の組織へ集める。

この変化を、設立理念を持っていた人物が後から利益を求めたという説明だけで捉えると、再発する条件を見落とす。組織の意思とは別に、選択した技術経路が必要とする資本、設備、供給網が統治構造を変えるからである。非営利組織が公益を掲げていても、その目的を達成するために一部の巨大企業しか提供できない計算資源を必要とすれば、資源を持つ側が開発速度、公開範囲、製品化、収益化へ影響する。

権力集中を避けるために設立された組織が、権力集中を生みやすい技術経路へ進んだ。この矛盾が『Empire of AI』の出発点である。Karen Hao が問うているのは、OpenAI が当初の約束を守ったかという道徳的な判定だけではない。全人類へ利益を配分するという目的を掲げながら、その実現手段がデータ、資本、半導体、電力、研究者、意思決定を一か所へ集めるとき、目的と手段のどちらが組織の形を決めるのかという構造上の問いである。

2. AGI は性能予測である前に人間観である

Alan Turing は 1950 年、「機械は考えられるか」という問いを直接定義しようとすると、「機械」と「考える」の意味をめぐる言葉の争いに陥ると考えた。そこで、人間の判定者が文字による応答だけを見て、人間と機械を識別できるかを問う模倣ゲームへ置き換えた[5]。この転換によって、機械の内部に意識や感情が存在するかを確定しなくても、外部から観察できる能力を比較できるようになった。

模倣ゲームが評価するのは、判定者に提示された条件の下で、人間らしい応答を生成できるかどうかである。機械が人間と区別しにくい文章を返したとしても、その内部で人間と同じ理解、経験、意図が成立していることまでは示さない。外部から観察できる機能を評価する方法と、知能が何によって成立するかを説明する理論は、ここで分かれる。

心の計算理論は、推論、記憶、知覚、言語処理などの認知過程を、情報表現に対する計算として説明する有力な立場である[6]。この立場を採れば、人間の認知も原理上は機械で実装できるように見える。しかし、「計算」という語が何を指すかによって主張の強さは変わる。神経活動の一部を数理モデルで近似すること、人間と同じ入出力を再現すること、人間と同じ意味理解や意識を生じさせることは、同じ命題ではない。

Karen Hao の問題提起を正確に読むには、AGI へ至るとされる推論を、少なくとも六つの段階へ分ける必要がある。

段階 命題 次の段階へ進むために必要な論証
物理的基盤 人間の知能は、脳と身体の物理過程に依存する。 物理現象であることから、有限の計算手続きによって過不足なく記述できることは導かれない。
計算可能性 人間知能を構成する過程は、計算として表現できる。 一部の認知機能を計算で近似できることと、知能全体を再現できることを区別する必要がある。
機能的再現 同じ入出力関係と内部機能を再現すれば、人間と同等の知能が成立する。 機能が一致したときに、意味理解、主観的経験、意図、責任能力まで成立するかは確定していない。
学習可能性 必要な計算構造を、有限の観測データから機械学習によって獲得できる。 原理的に記述可能な構造であっても、観測できる入出力だけから一意に推定できるとは限らない。
拡大可能性 現在の深層学習を拡大すれば、人間知能全体へ連続的に到達できる。 特定の評価試験における性能向上が、未知の状況への理解、長期的な自律性、責任ある判断へつながることを別途示す必要がある。
社会的代替 機械が作業を実行できれば、その作業を担っていた人間を置き換えられる。 技術的な実行能力から、雇用削減、権限移譲、責任負担、権利制限の正当性は導かれない。

最初の段階では、人間の知能が物質から独立した存在ではなく、脳、身体、感覚器官、周囲の環境に依存していると考える。この前提は、現代の自然科学と大きく対立しない。しかし、物理的な現象であることは、その現象を有限のデータと計算量によって完全に再現できることを意味しない。天候や生態系のように、物理法則に従う対象であっても、初期条件、相互作用、観測精度の制約によって、現実的な予測や再現が困難な場合がある。

次の段階では、脳と身体の過程を計算として表現できると仮定する。ここで一部の認知機能を再現できたとしても、それだけで人間知能全体を再現したことにはならない。画像分類、文章生成、経路探索、数値計算は、それぞれ限定された入力と評価基準を持つ機能である。複数の機能を同じシステムへ集めることと、状況を理解し、自ら目的を形成し、結果へ責任を負う主体が成立することの間には、追加の説明が必要になる。

記号接地問題は、この隔たりを意味の側から示す。計算機は、記号を規則に従って別の記号へ変換できる。しかし、その規則だけでは、記号が現実世界の何を指し、なぜその対象についての記号として扱われるのかを説明できない[7]。辞書に書かれた言葉を別の言葉だけで説明し続けても、どこかで知覚、行為、経験との接続がなければ、記号同士の循環から抜け出せない。文章の統計的な関係を高精度で学習することと、その文章が指す対象を経験の中で理解することは区別される。

身体化された認知は、同じ隔たりを身体と環境の側から捉える。認知は脳内で完結する抽象的な情報処理ではなく、身体を動かし、環境から反応を受け、その結果に応じて行為を修正する循環の中で成立するという立場である[8]。熱さを避ける判断、他者との距離を調整する行為、道具の重さを見積もる感覚は、言語化された知識だけから生じるのではない。身体の制約と環境からの抵抗が、何を重要な情報として扱うかを決めている。

記号接地や身体性を重視する立場も、機械による知能の実現を原理的に否定するものではない。センサー、ロボット、環境との継続的な相互作用を備えた機械が、意味や概念を形成する可能性は残る。ただし、その可能性を認めることと、大量の文章を用いた現在の学習方式を拡大すれば人間知能全体へ到達できると判断することは別である。実現可能性を主張するには、現在の手法がどの段階を満たし、どの段階を別の技術によって補うのかを示さなければならない。

学習可能性にも独立した制約がある。ある認知過程が計算として表現可能であっても、その計算構造を外部から観察できるデータだけで復元できるとは限らない。同じ入出力を示す複数の内部構造が存在する場合、学習器は人間と同じ過程ではなく、訓練データ上で同じ結果を返す別の近似を獲得する可能性がある。既知の問題では高い成績を示しながら、前提が少し変わると誤る現象は、出力の一致だけでは内部の一般化方法まで確認できないことを示している。

拡大可能性の段階では、さらに強い仮定が置かれる。現在の深層学習が一部の課題で性能を高めていることから、モデル、データ、計算量を増やせば、人間知能全体へ連続的に近づくと推論する。しかし、同じ評価方法の下で誤差が減ることは、その評価方法に含まれていない能力まで同じ経路で獲得されることを保証しない。短い質問への回答精度が上がること、長期間にわたって目的を維持すること、自らの誤りを認識すること、結果に責任を負うことは、異なる条件を持つ。

最後の社会的代替では、記述的な主張から規範的な判断への移行が起きる。機械がある作業を実行できるという事実から、その作業を担っていた人間を解雇してよいこと、判断権限を機械へ移してよいこと、誤りの負担を利用者へ転嫁してよいことは導かれない。必要な精度、誤りが及ぼす被害、異議申立ての経路、最終責任者、代替によって失われる技能を、制度側で検討する必要がある。

この六段階を一続きの進歩として扱うと、AGI は現在の技術を拡大した先に自然に現れるように見える。反対に、段階ごとの未解決問題を区別すると、AGI は単純な性能予測ではなく、知能を何と定義し、どの能力を再現すれば人間と同等とみなし、どの条件で社会的な代替を認めるかという判断の集合であることが見えてくる。

Karen Hao が指摘する計算可能性への信念は、この複数の段階を一つの連続した経路として受け入れる人間観を指している。人間知能を最終的には計算へ還元でき、計算へ還元できるものは十分なデータと設備によって再現できると考えれば、モデルの巨大化は単なる企業戦略ではなく、人間知能へ到達するための技術的必然になる。その必然性が受け入れられた時点で、必要とされるデータ、半導体、電力、土地、資本の規模も正当化される[2]。

AGI が完成するかどうかとは別に、この人間観はすでに現在の資源配分を動かしている。計算可能性から機能的再現へ、機能的再現から大規模学習へ、大規模学習から社会的代替へ進む各段階に未解決の論点が残っていても、企業はその到達を前提として設備投資と制度変更を進められる。AGI は未来の完成品として社会へ影響するだけではない。実現可能だという信念そのものが、現在の企業組織、研究資金、労働市場を組み替えるのである。

3. スケーリング則は何を示し、何を示さないのか

AGI への信念が研究者の思想にとどまらず、半導体投資、データセンター建設、企業提携へ接続した背景には、規模を増やすと性能が一定の規則に従って改善するという経験的成果がある。OpenAI は 2018 年、画像認識や囲碁、言語処理などの主要な AI システムについて、学習に投入される計算量が 2012 年以降、従来の半導体性能の向上を大きく上回る速度で増加してきたと報告した[9]。性能向上が計算量の増加と結び付いたことで、より強力な AI を作る方法は、アルゴリズムの発見だけでなく、より大きな計算基盤を確保することとして理解されるようになった。

2020 年に報告された言語モデルのスケーリング則は、この関係をさらに予測可能なものにした。研究では、モデルのパラメーター数、学習データ量、学習に使用する計算量を増やすと、文章中の次の語をどれだけ正確に予測できるかを表す損失が、一定の範囲で滑らかなべき乗則に従って減少することが示された[10]。べき乗則とは、投入量を増やしたときの改善幅が不規則に上下するのではなく、規模と性能の関係を比較的単純な曲線で近似できるという意味である。

この成果によって、研究開発の判断方法が変わった。モデルを大きくしたときに性能が改善するかどうかを毎回ゼロから試すのではなく、一定の計算量を追加すれば損失がどの程度下がるかを事前に見積もれるようになった。次の世代のモデルに必要な半導体数、学習時間、電力、費用を逆算できれば、モデル開発は不確実な研究計画であると同時に、資本投下によって性能を購入する設備計画になる。

ただし、初期の大規模言語モデルでは、モデルのパラメーター数を増やす一方で、学習に使用するデータが相対的に不足する場合があった。2022 年の Chinchilla 研究は、限られた計算量を有効に使うには、モデルだけを大きくするのではなく、パラメーター数と学習データ量を対応させて増やす必要があると示した[11]。同じ計算費用でも、過度に大きなモデルを少量のデータで学習するより、小さめのモデルへ十分なデータを与えた方が高い性能に到達する場合がある。

この修正は、巨大化を否定したものではない。必要な資源の構成を変更した。モデル規模だけでなく、大量の文章、画像、音声、プログラム、評価データを確保し、それらを長期間にわたって計算機へ読み込ませる必要があることを示したからである。計算資源の拡大は、半導体と電力の需要を生む。データ量の拡大は、著作物、個人情報、公開情報、人間による評価作業の需要を生む。スケーリング則は、性能曲線を説明する技術的経験則であると同時に、AI 産業が何を大量に集めなければならないかを示す資源調達の設計図になった。

研究結果 直接確認されたこと 直接は確認されていないこと
計算量の増加 主要な AI システムの学習へ投入される計算量が急速に増加していた。 計算量を増やし続ければ、人間知能全体へ到達することは示されていない。
スケーリング則 一定のモデル構造と学習条件では、規模と損失の関係を滑らかな曲線で近似できた。 損失の低下が、意味理解、意識、自律性、責任能力へ連続することは示されていない。
Chinchilla 研究 計算効率を高めるには、モデル規模と学習データ量を対応させる必要があった。 大量のデータを学習すれば、未知の状況に対する人間と同等の一般化が成立することは示されていない。

スケーリング則が直接扱っているのは、特定のモデル構造、学習方法、データ分布、評価指標の下で測定された性能である。言語モデルの損失が下がるとは、学習対象となった文章の統計的な規則を利用し、次に現れる語へより高い確率を割り当てられることを意味する。この結果だけから、モデルが文章の指す対象を人間と同じように理解していること、自ら目的を形成できること、長期間にわたって判断へ責任を負えることは導かれない。

評価課題上の性能についても同じ制約がある。試験問題、プログラミング課題、文章要約で成績が向上すれば、その課題に必要な能力が改善したことは確認できる。しかし、既知の評価課題で改善が続くことと、評価条件に含まれていない能力が同じ割合で形成されることは別である。短い質問へ正答する能力、現実の状況から必要な情報を選ぶ能力、前提が崩れたときに判断を停止する能力、結果の影響を引き受ける能力には、それぞれ異なる評価方法が必要になる。

ここに、経験的な技術成果から AGI への推論が入り込む。第一段階では、モデル、データ、計算量を増やすと、測定対象となった性能が改善する。第二段階では、その改善傾向が、まだ測定できていない理解、自律性、常識、長期計画にも及ぶと仮定する。さらに第三段階では、同じ傾向を十分に延長すれば、人間の知的作業全般を代替できる地点へ到達すると推定する。

最初の段階には実験結果がある。後の二段階は、その実験結果の外側にある。将来のモデルが新しい能力を獲得する可能性は否定できないが、損失曲線の延長だけで、どの能力が、どの条件で、どの程度の信頼性を持って現れるかを確定することはできない。スケーリング則は、投入資源と既存指標の関係を予測する。人間知能の構成要素を定義し、それらが同じ曲線上に存在することを証明する理論ではない。

この境界が曖昧になると、経験則は世界観へ変わる。一定範囲で「大きくすると性能が上がった」という観察が、「十分に大きくすれば人間知能を再現できる」という確信へ拡張される。その確信を経営判断へ移せば、より多くの半導体、データ、電力、研究者を確保することが、単なる競争戦略ではなく、AGI の実現に必要な工程として扱われる。

規模を増やせば次の評価値が改善するという予測がある限り、企業は資本調達を続ける理由を説明できる。性能向上が止まっていないことは、次のモデルへの投資根拠になる。競合企業も同じ予測を受け入れれば、計算資源を確保しない選択は、技術的に慎重な判断ではなく、将来の市場と AGI 開発競争から脱落する判断に見える。個々の企業が合理的に規模を追求した結果、産業全体では資本と計算基盤が少数企業へ集中する。

Karen Hao が問題にしているのは、スケーリング則の実証結果そのものではない。限定された性能指標について成立した経験則が、人間知能全体についての存在論へ拡張され、その存在論が巨額の資源集中を不可避に見せる過程である。損失が予測可能に下がることは、次のモデルを作る理由にはなる。しかし、その曲線の先に AGI が存在することも、その到達を目的として世界中のデータと物理資源を集める権限を一部企業へ与えることも、同じ曲線からは導かれない。

4. 技術の大規模化が組織を作り替える

OpenAI は 2019 年、最先端の AI を開発するには、通常の非営利組織が寄付や研究助成だけで調達できる範囲を超えた計算資源と資本が必要になるとして、利益に上限を設けた営利部門を設立した[12]。同年、Microsoft は OpenAI へ 10 億ドルを投資し、Azure 上に大規模な計算基盤を構築する提携を発表した[13]。公益を目的とする非営利組織の内部に、投資資金を受け入れ、製品と知的財産から収益を得る事業体を置くことで、大規模学習に必要な設備を確保しようとしたのである。

この変化を、公益理念を持っていた組織が利益追求へ転向した出来事としてだけ捉えると、組織を変えた直接原因が見えなくなる。OpenAI が選択した大規模モデルの開発方式では、次世代の性能を得るたびに、より多くの半導体、学習データ、電力、技術者、評価作業が必要になる。必要資源が研究組織の内部で調達できる範囲を超えると、その資源を保有する企業から資本と計算基盤を借りなければならない。技術上の規模拡大が資金需要を生み、資金需要が組織形態と提携関係を変えたのである。

資本を受け入れれば、単に研究費が増えるだけではない。投資した側は、事業の成長、製品化、顧客獲得、知的財産の利用、計算基盤への需要拡大を期待する。開発組織も、次の学習に必要な費用を確保するため、研究成果を収益へ変える経路を求める。研究の規模が大きくなるほど、次の研究を続ける条件として製品収益が必要になり、製品収益を増やすためにさらに大きなモデルを開発する循環が形成される。

技術上の選択 直接必要になる資源 組織に生じる変化 長期的な帰結
モデルを拡大する 高性能半導体、大規模な学習基盤、専門人材、長期間の電力供給が必要になる。 大規模投資が可能な資本提供者とクラウド事業者への依存が強まる。 計算基盤を持つ企業が、開発速度、製品展開、技術利用条件へ影響できるようになる。
データ量を増やす 文章、画像、音声、プログラムの収集、整理、重複除去、品質評価が必要になる。 データを保有する事業者と、低賃金の評価労働を供給する地域が供給網へ組み込まれる。 データを生み出した人や労働者より、収集と学習を行う企業へ所有権と利益が集まりやすくなる。
開発速度を上げる 競合より早く学習、評価、安全対策、製品化を反復する体制が必要になる。 広い合意形成より少人数による判断が優先され、研究公開より秘密保持が重視される。 安全性を理由に集中した権限が、競争速度を理由に外部から検証しにくくなる。
汎用性を目指す 用途を限定せず、多数の言語、職業、文化、知識領域を学習対象へ含める必要がある。 特定の利用者や目的を定める前にモデルが構築され、用途と影響範囲は製品化の過程で決められる。 モデルを所有する企業が、社会のどの領域を自動化の対象とするかを後から選択できる。

モデルの拡大と組織の集中は、一方向に進むだけではない。より大きなモデルを開発するために資本を集中させると、集中した資本によってさらに大きな計算基盤を建設できる。大きな計算基盤が高い性能を生めば、その性能が投資と顧客を呼び込み、次のモデルへ投入できる資本が増える。技術的優位が資本集中を生み、資本集中が次の技術的優位を生むため、先行企業と後発組織の格差は拡大する。

この循環では、研究成果を公開することにも費用が生じる。公開された手法を競合が利用すれば、巨額の学習費用を負担した企業が優位を失う可能性がある。安全上の懸念がある能力を公開すれば、悪用を促す危険もある。研究成果を閉じる理由には競争上の利益と安全上の配慮が混在し、外部からは、どこまでが正当な危険管理で、どこからが市場支配のための秘密保持なのかを判別しにくくなる。

意思決定も同じ方向へ変わる。学習に投入した費用が大きく、競合との時間差が事業価値を左右する状況では、広い議論を経て判断すること自体が競争上の遅延として扱われる。限られた経営陣と研究責任者が、モデルの公開範囲、安全基準、製品化の時期、提携先を短期間で決める体制が合理化される。外部監査や社会的合意は、技術の方向を決める前提ではなく、開発後に追加される確認工程へ押し出される。

ここには、OpenAI が設立時に掲げた理念との構造的な緊張がある。権力の集中を避けるには、知識、能力、意思決定を複数の主体へ分散する必要がある。一方、大規模モデルを競争的に開発するには、資本、半導体、データ、人材、判断権限を一か所へ集める方が効率的である。公益理念は分散を要求し、選択した技術経路は集中を要求する。両者の衝突は、経営者の発言や人格だけを検討しても解消しない。

この因果関係では、組織の集中を Sam Altman 個人の性格だけで説明することはできない。別の経営者が OpenAI を率いたとしても、大規模モデルを AGI への主要経路とみなし、同じ資金需要、同じ計算基盤、同じ企業間競争を受け入れれば、意思決定と資源が集中する圧力を受ける。人物によって集中の程度や手続は変わりうるが、集中を生む条件は技術と資本の接続部に残る。

Karen Hao が「帝国」と呼ぶ対象は、Sam Altman を頂点とする人物関係だけではなく、この自己強化する構造である。中心にいる企業は、資本と計算基盤を集めることでモデルの能力を高め、その能力を根拠にさらに多くのデータ、電力、土地、労働力を取得する。周縁にいるデータ提供者、評価労働者、地域住民は資源を供給するが、モデルの目的、利用条件、利益配分を決める権限をほとんど持たない[14]。

帝国という分析が指しているのは、企業が大きいという事実ではない。技術の中心が周縁から資源を継続的に取り込みながら、周縁を意思決定へ参加させず、集中の必要性を人類全体の進歩や安全によって正当化する関係である。AGI が人類へ大きな利益をもたらすという使命が強いほど、その実現に必要とされる資本と権限の集中も受け入れられやすくなる。

OpenAI の組織変化から見えるのは、技術と組織が独立していないという事実である。どの技術経路を選ぶかによって、必要な資本規模、提携先、情報公開の範囲、意思決定の速度が決まる。その組織構造が、次に開発可能な技術の種類を限定する。巨大な計算基盤と投資回収を抱えた組織は、少量のデータで特定の地域課題を解く小規模な AI より、既存設備を最大限に利用できる汎用モデルを優先する。

技術の大規模化が組織を作り替え、作り替えられた組織がさらに大規模な技術を必要とする。この循環が続く限り、権力集中は AGI が完成した後に生じる副作用ではない。AGI を目指す開発方式そのものが、完成前から資源、知識、判断権限の配分を変更するのである。

5. AI 帝国はデータだけでなく労働と土地を集める

Karen Hao が巨大 AI 企業を「帝国」と呼ぶとき、現在の企業を過去の植民地帝国とそのまま同一視しているわけではない。比較の対象は、支配領域の形式ではなく、中心と周縁の間で資源、利益、負担、決定権が非対称に配分される構造である。中心にいる組織は、周縁からデータ、労働、土地、電力、水を集め、それらを製品と企業価値へ変換する。一方、資源を提供した側が、技術の目的、利用条件、利益配分を同じ強さで決められるとは限らない。この非対称性が、文明、進歩、人類全体の利益という言葉によって正当化されるとき、Karen Hao はそこに帝国的な構造を見る[14]。

生成 AI の利用画面には、この供給構造が現れない。利用者が文章を入力すると、数秒後には回答が表示される。画面上では、回答生成、安全性判定、有害表現の回避が一つの自動処理として見える。しかし、モデルを利用可能な状態へ整えるまでには、人間が訓練データを選び、出力を比較し、不適切な内容を分類し、望ましい応答を評価する工程がある。自動化された製品の前段階に、多数の人間による判断が組み込まれている。

TIME の調査によれば、OpenAI の安全化に関わったケニアの作業者は、時給 2 ドル未満で、性的虐待、暴力、自傷などを含む文章を分類していた。OpenAI も、委託先である Sama の作業者が、有害情報を検出するための仕組みへ関与したことを認めている[15]。作業者が読んだ文章は、一般利用者へそのまま表示しないために分類されたものである。利用者が有害な出力を避けられるほど、その前段階では別の人間が有害情報へ繰り返し接触していた。

ここには、二段階の負担移転がある。第一に、モデルの安全性を高めるために必要な心理的負担が、製品を利用する側から分類作業を担う側へ移される。第二に、その作業が低賃金地域の外部委託先へ配置されることで、開発企業は安全対策を実施しながら、作業環境と長期的な健康影響を組織の中心から遠ざけられる。AI によって人間労働が消えたのではない。製品の自動性を成立させるための労働が、利用者と開発組織から見えにくい位置へ移動したのである。

この構造は、有害情報の分類に限られない。訓練用文章の整理、画像への説明付与、音声の書き起こし、回答品質の比較、誤答の修正、文化的な適切さの判定など、モデルが処理できる形式へデータを整える工程には人間の判断が必要になる。モデルが高性能になるほど、人間の作業が不要になるとは限らない。評価対象が増え、利用分野が広がれば、専門知識、地域知識、言語知識を持つ作業者が新たに必要になる場合もある。

それにもかかわらず、製品の説明では、こうした労働はモデルの能力として表現されやすい。人間が出力を比較して形成した応答傾向も、人間が分類した有害情報も、完成後には「AI が安全に判断した結果」として利用者へ提示される。労働者の判断がモデルの性質へ吸収され、その判断を行った人間の存在が表示から消える。Karen Hao の帝国論では、この不可視化が、周縁から価値を取得しながら中心だけを技術革新の主体として見せる仕組みの一部となる。

計算基盤にも同じ中心と周縁の関係がある。大規模な自然言語処理モデルは、精度向上と引き換えに大きな計算費用とエネルギー消費を必要とすることが早くから指摘されてきた[16]。モデルを一度訓練するときの電力だけでなく、学習条件の探索、失敗した試行、追加学習、評価、日常的な推論、設備の冷却まで含めれば、製品の物理的な基盤はさらに広がる。

データセンターは、計算装置を置くだけの建物ではない。大量の電力を安定して供給する送電設備、発生した熱を外部へ逃がす冷却設備、通信回線、建設用地、保守要員を必要とする。冷却方式によっては水を直接消費し、使用する電力の発電過程でも水が使われる。AI の水使用量を評価するときは、施設内で直接使う水と、発電に伴う間接的な水利用を分け、立地、季節、冷却方式、地域の水不足を考慮しなければならない[17]。

同じ量の水を使う施設でも、社会的な影響は同じにならない。水資源が豊富な地域と、農業、生活用水、生態系の間ですでに競合が起きている地域では、追加消費の意味が異なる。年間使用量が同じでも、乾季に取水が集中すれば影響は大きくなる。再利用水を使う場合と飲料可能な水を使う場合でも、負担は変わる。AI の環境負荷は、一つの世界平均値だけでは判断できず、どこで、いつ、どの資源を、他のどの用途と競合しながら使うのかを確認する必要がある。

この点は、Karen Hao の著作に含まれていた水使用量の誤りを考えるうえでも重要になる。データセンターと水資源の関係は実在するが、個別施設の影響を示す数値が誤っていれば、その地域で起きている負担の規模まで正しく説明したことにはならない。環境問題の存在と、特定の数量的主張の正確性は分けて評価しなければならない。帝国という大きな構造を論じるほど、構造を支える個々の数値には厳密な検証が必要になる。

大規模言語モデルの問題を扱った「確率的オウム」の論文は、環境費用だけでなく、巨大なデータ集合に含まれる偏り、研究資源の集中、流暢な文章を意味理解と誤認する危険を整理した[18]。大量のデータは、単に知識量を増やす中立的な材料ではない。どの言語、地域、文化、階層の記録が多く含まれるかによって、モデルが再現しやすい世界像が変わる。

公開されたデータを大量に集める方式では、記録量の多い集団ほど学習上の存在感が強くなる。反対に、記録が少ない言語、口承を中心とする文化、オンライン上での公開を望まない共同体は、モデル内で過小評価されるか、外部から収集された限定的な記録によって表現される。データ量の差が、文化や知識の重要性の差として処理される危険がある。

さらに、データが公開されていることと、あらゆる目的で利用する正当性があることは同じではない。個人が文章や画像を公開した時点では、それらが巨大モデルの訓練に使われ、商用製品の能力へ変換されることまで想定していない場合がある。法的に取得可能であっても、利用目的、利益配分、削除可能性、文化的な制約について、データを生み出した側と開発企業の理解が一致しているとは限らない。

脱植民地主義の観点から AI を論じる研究は、このデータ取得を、単なる情報収集ではなく、歴史的な権力関係の中に置く。知識、価値、労働、資源が周縁から中心へ流れ、中心側の企業や研究機関が、それらを分類し、価値付けし、製品化する構造である[19]。技術設計の内部には、何を有効な知識とみなすか、誰の言語を標準とするか、誰の判断を正解として学習させるかという政治的な選択が含まれる。

帝国という分析枠組みが有効なのは、労働、データ、環境を別々の問題として扱わず、同じ資源移転の中へ配置できる点にある。データ作業者は判断と心理的負担を供給する。利用者と著作者は文章、画像、行動履歴を供給する。地域社会は土地、電力、水、通信設備を供給する。開発企業は、それらを一つのモデルへ集約し、知的所有権、製品収益、利用条件を管理する。

位置 供給するもの 得やすい利益 引き受けやすい負担 持ちやすい決定権
開発企業 資本、研究組織、製品基盤、計算設備を提供する。 知的所有権、製品収益、利用データ、企業価値を得やすい。 研究開発費、技術的失敗、法的責任、事業上の損失を負担する。 モデルの目的、価格、公開範囲、利用条件、停止条件を決めやすい。
データ作業者 分類、評価、修正、書き起こし、文化的判断を提供する。 雇用機会と賃金を得る。 反復作業、有害情報への接触、短期契約、心理的負担を引き受けやすい。 データの利用目的、製品方針、収益配分を決める権限は弱い。
著作者とデータ提供者 文章、画像、音声、プログラム、行動履歴を提供する。 公開、交流、販売、社会参加から利益を得る場合がある。 意図しない再利用、文脈の喪失、模倣、削除困難の影響を受ける。 学習利用の範囲や、モデルから得られる利益の配分へ関与しにくい。
地域社会 土地、電力、水、通信設備、建設労働を供給する。 投資、税収、雇用、インフラ整備を得る場合がある。 水資源の競合、送電設備、騒音、土地利用、電力価格への影響を引き受ける。 企業との契約条件や長期的な資源配分へ関与できる範囲は地域ごとに異なる。
利用者 利用料金、入力情報、評価、利用履歴を提供する。 文章生成、分析、検索、翻訳、業務支援を利用できる。 誤答、情報流出、依存、技能低下、利用条件の変更による影響を受ける。 サービスを選択できても、開発目標、供給網、学習データを決める権限は持ちにくい。

この表で確認すべきなのは、開発企業だけが利益を得て、他の主体が負担だけを負うという単純な構図ではない。地域社会が投資や雇用を得る場合もあり、データ作業者にとって仕事が重要な収入源になる場合もある。利用者も実際の便益を受ける。非対称性は、利益の有無ではなく、利益と負担の条件を誰が決められるかに現れる。

たとえば、地域社会がデータセンターを受け入れて税収を得ても、水使用量、電力供給、雇用人数、撤退時の責任について十分な情報と交渉権を持たなければ、長期的な負担を自ら選択したとは言いにくい。データ作業者が賃金を得ても、作業内容、心理的危険、成果物の利用方法、契約終了後の支援について交渉できなければ、価値配分を決める主体にはならない。

開発企業は研究開発費と事業上の危険を引き受けるため、収益を得る根拠を持つ。しかし、そのことから、他者のデータ、労働、地域資源をどの範囲まで利用してよいかが自動的に決まるわけではない。投資した主体が利益を受ける権利と、資源提供者が利用条件を決める権利は両立しうる。帝国的な構造は、中心が利益を得ることより、中心だけが利用条件と配分方法を決めるときに強まる。

「人類全体の利益」という言葉は、この決定権の差を見えにくくすることがある。将来の AGI が医療、科学、教育、経済へ大きな利益をもたらすと想定すれば、現在のデータ収集、労働負担、資源消費は、その未来へ到達するための一時的費用として扱われる。しかし、将来利益を受けるとされる人々と、現在費用を負担している人々が同じ集団であるとは限らない。利益の時期、地域、主体が異なれば、「全体の利益」という集計だけでは配分の正当性を判断できない。

Karen Hao が問うているのは、AI が労働と資源を必要とすること自体ではない。あらゆる技術は、物質、エネルギー、知識、人間の作業に依存する。焦点は、資源を提供する側が、技術の目的、規模、利用条件、利益配分、停止条件へどこまで関与できるかにある。

AI 帝国という言葉の説明力は、この決定権の非対称性にある。モデルの価値を生む要素は世界中から集められるが、モデルをどの用途へ配置し、誰へ販売し、どの仕事を自動化し、どの地域へ設備を置くかを決める権限は中心へ残る。技術の供給網が世界規模になるほど、資源を提供する主体は増えるが、一つの意思決定へ参加する人数が同じ割合で増えるわけではない。

データ、労働、土地を一つの供給構造として見ると、生成 AI の自動性は別の姿を示す。画面上の回答は機械が生成していても、その機械の能力、安全性、稼働条件は、多数の人間と地域が提供した資源によって成立している。それらを不可視化したまま、モデルを単独の知能として評価すれば、誰が価値を作り、誰が費用を負担し、誰が決定権を持つのかを見失う。

Karen Hao の帝国論が最終的に向けているのは、AI の性能評価ではなく、技術を作る権限の配分である。高性能なモデルを作れることと、そのために必要なデータ、労働、土地を一部企業が一方的に利用してよいことは別の命題である。AI がどれほど有用であっても、資源を提供する側が目的と条件を決められない構造が固定されれば、技術の進歩は同時に決定権の集中を進める。

6. AGI が実現しなくても人間の置き換えは進む

人間の仕事を AI へ移すために、AI が人間と同じ知能、意識、身体経験を獲得する必要はない。企業が必要とするのは、人間精神の完全な複製ではなく、業務上要求される出力を、許容される費用、速度、誤差率で生成できる仕組みである。Erik Brynjolfsson は、人間に似た機械を作って労働を代替する方向と、人間がより大きな成果を出せるよう能力を補完する方向を区別し、前者へ投資が偏れば、所得と意思決定が技術を所有する側へ集中すると指摘した[20]。

この区別は、AI の性能だけを比較しても捉えにくい。代替型の導入では、人間が行っていた仕事をそのまま機械へ渡すとは限らない。企業は業務を細分化し、入力形式を統一し、判断軸を減らし、例外処理を別工程へ移す。その結果、業務全体を理解できない AI でも、切り分けられた一部の作業なら処理できるようになる。

たとえば、顧客対応には、問い合わせの意図を理解すること、過去の経緯を確認すること、規則を適用すること、例外を判断すること、顧客の感情へ配慮すること、組織として責任を引き受けることが含まれる。これらを一つの仕事として見れば、限定された AI で全面的に代替するのは難しい。しかし、問い合わせを定型的な分類へ変え、回答候補を既定文から選び、例外案件だけを人間へ送る仕組みにすれば、最初の応答に必要な人員は削減できる。

このとき、AI が顧客対応の全体を理解したわけではない。企業が顧客対応を、AI が扱える入力と出力の組へ再編したのである。分類に失敗した問い合わせ、規則外の事情、説明に納得できない利用者は、残った従業員、別の委託先、または利用者自身へ送られる。自動化率が上がったように見えても、処理できなかった負担が消えたとは限らない。

国際労働機関は、生成 AI の影響について、職業全体が一度に消滅するより、職業を構成する作業、技能、役割が再編される形で現れる可能性が高いと評価している[21]。一つの職業には、定型的な文書作成、情報検索、対人調整、例外判断、最終責任など、機械化の難易度が異なる作業が含まれる。生成 AI はその一部を処理し、残りを人間へ再配分する。

作業単位の自動化は、直ちに職業の消滅を意味しない。しかし、企業が必要人員、技能構成、評価方法を変更する契機にはなる。文章の下書きを AI が作れば、人間は確認と修正へ移る。問い合わせの一次分類を AI が行えば、人間は例外案件だけを担当する。プログラム生成を AI が支援すれば、人間は設計、検証、障害対応へ比重を移す。表面上は補助であっても、仕事量の分布が変われば、採用人数、教育機会、賃金、責任範囲も変化する。

変化の位置 直接起きること 次に生じる組織上の変化 見落としやすい負担
作業の分解 一つの職務が、分類、生成、確認、承認、例外処理へ分けられる。 AI が処理できる工程だけを切り出し、人員配置を変更できる。 工程間の調整と全体把握が、残った人間へ集中する。
入力の標準化 自由形式の相談や判断材料が、選択肢、定型文、数値項目へ変換される。 AI が扱える案件の割合が増え、利用者も指定された形式へ従うことになる。 標準形式に収まらない事情が、例外や誤入力として処理されやすくなる。
評価指標の限定 品質が、処理件数、応答速度、正答率、費用削減などで測定される。 測定可能な成果を出す AI が、人間より効率的だと評価されやすくなる。 信頼関係、説明責任、長期的な技能形成が評価から外れやすい。
例外処理の移転 AI が処理できない案件だけを、人間、委託先、利用者へ送る。 少人数の人間が、難度と責任の高い案件へ集中する。 件数は減っても、一件当たりの心理的負担と判断責任が重くなる。
品質基準の変更 人間と同等の品質ではなく、事業上許容できる最低水準が採用される。 多少の誤答や不便を含んでも、費用削減が上回れば導入が進む。 誤りの確認と修正が、利用者や現場担当者へ転嫁される。

6.1 機械の能力が広がる

一つの変化は、AI 自体の性能向上である。画像認識、文章生成、音声認識、翻訳、プログラム生成など、以前は人間による判断が必要だった作業を、AI が一定の精度で実行できる範囲は広がっている。性能が上がれば、業務を変更しなくても自動化できる作業が増える。

ただし、評価課題の成績が上がったことと、現実の業務を安定して担えることは同じではない。実務には、不完全な入力、矛盾した規則、予想外の例外、情報不足、関係者間の利害対立が含まれる。AI が標準的な問題へ強くなっても、前提が崩れたときに処理を止め、必要な情報を集め、責任者へ判断を戻せるとは限らない。

企業が AI を導入するときは、平均的な正答率だけでなく、失敗がどこへ集中するかを確認する必要がある。軽微な誤りが広く発生する場合と、少数でも重大な誤りが発生する場合では、同じ正答率でも制度上の意味が異なる。採用、医療、融資、行政、保険のように、誤りが権利や生活へ直接影響する領域では、処理能力だけで代替可能性を判断できない。

6.2 人間の仕事が機械へ合わせて変えられる

もう一つの変化は、仕事と制度の側が AI に合わせて変形されることである。入力を選択式に限定し、判断基準を規則化し、出力形式を固定すれば、AI が処理できる範囲は広がる。利用者へ必要事項を自己入力させ、例外的な相談を受け付けない設計にすれば、AI の理解能力を高めなくても、処理可能な案件を増やせる。

この変更は、業務改善として合理的な場合もある。曖昧だった手順を明文化し、重複作業を減らし、記録を残せるようにすれば、人間だけで運用する場合にも品質は上がる。しかし、標準化の目的が AI の処理率を高めることへ偏ると、制度が扱える人間の事情まで狭くなる。

たとえば、自由記述の相談を選択肢へ変えれば、集計と自動分類は容易になる。その反面、既存の分類に収まらない事情は入力できない。窓口担当者が会話から事情を読み取り、別制度を案内していた業務を自動化すれば、形式上の処理速度は上がっても、制度間の隙間にいる人を救い上げる機能は失われる可能性がある。

人間側の変形は、利用者だけでなく労働者にも及ぶ。AI が作成した文章を確認する仕事では、従業員は自ら文章を構成する時間を減らし、誤りの検出と承認へ集中する。短期的には生産量が増えても、自分で構成し、試行錯誤し、失敗から学ぶ機会が減れば、長期的な技能形成が弱くなる。経験者が蓄積してきた判断力を AI の出力確認へ使いながら、次の経験者を育てる工程が失われる可能性がある。

6.3 代替の成否は能力ではなく業務全体で決まる

実際の置き換えは、AI の能力向上と業務側の変形が組み合わさって進む。モデルの性能が上がれば自動化候補が増える。企業はその能力を使いやすくするため業務を標準化する。標準化された業務から新しいデータが集まり、企業はさらに自動化範囲を広げる。この循環によって、初期には補助だった AI が、後から業務の前提になる。

この循環では、AI が処理できない部分がどこへ移ったかを確認しなければならない。従業員が減った後も例外案件が残れば、一人当たりの担当件数や難度は上がる。顧客対応を自動化して人員を削減すれば、利用者が自力で解決できない場合の待ち時間が増える。文章生成を自動化すれば、確認者は大量の出力を短時間で審査しなければならない。自動化による削減額の外側へ、確認、修正、説明、異議申立ての費用が移される。

企業にとって合理的な導入であっても、社会全体で効率化しているとは限らない。企業内の処理費用が減り、利用者の入力時間、現場の修正時間、行政の救済費用が増えた場合、費用は消えず、別主体へ移動している。AI 導入の効果を判断するには、開発企業や導入企業の費用だけでなく、供給網と利用現場を含めて負担の移動を確認する必要がある。

6.4 人間の代替は経営上の判断で成立する

「AI が人間を代替できる」という表現には、技術的判断と経営判断が混在している。技術的判断は、指定された入力から必要な出力を生成できるかを評価する。経営判断は、誤り、例外、導入費用、監督費用を含めても、人間を雇用するより事業上有利かを評価する。

経営判断では、AI が人間より高品質である必要はない。人件費を削減でき、誤りによる損失が許容範囲に収まり、責任を利用規約や確認担当者へ分散できれば、品質が低くても導入されうる。利用者に他の選択肢がなければ、利便性の低下も企業側の導入判断を止めない。

このため、人間が職場から置き換えられたという事実は、AI が人間知能へ到達した証拠にはならない。企業が品質基準、責任分担、利用者の選択肢を変更し、限定された AI でも採算が合う制度を作った可能性がある。人間の代替は、知能に関する科学的発見だけでなく、どの程度の品質を受け入れ、誰に失敗の費用を負わせるかという経営上の選択によって成立する。

6.5 AGI 思想は完成前から制度を変える

AGI がいつ実現するかは確定していない。しかし、人間の知的活動を計算可能な作業へ分解できるという信念は、すでに業務設計へ使われている。会話は発話意図の分類へ、文章作成は下書きと校正へ、判断は特徴量と評価値へ、責任は承認手順へ分解される。分解された各工程には、入力、出力、処理時間、正答率が割り当てられ、AI と人間を同じ指標で比較できるようになる。

測定できるようになると、代替可能性を計算できるようになる。作業時間と人件費を数値化し、AI の利用料金、誤答率、確認時間と比較すれば、導入判断を投資計算へ変えられる。ここで測定対象にならなかった信頼関係、暗黙知、将来の人材育成、責任の引き受けは、費用対効果の計算から外れやすい。

AGI 思想の社会的効果は、AGI が完成した日に突然始まるのではない。人間の活動をデータへ変換し、評価可能な単位へ分解し、代替費用を計算する制度を作る段階から始まる。AGI が最終的に実現しなかったとしても、その実現を前提に再編された職場、失われた技能、集中した資本、狭められた利用者の選択肢は残る。

Karen Hao の問題提起が労働の議論へ接続するのは、この点である。人間知能を計算可能とみなす世界観は、未来の機械についての予測にとどまらない。現在の人間を、測定可能な入力と出力の集合として再定義し、企業がその一部を機械へ移すための制度的な前提になる。

AI が人間へ近づく変化と、人間の仕事が AI へ合わせて変えられる変化を区別すると、「人間を超えた」という表現の曖昧さが見える。特定の試験で人間平均を上回ること、ある作業を低価格で処理すること、職業全体を理解して責任を負うことは同じではない。それでも企業は、最初の二つを根拠に人員と制度を変更できる。

AGI が実現しなくても、人間の置き換えは進む。進行を決めるのは、モデルの能力だけではない。業務を誰が分解し、品質基準を誰が変更し、失敗の費用を誰へ移し、失われる技能を誰が評価するかである。人間の代替を知能の競争としてだけ捉えると、置き換えを成立させている制度上の判断主体が見えなくなる。

7. Karen Hao を信頼できるか

『Empire of AI』には、OpenAI の設立文書や公開発言のように読者が原資料へ戻れる記述だけでなく、内部資料、電子メール、Slack の記録、現役または退職した関係者の証言が含まれる。公開されていない資料について、読者は文書の真正性、引用されなかった部分、証言者同士の関係を直接確認できない。その範囲では、Karen Hao が資料を正確に読み、証言を照合し、編集者と出版社が確認工程を機能させたことへの信頼が必要になる[1]。

ただし、この制約から「Karen Hao を信じるか、信じないか」という二択へ進む必要はない。調査報道には、読者が直接確認できる事実、著者だけが確認できる資料、複数の証言を接続した再構成、出来事の意味を説明する解釈が混在する。それぞれは検証可能性が異なるため、本書全体へ一つの信頼度を与えるより、主張ごとに根拠の種類と論証の距離を確認する方が正確である。

Karen Hao は MIT で機械工学を学び、エネルギー研究を副専攻とした後、シリコンバレーで技術者として勤務した。その後、Quartz、MIT Technology Review、The Wall Street Journal で AI と技術企業を継続的に取材してきた。現在の所属や活動を含む経歴も本人が公開している[22]。この背景から確認できるのは、Karen Hao が AI 産業へ一時的に参入した評論家ではなく、技術開発、企業組織、資本関係を継続して追ってきた記者だということである。

技術的な背景は、用語や開発工程を理解する助けになる。企業で働いた経験は、研究目標が予算、納期、投資家、製品化によってどのように変更されるかを読む助けになる。長期取材は、企業が現在発表している説明を、過去の文書や行動と比較する基盤になる。これらは取材能力を推定する材料であるが、個々の記述が正確であることを保証する証明書ではない。

学歴、勤務先、受賞歴から直接確認できるのは、一定の教育、実務経験、職業上の評価を得てきたことである。そこから、匿名証言の内容が正しいこと、人物の動機に関する解釈が妥当であること、「帝国」という構造概念が唯一の説明であることまでは導かれない。専門知識を持つ記者も資料を誤読しうるし、長く取材した記者ほど、自分が形成した問題意識によって事実を配置する可能性がある。

調査記者の信頼性を評価する軸は、経歴より手続にある。重要になるのは、直接目撃者と伝聞を区別したか、一つの証言を独立した別資料で裏付けたか、対立する説明を確認したか、取材対象へ反論の機会を与えたか、数量的な主張を専門家や原資料で再確認したか、誤りが見つかった後に訂正したかである。誠実さは、誤らない人格としてではなく、誤りを減らし、発覚した誤りを公開し、結論への影響まで見直す手続として現れる。

Karen Hao は、AI は不可避であり、中立であり、物理的資源から切り離された技術であるという企業側の物語をそのまま受け入れず、データ抽出、不可視化された労働、環境負荷、権力構造を調べるべきだという取材原則を明示している[23]。この立場によって、製品の性能や利便性だけを報じる記事では見えにくい供給網と費用を発見できる。

明確な問題意識を持つことは、直ちに職業倫理上の欠陥にはならない。調査報道は、企業や政府が公開する説明だけでは見えない事実を探すため、既存の物語へ疑問を持つところから始まる。AI 企業がモデルの能力、投資額、利用者数を強調する一方、データ作業者の契約条件や地域資源への影響を詳しく示さないのであれば、権力と負担の配置を調べる視点には報道上の役割がある。

同じ視点は、事実の選択と配置へ方向性を与える。Karen Hao が AI 産業を帝国的な構造として捉えていれば、中心への資源集中、周縁への負担移転、公益理念と企業行動の矛盾を示す事例へ注意が向く。反対に、地域社会が得た便益、企業内部で機能した安全対策、集中によって可能になった公共的成果は、中心命題を直接支えないため薄く扱われる可能性がある。

この可能性は、Karen Hao の取材を無効にするものではない。必要なのは、分析枠組みが何を発見しやすくし、何を周辺へ追いやるかを確認することである。「帝国」という概念によって、データ、労働、土地、資本を一つの構造として説明できる一方、技術開発に参加する主体の利害や動機を、中心と周縁の二分法へ単純化する危険も生じる。分析概念の評価では、刺激的かどうかではなく、具体的事実をどこまで一貫して説明でき、どの反例を処理できないかを見る必要がある。

取材人数の多さも、単独では信頼性を決めない。多数の関係者が同じ出来事を語っていても、全員が一つの伝聞源を共有していれば、独立した複数の証拠にはならない。反対に、一人の証言でも、日時、電子メール、会議資料、公開された組織変更と一致すれば、強い根拠になる場合がある。人数より、証言者が出来事を直接見たか、相互に独立しているか、文書と一致するかが重要になる。

OpenAI 側から十分な取材協力が得られなければ、証言の分布にも偏りが生じる。退職者や組織へ批判的な関係者は、内部事情を語る動機を持ちやすい。一方、現役の経営陣や従業員は、秘密保持義務、雇用関係、広報方針によって回答を制限される。結果として、批判側の説明が詳しく、企業側の説明が公式声明に限られる場合がある。

この非対称性を、著者の偏向だけで説明することはできない。取材対象へ具体的な質問と反論機会を提示したにもかかわらず企業が回答しなければ、記者は得られた資料と証言で記事を構成するほかない。ただし、企業が沈黙したことは、批判側の記述が正しいことの証明にもならない。回答がなかった事実と、著者の主張が立証されたことは分けなければならない。

『Empire of AI』の記述は、証拠の種類、読者による検証可能性、著者の解釈が加わる距離によって確度を分けられる。

主張の種類 具体例 検証可能性 主な失敗条件 読み方
公開事実 設立文書、組織変更、提携発表、公開発言が該当する。 読者が原資料へ戻り、日付、文言、発表主体を確認できる。 引用箇所だけが切り出され、後の変更や前後の条件が省かれる可能性がある。 原資料と照合し、誰が何を表明したかという事実として比較的強く採用できる。
内部文書 電子メール、Slack、会議資料、訴訟資料が該当する。 著者と編集者は確認できても、資料全体が公開されなければ読者の検証範囲は限られる。 真正性の誤認、発言の前後関係の欠落、冗談や暫定案の過大評価が起こりうる。 文書の作成者、時期、目的、別資料との一致を確認し、公開事実より一段留保して採用する。
関係者証言 会議の経緯、組織文化、人物の行動に関する証言が該当する。 証言者が匿名の場合、読者は立場、利害、直接性を確認できない。 記憶違い、伝聞、個人的対立、同じ情報源を共有した複数証言が独立証拠として数えられる危険がある。 直接目撃か、独立した裏付けがあるか、文書や時系列と一致するかによって確度を調整する。
出来事の再構成 複数の会議、発言、組織変更をつなぎ、意思決定の経緯を説明する記述が該当する。 個別の出来事を確認できても、それらの因果関係は著者の構成に依存する。 時間的な前後関係が因果関係として読まれ、別の要因が省かれる可能性がある。 各事実と、それらを結ぶ因果説明を分けて読む。
動機の推定 経営者が資金、支配、安全、名声のどれを優先して判断したかという説明が該当する。 本人の明示的な発言がない限り、外部から完全には確認できない。 結果に合う動機が後から選ばれ、矛盾する発言や複数の動機が省かれる可能性がある。 観察事実ではなく、行動を説明する仮説として扱う。
構造概念 帝国、植民地主義、疑似宗教、計算主義という分類が該当する。 単独の文書で真偽を確認するものではなく、複数事例への説明力を評価する。 歴史的差異を消し、異なる主体や動機を一つの図式へ押し込む危険がある。 どの事実を説明でき、どの反例を扱いにくいかを確認する。
政策提案 小規模で特定目的の AI、共同体中心のデータ統治が該当する。 事実確認より、目的の正当性、実現可能性、副作用を検討する必要がある。 特定目的であること自体が安全性や公正さを保証すると誤認する危険がある。 調査で発見された事実ではなく、価値判断を含む対案として評価する。

この区分を使えば、Karen Hao の主張を採用するときの表現も変わる。OpenAI が 2015 年に研究公開と利益の広い分配を掲げたことは、公式文書で確認できる事実である。OpenAI が営利部門を設け、Microsoft と提携したことも公開事実である。これらの変化を、設立理念からの後退と評価することには解釈が入る。さらに、その変化を帝国形成の一段階と位置付けるとき、Karen Hao の構造概念が加わる。

AGI を支持する人々の背後に、世界を計算可能とみなす信念があるという指摘も同じである。特定の研究者や経営者が、脳や知能を計算として説明する発言をしたことは確認できる場合がある。しかし、AGI を支持する人々全体が同じ哲学的立場を持ち、意識や身体まで計算可能だと考えていることは、個別の発言から一括して導けない。

この主張は、AGI 開発を支える複数の発言や行動を説明する Karen Hao の分析として読むと強い。より多くのデータと計算資源を集めれば人間知能へ近づけると考える企業行動を、一つの人間観へ接続できるからである。一方、すべての AGI 支持者の内心を確認した事実として扱えば、論証の範囲を超える。

調査報道を読む際に著者への信頼が不要になるわけではない。非公開資料と匿名証言を扱う以上、読者は Karen Hao と編集工程が、資料を捏造せず、証言を故意に歪めず、重要な反証を隠していないと信頼する必要がある。ここは原理的に残る。

一方、信頼が必要な範囲は限定できる。公開資料は自分で確認できる。数量的な主張は原文書と計算方法へ戻れる。技術的な主張は原論文と照合できる。「帝国」という概念は、別の事例へ適用したときの説明力を検討できる。政策提案は、代替案との比較、費用、失敗条件、統治方法から評価できる。

Karen Hao を信頼できるかという問いへの答えは、全面的な肯定でも否定でもない。技術理解、継続取材、情報源へのアクセス、問題意識の明示は、信頼を支える材料になる。公開されていない証言、著者独自の因果解釈、強い構造概念には、それぞれ追加の留保が必要になる。

Karen Hao は、現時点の材料から信頼できる調査記者と評価できる。しかし、その評価は『Empire of AI』の公開事実、匿名証言、人物の動機、帝国という解釈、特定目的の AI という提案へ、同じ確度を与える理由にはならない。記者への信頼は、証拠の階層を読む作業を省略する許可ではない。

『Empire of AI』は、AI 産業の権力構造を調べるための強い資料である。同時に、OpenAI をめぐるすべての事実と評価を確定した判決文ではない。公開事実は確認し、内部記述は裏付けの強さを見て、構造概念は説明力を評価し、政策提案は別の選択肢と比較する。この読み方によって、本書を信頼しながら、判断そのものを Karen Hao へ委ねずに済む。

8. 1,000 倍の誤りが示したもの

『Empire of AI』の信頼性を考えるうえで、チリのデータセンターに関する水使用量の誤りは避けられない。Karen Hao は、政府文書に記載された単位を誤読し、計画上の水使用量を約 1,000 倍に過大評価していた。外部からの指摘を受けた後、Karen Hao は誤りを認め、出版社と訂正を進めることを公表した[24]。

約 1,000 倍という差は、端数処理や推計条件の違いではない。施設が地域の水資源へ与える影響について、読者が受け取る規模感を根本から変える誤りである。年間使用量が予測値より数パーセント多かったという問題ではなく、同じ施設を地域インフラへの限定的な追加需要として見るか、生活用水や農業用水を圧迫する巨大な消費主体として見るかを左右する。

この誤りには、単位換算の失敗だけでは説明しきれない検証上の問題がある。数値が通常の施設規模と比べて異常に大きいのであれば、元資料の単位、時間当たりか年間かという集計範囲、リットルと立方メートルの換算、施設全体か一設備かという対象範囲を再確認する必要があった。異常値は強い記事材料になる一方、計算または前提を取り違えた可能性を知らせる警告でもある。

著者一人の確認だけでなく、編集工程にも同じ役割が求められる。調査報道では、文章表現や固有名詞だけでなく、数値の単位、分母、対象期間、比較対象を確認しなければならない。約 1,000 倍の差を著者、編集者、出版社の工程が刊行前に止められなかったことは、個人の読み違いと同時に、数量的主張を検算する仕組みが十分に機能しなかったことを示す。

評価対象 信頼を支える事実 信頼を損なう事実 残る判断
訂正対応 外部からの指摘を無視せず、誤りを公に認め、修正へ進んだ。 外部の再検証がなければ、誤った記述が残り続けた可能性がある。 訂正後の透明性は評価できるが、刊行前の検証不足とは分けて扱う必要がある。
誤りの規模 単位の誤認として原因を特定し、どこを修正すべきかを明示できた。 約 1,000 倍は、環境負荷の印象と結論の説得力を大きく変える重大な誤りである。 環境に関する他の数量的主張も、元資料と計算方法へ戻って確認する必要が生じる。
中心命題との関係 訂正後も、データセンターが水を使用し、地域社会との間に資源配分の問題が生じる可能性は残る。 誤った数値は、AI 企業が周縁地域の資源を大量に取得するという Karen Hao の構図を強く補強していた。 資源配分という構造論と、個別施設の負荷規模を分離して再評価しなければならない。
編集工程 刊行後に訂正を公表し、後続版を修正する経路は機能した。 異常に大きな数値について、単位換算、比較対象、専門家確認が刊行前に機能しなかった。 著者の誠実さだけでなく、出版社を含む事実確認体制の限界として評価する必要がある。

Karen Hao が誤りを認めたことは、職業倫理上の明確な加点材料である。誤りを隠し、指摘者を攻撃し、表現上の問題として処理することも可能だった。Karen Hao はその経路を選ばず、数値が誤っていたことを公表した。調査記者の誠実さは、誤りを一度も起こさないことだけでなく、誤りが確認された後に、何が間違いで、どこまで結論へ影響するかを読者へ示す行動にも現れる。

一方、訂正に応じたことは、元の検証不足を相殺しない。刊行前に防ぐべき誤りと、刊行後に正しく訂正した行動は、別の評価軸である。前者は取材と編集の精度を下げ、後者は訂正に対する透明性を高める。二つを合算して「誠実だから問題ない」と処理すれば、数量確認の失敗が見えなくなる。

この事例で特に重いのは、誤りの方向である。過大評価された数値は、Karen Hao が『Empire of AI』で提示する、巨大 AI 企業が地域の資源を大規模に取得し、その費用を周縁へ移すという中心的な構図と一致していた。著者の主張に反する方向の誤りではなく、主張を劇的に強化する方向の誤りだった。

ここには、確認バイアスの危険がある。調査者がすでに持っている仮説と整合する情報は、不自然さよりも証拠としての価値が先に見えやすい。AI 産業の水使用を問題視しているとき、極端に大きな使用量は、単位の取り違えを疑う対象であると同時に、仮説を決定的に裏付ける資料に見える。後者の意味が強く見えるほど、前者の確認が弱くなる可能性がある。

明確な問題意識を持つ調査報道ほど、この危険から自由ではない。企業の説明を疑い、見えない労働や環境負荷を発見する視点は必要である。しかし、批判対象の企業が示す数字だけでなく、批判する側の論証を強化する数字にも同じ水準の疑いを向けなければならない。反証的な資料だけを厳しく調べ、自説に合う資料を緩く通せば、調査は検証ではなく確認へ変わる。

約 1,000 倍の誤りから、AI と水資源の問題そのものが存在しないという結論は導けない。データセンターが冷却用の水を使用し、発電過程でも間接的に水を必要とすることは、Karen Hao の記述だけに依存しない。乾燥地域では、追加の取水が生活用水、農業、生態系と競合する可能性も残る。

ただし、一般的に水資源問題が存在することは、特定の施設が地域へ重大な被害を与えることの証明にはならない。個別施設を評価するには、正しい使用量、取水源、冷却方式、季節変動、再利用率、地域の水不足、代替水源を確認する必要がある。構造的な懸念が正しくても、個別事例の規模を誤れば、その事例を構造の証拠として使う力は弱まる。

ここでは、構造命題と数量命題を分ける必要がある。

命題の層 主張 誤りによる影響
一般的事実 大規模な計算基盤は、電力、冷却設備、水、土地を必要とする。 一つの施設の数値訂正だけでは否定されない。
地域的事実 特定地域では、データセンターの取水が他用途と競合する可能性がある。 地域の水需給と施設の正しい取水量を用いて再検証する必要がある。
個別の数量命題 対象施設が政府文書に記載された規模の水を使用する。 単位誤認によって成立しなくなり、訂正前の数値は証拠として使用できない。
構造的解釈 巨大 AI 企業は、地域の資源を利用しながら、目的と利益配分を中心側で決める。 他の労働、データ、資源の証拠によって検討できるが、この事例から得られる支持は弱くなる。
規範的評価 地域社会には、取水条件、利益配分、撤退条件へ関与する権限が必要である。 誤った使用量からは導けないが、資源利用に関する情報と交渉権の必要性は別途検討できる。

この分離を行えば、一つの数値誤りによって『Empire of AI』全体を退けることも、一般的な環境問題が残ることを理由に数値誤りを軽視することも避けられる。誤りが直接崩したのは、対象施設の使用量に関する個別の数量命題である。その数量を根拠として強調された地域負荷の評価も修正を要する。一方、ケニアのデータ労働、OpenAI の組織変化、AGI の計算主義的前提は、それぞれ別の資料と論証に依存している。

『Empire of AI』を全面的に虚偽と判断するには、個別の誤りが他の証拠にも共通する検証不足を示していることを確認しなければならない。たとえば、複数の数値に同じ単位誤認がある、匿名証言の裏付けが存在しない、引用が繰り返し文脈から外れているといった傾向が必要になる。現時点で確認できる一件の重大な数値誤りだけから、異なる資料に基づく本書全体の記述を虚偽と断定することはできない。

反対に、Karen Hao が訂正へ応じたことから、他の数値、内部資料、匿名証言まで正しいと推定することもできない。訂正対応から確認できるのは、少なくともこの誤りについて、Karen Hao が公開の場で修正する意思を示したことである。別の記述の正確性は、それぞれの出典、裏付け、検証方法によって判断しなければならない。

数値誤りは、文章上の主張だけでなく、記事全体の印象にも影響する。極端な数値は読者の記憶に残り、その後に示される帝国、資源収奪、周縁への負担移転という概念を具体化する。後から訂正されても、最初に形成された印象が同じ強さで修正されるとは限らない。訂正は脚注や後続版だけでなく、誤った数値を根拠に導いた説明のどこを変更するのかまで示す必要がある。

この点で、訂正には三つの段階がある。第一に、数値そのものを正しい値へ置き換える。第二に、誤りの原因と確認工程の不足を説明する。第三に、その数値へ依存していた地域評価や構造的な記述を再検討する。数値だけを差し替え、段落の結論を維持すれば、形式上は訂正されても、論証全体が修正されたことにはならない。

約 1,000 倍の誤りが示したのは、Karen Hao が信頼できないという単純な結論ではない。強い取材経験と明確な問題意識を持つ記者であっても、自分の中心命題に合う異常値を見逃しうること、著者だけでなく編集工程もそれを止められない場合があること、公開後の外部検証が調査報道の品質を支えることを示した。

同時に、誤りへの対応は、職業倫理がどこに現れるかを具体的に示す。職業倫理は、著者が誠実そうに見えることでも、権威ある媒体で働いてきたことでもない。反証を受け入れ、誤りを公開し、訂正し、必要であれば自らの中心的な説明を弱めることができるかに現れる。

『Empire of AI』の読み手にも同じ姿勢が必要になる。Karen Hao の批判的立場に共感するために数値誤りを軽視すれば、企業の宣伝を無批判に受け入れる態度と構造的に変わらない。反対に、一つの誤りを理由に、労働、組織、資源配分に関するすべての調査を捨てれば、資料ごとの証拠の違いを無視することになる。

調査報道の信頼性は、著者を全面的に信じることで成立するのではない。公開事実、数量的主張、内部資料、匿名証言、因果解釈、構造概念、政策提案を分け、それぞれに異なる確度を与えることで成立する。約 1,000 倍の誤りは、その読み分けを省略したとき、著者への信頼も著者への不信も、同じように判断を粗くすることを示した。

『Empire of AI』は、信頼できる調査記者が書いた強い批判的資料である。しかし、Karen Hao が訂正可能な記者であることと、本書が訂正不要な資料であることは同じではない。本書を信頼して読むとは、結論をそのまま引き受けることではなく、どの事実が残り、どの数値が崩れ、どの解釈を弱める必要があるかを、証拠ごとに判断し続けることである。

9. 特定目的の AI は何を変えるのか

Karen Hao は、巨大な汎用モデルを先に構築し、完成後に利用分野を広げる開発方式に対して、小規模で特定目的の AI を、影響を受ける共同体と協議しながら作る方向を提案している。各国や地域は、シリコンバレーの企業が定義した大規模モデル競争へ参加する前に、自分たちが解決すべき問題は何か、その問題に AI が必要か、必要であればどの程度の規模と能力で十分かを問い直すべきだという主張である[25]。

この対案は、巨大モデルの縮小版を作るという意味ではない。モデルのパラメーター数だけを減らしても、開発企業が目的、データ、利用条件を一方的に決める構造が残れば、権力の配置は変わらない。Karen Hao の提案が変更しようとしているのは、技術の大きさより、技術開発を始める順序と、各段階の決定権である。

巨大汎用モデルでは、先に大量のデータと計算資源を集め、多数の能力を持つ基盤を作る。その後、企業が市場、顧客、提携先を探し、教育、医療、行政、創作、雇用などへ用途を広げる。利用目的が後から増えるため、学習時には想定されていなかった分野にも同じモデルが配置される。利用範囲が広がるたびに、当初のデータ利用許諾、評価基準、安全対策が新しい用途へ適合するとは限らない。

特定目的の AI は、この順序を反転させる。最初に、誰がどのような困難を抱え、どの結果を改善したいのかを定める。次に、AI を使わない制度変更、人的支援、既存技術と比較し、AI を使う必要性を確認する。そのうえで、必要なデータ、能力、対象者、評価指標、運用期間を限定する。技術の利用目的が先に定まるため、必要以上のデータ収集と計算資源を正当化しにくくなる。

設計段階 巨大汎用モデルを中心とする方式 特定目的の AI を中心とする方式 決定権への影響
出発点 多数の用途に展開できる大規模なモデルを先に構築する。 解決すべき問題、対象者、必要な成果を先に定める。 技術企業が用途を発見する構造から、当事者が必要性を判断する構造へ移る。
必要性 高性能なモデルが存在することを前提に、適用可能な業務を探す。 制度変更、人的支援、既存技術と比較し、AI を使う理由を確認する。 導入の可否を供給側ではなく、利用現場が判断しやすくなる。
データ 利用可能な文章、画像、音声、行動履歴を広く集め、将来の用途を限定せず学習する。 目的の達成に必要なデータだけを選び、収集、保管、再利用、削除の条件を定める。 データ提供者が、提供後の利用範囲へ関与できる余地が生まれる。
能力 多数の分野で利用できること自体が製品価値になる。 必要な作業を実行できればよく、用途外の能力を増やす理由は弱い。 能力拡大を企業の裁量だけで継続することが難しくなる。
評価 一般的な評価試験、利用者数、市場での採用範囲によって性能を測る。 具体的な成功条件、重大な失敗、地域固有の言語や価値に基づいて評価する。 何を成功とみなすかを、開発企業以外の主体が決められる。
統治 モデル保有企業が更新、価格、公開範囲、利用条件を中心的に決める。 影響を受ける共同体が、設計、運用、変更、監査へ参加する。 利用者が完成品を受け入れるだけでなく、技術の方向を決める主体になる。
用途外利用 汎用性そのものが価値になるため、別分野への転用が事業拡大として進みやすい。 許可された目的、禁止される用途、再利用に必要な承認を事前に定める。 技術を所有する側にも越えてはならない境界が設定される。
終了条件 企業がサービス終了、製品統合、事業撤退の時期を決める。 性能低下、被害、目的達成、合意撤回に応じた停止条件を設ける。 利用開始の同意だけでなく、停止と撤回の権限を当事者側へ残せる。

この違いは、最適化する対象にも現れる。巨大汎用モデルは、モデル全体の性能、利用者数、適用可能な市場を拡大する方向へ最適化される。特定目的の AI は、限定された地域や業務で、定められた問題が改善したかを評価する。前者では能力の追加が価値になるが、後者では目的に不要な能力は、費用、危険、監査範囲を増やす要因になりうる。

たとえば、地域言語の音声認識を作る場合、巨大汎用モデルの方式では、多数の言語を一つのモデルへ取り込み、世界規模で利用できる製品を目指す。その過程で、収集された言語データは企業の基盤モデルへ統合され、別の製品や用途にも再利用される可能性がある。地域共同体はサービスを利用できても、自分たちの言語データがどの機能へ使われ、誰が利益を得るかを決められない。

特定目的の方式では、地域言語の保存、文字起こし、教育、放送支援など、達成すべき目的を限定できる。必要な話者、語彙、音声環境を定め、データの保管場所、アクセス権、利用期間、再利用条件を共同体側で管理できる。性能の高さだけでなく、言語データが共同体の管理下に残っているか、技術から生まれた利益が還元されているかも評価対象になる。

ニュージーランドの Te Hiku Media による Papa Reo は、この違いを示す具体例である。Papa Reo は、先住民言語の共同体が、自らの言語を対象とする音声認識や自然言語処理を開発し、言語データの主権と技術から得られる利益を共同体へ残すことを目指している[26]。目的は、マオリ語を巨大企業の汎用モデルへ供給することではなく、マオリ語を使う人々が必要とする技術を、自らの統治原則の下で作ることにある。

この事例では、データ量の最大化が開発目標にならない。誰が音声を提供したか、どの共同体に属する言語か、誰が利用を許可できるかが、データの技術的価値と同じ程度に重視される。企業から見れば利用可能な音声データであっても、共同体から見れば、言語、歴史、文化、集団的な知識を含む資源である。公開されていることと、無制限に収集してよいことは区別される。

マオリ・データ主権の考え方では、マオリに関するデータは、保存先の国家法やサービス規約だけでなく、データが由来するマオリの統治に服するべきだとされる[27]。この原則は、個人が一度同意すれば、企業が将来の用途まで自由に決められるというデータ利用モデルとは異なる。

言語データには、個人の音声だけでなく、世代を越えて形成された語彙、発音、物語、文化的背景が含まれる。その価値は一人の提供者だけに帰属するとは限らない。個人同意だけで利用条件を完結させれば、集団として維持されてきた知識を、個々のデータへ分解して取得することになる。共同体による統治は、個人の権利を否定するものではなく、個人同意だけでは処理できない集団的な利益と損失を扱うために必要になる。

先住民データ統治の CARE 原則も、データを検索しやすくし、共有し、再利用しやすくするだけでは不十分だと整理している。共同利益、統制権、責任、倫理を含め、誰のためにデータを使い、誰が利用方法を決め、利用者がどのような責任を負うかを問う[28]。

この視点を AI 開発へ適用すると、データの品質という言葉の意味も変わる。企業にとっての高品質データは、形式が整い、量が多く、学習へ容易に投入できるデータである。共同体にとっては、収集経緯が適切であり、文化的な文脈が保たれ、利用目的が合意され、必要に応じて撤回できることも品質に含まれる。技術的に扱いやすいことと、社会的に正当なことは別の評価軸になる。

特定目的の AI によって、評価方法も具体化できる。汎用モデルでは、多数の試験成績を平均し、総合的な能力を示すことができる。しかし、地域言語の音声認識で必要なのは、一般的な英語試験の成績ではない。地域固有の発音、年齢差、方言、雑音環境で正しく認識できるか、誤認識が文化的な意味を損なわないか、利用者が誤りを訂正できるかを測る必要がある。

目的が限定されれば、重大な失敗も定義しやすい。誤認識率が一定値を超えた場合、特定の方言を継続的に誤る場合、無許可の用途へデータが転用された場合、共同体が利用停止を求めた場合など、運用を中止または変更する条件を事前に定められる。汎用性を目標にしたサービスでは、利用範囲が広いため、一つの共同体にとって重大な失敗でも、全体利用者の平均値の中へ埋もれる可能性がある。

9.1 限定すべきなのはモデルだけではない

特定目的という言葉は、モデルが処理できる作業範囲だけを指すように見える。しかし、実際に限定すべき対象は複数ある。

限定対象 定める内容 限定しない場合の危険
目的 何を改善するために AI を使い、何には使わないかを定める。 導入後に別用途へ転用され、当初の合意が実質的に無効になる。
対象者 誰が利用し、誰が判断対象になり、誰が影響を受けるかを定める。 設計時に想定していない人々へ適用され、誤りと差別が拡大する。
データ 収集元、利用範囲、保管期間、再利用、削除、撤回条件を定める。 一つの目的で集めたデータが、別の製品、監視、評価へ流用される。
能力 必要な作業と精度を定め、不要な推論や識別機能を追加しない。 目的外の能力が、監視や選別へ転用される可能性が高まる。
運用期間 導入期間、再評価時期、終了後のデータ処理を定める。 目的を失ったシステムが慣行として残り、利用だけが継続する。
責任 誤りを誰が確認し、説明し、修正し、被害を補償するかを定める。 開発者、導入組織、利用者の間で責任が分散し、被害だけが残る。
停止権限 誰が、どの条件で、運用停止やデータ削除を命じられるかを定める。 被害を受ける側が異議を申し立てても、企業だけが継続可否を決める。

モデルの用途を限定しても、データの再利用が無制限であれば、統治は限定されていない。運用対象を限定しても、開発企業が一方的に更新し、機能を追加できれば、当初の合意は維持されない。特定目的の AI が対案として成立するには、技術的な機能だけでなく、所有者と運用者の権限にも境界を設ける必要がある。

9.2 特定目的であることは安全性を保証しない

特定目的の AI が、自動的に安全、公正、民主的になるわけではない。顔認識による住民監視、労働者の行動評価、保険加入者の選別、信用評価、自動標的選定も、目的が明確に限定された AI である。目的自体が不当であれば、限定された高性能システムは、巨大汎用モデルより直接的かつ効率的な抑圧装置になりうる。

監視を目的とするシステムでは、用途が限定されていることが危険を減らすとは限らない。むしろ、特定の人物を識別し、移動を追跡し、危険度を計算する能力へ最適化されるため、対象者へ及ぼす影響は強くなる。汎用モデルのような不安定さが少なく、制度へ深く組み込まれるほど、誤った判断を継続的に適用する可能性もある。

医療、雇用、融資、保険のような領域でも、目的の明確さだけでは十分でない。疾病リスクを予測する目的が正当でも、データに偏りがあり、異議申立てができず、判断理由を説明できなければ、既存の格差を自動化する。採用候補者を絞り込む目的が明確でも、過去の採用実績を正解として学習すれば、過去の組織構成を将来へ固定する。

必要になるのは、目的が具体的かどうかだけでなく、その目的を実行してよいかという正当性の審査である。AI を使わずに達成できないか、対象者に過度な不利益を与えないか、収集するデータは目的に比例しているか、人間による再審査が機能するか、被害が生じたときに停止できるかを確認しなければならない。

9.3 共同体も単一の意思主体ではない

共同体による統治にも失敗条件がある。地域や文化共同体の内部には、世代、性別、職業、政治的立場、経済力による利害の差がある。「共同体が合意した」という表現だけでは、誰が会議へ参加し、誰の反対が退けられ、誰が利益を受けるかは分からない。

代表者が開発企業と合意しても、データを提供する個人が利用範囲を理解していない可能性がある。多数派が技術導入を望んでも、少数派の言語や慣習が評価対象から外れる場合がある。共同体統治を企業統治の代替にするには、代表性、情報公開、異議申立て、再審査、利益相反の管理が必要になる。

技術の保守能力も必要である。特定目的の AI を独自に構築しても、半導体、クラウド、基盤モデル、開発者を外部企業へ依存すれば、更新費用や利用条件を共同体だけで制御できない。データは共同体に残っていても、モデルを動かす技術が一企業に依存していれば、停止、値上げ、仕様変更によって運用が困難になる。

このため、データ主権だけでなく、運用主権も評価しなければならない。モデルをどこで実行するか、更新を誰が行うか、障害時に誰が修復できるか、外部事業者を変更できるか、終了後にデータと学習成果を持ち出せるかが必要になる。共同体が目的を決められても、技術的な依存によって変更できなければ、決定権は形式的なものにとどまる。

9.4 対案が変更するのは資源配分である

特定目的の AI は、必要な計算資源を必ず小さくするとは限らない。気象予測、医療画像解析、送電網制御のように、目的が限定されていても大規模な計算を必要とする分野はある。小さいこと自体を倫理的な価値にすれば、必要な精度や安全性を確保できない可能性がある。

違いは、規模を目的から説明できる点にある。巨大汎用モデルでは、能力を広げることが将来の市場価値として正当化される。特定目的の AI では、対象となる問題を解くために、なぜそのデータ量、計算量、設備が必要なのかを示さなければならない。目的に対して過剰な規模であれば、追加費用と追加能力を削る理由が生まれる。

必要性を説明できるようになると、資源利用の比較も可能になる。大規模モデルを外部サービスとして利用する方法、小型モデルを地域で運用する方法、既存の統計処理を使う方法、人員を増やす方法を、費用、精度、環境負荷、依存度、停止可能性から比較できる。AI の導入が最初から決まっていなければ、技術以外の選択肢も同じ評価表へ載せられる。

Karen Hao の提案が大規模化の思想と対立するのは、この点である。人間知能を計算可能とみなし、モデルを大きくするほど普遍的な知能へ近づくと考えれば、規模拡大そのものが価値になる。特定目的の AI は、普遍的な知能を目標にせず、限定された問題へ必要な能力だけを作る。技術の価値を、所有する能力の総量ではなく、具体的な問題をどの条件で改善したかによって判断する。

9.5 技術の主権は拒否と停止によって成立する

影響を受ける人々が開発会議へ参加するだけでは、技術の主権を持ったことにはならない。企業が最終的な仕様、データ利用、更新、停止を決めるのであれば、参加は意見聴取にとどまる。共同体が判断主体になるには、採用しない権限、利用条件を変更する権限、データ提供を撤回する権限、運用を停止する権限が必要になる。

この点は、既存の巨大 AI サービスと対照的である。利用者はサービスを使うかどうかを選べても、学習データ、モデル更新、価格変更、供給網、環境負荷を決められない。業務や教育制度が一つのサービスへ依存すれば、形式上は利用を拒否できても、実際の退出費用が高くなる。

特定目的の AI では、対象範囲が限定されているため、代替手段と停止後の運用を設計しやすい。システムが停止した場合に人間の手順へ戻せるか、別の事業者へ移行できるか、データを持ち出せるかを事前に定められる。停止可能性を維持するには、AI 導入後も人間の技能、記録、手順を完全に失わないことが必要になる。

拒否と停止の権限は、技術開発を妨げる付加条件ではない。目的が正当であり、便益が負担を上回ることを継続的に確認するための制度である。変更や停止が不可能なシステムでは、導入時の評価が誤っていても、目的が変化しても、運用だけが継続する。

Karen Hao の対案の本質は、汎用か特化かという製品分類にない。目的、データ、評価基準、運用期間、利益配分、責任、停止条件を、モデルを所有する企業だけで決めないことにある。技術の能力を限定するだけでなく、技術を所有する側の権限にも境界を設け、影響を受ける人々へ異議申立てと撤回の経路を残す。

巨大汎用モデルが「何にでも使えること」を価値とするのに対し、特定目的の AI は「何のために使い、何には使わず、どの条件で止めるか」を先に定める。変更されるのはモデルの大きさだけではない。技術企業が能力を作り、社会が後から用途を受け入れる順序から、社会が目的と制約を決め、その範囲で技術を選ぶ順序へ移る。

この順序の変更によって、AGI を目標とする巨大化が唯一の技術経路ではなくなる。人間知能全体を再現する必要がない問題まで、汎用モデルへ接続する理由は弱くなる。必要な能力を限定できれば、必要なデータ、計算資源、供給網も限定できる可能性が生まれる。

特定目的の AI が変えるのは、AI ができることの範囲だけではない。誰が問題を定義し、誰のデータを使い、誰が成功を判定し、誰が失敗の負担を引き受け、誰が運用を止められるかという決定権の配置である。Karen Hao が巨大 AI 帝国への対案として示しているのは、小さなモデルではなく、技術の目的と限界を人間と共同体の側から決め直せる開発構造である。

10. 判断主権を出力の承認から開発の入口へ戻す

既稿では、AI に答えを作らせる前に、人間が問いの切り方、判断軸、優先順位、任せない領域を決める必要を整理した[29]。同じ原則を社会規模へ広げると、完成した AI を導入するかどうかだけを選べても、社会が技術の判断主体であるとは限らない。企業が問題を定義し、データを集め、モデルの規模を決め、利用可能な製品として提示した後では、社会に残されるのは、企業が作った選択肢の中から採用または不採用を選ぶ権限だからである。

この状態は、飲食店のメニューから料理を選ぶことには似ているが、何を栽培し、どの材料を使い、誰が費用を負担し、どの安全基準で調理するかを決めることとは異なる。AI の利用者がサービスを選択できても、学習データの取得方法、データセンターの立地、労働者の契約条件、モデルの評価基準を変更できなければ、技術の形成過程には参加していない。市場で選べることと、技術の目的を決められることは別の権限である。

生成された AI の出力も、表示された時点では判断そのものではない。文章、予測値、推奨、分類結果は、人間や組織が採用し、業務、契約、診断、評価へ反映したときに、現実へ作用する判断へ変わる。既稿では、この変換点を記録し、生成、確認、採用を分ける必要を論じた[30]。出力を作った主体と、それを採用した主体を区別しなければ、誤りが起きたときに、モデル、開発企業、導入組織、担当者の間で責任が拡散する。

この区別を AI 産業全体へ適用すると、「人類全体の利益」という企業理念と、人類が技術の目的を決めることの差が見える。企業が人類の利益を目標として掲げても、その目標の具体的な内容、達成指標、許容する費用を企業内部で決めているなら、人類は利益の受益者として想定されているだけで、判断主体にはなっていない。

たとえば、医療研究を加速するために巨大モデルが必要だと企業が説明しても、同じ資本を公的な医療データ基盤、地域医療従事者、特定疾患向けの小規模モデルへ配分する選択肢が比較されていなければ、巨大モデルが最適な手段だと社会が判断したことにはならない。目的が公益的であることと、その目的へ至る手段が適切であることは、別々に検討する必要がある。

判断主権を持つには、提示された技術の利用可否だけでなく、問題設定と手段選択へ戻れる必要がある。解決したい問題は何か、その原因はどこにあるか、AI を使わない制度変更で改善できないか、AI を使う場合も汎用モデルが必要かを比較する。ここを開発企業へ委ねると、企業が保有する技術に適した問題だけが社会課題として切り出される。

文章生成モデルを持つ企業は、教育の課題を教材作成や答案生成の不足として定義しやすい。しかし、教育現場の課題が教員不足、学級規模、家庭環境、支援制度の不足にある場合、文章生成能力を増やしても原因は解消しない。AI が解ける形式へ問題を変換すると、技術導入の成果は作れても、元の社会課題が残る可能性がある。

データと文脈の管理にも同じ構造がある。既稿で扱った文脈の持ち運びは、利用者が過去の判断基準、作業履歴、設定を特定サービスの内部へ閉じ込めず、自分の管理下に置くための条件であった[31]。サービスを利用できることと、自分を定義する情報を統制できることは同じではない。

この問題を共同体へ広げると、言語、文化、歴史的記録を誰が管理するかというデータ主権へ接続する。巨大モデルが共同体のデータを学習し、外部企業が生成機能として販売できても、共同体が再利用条件、削除、利益配分を決められなければ、文化はモデルへ反映されても、その文化に対する統治権は共同体へ残らない。表現されることと、所有し統治できることは別である。

AI の企業価値も、モデル単体の性能だけでは成立しない。既稿で整理したように、業務データ、利用者権限、承認手続き、既存システムとの接続が組み合わされて、AI は現実の業務を変更できる[32]。高性能なモデルが存在しても、顧客情報へ接続できず、判断権限を持たず、出力を業務へ反映できなければ、企業内では補助道具にとどまる。

反対に、能力が限定されたモデルでも、業務データへのアクセス、処理を実行する権限、出力を自動承認する手続きが与えられれば、大きな影響を持つ。AI が人間を置き換える範囲は、モデルがどれほど知的かだけでなく、企業がどこまでデータと権限を接続し、業務を AI に合わせて変更するかによって決まる。

判断主権を考えるとき、モデルの性能だけを監視しても不十分である。誰がデータへのアクセス権を与えたか、AI がどの処理を実行できるか、どの出力が人間の確認なしに反映されるか、失敗時に誰が停止できるかを確認する必要がある。技術の影響力は、モデル内部の能力と、制度から与えられた権限の積によって決まる。

この連続性から、判断主権には、問題設定、設計と運用、採用と責任という三つの段階がある。

段階 人間と社会が決めること 必要な権限と情報 失われた場合に起きること
問題設定 どの問題を解くのか、原因は何か、AI が必要なのか、別の制度や技術で解決できないかを決める。 課題の当事者が参加し、複数の手段について費用、便益、依存、失敗条件を比較できる必要がある。 企業が保有する技術に合わせて課題が再定義され、モデルを作ること自体が目的になる。
設計と運用 利用するデータ、モデルの規模、評価基準、対象者、利用範囲、異議申立て、停止条件を決める。 データの由来、資源消費、労働条件、誤りの分布を確認し、仕様変更と停止を命じられる必要がある。 開発企業が、技術仕様を通じて社会的な分類、許容される誤り、責任分担まで決める。
採用と責任 個々の出力を確認し、採用理由、代替案、残る不確実性、失敗時の対応を引き受ける。 人間が出力を拒否し、追加調査を行い、判断経緯を記録できる時間と権限が必要になる。 人間の承認が、AI と開発企業が作った選択肢を形式的に追認する工程へ変わる。

10.1 問題設定を失うと技術が目的になる

最初の段階は、どの問題を解くかを決めることである。ここでは、AI の導入方法より先に、現象、直接原因、制度上の原因を区別する必要がある。問い合わせ対応が遅いという現象があっても、原因が担当者不足なのか、複雑な規則なのか、複数システムへの重複入力なのかによって、必要な対策は変わる。

原因が複雑な規則にある場合、AI に規則を解釈させるより、規則自体を簡素化する方が持続的な解決になる可能性がある。担当者不足であれば、採用や業務配分の改善が必要かもしれない。重複入力が原因なら、既存システムの統合で解決できる。最初から AI 導入を前提にすると、原因にかかわらず、文章生成、分類、自動応答へ課題が翻訳される。

問題設定の主権が企業側へ移ると、企業は自社の技術で処理できる部分を問題の中心として提示できる。大量の計算資源を持つ企業は、社会課題を大規模モデルへ入力可能なデータ問題として捉えやすい。地域の人的関係、制度上の不公平、資源不足は、学習データが足りない問題や最適化が不足している問題へ置き換えられる。

技術が解決可能な部分を切り出すこと自体は有用である。しかし、切り出された部分が元の課題全体を代表するようになると、測定可能な改善と社会的な改善が混同される。応答時間が短くなっても、利用者が必要な支援へ到達できなければ、処理指標は改善しても課題は解決していない。

10.2 設計を失うと企業の仕様が社会の規則になる

第二の段階は、AI をどの条件で作り、運用するかを決めることである。学習データの範囲は、モデルが再現しやすい言語、文化、価値判断を決める。評価指標は、何を正しい出力とみなすかを決める。利用権限は、AI が助言にとどまるか、現実の処理を実行できるかを決める。

これらを製品仕様として企業だけが決定すると、社会的な判断が技術設定へ埋め込まれる。採用候補者を評価する AI であれば、過去のどの採用実績を正解とするか、経験の空白をどう評価するか、説明できない低評価を許容するかが、モデルの調整項目として処理される。しかし、それらは本来、雇用機会、公平性、組織が求める人材像に関する規範的な判断である。

製品の設定画面で閾値を変更できても、判断主権が戻ったとは限らない。利用できる評価項目、学習済みの分類、表示される選択肢が企業によって定められていれば、導入組織は与えられた枠内で調整しているだけである。選択肢の中から選べることと、評価軸そのものを定義できることは異なる。

設計段階の主権には、利用しないデータを決める権限も含まれる。収集可能だから使う、性能が上がるから追加するという判断だけでは、目的との比例性を確認できない。必要なデータを限定し、不要な個人情報や文化的記録を除外できなければ、性能向上が常にデータ取得を優先する理由になる。

10.3 採用だけを人間へ残しても責任は成立しない

第三の段階では、AI が生成した個々の出力を採用するかを人間が決める。ここだけを見れば、「最終判断は人間」という原則は満たされているように見える。しかし、問題設定と設計が企業や上位組織によって固定され、担当者に十分な時間と代替案がなければ、承認は実質的な判断にならない。

一日に数百件の出力を確認しなければならない担当者は、すべての根拠を再調査できない。AI の出力を拒否すると処理件数の評価が下がる制度では、形式上の拒否権があっても使いにくい。元データへアクセスできず、モデルの判断理由も確認できなければ、人間は責任だけを負いながら、判断に必要な材料を持たない。

この状態では、AI が判断し、人間が責任を引き受ける分業が成立する。組織は人間の承認を安全装置として説明できるが、承認者には、問題設定、評価基準、データ、処理量を変更する権限がない。最終判断者という名称だけが残り、判断能力を支える制度条件が失われる。

実質的な承認には、出力を拒否する権限、追加情報を求める時間、別の手段を選ぶ選択肢、判断を保留する手続きが必要になる。さらに、同じ誤りが繰り返される場合には、個別出力を修正するだけでなく、モデルの利用停止、評価基準の変更、データの見直しへ進めなければならない。

10.4 判断主権には資源配分の権限が含まれる

開発の入口へ戻るとは、理念や意見を表明するだけではない。どの技術へ資金、電力、土地、人材を配分するかを決めることである。社会が小規模で特定目的の AI を望んでも、計算基盤、研究資金、調達制度が巨大汎用モデルへ集中していれば、選択肢は実現しない。

技術の方向は、研究者の発想だけでなく、資金提供者が何へ投資し、政府が何を調達し、大学がどの設備を利用できるかによって決まる。汎用モデルだけが高い企業価値を得られる市場では、特定地域の小さな課題を解く技術は、社会的価値があっても資金を集めにくい。

判断主権を社会へ戻すには、技術を選ぶ権限だけでなく、代替的な技術を作れる条件を用意する必要がある。公共計算基盤、地域データの管理制度、長期的な保守予算、複数事業者間の移行可能性がなければ、巨大企業のサービスを拒否する権利は、利用可能な代替手段を持たない形式的な権利になる。

ここで、Karen Hao が提案する特定目的の AI と判断主権が接続する。目的と利用者を先に定めれば、必要な能力と資源を比較できる。巨大汎用モデルを利用する場合も、その選択が目的に比例しているかを検討できる。小規模な方法で十分なら、追加の計算資源とデータ収集を拒否する理由が成立する。

10.5 停止できなければ判断主体ではない

技術を採用する権限と同じ程度に、停止する権限が重要になる。導入時には有効だった AI でも、利用環境、対象者、データ分布、企業の利用規約が変われば、当初の評価は維持されない。運用中に目的、精度、費用、負担を再評価し、条件を満たさなくなった場合に停止できる必要がある。

停止権限が開発企業だけにある場合、利用者や地域社会は被害を報告できても、運用継続を決められない。導入組織に停止権限があっても、業務全体が一つのサービスへ依存し、人間の手順や代替事業者を失っていれば、停止による混乱が大きすぎて実行できない。

停止可能性は、導入前の設計によって決まる。データを持ち出せるか、別のモデルへ移行できるか、人間の作業手順を維持しているか、契約終了後に記録へアクセスできるかを準備していなければ、問題が判明した後から主権を回復するのは難しい。

退出費用が高いサービスでは、契約上の選択権があっても実質的な拒否権は弱い。技術の主権は、利用開始時の同意ではなく、利用中の変更と利用後の退出まで含めて成立する。

10.6 判断主権は三段階を連続させて成立する

問題設定、設計と運用、採用と責任は、独立した三つの手続ではない。問題設定で選んだ目的が、必要なデータと評価基準を決める。設計された評価基準が、現場で採用すべき出力を決める。現場で繰り返し発生した失敗は、設計や問題設定へ戻して修正する必要がある。

この循環が閉じていれば、現場の経験から技術の目的と仕様を変更できる。循環が切れている場合、現場は出力を確認しても、同じ誤りを生む設計を変えられない。開発企業は製品を更新しても、地域や労働者が受けた負担を評価基準へ反映しない。判断は各段階に分散しているように見えて、上流の決定だけが固定される。

戻り先 運用中に確認された事実 必要になる修正
採用手続き 個別の出力に誤りがあり、追加確認によって修正できる。 確認項目、承認者、記録方法を変更する。
設計と運用 同じ種類の誤りが繰り返され、特定集団や例外案件へ偏る。 データ、評価基準、利用範囲、権限、停止条件を見直す。
問題設定 AI の性能を改善しても、対象となる社会課題が解消しない。 課題の原因と手段選択へ戻り、AI を利用する必要性から再検討する。

「最終判断は人間」という原則は、最後に承認ボタンを押すだけでは成立しない。目的が企業によって決められ、データと評価基準が非公開であり、導入後に停止できないなら、人間の最終承認は、上流で作られた判断を現実へ反映する役割にとどまる。

判断主体であるとは、問いを定め、複数の手段を比較し、必要以上の規模とデータ収集を拒否し、運用条件を変更し、個々の出力を採用せず、必要なら技術そのものを停止できることである。これらの権限の一部だけを残しても、他の段階が企業へ集中していれば、判断主権は分断される。

『Empire of AI』が示した資源集中と、Karen Hao が批判する計算可能性への信念は、この入口の判断を少数企業へ集める。人間知能を計算可能とみなし、巨大化を AGI への合理的な経路と考える企業が、必要なデータ、計算資源、労働、土地を自ら定義する。その後、社会は完成したサービスの利用条件を選ぶ立場へ置かれる。

判断主権を開発の入口へ戻すとは、AI 企業の技術的判断を社会が細部まで直接管理することではない。誰の問題を解くのか、どの費用を許容するのか、誰が異議を申し立てられるのか、どの条件で停止するのかを、技術を所有する側だけでは決められない制度にすることである。

AI の出力を人間が確認する仕組みは必要である。しかし、それは判断主権の最終段階にすぎない。技術を作る前の問題設定、開発中の資源と権限の配分、運用後の変更と停止まで人間と社会が関与できて、初めて「最終判断は人間」という原則は実質を持つ。

11. AGI の予言が社会を先に作り替える

AGI が本当に実現するかは確定していない。人間知能を構成する過程をすべて計算として記述できるのか、その構造を有限のデータから学習できるのか、現在の深層学習を拡大した先に意味理解、自律性、長期的な判断能力が成立するのかについて、科学的にも哲学的にも未解決の論点が残る。

一方、AGI が実現可能だという信念が、現在の投資、企業組織、労働、資源配分へ影響していることは確認できる。AGI を作るには大規模なモデル、データ、計算資源が必要だと考えれば、巨額の資本を集め、半導体を確保し、データセンターを建設することは、将来のための合理的な投資になる。AGI の真偽が確定する前に、その実現を前提とした物理的な供給網が作られるのである。

この信念に競争の物語が加わると、資源集中はさらに正当化される。他社や他国が先に AGI を実現すれば、経済、安全保障、科学研究で決定的な優位を取られると想定すれば、開発速度を落とすことは慎重さではなく敗北の危険として評価される。秘密保持、少人数による意思決定、外部監査の後回しも、競争へ勝つための一時的な例外として認められやすくなる。

ここで未来予測は、将来を説明する仮説から、現在の行動を指示する規則へ変わる。「AGI が到来する可能性がある」という命題が、「今すぐ計算資源を確保しなければならない」「規模拡大を止めてはならない」「開発主体を分散させる余裕はない」という経営上の命令へ変換される。予測の確度が低くても、予測を信じた主体が資源を動かせば、現在の制度は実際に変わる。

未来についての命題 現在選ばれる行動 形成される構造 AGI が実現しなくても残るもの
規模を拡大すれば AGI へ近づく モデル、データ、半導体、電力への投資を増やす。 巨大な計算基盤を所有できる少数企業へ研究能力が集中する。 データセンター、長期契約、企業間依存、投資回収の圧力が残る。
最初に AGI を作った主体が決定的な優位を得る 開発速度を優先し、研究成果と内部判断を非公開にする。 安全性と公益に関する判断が少人数へ集まり、外部検証が難しくなる。 秘密主義、競争的な組織文化、集中した意思決定手続きが残る。
人間の仕事は計算可能な作業へ分解できる 業務を標準化し、入力、出力、評価値、例外処理へ分割する。 測定可能な作業だけが仕事の中心とみなされ、人間は AI の処理条件へ合わせられる。 職務の細分化、技能形成の縮小、利用者への負担移転が残る。
AGI は人類全体へ利益をもたらす 現在のデータ収集、労働負担、土地、電力、水の利用を将来利益のための費用として扱う。 利益を定義する主体と、費用を負担する主体が分離する。 地域資源の配分変更、不可視化された労働、決定権の非対称性が残る。

この構造は、予言が自然に的中するという意味での自己成就ではない。社会が予言の前提へ合わせて変更されるのである。人間と同じ知能を持つ機械が現れるまで待つのではなく、人間の仕事、教育、行政、顧客対応を、現在の AI が処理できる形式へ変えていく。

顧客対応では、自由な相談を分類項目へ変え、規則外の事情を例外処理へ送る。教育では、理解の過程を答案、点数、達成項目へ置き換える。職場では、仕事を文章生成、分類、検索、承認へ分解し、処理件数と時間で評価する。制度が先に変われば、現在の AI でも処理できる範囲は広がる。

この変化を性能向上だけで説明すると、機械が人間へ近づいた部分と、人間の活動が機械へ合わせて狭められた部分を区別できなくなる。AI が自由な相談を理解できるようになったのか、相談の形式を AI が扱える選択肢へ限定したのかでは、同じ自動化率でも意味が異なる。後者では、AI の理解力ではなく、制度が受け付ける人間の事情が削られている。

仕事の置き換えも同じである。AI が職業全体を理解し、人間と同じ責任を負えるようにならなくても、企業は作業を分解し、品質基準を変更し、処理できない部分を残った従業員や利用者へ移せる。人員削減が実現したことは、AGI の存在を証明しない。限定された能力でも代替が成立するよう、経営側が制度を再設計した可能性がある。

この再設計は、AGI が実現しなかった場合にも消えない。大規模な計算設備へ投資した企業は、設備を利用して収益を得る必要がある。業務を AI 前提へ変更した組織は、人間の手順と技能を失っている可能性がある。特定サービスへデータと文脈を集めた利用者は、別の技術へ移行する費用を負う。未来予測が外れても、その予測を前提に行われた投資と制度変更は現実に残る。

これが経路依存である。最初の技術選択が、その後に利用できる選択肢を狭める。巨大汎用モデルへ資本、研究者、電力、調達制度を集中させれば、特定目的の小規模な AI や、AI を使わない制度改善へ配分できる資源は減る。後から別の方法が適切だと判明しても、既存設備、契約、組織能力を捨てる費用が高くなり、最初の経路が継続されやすい。

AGI が実現した場合にも、現在の資源集中が自動的に正当化されるわけではない。将来大きな利益が生まれたとしても、その利益を誰が受け、開発過程の負担を誰が引き受けたかは別に評価する必要がある。結果として有用な技術が完成したことから、無断のデータ利用、過酷な労働条件、地域資源への一方的な負担が遡って正当になるとは限らない。

AGI が実現しなければ、巨大化の費用だけが残る危険がある。実現したとしても、利益と負担の配分に関する問いは残る。どちらの場合でも、技術的成功の可能性だけでは、現在の権力集中を正当化できない。

『Empire of AI』の価値は、OpenAI の内部事情や Sam Altman の人物像を描いたことだけにない。AGI という未来像、スケーリングという技術経路、資本と計算資源の集中、不可視化された労働、地域資源の利用、人間の仕事の再編が、互いに独立した問題ではなく、一つの因果連鎖を形成していると示した点にある。

AGI を実現可能だと考える。実現には規模が必要だと考える。規模を得るには資本、データ、労働、電力、土地を集中させる。集中した企業は、何を知能とみなし、どの仕事を代替し、どの費用を許容するかを決められる。こうして、人間知能についての哲学的な前提が、企業組織と社会制度の設計へ変換される。

Karen Hao の「帝国」という概念は、この連鎖を可視化する。中心企業は、世界各地から資源を集め、モデルと製品へ統合し、用途と利益配分を決める。周縁にいる労働者、データ提供者、地域社会、利用者は価値の形成へ参加していても、同じ割合で決定権を持たない。AI の能力が世界規模であることと、その統治が世界規模で共有されていることは同じではない。

同時に、Karen Hao の調査と解釈を無条件に受け入れる必要はない。約 1,000 倍の数値誤りは、明確な問題意識を持つ調査ほど、自説を補強する証拠を厳しく検証しなければならないことを示した。企業の宣伝へ批判的であることは、批判する側の数値や因果関係を検証しなくてよい理由にはならない。

『Empire of AI』を読む際には、公開文書で確認できる事実、Karen Hao が確認した内部資料、関係者の証言、人物の動機に関する推定、帝国という構造分析、特定目的の AI という政策提案を分ける必要がある。それぞれに同じ確度を与えなければ、本書の調査報道としての価値を認めながら、個別の誤りと解釈の限界も検討できる。

この読み分けによって、議論を Karen Hao が正しいか、OpenAI が正しいかという人物と組織の対立から外せる。検討すべき対象は、誰の発言を信じるかだけではなく、どの技術経路がどの資源を必要とし、その資源を集めた主体がどの権限を得るかである。

AGI をめぐる争点は、機械がいつ人間を超えるかという予測だけではない。AGI の実現を信じる主体が、実現前の社会をどこまで作り替える権限を持つのかという統治の問題である。将来の知能を作るという目的が、現在のデータ、労働、土地、電力、雇用を変更するなら、その目的と費用は開発企業だけで決められない。

必要になるのは、AGI の可能性を信じるか否定するかという二択ではない。どの問題を解くのか、どの技術経路を選ぶのか、必要な規模はどこまでか、誰の資源を使うのか、誰が利益を受けるのか、どの条件で停止するのかを、社会が開発の入口から決められる制度である。

人間知能を計算可能とみなす思想は、AGI が完成する前から、資源の所有者、仕事の定義者、未来の決定者を変えている。未来の機械が人間を超えるかどうかを論じている間にも、現在の人間が持つ判断権限は再配分される。AGI 論争の核心は、知能の到達点だけでなく、その到達を目指す過程で、誰が社会の目的と制約を決めるのかにある。

12. 人間を残すには技術の目的を決めなければならない

AGI 論争は、機械が人間と同じ知能を持てるのか、いつ人間の能力を超えるのかという問いへ集約されやすい。この問いは技術の到達可能性を考えるうえで必要である。しかし、現在進んでいる資源集中、業務再編、労働の移転を理解するには、機械の能力だけでなく、その能力を社会へ配置する主体を見なければならない。

誰が知能を定義するのか。誰が人間の仕事を入力、出力、評価値へ分解するのか。誰が世界中のデータ、電力、水、土地を利用するのか。誰が AI の目的と規模を決めるのか。誰が誤りへ異議を申し立て、運用を停止できるのか。これらはモデルの性能試験からは答えが出ない。技術を作り、所有し、制度へ接続する権限をどの主体へ配分するかという統治上の問いだからである。

人間知能の一部を計算として記述できることから、知能全体を有限の計算手続きで再現できることは導かれない。知能全体を計算として表現できるとしても、その構造を有限の学習データから獲得できるとは限らない。学習可能であっても、現在の大規模言語モデルを拡大する経路が唯一の実現方法であるとは限らない。さらに、機械が作業を実行できることから、その作業を担っていた人間を制度から排除してよいという結論も生じない。

この段階を区別しないと、技術的な可能性が社会的な許可へ変換される。文章を生成できることが、人間の執筆者を減らしてよい理由になる。応募書類を分類できることが、採用候補者の評価を機械へ委ねてよい理由になる。問い合わせへ回答できることが、人間の窓口を廃止してよい理由になる。しかし、処理能力と導入の正当性の間には、必要な品質、許容できない失敗、説明責任、異議申立て、雇用への影響を判断する工程がある。

人間を制度に残す根拠を、「機械にはできないこと」だけに置くと、その根拠は技術進歩のたびに後退する。文章作成が可能になれば創造性へ、推論課題の成績が上がれば共感へ、対話能力が改善すれば意識へと、人間固有の領域を移し続けることになる。この防衛方法では、AI の能力が増えるほど、人間へ残すべき領域が狭く見える。

人間の役割は、機械より優れていることだけによって決まるものではない。権利へ影響する判断を説明すること、例外的な事情を考慮すること、判断を拒否して再検討を求めること、結果について責任を負うことは、処理性能とは異なる制度上の役割である。機械が同じ出力を高速に生成できても、これらの役割を誰へ割り当てるかは社会が決めなければならない。

残すべき領域 人間が担う理由 制度として必要な条件 失われた場合の帰結
目的設定 どの問題を解き、どの価値を優先するかは、性能値だけでは決まらない。 影響を受ける人々が問題設定と手段比較へ参加できる必要がある。 企業が保有する技術に合わせて社会課題が再定義される。
例外判断 制度の分類から外れる事情を扱うには、規則を適用しない判断が必要になる。 担当者が処理を止め、追加情報を集め、別の制度へ接続できる必要がある。 分類できない人が誤入力や不正な例外として排除される。
異議申立て 判断対象となった人には、誤りを指摘し、再審査を求める権利がある。 判断根拠、責任主体、再審査手続きが明示されている必要がある。 機械の出力が訂正困難な事実として固定される。
責任 被害が生じたとき、説明、修正、補償を実行する主体が必要になる。 開発企業、導入組織、承認者の責任範囲を事前に定める必要がある。 判断は自動化されても、被害を引き受ける主体だけが不明になる。
停止 目的を失い、被害が便益を上回った技術を継続する理由はない。 運用停止、データ削除、代替手段への移行を実行できる必要がある。 技術への依存が、誤りを認識した後も利用を続けさせる。

人間を残すとは、すべての作業を人手のまま維持することではない。反復的な転記、検索、定型文の作成を機械へ移すことで、人間が複雑な判断や対人支援へ時間を使える場合もある。補完型の利用は、人間が担当する作業を減らしながら、判断能力を強めることができる。

一方、作業量を減らした結果として、判断経験まで失われる場合がある。AI が下書き、分類、候補選定を常に行えば、人間は完成に近い出力を承認する役割へ移る。短期的には処理量が増えても、自ら問題を構成し、失敗し、修正する機会が減れば、将来の判断者が育たない。人間を残す設計には、現在の承認者だけでなく、次の判断者を育てる工程も含まれる。

人間の関与を残すだけでも不十分である。大量の出力を短時間で確認させ、拒否すると業績評価が下がり、元データへアクセスできない状態では、人間は安全装置として機能しない。形式上の承認者を置きながら、判断に必要な時間、情報、拒否権を与えなければ、人間は AI の出力に責任を付与する役割だけを担う。

「最終判断は人間」という原則を実質化するには、人間が出力を承認する地点より上流へ戻る必要がある。どの問題へ AI を使うか、どのデータを収集するか、何を成功とみなすか、どの誤りを許容しないか、誰が停止を命じられるかを決められなければ、最終承認は上流で固定された選択肢の追認になる。

Karen Hao が支持する特定目的の AI は、巨大な汎用モデルより常に安全で優れているという答えではない。監視、選別、自動標的化のように、目的が限定されているからこそ効率的に人を抑圧できる技術もある。特定目的であることは、目的の正当性、データ利用の適切さ、異議申立て、停止可能性を保証しない。

対案として意味を持つのは、モデルの規模を小さくすることより、問題、データ、評価、責任、停止条件を具体的な利用者と共同体へ戻す点である。先に巨大な能力を作り、後から用途を探すのではなく、先に解決すべき問題を定め、その目的に必要な能力だけを選ぶ。AI を使わない制度変更で解決できるなら、モデルを作らない判断も残す。

この順序であれば、規模にも説明責任が生じる。なぜその量のデータが必要なのか、なぜその計算資源が必要なのか、なぜ汎用モデルでなければならないのかを、目的との関係から説明しなければならない。追加の規模が具体的な便益を生まないなら、データ、電力、水、土地をさらに集める理由は弱くなる。

技術の目的を決めることは、資源配分を決めることでもある。AGI を最優先の目標とすれば、半導体、研究者、電力、公共投資は巨大モデルへ集中する。同じ資源を、地域医療、教育支援、行政手続きの簡素化、小規模な言語技術へ配分する可能性は減る。AGI が実現するかという予測は、現在どの問題を後回しにするかという選択を伴っている。

「人類全体の利益」を目的に掲げても、その利益の内容と費用を少数企業が決めるなら、人類は判断主体ではなく受益者として想定されているにすぎない。利益を受けるとされる将来の人々と、データ、労働、地域資源を提供する現在の人々が同じであるとは限らない。将来利益の総量だけでは、現在の負担配分を正当化できない。

AGI が人間を超える未来を恐れる前に、人間を計算可能な作業の集合へ変える現在を見なければならない。仕事を入力と出力へ分解し、測定できない配慮や責任を評価から外し、AI が扱えない例外を利用者や少数の従業員へ移せば、機械の能力を人間全体へ近づけなくても、人間の制度的な代替は進む。

この過程で守るべきなのは、人間にしかできない神秘的な能力ではない。人間が目的を定め、技術を拒否し、判断へ異議を申し立て、誤りを修正し、結果へ責任を負える制度上の地位である。AI が人間より高い性能を示す領域が増えても、この地位を機械や企業へ移す必然性はない。

人間と機械の境界は、性能比較だけでは決まらない。どの処理を自動化し、どの判断を人間へ残し、どの権限を共同体へ配分するかを制度として定めることで成立する。境界を明示しなければ、利便性、費用削減、競争速度の判断が積み重なり、結果として人間の役割だけが縮小する。

本稿の結論は、AGI の最大の影響が、完成した後に始まるとは限らないという点にある。人間知能を計算可能とみなす思想は、大規模モデルを合理的な開発経路に見せる。大規模化は、資本、データ、労働、半導体、電力、水、土地を少数企業へ集める。資源を集めた企業は、何を知能とみなし、どの仕事を自動化し、どの費用を許容するかを決める力を得る。

AGI が実現しなかったとしても、集中した設備、企業間依存、細分化された仕事、失われた技能、特定サービスへ閉じ込められた文脈は残る。AGI が実現したとしても、開発過程の負担と利益が公正に配分されたことにはならない。技術的な成否のどちらを想定しても、現在の決定権を誰が持つかという問いは消えない。

人間を残すために必要なのは、人間の優越性を証明し続けることではない。何を機械へ任せ、何を人間と社会の判断として残し、誰がその境界を変更し、誰が停止できるのかを決めることである。未来の AI がどれほど強力になるとしても、その目的と制約を決める権限まで技術を所有する側へ渡す必要はない。

AGI 論争の核心は、機械がいつ人間を超えるかではない。人間知能を計算可能とみなす思想が、AGI の実現前から、誰が資源を支配し、誰が人間の仕事を定義し、誰が社会の未来を決めるのかを変えていることである。問われているのは AI の知能だけではない。人間と社会が、技術の目的を決める主体であり続けられるかである。

参考文献

  1. Karen Hao, Empire of AI: Dreams and Nightmares in Sam Altman’s OpenAI, Penguin Press（2025）. https://www.penguinrandomhouse.com/books/743569/empire-of-ai-by-karen-hao/
  2. Better Offline, Empires of AI With Karen Hao（2025-05-14）. https://www.iheart.com/podcast/1119-better-offline-150284547/episode/empires-of-ai-with-karen-hao-275463277/
  3. OpenAI, Introducing OpenAI（2015-12-11）. https://openai.com/index/introducing-openai/
  4. OpenAI, OpenAI Charter（2018-04-09）. https://openai.com/charter/
  5. A. M. Turing, Computing Machinery and Intelligence, Mind, 59（236）, 433–460（1950）. https://www.abelard.org/turpap/turpap.php
  6. Matteo Colombo, Gualtiero Piccinini, The Computational Theory of Mind, Stanford Encyclopedia of Philosophy（2024）. https://plato.stanford.edu/archives/win2024/entries/computational-mind/
  7. Stevan Harnad, The Symbol Grounding Problem, Physica D: Nonlinear Phenomena, 42, 335–346（1990）. https://doi.org/10.1016/0167-2789(90)90087-6
  8. Francisco J. Varela, Evan Thompson, Eleanor Rosch, The Embodied Mind: Cognitive Science and Human Experience, MIT Press（1991）. https://mitpress.mit.edu/9780262220422/the-embodied-mind/
  9. Dario Amodei, Danny Hernandez, AI and Compute（2018-05-16）. https://openai.com/index/ai-and-compute/
  10. Jared Kaplan et al., Scaling Laws for Neural Language Models（2020）. https://arxiv.org/abs/2001.08361
  11. Jordan Hoffmann et al., An Empirical Analysis of Compute-Optimal Large Language Model Training, Advances in Neural Information Processing Systems 35（2022）. https://papers.neurips.cc/paper_files/paper/2022/hash/c1e2faff6f588870935f114ebe04a3e5-Abstract.html
  12. OpenAI, OpenAI LP（2019-03-11）. https://openai.com/index/openai-lp/
  13. Greg Brockman, Microsoft invests in and partners with OpenAI to support us building beneficial AGI（2019-07-22）. https://openai.com/index/microsoft-invests-in-and-partners-with-openai/
  14. Reuters, Karen Hao on how the AI boom became a new imperial frontier（2025-07-03）. https://www.reuters.com/lifestyle/karen-hao-how-ai-boom-became-new-imperial-frontier-2025-07-03/
  15. Billy Perrigo, OpenAI Used Kenyan Workers on Less Than $2 Per Hour to Make ChatGPT Less Toxic, TIME（2023-01-18）. https://time.com/6247678/openai-chatgpt-kenya-workers/
  16. Emma Strubell, Ananya Ganesh, Andrew McCallum, Energy and Policy Considerations for Deep Learning in NLP, Proceedings of the 57th Annual Meeting of the Association for Computational Linguistics, 3645–3650（2019）. https://aclanthology.org/P19-1355/
  17. Pengfei Li, Jianyi Yang, Mohammad A. Islam, Shaolei Ren, Making AI Less “Thirsty”: Uncovering and Addressing the Secret Water Footprint of AI Models（2023）. https://arxiv.org/abs/2304.03271
  18. Emily M. Bender, Timnit Gebru, Angelina McMillan-Major, Margaret Mitchell, On the Dangers of Stochastic Parrots: Can Language Models Be Too Big?, Proceedings of the 2021 ACM Conference on Fairness, Accountability, and Transparency, 610–623（2021）. https://doi.org/10.1145/3442188.3445922
  19. Shakir Mohamed, Marie-Therese Png, William Isaac, Decolonial AI: Decolonial Theory as Sociotechnical Foresight in Artificial Intelligence, Philosophy & Technology, 33, 659–684（2020）. https://doi.org/10.1007/s13347-020-00405-8
  20. Erik Brynjolfsson, The Turing Trap: The Promise & Peril of Human-Like Artificial Intelligence, Daedalus, 151（2）, 272–287（2022）. https://doi.org/10.1162/daed_a_01915
  21. Paweł Gmyrek et al., Generative AI and Jobs: A Refined Global Index of Occupational Exposure, ILO Working Paper 140（2025）. https://www.ilo.org/publications/generative-ai-and-jobs-refined-global-index-occupational-exposure
  22. Karen Hao, About. https://karendhao.com/about
  23. Global Investigative Journalism Network, Karen Hao on AI Narratives Reporters Should Deconstruct（2026-03-26）. https://gijn.org/resource/tech-focus-project-video-karen-hao-investigating-ai-narratives/
  24. Molly Taft, You’re Thinking About AI and Water All Wrong, WIRED（2025-12-12）. https://www.wired.com/story/karen-hao-empire-of-ai-water-use-statistics/
  25. Karen Hao, Data Rich, AI Now Institute（2026-02-03）. https://ainowinstitute.org/publications/karen-hao-data-rich
  26. Te Hiku Media, Papa Reo. https://papareo.nz/
  27. Te Mana Raraunga, Principles of Māori Data Sovereignty. https://www.temanararaunga.maori.nz/principles-of-maori-data-sovereignty
  28. Global Indigenous Data Alliance, The CARE Principles for Indigenous Data Governance. https://www.gida-global.org/careprinciples
  29. id774, AI に任せる前に、人間が残すべき判断（2026-06-21）. https://blog.id774.net/entry/2026/06/21/4912/
  30. id774, AI の答えは、採用されたときに責任になる（2026-06-26）. https://blog.id774.net/entry/2026/06/26/4925/
  31. id774, AI に自身の文脈を持ち運ぶ（2026-05-04）. https://blog.id774.net/entry/2026/05/04/4675/
  32. id774, 生成 AI の競争軸は、モデルから業務実装へ移る（2026-06-25）. https://blog.id774.net/entry/2026/06/25/4922/