AI は要求を満たすだけでなく、要求そのものを作る

by

AI と話しているうちに、自分が何を考えたかったのか分かることがある。最初は「この文章をうまく整理したい」「この設計は何か違う」としか言えなくても、AI が論点、比較案、別の説明を返し、それに対して違和感や修正条件を伝えるうちに、曖昧だった要求が具体的な言葉へ変わっていく。文章であれば、表現を直したかったのではなく中心命題を絞りたかったと分かることがある。ソフトウェア設計であれば、処理速度より変更範囲の小ささを重視していたと、複数案を比較して初めて気づくことがある。

このとき起きていることを、AI が利用者の要求を「理解した」とだけ表現すると、対話の途中が消える。最初の入力には存在しなかった条件が、数回の応答後には明示されているからである。利用者が後から条件を思い出した場合もある。AI が適切な言葉を与えたことで、以前から感じていた違和感を説明できるようになった場合もある。一方で、AI が提示した選択肢や評価軸を見たことによって、それまで重視していなかった条件を重視するようになった可能性もある。最終的に同じ要求が文章として残っていても、そこへ至る経路は同じではない。

ここに、生成 AI との対話を考えるうえで区別しにくい二つの作用がある。第一は、まだ言語化されていない考えを外へ取り出す作用である。利用者がすでに持っていた違和感や優先順位に対応する言葉を AI が提示し、それを見た利用者が「そういうことだった」と確認する。この場合、AI は潜在していた要求を発見する補助として働いている。第二は、AI の提示そのものが利用者の考える範囲を変える作用である。新しい候補、比較軸、原因説明を見せることで、それまで存在しなかった判断を成立させる。この場合、AI は要求を記述するだけでなく、その形成過程に参加している。

両者は結果だけを見ても判別しにくい。対話の最後に利用者が「これが自分の考えだ」と納得していても、その考えが対話前から潜在していたのか、対話の中で新しく成立したのかは分からない。しかも実際には、どちらか一方だけが起きるとは限らない。以前から持っていた価値観を手がかりに AI の提案を評価しながら、その提案によって新しい選択肢を知り、結果として元の価値観の適用範囲まで変わることがある。発見と形成は、一回の対話の中で連続して起こり得る。

境界が必要になるのは、考えが変わることそのものではない。変化した要求を評価する基準まで、同じ相互作用によって際限なく変更できるときである。AI が案を提示し、その案を比較する評価軸も提示し、その評価軸が妥当である理由まで生成するなら、人間は AI の案を AI が作った基準で評価することになる。さらに、評価の結果に応じて基準まで更新するなら、何を良い結果とみなすか自体が対話の内部で動き続ける。要求を探索するための柔軟性と、探索結果を評価するための基準が同じように可変になると、両者を区別する外部の足場がなくなる。

この構造から、本稿で扱う境界が定まる。具体的な要求や候補は、AI との相互作用によって変化してよい。対話によって新しい手段を知り、それまで曖昧だった選好を言語化し、より適切な要求へ修正することには実用上の価値がある。一方、その相互作用がどの方向へ進んでもよいわけではない。何を最終目的とするのか、何を良い結果と判断するのか、どの失敗を許容しないのか、どの判断や権限を AI に渡さないのかという条件まで、同じ対話の出力に合わせて変更し続ければ、要求形成そのものを評価する基準が失われる。

言い換えれば、AI と一緒に「何が欲しいか」を具体化することと、「何を欲しいものとしてよいか」を決めることは同じではない。前者には探索の余地が必要であり、後者には探索を制限する役割がある。下位の要求は相互作用に開くことができるが、その相互作用を評価し制限する上位の目的、判断基準、禁止条件、委任範囲まで、同じ相互作用に委ねることはできない。

1. AI と話すと、曖昧だった要求が具体化する

この問題を考えるには、最初に「人間は選択する前から完成した選好を持っている」という前提を外す必要がある。何を選ぶか尋ねられたとき、人間が頭の中に保存されている順位表を参照し、その結果を回答しているとは限らない。Paul Slovic は、選好が測定によって単に取り出されるものではなく、判断や選択を行う過程で構成され得ることを論じた[1]。James R. Bettman、Mary Frances Luce、John W. Payne も、消費者の選択について、利用可能な情報、課題の性質、選択肢の構造、判断に使える時間などに応じて、判断方略そのものが組み立てられると整理している[2]。

ここでいう「構成される」は、本人に好みが存在しないという意味ではない。過去の経験、価値観、予算、身体的な制約、社会的な関係などは、選択前から存在している。しかし、それらが特定の選択場面でどの順序に並び、どの程度の重みを持ち、どの候補を排除する条件になるかまでは、事前に固定されていないことがある。選択肢を見ることで、複数の価値が初めて衝突し、その場で優先順位を決める必要が生じるからである。

ここでは「要求」「選好」「判断基準」を分けて考える必要がある。要求は、その時点で何を実現したいかという具体的な条件である。選好は、複数の候補を比べたときに何を好むかという傾向である。判断基準は、その候補を何によって評価するかという尺度である。たとえば「文章を短くする」は要求になり得る。「詳しい説明より簡潔な説明を好む」は選好であり、「読み手が一度で論旨を追えることを優先する」は判断基準になる。実際の対話では、この三つが互いに影響しながら変わる。

パソコンを買う場面なら、「軽いものが欲しい」という希望だけでは機種を決められない。実際の候補には、重量だけでなく画面サイズ、電池持続時間、性能、価格、端子、修理性などが同時に含まれる。1.0 kg の小型機と 1.4 kg の大型機を比べたとき、画面の狭さによる負担を初めて具体的に想像し、「毎日持ち歩くので軽さが最優先だと思っていたが、実際には 400 g の差より作業領域を重視する」と判断することがある。この場合、比較前の「軽いものが欲しい」は虚偽だったわけではない。実物に近い選択条件が加わったことで、軽さが他の条件との関係の中で再評価されたのである。

旅行先でも同じ構造がある。「観光できる場所が多い方がよい」と考えて候補を探していても、移動時間を含む具体的な日程を並べると、観光地の数より、一つの地域に長く滞在できることを重視すると分かるかもしれない。ここでは「観光地の多さ」と「移動の少なさ」という二つの条件が、比較前から同じ明瞭さで存在していたわけではない。候補を具体化したことで、それまで判断対象になっていなかった移動負荷が表面化し、選択基準の構成が変わっている。

段階 利用者側で起きていること 要求に起きる変化
初期状態 違和感や大まかな希望はあるが、必要条件と優先順位を分離できていない。 「軽いもの」「分かりやすくしたい」のように、複数の意味を含む要求として表現される。
候補提示 異なる特徴を持つ具体案を比較し、それまで意識していなかった差異を見る。 新しい条件が追加され、既存条件との競合が明確になる。
比較 すべての条件を同時には最大化できないため、何を優先するかを決める。 選好の重みが変わり、不要な条件や許容可能な妥協が判明する。
再記述 比較結果をもとに、自分が求めている状態をより具体的な言葉で説明できる。 曖昧な希望が、採否を判断できる要求へ変わる。

生成 AI は、この一連の過程へ直接入ることができる。従来なら、人間が候補を探し、特徴を一覧にし、比較表を作り、何が違うのかを自分で言語化する必要があった。生成 AI は、最初の曖昧な依頼から複数の解釈を作り、それぞれに対応する候補を並べ、差異を説明し、追加で確認すべき条件まで提示できる。利用者はゼロから比較軸を作る代わりに、提示された軸へ反応することで要求を更新できる。

文章作成では、この差がさらに分かりやすい。「分かりにくいので直したい」という依頼には、少なくとも複数の原因があり得る。文が長すぎるのかもしれない。専門用語の説明が不足しているのかもしれない。中心命題が曖昧なのかもしれない。章の順序が因果関係と一致していないのかもしれない。AI がそれぞれに対応する修正案を示せば、利用者は「文章を簡単にしたいのではなく、結論へ至る理由を途中で省略したくない」と気づくことがある。この時点で、当初の「分かりやすくしたい」という要求は、文章の易しさではなく論理展開の連続性という、別の評価基準へ具体化している。

ソフトウェア設計でも、最初から全要件が言語化されているとは限らない。「この実装は複雑すぎる」という違和感に対して、AI が依存関係を減らす案、処理を分割する案、既存構造を維持して変更量だけを減らす案を出したとする。比較した結果、「抽象化の少なさ」を求めていたのではなく、「障害時に影響範囲を追跡できること」を重視していたと分かる場合がある。ここでも AI は単に実装案を作ったのではなく、どの性質を設計上の評価対象とするかを明示する役割を持っている。

この作用には、処理時間を短縮する以上の意味がある。人間が候補を作る前に長時間考えなければならない場合、比較に到達するまでの費用が高い。そのため、最初に思いついた一案で作業を進め、後から別の評価軸に気づくこともある。AI が複数案を短時間で外部化すれば、実装や執筆へ進む前に差異を比較できる。要求形成の初期段階へ比較可能な材料を供給することで、後工程の手戻りを減らせる可能性がある。

一方、この利点を「AI が利用者の本当の要求を推定できる」と言い換えると、論理が一段飛ぶ。AI が提示した候補に対して利用者が強く反応したことは、その候補が利用者の潜在的な要求を捉えた証拠になり得る。しかし、提示された候補そのものが新しい比較軸を作っているなら、同じ反応は要求形成の結果としても説明できる。観察できるのは、相互作用の前後で要求が具体化したことまでであり、その具体化された内容が対話以前から同じ形で存在していたことではない。

この差は、AI の精度を評価する場面でも効いてくる。利用者が対話後に満足したからといって、AI が事前に存在した選好を高精度に復元したとは限らない。反対に、対話前と要求が変わったからといって、AI が利用者を不適切に誘導したとも限らない。新しい情報を得て合理的に判断を更新した可能性があるからである。満足度、選択結果、要求の変化という観察可能な結果だけでは、「発見」と「形成」を一意に切り分けられない。

生成 AI を要求形成に使うときに最初に認識すべきなのは、この識別不能性である。AI は、明確な入力を処理するだけの装置として利用される場合もあれば、利用者が何を入力すべきかを見つける過程そのものへ参加する場合もある。後者では、出力品質だけを測ってもシステム全体の作用を捉えられない。AI が何を返したかと同時に、その出力を受けた人間が何を新たな要求として持つようになったかまで、同じ相互作用の結果として見る必要がある。

2. AI は選好を発見したのか、それとも作ったのか

AI が三つの候補 A、B、C を提示し、人間が B を選んだとする。この結果から直接観察できるのは、「A、B、C という候補集合が、この順序と説明で提示された状況では B が選ばれた」という事実までである。B が対話前から最も望ましい選択肢だったことまでは確認できない。B の特徴を見て初めて、その特徴を重視するようになった可能性がある。A と C が比較対象になったことで B の利点が目立った可能性もある。AI が提示しなかった D が存在すれば、D を含む四つの候補では別の選択になった可能性も残る。

選択結果と対話前の選好は、同一視できない。観察者が見られるのは、提示された条件のもとで実際に行われた選択である。一方、「本人が本来どの選択肢を最も好んでいたか」は、直接観察できない。選択結果からそれを推定するには、候補の種類、提示順、比較対象、情報量などが選択そのものを変えていないという前提が必要になる。しかし、人間の意思決定では、その前提がしばしば成立しない。

Amos Tversky と Itamar Simonson は、選択肢への評価が、その対象単独の属性だけで決まるのではなく、同時にどの選択肢が存在するかという文脈にも依存することを論じた[3]。たとえば同じ B でも、A と比較すると高価に見え、C と比較すると安価に見えることがある。性能が変わっていなくても、比較対象が変われば「割高」「妥当」「高性能」といった位置づけが変わる。人間が評価しているのは属性の絶対値だけではなく、候補集合の中での相対的位置でもある。

Joel Huber、John W. Payne、Christopher Puto が示した非対称優越効果は、この構造をさらに分かりやすくする[4]。既存の候補より明らかに劣る選択肢を一つ追加しただけで、もともと存在していた候補同士の選択確率が変化する。追加された候補そのものが最終的に選ばれなくても、その存在が比較の見え方を変える。つまり、AI が「どの案を提示したか」だけでなく、「比較のために何を隣へ置いたか」まで、人間の選択へ影響し得る。

たとえば AI が、あるシステム改修について「変更量が小さい案 A」「性能を最大化する案 B」「実装は容易だが保守性が低い案 C」を示したとする。利用者が A を選べば、A がもともとの希望に近かったと解釈できる。しかし C が極端に保守しにくい案として置かれていたことで、A の保守性が相対的に魅力的に見えた可能性もある。逆に「安全性を最大化する案 D」が提示されていれば、安全性という評価軸自体が前面に出て、A ではなく D を選んだかもしれない。AI は候補を供給するだけでなく、どの差異を比較対象として可視化するかを決めている。

Dan Ariely、George Loewenstein、Drazen Prelec の実験は、選択行動に一定の整合性が見られても、そのことだけから、選択以前に安定した選好が存在したとは言えないことを示している[5]。一度置かれた基準や最初の評価が、その後の判断を整合的に見せる場合があるからである。後続の選択が一貫していることと、その一貫性の出発点が本人の内部に独立して存在していたことは別である。

継続的な AI との対話では、この文脈依存性がさらに効いてくる。最初の応答で AI が「この課題では安全性、費用、保守性の三点を比較するとよい」と整理したとする。利用者がその後の対話でも三軸を使い続ければ、数回後には一貫した優先順位が形成されるかもしれない。しかし、その一貫性は、最初から本人が安全性、費用、保守性という三軸を持っていた証拠ではない。AI が最初にその三軸を置いたことが、その後の判断の座標系を固定した可能性がある。

Eric J. Johnson らが整理した選択環境の研究でも、選択肢の数、提示方法、既定値、情報の分類、属性の見せ方などが意思決定へ作用することが扱われている[6]。これらは、選択内容そのものとは別に見える。しかし実際には、何が候補として見えるか、何を比較しやすいか、どの選択に追加操作が必要かという環境条件が、判断の過程を構成している。

生成 AI は、この選択環境を固定された画面として用意するのではなく、対話の途中で動的に作り直せる。利用者が「価格も気になる」と言えば価格軸を追加し、「安全性を優先したい」と言えば候補を安全性中心に並べ直し、「他の案はないか」と聞けば新しい選択肢を生成する。従来の選択画面では、設計者が事前に決めた候補と表示方法が人間へ影響していた。生成 AI では、利用者の反応を受けて次の選択環境そのものが変わる。

観察される結果 発見として説明した場合 形成として説明した場合 結果だけでは確定できないこと
候補 B を選んだ 本人はもともと B に近い選好を持っており、候補提示によってそれを表明できた。 B と他候補を比較したことで新しい評価軸が生まれ、その結果として B を望むようになった。 B が対話前から最上位だったのか、提示された候補集合の中で最上位になったのかは区別できない。
評価軸を言語化できた 本人が暗黙に使っていた判断基準を AI が適切な言葉に変えた。 AI が提示した評価軸を見たことで、その軸を新たに重要だと考えるようになった。 言語化された基準が以前から存在したのか、提示後に採用されたのかは本人の納得だけでは確定できない。
対話後に強い納得感がある 曖昧だった考えと AI の説明が一致し、自分の選好を確認できた。 同じ説明枠を反復するうちに、その枠で考えることが自然になり、新しい選好として定着した。 納得感は発見の証拠にも形成の結果にもなり得るため、起源の判定には使えない。
複数回の対話で判断が一貫する 対話によって潜在的な優先順位が明確になり、その後は同じ基準で判断できるようになった。 最初に与えられた評価枠が後続対話の前提となり、その枠内で一貫性が形成された。 一貫性が高いことと、対話前から同じ基準が存在したことは同義ではない。

ここで「発見」と「形成」を完全に分離できると考えると、実際の対話を単純化しすぎる。AI が「変更量を小さくすることを重視しているのではないか」と提示し、利用者がそれを見て「確かにそうだ」と感じたとする。その判断には、以前から経験してきた大規模変更への警戒が反映されているかもしれない。この部分は発見と説明できる。一方、その言葉を得たことで、以後はすべての案を「変更量」という軸から比較するようになれば、その軸の重要度は対話によって強化されている。潜在していた傾向の発見と、その傾向を判断基準として固定する形成が連続して起きている。

同じことは文章作成でも起きる。AI が「この文章では正確さより読みやすさを優先しますか」と尋ねたことで、利用者が初めて両者を別の評価軸として意識する場合がある。利用者が「正確さを落としたくない」と答えれば、その返答は既存の価値観を表明したものかもしれない。しかし、その後の編集で「正確さと読みやすさ」という二軸ばかりを使えば、論証の独自性、根拠の一次性、説明順序など、最初の問いに含まれなかった別の軸が見えにくくなる。AI の質問は、答えを引き出すだけでなく、何を対立項として考えるかまで決める。

生成 AI では、この作用が一回の候補提示で終わらない。利用者の返答は次の入力になり、AI はそれをもとに候補を絞る。利用者が絞られた候補を評価し、その結果がまた次の生成へ使われる。最初は広かった選択空間が対話ごとに狭まり、途中で採用された判断軸が後続の候補生成にも反映される。適切に進めば、これは要求を効率よく具体化する過程になる。一方、初期の枠が不適切でも、対話がその枠の中だけで続けば、局所的には非常に整合した要求が作られる。

このとき「利用者が最後まで納得していた」という評価だけでは不十分になる。AI が提示した枠に違和感がなければ、人間はその枠の外を探索する理由を持ちにくい。対話中に候補が増え、説明が詳しくなり、本人の表現も具体的になれば、要求が精緻化したように見える。しかし、精緻化されたのが当初の広い問題全体ではなく、AI が最初に切り出した一部分だけという場合もある。

ここには、AI が誤る場合とは別の失敗条件がある。AI が事実を誤認せず、候補の説明も正しく、論理的な比較を行っていても、提示されなかった候補や評価軸は検討されない。たとえばコスト、性能、開発速度の比較が正確でも、本来必要だった「障害時に元へ戻せるか」という回復可能性が候補生成に含まれていなければ、その軸は選択過程に入らない。正しい回答を積み重ねた結果として、狭い問題設定の中で最適な結論へ到達することもある。

反対に、対話によって選好が変わったことだけを根拠に「AI が人間を操作した」と判断することもできない。新しい事実を知って考えを変えることは合理的である。知らなかった制約を教えられ、以前の案を捨てることもある。実装案の欠点を説明されて保守性を重視するようになったとしても、それが不当な誘導だとは限らない。情報が増えたことで評価が適切に更新された場合と、提示の仕方によって選択が偏った場合は、どちらも外見上は「対話後に選好が変わった」と観察される。

つまり、選好の変化そのものを健全性の指標にも、危険性の指標にもできない。必要なのは、何によって変わったのかを見ることである。新しい事実が追加されたのか。候補が増えたのか。比較軸が追加されたのか。逆に候補が暗黙に除外されたのか。AI の説明によって一つの軸だけが強調されたのか。同じ結論が反復されたことで確信が強まったのか。選択結果だけではなく、その前に選択環境がどう変化したかを追わなければ、要求形成の作用を評価できない。

この点から見ると、「AI が利用者を理解する」という表現にも限界がある。AI が過去の対話から好みを推定し、その好みに合う候補を出し、利用者が満足したとする。これは適応が成功した例として説明できる。しかし、その候補提示が次の選好を変えれば、AI は既存の利用者像へ適応するだけでなく、次回参照する利用者像の形成にも関与している。推定対象である人間が、推定結果を提示されることで変化するからである。

この循環では、AI が「正しい利用者像」を一度推定すれば終わるわけではない。時点 t の利用者の選好をもとに AI が候補を生成し、その候補を見た利用者の選好が時点 t+1 で変わる。その新しい選好を AI が再び観察し、次の候補を生成する。システムが観測対象へ介入するため、観測と作用を完全に分離できない。利用者への適応が高度になるほど、この循環は弱くなるのではなく、むしろ強くなる可能性がある。

そこで次に見るべき対象が変わる。AI がどれだけ正確に答えたかだけではなく、AI が人間の判断過程のどこへ入ったかを見る必要がある。候補を作っただけなのか。比較軸を作ったのか。問いそのものを言い換えたのか。優先順位まで提案したのか。これらはすべて「便利な回答」として一つの画面に現れるが、人間の選好形成へ及ぼす作用は同じではない。生成 AI の特徴は、この複数の作用を一つの対話の中で同時に実行できるところにある。

そのため、「AI は選好を発見したのか、それとも作ったのか」という問いには、一般に一方だけを答えることができない。AI は既存の傾向を言語化し、その言語化によって傾向を強化し、新しい候補を示して別の評価軸を生み、その結果を次の対話条件として再利用することができる。発見と形成は対立する二つの状態ではなく、相互作用の異なる局面として連続している。

この識別不能性が、後の境界設計につながる。AI が人間の「本当の選好」を完全に復元できると仮定して、その選好への適応を無制限に進めることはできない。一方、形成作用をすべて排除しようとすれば、対話によって新しい選択肢や判断軸を見つける利点も失う。必要になるのは、発見か形成かを毎回判定することではなく、選好が形成されてもよい領域と、その形成過程によって動かしてはいけない条件を分けることである。

3. 生成 AI は、答えより前に判断の入口を作る

検索エンジンや推薦システムも、人間が何を見るかを以前から選んできた。検索順位が変われば、最初に読む資料が変わる。推薦欄に表示されなかった商品や動画は、存在していても比較対象に入りにくい。前章で見たように、選択肢の集合や提示方法が変われば、人間の選好も変わり得る。生成 AI はこの作用を引き継ぎながら、さらに広い範囲へ入る。候補を並べるだけでなく、問いをどう切るか、何と何を比較するか、どの理由を重視するか、どの反論を検討するか、何を優先事項として置くかまで文章として生成できる。

検索や推薦との差は、AI が返す情報量の多さだけではない。検索では、利用者が「何について調べるか」をある程度決めたうえで検索語を入力し、返された資料を読む。推薦では、商品や作品など比較対象となる種類自体はあらかじめ決まっていることが多い。生成 AI では、「そもそも何を問題として考えればよいか分からない」という段階から対話を始められる。AI は依頼文を解釈し、問題を分割し、論点候補を作り、評価軸を与え、必要なら結論候補まで並べる。そのため、人間が受け取るのは答えだけではなく、答えを考えるための初期構造である。

文章作成を例にすると、この変化は明確である。白紙から記事の構成を考える場合、人間は何を中心命題とするか、どこから説明を始めるか、どの事実を根拠として使うか、どの論点を除外するかを順に決める必要がある。中心命題を決めれば、それに必要な前提が決まり、前提が決まれば章の順序も変わる。構成を作る作業は、見出しを並べるだけではなく、何を問題として扱うかを決定する作業でもある。

AI に「この記事の構成を考えて」と依頼すると、その工程の一部が最初の応答で外部化される。AI が八つの章を提示すれば、人間は八章の妥当性を検討するところから始める。三章目を削り、五章目を前へ移し、中心命題を書き換えれば、人間が十分に編集したように見える。しかし、最初の構成案が「技術的利点と倫理的リスクを比較する記事」として問題を切っていた場合、その対立構造そのものは修正後にも残ることがある。本来は「誰が判断基準を決めるのか」を中心にできたとしても、その問いが最初の案に存在しなければ、既存の八章を直す作業の中では現れにくい。

調査でも同じ構造がある。ある制度変更について「影響を整理して」と依頼し、AI が費用、法的義務、利用者への影響、移行期間、技術対応の五項目を示したとする。この五項目が妥当であれば、以後の調査は効率よく進む。しかし、本来必要だった六番目の論点として「変更しない場合の影響」が抜けていたなら、各項目をどれだけ詳しく調べても、その欠落は自動的には埋まらない。調査量は増えているのに、問いの範囲は最初の応答から変わっていないという状態が成立する。

コード生成では、判断の入口が実装方針として現れる。「この処理を実装して」と依頼したとき、AI が既存関数を拡張する案を最初に出せば、人間はその差分を検討する。レビュー中に変数名、例外処理、テスト範囲まで修正したとしても、「既存関数を拡張する」という最上位の方針自体は検討されないことがある。本来は新しい責務として分離した方が障害時の切り戻しや保守性に優れていても、最初のコードが十分に動けば、設計問題はコードレビュー上の細部へ隠れる。

この作用は、AI が人間の判断を奪うという形で起きる必要はない。むしろ、人間が積極的に判断している最中に起きる。提示された案の不備を指摘し、条件を追加し、誤りを修正し、最終的には大部分を書き換えていても、何を修正対象とするかは最初の案によって決まっている場合がある。人間の関与量が多いことと、問題設定が人間側から始まったことは同じではない。

Moshe Glickman と Tali Sharot は、人間と AI の反復的な相互作用が、人間側の知覚、感情、社会的判断を変化させ得ることを実験で示した[7]。この研究では、偏りを持つ AI と相互作用した場合には人間側の偏りも強まり得る一方、正確な AI と相互作用した場合には判断が改善している。AI が人間へ作用すること自体を有害とみなす結果ではない。むしろ、人間と AI が繰り返し情報を交換する系では、AI だけを変化する側、人間だけを評価する側として置けないことを示している。

要求形成で焦点になるのは、人間側も相互作用の中で変化することである。AI が間違った説明を与えれば人間も間違える、というだけなら、出力精度を上げれば問題を減らせる。しかし、正確な情報を受けて人間が適切に判断を更新する場合にも、人間側は変化している。つまり「AI の影響を受けたかどうか」と「その影響が望ましかったかどうか」は別の評価である。人間側の状態変化をすべて失敗として扱えば学習まで否定することになり、すべて適応の成功として扱えば誘導や探索範囲の縮小を見落とす。

生成 AI にはさらに、同じ内容を相手に応じて異なる形で提示できるという特徴がある。Sandra C. Matz らは、受け手について得られた情報を使って生成した個別化メッセージが、説得に利用できることを実験的に示した[8]。同じ提案でも、相手が何を重視すると推定されているかによって、強調する理由や説明の順序を変えられる。価格を気にする人には費用を前面に出し、安全性を気にする人には事故回避を前面に出すといった調整が可能になる。

この個別化は、従来の静的な広告や推薦より対話との結びつきが強い。利用者の最初の反応を見て、次の説明を変えられるからである。ある提案に対して「費用が気になる」と返せば、AI は費用面を詳しく説明する。「失敗したときが心配だ」と返せば、今度は回復方法や安全策を中心に説明する。利用者の反応が AI の次の出力を変え、その出力がまた利用者の評価を変える。この往復によって、最初には存在しなかった評価軸が強化されることもある。

Francesco Salvi らは、GPT-4 と人間が複数回やり取りする討論実験で、対話型の大規模言語モデルが相手の態度へ作用し得ることを示した[9]。この結果を、AI が人間を自在に操作できるという一般論へ広げることはできない。実験条件と日常の意思決定は異なる。しかし、少なくとも「AI の出力は情報を伝えるだけであり、受け手の判断構造には入らない」という前提は置けない。対話内容と相手に関する情報に応じて、説明の仕方そのものを適応させる系が、人間の態度形成へ関与し得ることは確認されている。

悪意の有無は、この構造を評価する条件にはならない。AI が利用者を特定の方向へ誘導しようという目的を持っていなくても、利用者にとって分かりやすい回答を生成しようとすれば、複雑な問題をいくつかの論点へ整理する必要がある。候補を絞り、代表的な比較軸を選び、理由を順序づける必要もある。その処理によって認知負荷は下がるが、同時に何が前景に出て何が背景へ退くかも決まる。使いやすさを作る処理と判断の枠を作る処理は、同じ生成の中で起きる。

たとえば AI が転職先を比較するとき、年収、勤務地、職務内容、成長機会という四軸に整理したとする。この整理は一般的で分かりやすい。しかし、ある人にとって本当に重要なのが家族の介護との両立や、障害発生時に勤務時間を調整できることなら、四軸による比較は精密でも判断には不十分である。AI が各企業について四軸を正確に調べ、詳細な比較表を作ったとしても、最初に欠けた五番目の軸は自然には戻ってこない。正確さと問題設定の適切さは別に評価する必要がある。

この構造は、既稿で扱ってきた「思考の初動」の問題と接続する。既稿「人間の注意と認知はどのように消費され始めたか」では、対話 AI への依存を、画面から刺激を受け続ける問題だけでなく、問いを立てる、情報を整理する、比較するという認知過程を外部へ預ける問題として扱った[10]。外部化されるのが文章生成だけなら、人間は何を書くかを決めた後で表現作業を委ねている。しかし、問いの整理から AI に渡せば、人間が何を書くべきかを決める前の工程まで外部化される。

既稿「AI を一つの物語に閉じ込めない」では、この変化を別の角度から扱った。白紙から考える場合、人間は目的、制約、選択肢、評価軸を自分で組み立てる必要がある。AI が最初の案を提示すると、人間はその案を修正し、選び、採用する立場へ移り、最初に提示された案が後続の検討基準になり得る[11]。ここで変化しているのは最終判断者ではなく、判断を始める位置である。

要求形成の観点から見ると、この「始める位置」の変化が大きな意味を持つ。利用者が AI の案を採用したかどうかだけを見れば、最終的な意思決定の主体を確認できる。しかし、AI の案を見た後に本人の要求自体が変わるなら、採用判断より前の段階を見なければならない。AI が作った選択肢を比較して好みが明確になり、その好みに応じて次の選択肢が生成されると、AI は要求を満たす側であると同時に、その要求が何になるかを左右する側にもなる。

前章で扱った発見と形成の区別も、ここで具体的な機構として見えてくる。AI が既存の選好に合う候補を提示するだけなら、主な作用は発見に近い。AI が新しい候補を作れば、選択肢の集合を変える。比較軸を提案すれば、何を違いとして見るかを変える。問いを言い換えれば、何を解くべき問題とみなすかを変える。優先順位まで提示すれば、同じ候補集合の中で何を先に評価するかまで変える。生成 AI では、これらの作用が一つの応答に重なって現れる。

AI の関与 直接行うこと 人間側で変わり得るもの 確認すべき点
情報の提示 既存の事実、仕様、資料を要約して示す。 知らなかった事実を得て、既存の判断を更新する。 重要な情報の欠落や、情報源の偏りがないかを確認する必要がある。
候補の生成 利用者が自力では列挙していなかった選択肢を追加する。 何が選択可能だと認識するかが変わる。 生成されなかった候補を含めて探索範囲が十分かを確認する必要がある。
比較軸の生成 費用、安全性、速度など、候補を比較する尺度を提示する。 何を価値ある差異として見るかが変わる。 提示された軸だけで目的を評価できるか、欠落した価値がないかを確認する必要がある。
問題設定の生成 曖昧な依頼を解釈し、解くべき問いとして再構成する。 何を原因と考え、何を解決対象とみなすかが変わる。 再構成された問いが元の状況全体を適切に切り取っているかを確認する必要がある。
優先順位の生成 何を先に確認し、何を重視すべきかを提案する。 注意と検討時間の配分が変わる。 AI が置いた順序と、利用者側の目的から導かれる順序を区別する必要がある。

この表の各行は、危険度の順位ではない。情報提示によって判断が変わることもあれば、AI が作った問題設定が非常に適切なこともある。違いは、人間の判断過程のどの位置へ AI が入るかにある。後ろの段階ほど、AI は既存の問いへ答えるだけではなく、その問いを成立させる前提へ関与する。

特に見落としやすいのが、AI が正確な場合である。明らかな誤りがあれば、人間は立ち止まって問い直す理由を持つ。逆に、最初の構成がよくできており、比較表も正確で、説明も納得できる場合には、その枠組み自体を疑う理由が減る。正確さは利用価値を高める一方で、最初の問題設定をそのまま受け入れやすくする条件にもなり得る。AI が高性能になるほど判断への影響が消えるのではなく、影響がより自然に組み込まれる可能性がある。

これは、AI の性能向上を否定する理由にはならない。より正確な AI は、誤情報による判断の失敗を減らせる。より広い候補を提示できれば、人間だけでは見つけられなかった可能性も検討できる。論点は別にある。性能を「正しい答えを返す能力」だけで測ると、問いの形成、候補集合の形成、評価軸の形成へ及ぼす作用が評価から抜ける。生成 AI が要求形成へ入る場合、正答率と同時に、何を検討対象として構成したかを見る必要がある。

ここから、次章で扱う論点も変わる。AI の出力が人間の判断へ影響するからといって、その影響を可能な限り排除することが目標にはならない。新しい候補を知って考えが変わることも、正しい説明を受けて判断を修正することも、対話の価値に含まれる。焦点は「影響されたか」ではなく、どの変化を有益な学習として許し、どの条件を変化させない基準として残すかに移る。

4. 選好が変わること自体を止める必要はない

前章までの議論から、AI が人間の選択肢、比較軸、問題設定へ作用し得ることは分かる。しかし、そこから「AI に影響されない状態を守るべきだ」と結論すると、要求形成の実態を取り違える。人間の選好は、外部から独立した固定値として保存されているとは限らない。新しい事実を知り、他者の説明を聞き、未知の候補を比較し、実際に失敗することで、何を重視するかは変わる。変化しないこと自体を主体性の条件にすると、学習によって判断を更新することまで否定することになる。

たとえば、ソフトウェアの方式を比較するとき、最初は実装工数だけを気にしていたとする。AI が複数案を出し、その中に「実装量は増えるが、障害時の切り戻し範囲を限定できる案」が含まれていれば、利用者は回復可能性という評価軸を新たに意識するかもしれない。その結果、多少の実装量を許容してでも、障害時に元へ戻しやすい構造を選ぶようになる。この変化を、AI によって本来の希望から逸らされたとみなす理由はない。以前は考慮していなかった帰結を知ったことで、判断条件が増えたからである。

文章作成でも同じことが起きる。「もっと簡潔にしたい」という依頼に対して、AI が短い版と、情報量を維持したまま重複だけを除いた版を提示したとする。後者を見た利用者が「短さではなく論述密度を求めていた」と気づけば、当初の要求は変わる。ここで AI は既存の要求に従わなかったのではない。比較可能な具体案を出したことで、利用者自身が要求を修正できる条件を作ったのである。

要求形成へ AI を使う利点は、この修正速度にある。人間だけで考える場合、ある評価軸の存在に気づくには、実装して失敗する、長い文章を書いて読み返す、別の専門家から指摘を受けるといった経験が必要になることがある。AI が候補、反例、失敗条件を事前に列挙できれば、その一部を実行前に比較できる。最初から完全な要求を持つ必要がないからこそ、対話による探索に意味がある。

この過程では、AI が利用者の考えを変えること自体が価値になる場合がある。誤った前提を修正する。見えていなかった制約を追加する。極端な二択だと思っていた問題に第三の選択肢を加える。短期的な利点だけを見ていた判断へ、保守、回復、第三者への影響といった長期条件を加える。変化が新しい情報や比較可能性の増加によって起きているなら、選好の更新は判断能力の喪失ではなく、判断材料が増えた結果として説明できる。

一方、同じ「選好が変わった」という観察結果でも、その変化を健全な学習とみなせない場合がある。AI が何度も同じ種類の候補だけを提示し、その候補に有利な評価軸だけを説明し、利用者の反応を次の生成条件として使えば、対話は徐々に一方向へ収束する。各応答が個別には妥当でも、候補集合全体が狭くなれば、利用者は狭い範囲の中で一貫した選好を形成することになる。

この構造は推薦システムで以前から研究されてきた。Allison J. B. Chaney、Brandon M. Stewart、Barbara E. Engelhardt は、推薦された対象に利用者が反応し、その反応を次の推薦モデルの学習データへ戻すことで、利用者が接触する対象が均質化し、推薦の効用が低下し得ることをシミュレーションで示した[12]。システムは利用者の過去の行動を観察して推薦するが、その推薦自体が次の行動を変える。次回のモデルは、もともとの利用者の選好だけではなく、過去の推薦によって変化した行動も学習することになる。

Ray Jiang らも、推薦システムが利用者の信念や選好へ作用し、その変化した状態を次の推薦が再び利用する循環を理論的に分析している[13]。利用者とシステムを独立した二者として考えると、システムは利用者の選好を測定し、それに合う情報を返しているように見える。しかし反復的な推薦では、測定結果をもとに行った介入が測定対象そのものを変える。次の時点で観察される選好は、前の時点の推薦から独立ではない。

生成 AI との対話では、この循環に自然言語による問題設定まで加わる。推薦システムが主に「何を見せるか」を変えるのに対し、生成 AI は「なぜそれを重視すべきか」「他の候補はなぜ劣るのか」「この問題はどのように整理すべきか」まで説明できる。利用者がその説明へ反応すると、AI は反応内容を次の応答へ反映する。候補の選択、理由づけ、評価軸の更新が一つの対話の中で循環する。

たとえば AI に転職先を相談し、最初に「年収」「仕事内容」「通勤時間」の三軸が提示されたとする。利用者が通勤時間を重視すると答えれば、次の比較では通勤条件に適した候補が増える。その候補群を見て「やはり通勤が重要だ」と感じれば、三回目には通勤条件がさらに強い制約として扱われる。この収束が本人の生活条件を適切に反映しているなら有用である。一方、最初に提示されなかった「勤務時間の柔軟性」や「突発的な休暇への対応」が本来もっと重要だったなら、対話は一貫していても判断範囲は不足している。

循環の危険は、誤った回答が連続することだけではない。狭い問いに対して正しい回答が積み重なる場合にも生じる。AI が三つの評価軸について正確な情報を集め、各候補を公平に比較し、その範囲で最適な案を選んでいたとしても、第四の評価軸が最初から欠けていれば、対話が続くほど三軸の内部では精密になる。局所的な精度の上昇と、問題全体の適切さは同じではない。

この違いを見分けるには、変化の方向だけでなく、変化を生んだ入力を見る必要がある。新しい事実を知った結果として選好が変わったのか。未知の候補が追加されたことで比較結果が変わったのか。AI が同じ結論を別の表現で繰り返したことで確信だけが強まったのか。ある評価軸が説明から落ちたために、以後の比較で使われなくなったのか。選好の更新を評価するには、結果だけでなく、更新過程に入った情報の種類まで分ける必要がある。

変化の原因 起きていること 有用になり得る場合 失敗になり得る場合
新しい事実 知らなかった制約、費用、危険、性能などが判断材料へ追加される。 以前の判断に不足していた情報を補い、より現実的な選択へ更新できる。 一部の事実だけが選択的に提示されると、その範囲で判断が偏る。
新しい候補 従来考えていなかった手段や選択肢が比較対象へ加わる。 二択を離れ、より目的に適した案を選べる可能性が増える。 生成された候補だけを選択空間全体だとみなすと、未提示の可能性を探索しなくなる。
新しい評価軸 費用だけでなく保守性、安全性、回復可能性など別の価値が可視化される。 単一尺度による判断を避け、目的に合う複数条件を比較できる。 AI が示した軸だけを使い続けると、その枠外の価値が検討から消える。
反復された説明 同じ結論や評価軸が複数の応答で繰り返される。 複雑な理由を別の角度から確認し、理解を深められる。 新しい根拠が増えていなくても、接触回数によって確信だけが強まる可能性がある。
候補の絞り込み 過去の反応をもとに、次の生成対象が利用者の好みへ近づく。 不要な候補を減らし、実用的な要求へ短時間で収束できる。 初期の判断軸が不十分でも、その軸に沿った候補だけが残り、探索空間が狭くなる。

この表から、AI の影響を一律に減らす設計では足りないことが見える。候補を増やす影響と、候補を狭める影響は同じではない。新しい事実を追加することと、同じ結論を繰り返すことも違う。利用者の反応に適応すること自体には価値があるが、適応によって探索範囲が狭くなる場合には、別の経路から候補や評価軸を再投入する必要がある。

人間と AI の協働についても、「両者を組み合わせれば単独より良くなる」という単純な前提は置けない。Michelle Vaccaro、Abdullah Almaatouq、Thomas Malone は、人間単独、AI 単独、人間と AI の組み合わせを比較した 106 件の実験を対象に、系統的レビューとメタ分析を行った[14]。平均すると、人間と AI の組み合わせは人間単独を上回ったが、人間または AI のうち成績の良い側を一貫して上回ったわけではなかった。さらに、有限の候補から正解を選ぶ意思決定課題では、組み合わせによる損失が見られている。

この結果は、AI に影響されることを避ければよいという話にも、AI と相談すれば判断が改善するという話にもそのまま使えない。人間と AI の組み合わせ方によって結果が変わることを示している。人間が何を担当し、AI が何を担当し、AI の出力が人間の判断過程のどこへ入るかを分けなければ、「協働」という言葉だけでは性能も安全性も説明できない。

要求形成でも同じである。AI に候補探索を任せ、人間が目的との適合性を見る構成と、AI に候補探索から評価軸の設定まで任せ、人間が最後に一案を選ぶ構成では、人間が関与しているという外形は同じでも役割が違う。後者では、人間は選択の最終操作を行っていても、何を候補とし、何を良いとみなすかをすでに AI から受け取っている。

そこで必要になるのは、選好を変化させないことではなく、変化の階層を分けることである。具体的な案を見て「こちらの方がよい」と考え直すことは許容できる。新しい事実を得て優先順位を変更することもできる。AI が提示した比較から、以前は意識していなかった条件を要求へ追加することにも価値がある。これらは要求形成の内部で起きる変更である。

一方、その変更が妥当かを評価するための条件まで同時に動かすと、別の問題が生じる。AI が保守性を重視する案を提示し、同時に「この作業では保守性が最も重要です」と評価基準を置き、その基準によって自分の案を上位に評価すれば、候補生成と評価が同じ側へ閉じる。さらに、利用者がその説明を受け入れたことを根拠に「利用者は保守性を最優先している」と次回以降も推定すれば、最初の提案が後続の利用者像まで作る。

この循環を止めるには、すべてを固定する必要はない。固定すべきなのは、探索中の各案ではなく、探索を評価するために残す条件である。たとえば「本番障害の可能性を一定以上増やさない」「法令違反となる手段を候補にしない」「第三者への不可逆な不利益を自動実行しない」といった条件は、個々の案と同じ速度で変更する対象にはしない。具体的な実装方法や文章表現は柔軟に変えても、その外側に失敗条件と停止条件を残す。

この区別によって、AI との対話が持つ二つの性質を同時に扱える。ひとつは、本人がまだ知らない候補や評価軸を提示し、要求を豊かにできる性質である。もうひとつは、提示した候補や評価軸によって、次に観察する利用者の選好自体を変え得る性質である。前者だけを見れば適応を最大化したくなり、後者だけを見れば影響を最小化したくなる。しかし実際に必要なのは、適応を利用しながら、その適応が越えてはいけない境界を別に持つことである。

この地点まで来ると、要求を事前に固定せず、利用者と情報システムの関係の中で徐々に形成するという考え方が、生成 AI に固有の発想ではないことが見えてくる。情報システム研究では、利用者のコンテキストを固定入力として扱わず、継続的な相互作用の中で見出し、さらに新しく作り出すことまで含めたシステム観が以前から提案されている。次に接続する「なめらかなシステム」は、この論点を生成 AI より前の段階から明示的に扱っていた。

5. 要求を固定しないシステム観との接続

ここまで、生成 AI との対話から出発して、利用者の要求が必ずしも対話前から完成しているわけではなく、候補、比較軸、問題設定を受け取る過程で具体化し、ときには変化することを見てきた。この見方には、生成 AI の登場以前から情報システム研究の側に明確な接続先がある。2018 年に栗林健太郎、三宅悠介、松本亮介が提案した「なめらかなシステム」は、情報システムを、事前に与えられた要求へ正確に応答する装置としてだけ捉えず、利用者との継続的な関係そのものを含むシステムとして構想した[15]。

この研究が置いた出発点は二つある。第一に、情報システムが利用者にとって有用であるためには、利用者ごとの主観的な判断基準や選好を、システムの作動へ織り込む必要がある。第二に、その判断基準や選好は、システムを使い始める前から利用者自身に明確であるとは限らず、利用者と情報システムとのコミュニケーションを通じて事後的に形成される。この二つを組み合わせると、システム設計の対象が変わる。利用者が持っている要求を推定して適応するだけでは足りず、要求が具体化していく過程までシステムの一部として考える必要が生じる。

この違いは、同論文がコンテキスト・アウェアネスを評価する箇所に明確に現れている。位置情報や行動履歴から利用者の状況を推定し、それに応じた情報やサービスを提供する仕組みでは、基本的には「利用者に関するコンテキストが存在し、それをシステムが取得できれば適切なサービスを選べる」という構造になる。ところが論文は、利用者自身にも要求事項が不明確な場合があるため、コンテキストに沿ってサービスを提供するだけでは不十分であり、「利用者の要求そのものの形成に影響を及ぼすシステム」を構想する必要があると踏み込んでいる[15]。

ただし、2018 年論文の「コンテキスト」と、現在の大規模言語モデルでいう入力文脈やコンテキストウィンドウは同じものではない。前者は、利用者の状況、判断基準、選好など、利用者とシステムの関係を特徴づける情報を広く含む概念である。会話履歴を長く保持できることだけで「なめらかなシステム」が実現するわけではない。接続点は記憶容量ではなく、利用者に関する条件を固定値として扱わず、継続的な相互作用の中で変化するものとして捉えているところにある。

さらに注目すべきなのは、2018 年の定義が、利用者固有のコンテキストを「見出す」ことと「新たに創出する」ことを、一つの要件の中に置いている点である[15]。この二つは、本稿で区別してきた「発見」と「形成」にほぼ対応する。見出すのであれば、利用者の側にすでに何らかの選好や判断基準があり、継続的な相互作用を通じてそれが観察可能になる。創出するのであれば、相互作用そのものが新しいコンテキストを生み、利用者とシステムの関係を変える。

同じ論文の説明には、この二面性がそのまま残っている。利用者と情報システムの継続的な関係の中で、事前には明確でなかった選好が「徐々に明らかになっていく」と説明される一方、利用者へ明示的な操作を課さず「新たなコンテキストを創出する」とも説明される[15]。前者だけを読めば、システムは潜在していた選好を発見しているように見える。後者まで含めると、システムとの関係を通じて選好や判断条件そのものが形成される場合も射程に入る。

もう一つ、現在の AI 利用へ接続すると意味が大きくなる点がある。2018 年論文でいう「利用者」は、サービスを使うエンドユーザーだけではない。情報システムの開発運用者も利用者に含められている[15]。その理由として、開発運用者自身にも、その情報システムによって最終的に何を達成したいのかが事前に自明とは限らず、エンドユーザーに対して特権的な位置にあるわけではないことが述べられている。

2018 年論文は、この関係を、利用者と情報システムが互いに継続的な影響を及ぼし合う複合システムとして捉えている。情報システムは、人間同士のコミュニケーションを媒介するだけの装置ではなく、人間との相互作用を通じてコンテキストを創出し得る構成要素として置かれる[15]。このシステム観を採ると、「AI が人間に影響した」という現象を、外部の機械が独立した人間へ一方的に作用した出来事としてだけ説明する必要がなくなる。人間の出力がシステムを変え、システムの出力が人間を変え、その変化した人間が次の入力を返す循環全体が一つの対象になる。

2021 年の「なめらかなシステムと運用維持の未来」は、2018 年の三つの要件を引き継ぎながら、この関係を利用と運用の具体的な問題へ近づけている[16]。利用者固有のコンテキストを見出したり新たに創出したりすること、それを利用者へ明示的な操作として要求しないこと、得られたコンテキストに応じて適切なサービスを自動的に提供することが、再びシステムの要件として置かれる。

2021 年の整理で一段強くなるのは、コンテキストの創出だけでなく、それに伴うシステムの作動変更も「暗黙的かつ自動的」に行うべきだとされている点である[16]。利用者が自分の状態を毎回明示し、「現在はこの条件なので、この動作へ変更してほしい」と指定するのではない。継続的な関係からコンテキストを認識し、必要な振る舞いへ自動的に適応することで、利用者の操作負担や開発運用者の運用負担を減らす。この意味での「なめらかさ」は、要求入力とシステム作動の間にある明示的な操作を減らす方向を持っている。

同時に、2021 年の講演要旨では「相互の理解形成」という表現が使われている[16]。本稿では、この表現を、一方向に利用者の状態を認識して適応するだけではなく、継続的な関係の中で利用者側の認識や行動も変化し得る、より広い関係を示すものとして読む。

ここで「なめらかであるほど危険である」と一般化することはできない。明示的な設定を毎回要求すれば、利用者は自分でも言語化できない条件をシステムへ伝えられず、相互作用から要求を見つける利点を失う。反対に、すべてを暗黙的に推定し、推定結果に基づく適応まで自動化すると、利用者が気づかないまま選択環境が変わる可能性が増える。なめらかさは、単純に最大化すべき一つの性能ではなく、利用者の負担軽減と、形成過程を認識・訂正できる余地との間で設計する対象になる。

研究段階 システム観の拡張 利用者とシステムの関係 本稿から生じる問い
2018 年 利用者固有のコンテキストを固定入力とせず、継続的な関係の中で見出し、新たに創出する対象として扱う。 利用者と情報システムが互いに影響を及ぼし合い、事前に明確でない要求の形成までシステムの対象に含める。 見出された選好と、相互作用によって創出された選好を、どこまで区別できるのか。
2021 年 コンテキストの創出、認識、システムの作動変更を暗黙的かつ自動的に進める方向を明示する。 利用者と情報システムの相互理解を形成し、利用と運用の障壁を減らしながら適応的に振る舞う。 形成と適応が暗黙的になるほど、利用者は何が推定され、何が変更されたかをどのように認識し、訂正できるのか。
2025 年 固定されたコンテキストだけでなく、システムの目的と、その目的へ到達する手段も関係の中で生成されるものとして扱う。 利用者と情報システムが、固定された終局目的を一方から与える関係ではなく、継続的な関係の中で目的と手段を更新しながら行為する。 目的まで相互作用から生成されるなら、その目的を許容できるか判断する基準は、同じ相互作用の内側に置いてよいのか。

2025 年の「なめらかなシステムと運用維持の終わらぬ未来」では、この議論がさらに目的そのものへ進む[17]。同講演要旨は、古典ギリシャ時代から現代の AI エージェントまで、システムの目的が終局的で固定された目標として捉えられてきたという問題設定から始める。そのうえで、利用者自身がシステム利用前に自分の目的を明確に知覚しているとは限らない以上、情報システムが担う目的も、利用者との関係の中で現れ、継続的なコミュニケーションを通じて事後的に形成されると考える。

2025 年の講演要旨では、この前提から、目的への到達も固定された手順の実行ではなく、可変な手段を使う探索過程として捉え直される[17]。利用者固有の選好、環境、時間的変化が絡み合えば、同じ目的でも適切な手段は変わる。さらに目的そのものが変われば、以前は手段だった行為が不要になったり、別の目的が前面に出たりする。固定された目的と固定された手順の組を実行するシステムから、関係の変化に応じて目的と手段の両方を更新するシステムへ、設計対象が広がっている。

同要旨が現代の AI エージェントへ言及していることは、この議論を現在へ接続するうえで示唆的である。ただし、ここから特定の大規模言語モデルや、現在一般的なツール実行型エージェントの実装方式まで論文が規定していると読むべきではない。直接確認できるのは、利用者と情報システムの関係の中でコンテキストが暗黙的に見出され、それに応じて目的や手段が都度生成され、振る舞いが適応的に導かれるというシステム観である[17]。現在の生成 AI や AI エージェントとの具体的な対応関係は、そのシステム観を現在の技術条件へ当てはめたときに生じる本稿側の考察になる。

この区別を置くと、「なめらかなシステム」を生成 AI の先取りとして評価するだけでは足りないことも分かる。この研究系列の価値は、後の技術を予言したことではなく、利用者の要求、コンテキスト、目的を情報システムの外側に固定してから実装を始めるという前提を早い段階から外していたことにある。生成 AI の登場によって、その前提を外したときに何が起きるかを、対話の中で日常的に観察できるようになった。

その結果、本稿の問いも一段上へ移る。2018 年の「見出す」と「創出する」の区別だけなら、既存の選好と形成された選好をどう扱うかが中心になる。2025 年のように目的そのものが関係から形成されると考えるなら、何を最適化するかという基準まで相互作用の内部へ入る。AI が候補を作り、人間が選ぶという構図ではなく、何を候補にすべきか、何を良い結果とみなすか、何を目的として追うかまで関係の中で変化する。

ここで、本稿が前章までに置いた「上位の境界」という論点が必要になる。目的が変化すること自体を禁止すれば、利用者が対話を通じて「自分が本当に必要としていたのは別のものだった」と気づく余地を失う。一方、生成された目的を評価する基準まで同じ相互作用によって変更できるなら、目的形成を外から判断する条件がなくなる。目的 A を AI との対話から形成し、同じ対話が「A を最優先することが妥当である」という評価基準まで作れば、目的の生成と目的の正当化が閉じた循環になる。

この点では、2018 年から 2025 年までの研究系列と本稿は、同じ場所で終わるわけではない。なめらかなシステムは、利用者と情報システムとの関係からコンテキスト、目的、手段を形成し、利用や運用の障壁を減らしながら適応する方向を追っている。本稿がそこから取り出すのは、その適応を成立させる外側の条件である。ここで確認した 2018 年の定義と、2021 年・2025 年の講演要旨の範囲では、相互作用によって変更してよい目的と、その目的形成を拘束する条件を階層として分離する設計原理までは明示されていない。

この接続によって、前章まで扱ってきた生成 AI の現象を、単なる「AI に説得される」「AI に依存する」という問題から切り離せる。利用者の要求そのものが相互作用から形成されることには、情報システムとして積極的な価値がある。新しい候補を知り、自分の選好を見つけ、目的を修正できるからである。その価値を残したまま、どの変化をシステムへ許すかを決めることが次の設計課題になる。

そして AI エージェントでは、この課題が要求形成の内部だけで終わらない。対話の中で形成された目的や手段を、情報システム自身が外部の操作へ接続できるからである。目的を一緒に作ることと、その目的に基づいて行為する権限を渡すことは別の委任である。次に見るべきなのは、要求形成へ参加する AI が、その要求を現実の行為へ変換できるようになったとき、どこに新しい境界を置く必要があるかという問題である。

6. AI エージェントでは、形成された要求が行為につながる

対話 AI が文章、比較表、設計案を返すだけなら、前章までに扱った要求形成は、いったん人間の認知の内部で止まる。AI が「この案がよい」と提案しても、その提案を文書へ反映する、コードを書き換える、メールを送るといった次の操作には、別の主体が必要になる。人間が出力を読み、採否を決め、実際の操作を行うなら、要求が形成される過程と、その要求を現実へ反映する過程の間には人間の操作が挟まる。

AI エージェントでは、この間隔を縮めることができる。モデルへ検索、ファイル操作、コード編集、コマンド実行、外部サービスへの要求送信などの手段を与えれば、AI は途中の判断に応じて次の操作を選べる。最初の依頼から最終的な結果までを一回の回答生成として終えるのではなく、「現在の状態を読む」「次の行為を選ぶ」「結果を観察する」「その結果から次の行為を決める」という反復処理にできる。

エージェント化によって変わるのは、AI が使える機能の数だけではない。対話 AI では、AI の解釈と外部世界の状態の間に人間による実行が挟まりやすい。AI エージェントでは、AI が作った中間的な解釈が、そのまま次の環境変更の条件になり得る。要求形成、手段選択、実行、結果観察が一つの循環へ入るため、前章で扱った「目的が相互作用によって変わる」という性質が、そのまま外部への作用へ接続する。

たとえばソフトウェア修正を考える。人間が「この不具合を直してほしい」と依頼した時点では、要求はまだ粗い。AI がコードを読み、「原因は入力検証の不足である」と判断し、検証処理を追加する。この変更によって別のテストが失敗すれば、AI は「既存仕様との互換性も維持する必要がある」と要求を追加し、別の実装へ変更することができる。最初の依頼には書かれていなかった「既存仕様を維持する」という条件が、実行結果との相互作用によって途中から形成されている。

ここまでは、人間が対話しながら手動で修正を進める場合にも起こる。違いは、形成された新しい条件を、誰が次の操作へ変換するかにある。対話型 AI なら、「互換性を維持した方がよい」という提案を人間が読み、人間がファイルを修正する。エージェントが編集権限を持っていれば、その判断をもとに AI 自身が別のファイルを変更し、テストを実行し、その結果を見てさらに修正することができる。

Shunyu Yao らの ReAct は、大規模言語モデルによる推論と外部環境への行為を交互に進め、行為によって得た観察結果を次の推論へ戻す構成を示した[18]。一回の生成だけで最終回答へ到達するのではなく、途中で環境から情報を取得し、その情報に応じて次の行動を変える。この構造によって、モデルは最初の時点では不足していた情報を後から取得しながら処理を進められる。

Toolformer では、言語モデルが外部 API を利用する構成がさらに直接的に扱われている。Timo Schick らは、どの API をどの場面で呼び、どの引数を与え、その結果を後続の生成へ組み込むかをモデルが学習する方法を提案した[19]。ここでも外部ツールは、単なる追加情報源ではない。計算、検索、翻訳など、モデル単独では行わない処理を途中で利用し、その結果によって生成を変える。

これらの研究から現在のすべての AI エージェント設計を直接導けるわけではないが、推論と行為を反復させるという構造は、現在のエージェントを考える基礎になる。AI が最初に作った計画を最後まで固定して実行するのではなく、ツールの実行結果を読み、その結果に合わせて次の行動を変える。環境が予想と違えば計画を修正し、不足する情報があれば調べ、失敗すれば別の手段を選べる。

この循環では、要求形成が実行前の一回で終わらない。実行そのものが新しい情報源になる。コードを書き換えた結果としてテストが失敗すれば、「テストを通す」という条件だけでなく、「既存の挙動を壊さない」という要求が具体化する。外部 API を呼び出して対象が存在しないと分かれば、「別の対象を探す」という手段へ切り替わる。途中の行為が環境を観察する実験として働き、その結果が次の要求形成へ戻る。

この性質は、前章で扱った「目的や手段が都度生成される」というシステム観とよく接続する。目的を最初から完全に固定せず、環境との相互作用によって具体化するなら、途中で得た結果に応じて計画を変えられることは利点になる。最初の計画が不適切でも、実際の状態を見て修正できるからである。すべての条件を事前に列挙しなければ動けないシステムより、未知の状態へ対応しやすい。

一方、この適応性によって、最初の依頼と最終的な行為の間の距離も長くなる。「この不具合を直す」という依頼から始めて、AI が依存関係を調べ、設定ファイルを変更し、テストを追加し、関連する別のコードまで修正することがある。個々の変更には前の結果から導かれる理由があるとしても、人間が最初に明示的に許可した対象と、最終的に変更された対象は一致しない場合がある。

ここで「AI が命令に従ったか」だけを確認しても足りない。最初の命令が抽象的であるほど、その命令をどのような具体的行為へ展開するかには解釈が入る。「不具合を直す」という目的から、どのファイルを変更してよいか、テストを追加してよいか、依存パッケージを更新してよいか、本番環境を再起動してよいかは直接には決まらない。目的と個々の行為の間には、手段選択という別の判断が存在する。

目的と手段への権限を同一視すると、目的への同意が手段への包括的な同意として扱われる。「バックアップを復旧してほしい」という目的に同意したことと、既存データを削除してよいことは同じではない。「問い合わせに対応してほしい」という目的と、顧客へ自動的に返信してよいことも同じではない。「コードを直してほしい」という目的と、本番へ自動配備してよいことも別である。目的が正当でも、そこへ到達するすべての手段が許容されるわけではない。

さらに、外部への作用には可逆性の違いがある。検索結果を読むことは、通常は外部状態を大きく変えない。ローカルの作業用ファイルを書き換える場合も、履歴やバックアップがあれば元へ戻しやすい。メール送信、公開投稿、課金処理、本番データの削除、外部サービス上の設定変更などは、実行後に完全には取り消せない場合がある。同じ「ツール利用」であっても、失敗したときの回復可能性は異なる。

行為の種類 例 失敗時の特徴 要求形成との関係
読み取り 検索、ファイル参照、状態確認、ログ取得などを行う。 誤った情報を取得する危険はあるが、対象そのものを変更しない場合が多い。 新しい情報を取得し、要求や手段を具体化するために使いやすい。
可逆的な変更 作業ブランチ上のコード変更、一時ファイル作成、下書き生成などを行う。 履歴や隔離環境があれば、失敗後に元へ戻せる場合が多い。 試行錯誤を通じて要求を探索する手段として使いやすい。
外部への送信 メール送信、投稿、通知、外部 API への更新要求などを行う。 相手へ届いた情報や公開された内容を完全には回収できない場合がある。 途中で形成された判断をそのまま外部へ反映すると、後から要求が変わっても影響が残る。
不可逆性の高い変更 データ削除、課金、契約処理、本番設定変更などを行う。 訂正に追加費用や別手続きが必要になり、完全な復旧ができない場合もある。 探索中の仮説や暫定的な要求を、そのまま実行条件に使うことが難しい。

要求形成にとって、可逆性は単なる安全機能ではない。探索の自由度を決める条件でもある。作業用のコードであれば、複数案を試して失敗し、元へ戻しながら要求を具体化できる。外部へ送信するメールでは、同じ方法を取れない。一度送った文面を見て「本当に伝えたかったことは違った」と気づいても、最初の送信をなかったことにはできない。要求が形成途中であるほど、不可逆な行為へ直接接続することの意味は大きくなる。

判断と実行許可を分離する実装例として、OpenAI の Agents SDK では、モデルへツールを与えて反復的な処理を構成できる一方、承認を必要とするツール実行では処理を中断し、人間の判断後に再開する構成を取れる[20]。モデルが「次にこの操作が必要だ」と判断することと、その操作を実際に許可することを分離できる。

この分離は、AI が判断できないから人間が代わりに正解を出すという構造ではない。AI の提案が合理的でも、実行権限は別の条件に従わせることができる。モデルは「このファイルを削除すれば問題を解決できる」と正しく判断しているかもしれない。それでも、「削除は人間の承認なしには行わない」という制約を置ける。目的達成に必要かどうかという判断と、その行為を許可するかという判断を異なる層に分けている。

ここで前章までの「発見か形成か」という問いも、実行系では別の意味を持つ。AI との対話によって利用者が「この方針で進めたい」と考えるようになったとして、その方針が以前から潜在していたものなのか、AI の提案によって形成されたものなのかを完全には判定できない。対話だけなら、その曖昧さを残したままさらに考えることができる。しかしエージェントがその方針を即座に外部操作へ変換すると、形成途中の選好が現実の状態へ固定される。

たとえば AI が複数の修正方法を検討し、「依存パッケージを最新版へ更新する方法が最も簡単だ」と結論したとする。人間も説明を読んで納得した。しかし、その納得自体が AI の提示した候補集合と評価軸の中で形成された可能性は、前章までに見た通りである。その直後に AI が依存関係を更新し、本番へ反映するなら、人間が別の設計を検討する余地は急速に小さくなる。判断の入口を AI が作ることと、AI が実行主体になることが同じ処理系でつながるためである。

ここには、二種類の失敗を分けて考える必要がある。一つは、AI の判断そのものが誤っており、不適切な操作を選ぶ失敗である。もう一つは、判断としては合理的でも、まだ探索中の要求を確定済みの要求として扱い、実行を早く進めすぎる失敗である。後者では、モデルの推論精度を上げても問題が消えない。人間側の目的や選好がまだ変化し得るからである。

この違いは、「安全な AI エージェント」を単に誤操作率の低いエージェントとして定義できない理由になる。操作が技術的に正しくても、委任範囲を越えていれば問題になる。コマンドが正しい構文で実行され、期待した状態変更が起きても、その変更を自動化してよいという権限がなければ、実行の正しさと運用上の正当性は一致しない。

また、エージェントが途中で目的を修正できるほど、この区別は強くなる。最初に「障害原因を調べる」と依頼しただけなのに、AI が調査結果から「設定を修正すれば直る」と判断し、そのまま変更へ進む場合を考える。調査という読み取り中心の委任から、修正という状態変更の委任へ、途中で作業の種類が変わっている。目的の自然な発展に見えても、権限の範囲まで自動的に拡張されたことになる。

人間同士でも似た区別は存在する。調査を依頼した担当者が、原因を見つけたからといって自動的に本番変更の権限まで得るわけではない。原因分析、修正案の作成、変更承認、本番作業を別の役割や手続きに分けるのは、各工程で必要な判断と影響範囲が違うからである。AI エージェントでも、調査能力と変更能力を一つの「賢さ」としてまとめる理由はない。

生成 AI では、この役割境界が会話上は見えにくくなりやすい。「調べて」「直して」「対応して」と自然言語で依頼できるためである。人間にとっては一つの目的に見えても、システム上は、情報取得、原因推定、変更案作成、状態変更、外部通知という異なる種類の行為に分解できる。それぞれで必要な権限、失敗時の影響、可逆性が異なる。

委任するもの AI に許す判断 同時に許可したことにはならないもの
調査 必要な資料や状態を調べ、原因候補を整理する。 原因候補に基づいて対象を自動変更する権限までは含まれない。
修正案作成 複数の変更方法を比較し、具体的な差分を作る。 作成した差分を本番環境へ適用する権限までは含まれない。
実行 許可された対象について、定められた操作を行う。 実行中に見つかった別の問題へ権限範囲を拡張することまでは含まれない。
目的の再解釈 途中の情報から、当初要求の不足や別の達成手段を提案する。 再解釈した目的を自動的に新しい実行権限へ変換することまでは含まれない。

この分離を置けば、AI の適応性を失わずに実行範囲だけを制御できる。AI は調査中に「当初想定していた原因ではない」と判断してよい。別の修正案を作ってよい。目的の不足を指摘してもよい。しかし、その判断によって自動的に権限の境界まで広げる必要はない。推論を柔軟にしながら、実行可能な行為は別の条件で拘束できる。

この構造から、AI エージェントにおける要求形成の問題が明確になる。対話型 AI では、AI が人間の選好形成へ関与しても、最終的な行為へ移す地点で人間が別の判断を挟める。AI エージェントでは、形成された目的、選択された手段、実行権限が一つの反復処理に接続され得る。そのため、要求形成の自由度をそのまま行為の自由度へ変換すると、途中で変化した目的に合わせて権限まで事実上拡張される。

求められるのは、AI に目的形成へ参加させないことではない。途中の観察から「本当に必要なのは別の修正ではないか」と提案できることは、エージェントの有用性に直結する。固定された手順しか実行できなければ、環境の変化へ適応する利点を失う。分離すべきなのは、目的を変更できる認知上の自由度と、その目的に基づいて外部状態を変更できる権限である。

ここで本稿の中心命題が、抽象的な要求論から具体的なシステム設計へ移る。AI が形成に参加した要求を、どこまで実行へ接続してよいのか。その答えは「人間が最後に確認する」という一文だけでは足りない。読み取りと変更、可逆的な試行と不可逆な実行、目的の再解釈と権限の拡張を分け、それぞれを別の境界で制御する必要がある。

次に必要になるのは、その境界をどの階層へ置くかという整理である。実装方法、調査順序、文章表現のような下位の要求は、AI との相互作用によって柔軟に変更できる。一方、どの失敗を許容しないか、どの種類の操作に承認を要求するか、どの権限を越えてはならないかという条件まで同じ相互作用に委ねると、目的形成と権限制御が再び一つの循環へ入る。要求を動かせることと、その要求が越えてよい範囲を動かせることを分ける必要がある。

7. 下位の要求は動かしてよいが、上位の境界は別に置く

前章までの議論から、AI エージェントに必要なのは、目的を一度決めたら最後まで変更しない硬直した実行ではないことが分かる。実際の作業では、調査によって前提が変わり、実行結果から新しい制約が見つかり、当初の手段より適切な方法が判明する。そこで要求をすべて事前に固定すれば、AI が環境を観察しながら適応する利点を失う。一方、目的、評価基準、禁止条件、権限まで同じ速度で変更可能にすると、AI の提案を何によって評価し、どこで止めるかという基準まで相互作用の内部へ入ってしまう。

この二つを分けるには、要求を一枚の仕様書として扱わない方がよい。「何を実現したいか」という目的、「どの方法で実現するか」という手段、「どの結果を良いとみなすか」という評価基準、「どの状態を許容しないか」という禁止条件、「どの操作まで実行してよいか」という権限は、それぞれ役割が違う。すべてが要求の一部であっても、変更可能性まで同じにする必要はない。

ここでいう「上位」は、抽象度が高いという意味ではない。下位の判断を評価し、変更可能な範囲を決める役割を持つという意味で上位である。あるタスクでは「顧客への送信前に人間が確認する」という具体的な条件が、文章内容や送信時刻より上位になる。別のタスクでは「このリポジトリ以外を変更しない」というファイル範囲の制約が、実装方式より上位になる。上位境界には、人間や組織が判断基準として保持する規範的・制度的な条件と、権限や検査によって実行系で強制する条件がある。共通するのは、下位の最適化によって自動的に上書きさせないという役割である。

文章作成なら、この違いは比較的分かりやすい。AI と構成を検討する途中で、説明順序を変える、例を差し替える、重複した段落を削るといった判断は柔軟に変更できる。最初の構成へ固執する理由はない。しかし、「確認できない事実を事実として書かない」「引用先が支えていない主張へ引用を付けない」といった条件まで、文章を完成させやすいという理由で緩めることは別である。前者は成果物を良くするための探索対象であり、後者は探索結果を採用できるかを判断する条件である。

ソフトウェア開発でも同じ区別が成立する。AI が既存コードを読み、当初案より責務を分割した方がよいと判断することは許容できる。途中で別のライブラリを使う案へ変更したり、テスト結果からデータ構造を見直したりすることもできる。一方、「秘密情報を外部サービスへ送信しない」「本番環境への変更には承認を要求する」「指定されたリポジトリの外を変更しない」といった条件は、実装案の便利さと同じ基準で比較する対象ではない。

この差を曖昧にすると、AI は与えられた制約を、目的達成を妨げる一つの条件として再評価できてしまう。たとえば「本番変更には承認が必要」という条件を、速度、実装量、成功確率と同じ評価表へ入れたとする。緊急性が高い場面で AI が「承認を待たない方が復旧時間を短縮できる」と評価すれば、目的達成の観点では合理的に見える。しかし、承認条件は復旧速度と競争する選択肢として置かれたものではない。何を自動実行してよいかを決める権限境界として置かれている。

ここでいう上位の境界とは、常に抽象的な「最終目的」を意味するわけではない。かなり具体的な運用条件も含む。どの種類のデータを外部へ送ってよいか。どのファイルを変更してよいか。どの金額を超えた処理に承認が必要か。どの操作は試行環境だけで許可するか。どの失敗が発生したら自動処理を停止するか。これらは作業内容に応じて設計されるが、個々の生成結果に合わせてモデル自身が自由に変更する条件にはしない。

層 役割 AI との相互作用で変更できる例 別の境界として保持する例
表現 同じ内容をどのような形で伝えるかを決める。 文章の順序、説明例、言い換え、画面上の提示方法を比較しながら変更できる。 虚偽の事実を入れない、根拠のない断定を採用しないといった条件は別に保持する。
手段 目的へ到達する具体的な方法を決める。 データ構造、処理の分割、利用するライブラリ、調査方法などを探索できる。 秘密情報を外部へ送らない、許可されていないサービスを利用しないといった条件は探索対象にしない。
作業計画 どの順序で調査、変更、確認を進めるかを決める。 途中の結果に応じて調査順序、テスト順序、実装順序を変更できる。 本番変更前の承認、停止条件、実行可能時間帯などは別の制御として保持する。
個別の選好 複数の許容可能な候補の間で何を優先するかを決める。 読みやすさ、速度、操作感、実装量などの重みを比較の中で更新できる。 法令違反、第三者への重大な不利益、許容不能な安全上の失敗などは単なる重み付けへ落とさない。
権限 形成された判断をどこまで外部行為へ変換してよいかを決める。 許可された範囲内で、どのツールをどの順序で使うかは変更できる。 利用できる資格情報、変更対象、承認が必要な操作の範囲はモデルの判断だけでは拡張しない。

層ごとに、適切な変更頻度も異なる。文章の例示は数分の対話で何度変わってもよい。実装方式も、テスト結果を見ながら変更できる。一方、組織として許容できないデータ流出や、本番変更の承認条件まで、一回の対話ごとに変える設計にはしない。下位ほど状況への適応を優先し、上位ほど変更手続きそのものを重くすることで、探索と統制を両立できる。

上位の条件が絶対に永久固定されるという意味でもない。運用方針が不合理なら、人間や組織は変更できる。法令が変われば禁止条件を修正する必要もある。システムの利用範囲が変われば権限設計も見直される。ただし、その変更は「現在のタスクをうまく終わらせるために AI が自分で書き換えること」とは分ける必要がある。変更可能であることと、変更権限を実行主体自身へ与えることは別である。

これはオペレーティングシステムの権限管理にも似ている。あるプログラムが目的を達成するために管理者権限を必要としているからといって、そのプログラム自身が管理者権限を付与できるようにはしない。必要性を判断する処理と、権限を付与する処理を分離するからこそ、プログラムが自分の目的に合わせて境界を消すことを防げる。AI エージェントでも、モデルが「この操作が必要である」と推論できることと、「だから実行してよい」という権限は別の情報として扱う必要がある。

自動化研究では、委任を一つの尺度で扱わず、どの機能をどの程度自動化するかを分ける考え方が以前から存在する。Raja Parasuraman、Thomas B. Sheridan、Christopher D. Wickens は、自動化の対象を情報取得、情報分析、意思決定と行為選択、行為の実行という異なる機能へ分け、それぞれについて異なる自動化水準を考える枠組みを提示した[21]。情報を自動取得できるからといって、分析結果の採用や最終操作まで同じ水準で自動化する必然性はない。

現在の AI エージェントへ置き換えると、ログの収集を完全自動化し、原因候補の分析も AI に任せながら、本番変更だけは承認制にする構成が考えられる。あるいは、コード修正とテストまで自動化し、外部公開や配備を別の工程へ残すこともできる。このような分離は AI の能力不足を補うためだけにあるのではない。各工程で、誤ったときに生じる影響と必要な責任が違うからである。

特に、情報取得と外部行為では失敗の性質が違う。誤ったログを読めば分析をやり直せる可能性がある。作業用ブランチ上のコード変更なら履歴から戻せる。顧客へのメール送信、課金、本番データの削除では、同じようには戻せない。前章で見た可逆性の差を考えると、自動化水準を「AI がその操作を正しくできる確率」だけで決めることはできない。失敗した場合の回復可能性まで含めて境界を置く必要がある。

人間を最終段階へ置けば、この問題が自動的に解決するわけでもない。Linda J. Skitka、Kathleen L. Mosier、Mark Burdick は、自動化されたシステムから得た助言に人間が依存し、システム側の誤りを見落とすオートメーションバイアスを実験的に扱った[22]。人間が形式上は意思決定者として残っていても、先行する自動化結果を十分に再検討しなければ、承認操作が独立した判断として機能しない場合がある。

この問題は、生成 AI ではさらに見えにくくなり得る。従来の自動化システムが「推奨値 72」と表示する場合、人間は少なくとも機械から助言を受けていることを認識しやすい。生成 AI は、結論だけでなく、理由、反論、比較、注意事項まで自然な文章で提示する。人間が内容を読み、部分的に修正し、質問も返していれば、自分で十分に考えた感覚を持ちやすい。しかし第 2 章と第 3 章で見た通り、問い、候補、比較軸まで AI が先に形成しているなら、人間が後から多くの文章を読んだことと、判断枠を独立に検討したことは同じではない。

Ben Green と Yiling Chen は、アルゴリズムを意思決定過程へ組み込み、人間が最終判断を行う構成について、その効果と限界を実験的に検討している[23]。人間を処理系に残すという形式だけでは、望ましい判断が保証されない。人間がアルゴリズムの助言をどのように理解し、どの場面で訂正し、どの程度独立した情報を持っているかによって、同じ構成でも結果は変わる。

そのため、上位境界を設けるときには、「最後に人間へ確認画面を出す」という一点だけに依存しない方がよい。AI が変更できない実行権限として実装する。一定範囲を超える操作では処理を停止する。実行対象を事前に限定する。読み取り権限と書き込み権限を分ける。試行環境と本番環境を分離する。こうした仕組みなら、人間が AI の説明に強く納得していたとしても、同意だけで権限境界が消えることを防げる。

自然言語で与える指示と、実際の制約にも役割分担が生じる。「秘密情報を外部へ送らない」「承認前に本番変更しない」と AI へ文章で伝えることには意味がある。モデルが計画を作る段階で不適切な操作を候補から外しやすくなるからである。しかし、その文章を覚えていることと、すべての実行時に必ず制約として適用できることは同じではない。最終的に越えてはならない境界であれば、モデルの生成だけではなく、実行系の権限や検査でも拘束する必要がある。

つまり、上位境界とは「AI に強く言い聞かせた指示」ではない。モデルが別の結論を出しても越えられない条件である。AI が「本番変更した方がよい」と提案する自由は残せる。その提案があっても、承認がなければ本番変更用のツールを実行できないようにする。AI が「この外部サービスを使えば早い」と説明することもできる。それでも、そのサービスへ接続する資格情報が与えられていなければ実行はできない。推論の自由度と作用の自由度を別にする。

一方、すべての操作へ承認を要求すればよいわけでもない。ファイルを一つ読むたびに確認し、テストを一つ実行するたびに停止し、次の調査項目ごとに承認を求めれば、エージェントによる反復処理の利点が失われる。承認の回数が増えすぎれば、人間も内容を精査せず機械的に許可するようになり、確認操作そのものが形骸化する可能性がある。

そのため、どこに摩擦を置くかも設計対象になる。Zana Buçinca、Maja Barbara Malaya、Krzysztof Z. Gajos は、AI 支援による判断で、AI の回答を直ちに受け入れず、人間に先に考えさせるような認知的な介入によって、誤った AI への過度な依存を減らせることを実験で示した[24]。同時に、こうした介入は利用者の主観的な使いやすさを下げる場合がある。摩擦を増やせば安全になるという単純な関係ではなく、どの地点で人間の独立した判断を必要とするかを選ぶ必要がある。

この結果は、「なめらかさ」をどこまで求めるかという前章の論点とも接続する。選択肢を探す段階では、余計な確認なしに AI が複数案を生成できる方がよい。試行環境で可逆的な変更を繰り返す場合も、毎回停止させる必要は小さい。一方、探索結果を外部へ公開する、第三者へ送信する、本番状態を変更するという地点では、あえて流れを切る意味が生じる。利用者の操作負担を減らすことと、すべての境界を消すことは同じではない。

境界も永遠に不変ではない。しかし、現在のタスクを遂行しているエージェント自身が、そのタスクを完了するために境界を変更できる構造にはしない。これは「AI は信用できない」という人格的な評価ではなく、制御対象と制御条件を同じ主体へまとめないという設計上の分離である。

Saleema Amershi らが整理した人間と AI の相互作用設計でも、利用者がシステムの状態や能力を適切に理解し、必要に応じて訂正し、制御できることが複数の指針として位置づけられている[25]。適応的な AI では、利用者の入力を受けて振る舞いが変わる。そのため、変化することだけでなく、変化した結果を利用者が把握できること、誤った適応を訂正できること、不要になった適応を解除できることも必要になる。

この点を要求形成へ戻すと、上位境界には「禁止する条件」だけでなく、「訂正できる条件」も含まれる。AI が利用者について「簡潔な回答を好む」と推定することは構わない。しかし、その推定が永続的にすべての応答へ適用され、利用者自身が変更できないなら、過去の相互作用から形成された選好が将来の選択肢を狭め続ける。適応させる領域では、適応内容を後から確認し、解除し、別の状態へ更新できる必要がある。

また、利用者の選好と組織上の制約が衝突する場合には、両者を同じ「好み」として統合しない方がよい。利用者が「確認を省いて早く実行したい」と望んでも、本番変更に承認が必要という組織条件があるなら、後者は単なる低い優先順位の選好ではない。AI が利用者の満足度を最大化しようとしても、組織が設定した権限境界を上書きする理由にはならない。利用者への適応と制度への適合は、異なる階層の条件として扱う必要がある。

この階層を持たないシステムでは、すべての条件が一つの最適化問題へ押し込まれやすい。速度、安全性、利用者満足度、費用、法令遵守、権限制限が一つの評価表へ並び、状況に応じて重みを変える設計を考えると分かりやすい。速度を少し上げるために安全性を少し下げるという比較は場面によって成立する。しかし、法令違反を少し許容すれば速度が大幅に上がる、という比較を同じ方法で処理することはできない。ある条件は効用の重みではなく、候補そのものを不許可にする境界として扱う必要がある。

これは、すべての価値を完全に階層化できるという意味でもない。安全性と可用性が衝突する場合のように、上位条件同士にも判断が必要になる。緊急時には通常とは異なる権限を使う制度もあり得る。しかし、その場合でも「AI が目の前の目的から自動的に例外を作る」のではなく、どの条件で例外を認め、誰がその判断を行い、どの記録を残すかという別の規則が必要になる。

つまり、上位境界は判断をなくす仕組みではない。判断する場所を分ける仕組みである。AI は具体的な候補を探索し、状況に応じて手段を変える。人間や組織は、どの範囲でその探索を許し、どの種類の作用には追加判断を要求するかを決める。両方を一つの対話へ溶かさないことで、AI の適応性を使いながら、適応そのものを制御対象として残せる。

この区別を本稿の中心命題へ戻すと、下位の要求は相互作用から生まれてよい。文章の構成、実装手段、調査順序、個別の選好は、AI が提示する候補を見ながら変化できる。そこまで固定すれば、対話を通じて要求を見つけるという利点を失う。

一方、相互作用そのものを支配する条件まで同じ方法で変化させることはできない。どの種類の結果を許容しないか、どの権限を与えるか、どの操作で停止するか、何を外部へ作用させる前に承認するかという境界は、個々の提案を生成する過程とは分離する必要がある。AI が自分の提案を作り、その提案に合わせて評価基準を変え、さらに実行権限まで拡張できるなら、提案を評価し制御する外部の基準が失われるからである。

短く言えば、コンテキストや具体的な要求は適応させてよいが、制約まで同じ適応対象にはしない。AI と一緒に「どの案がよいか」を探すことはできる。しかし、「どの案まで候補として許されるか」「どの行為まで自動実行してよいか」を、生成された案の都合に合わせて更新し続ける構造にはしない。この分離によって初めて、要求形成の柔軟性と、外部作用に対する統制を同時に保てる。

この地点から見ると、「最終判断は人間」という表現にも不足が見えてくる。上位境界が必要なのは、最後の一回だけではない。AI が問いを作る前、候補を絞る途中、外部行為へ移る地点、権限を越えようとする地点に、それぞれ異なる境界がある。人間に残すべきものを「最後に承認ボタンを押すこと」と捉えるだけでは、AI がその承認に至る判断条件そのものを形成している場合を扱えない。次章では、この点から、人間の役割を採用の最終工程ではなく、要求形成と実行を囲む境界の設計として捉え直す。

8. 人間に残すのは、最後の承認より前にある

「最終判断は人間が行う」という原則は、AI を業務や意思決定へ組み込むときに繰り返し使われる。しかし、本稿でここまで見てきた要求形成の問題を踏まえると、この原則だけでは境界を置く場所が遅すぎる。AI が問いを切り、候補を作り、比較軸を置き、その軸に沿って利点と欠点を説明し、推奨順位まで提示したあとで、人間が最後に一つを選んだとしても、判断を成立させる主要な条件がすでに AI との相互作用から形成されている可能性がある。最後に操作した主体と、何を選択肢とし、何を良い結果とみなし、どの理由を重視するかを形成した主体は同じとは限らない。

ソフトウェア開発でも同じである。AI が不具合修正について三案を作り、実装量、性能、保守性を比較し、最も変更量が少ない案を推奨する。人間が差分を読み、テスト結果を確認して採用すれば、「人間がレビューした」と言える。しかし、障害時の切り戻し可能性や既存運用への影響が比較軸から抜けていたなら、レビューは AI が作った判断枠の中で精密に行われただけかもしれない。判断の質は、最終的に誰が承認したかだけではなく、承認に至るまで何を検討対象へ入れたかによって決まる。

人間の関与を工程ごとに分けると、少なくとも複数の位置がある。最初に目的を定める。AI が生成した候補を検討する。候補を比較する基準を決める。外部へ作用する前に許可する。実行結果を見て停止や修正を判断する。これらはすべて「人間が関与した」と表現できるが、役割は異なる。最後の一か所だけ人間を残しても、それ以前の工程まで人間側に残ったことにはならない。

人間が関与する位置 人間が担う判断 AI に委ねすぎた場合に失われるもの
目的設定 何を達成し、何を問題として扱うかを決める。 AI が切り出した課題を、そのまま解くべき課題だと受け入れやすくなる。
評価基準設定 候補を何によって比較し、どの失敗を許容しないかを決める。 AI が生成した案を、AI 自身が生成した基準によって評価する閉じた構造になる。
候補評価 事実、推論、欠落、影響範囲を確認し、採否を判断する。 流暢な説明や推奨順位を、検証済みの判断と取り違えやすくなる。
実行許可 形成された判断を外部状態の変更へ進めてよいかを決める。 探索中の仮説や暫定的な要求が、そのまま不可逆な行為へ変換される。
停止と修正 結果が想定と違うときに処理を止め、目的や手段を見直す。 一度始まった自動処理が、途中で形成された目的に沿って権限範囲を広げ続ける可能性がある。

「最終判断」という一語では、人間の役割を表現しきれない。最終判断を実行許可だけと捉えるなら、目的設定や評価基準設定がその前に AI へ移っていても、形式上は人間中心に見える。反対に、下位の候補生成や比較作業を広く AI へ任せても、目的、禁止条件、権限境界を人間や組織側に残せば、AI の能力を大きく利用しながら上位の制御を保持できる。問うべきなのは、人間がいるかどうかではなく、どの種類の判断がどこに残っているかである。

自律システムに対する「意味のある人間の制御」という議論は、この問題を考えるための一つの補助線になる。Filippo Santoni de Sio と Jeroen van den Hoven は、人間が形式的に処理へ介在していることだけでは十分ではなく、システムの挙動が人間側の理由や意図と適切に結びつき、その結果について責任を帰属できる関係が必要だと論じている[26]。この議論を生成 AI へそのまま移す必要はないが、人間による操作の存在と、実質的な制御の存在を分けている点は本稿の問題と重なる。

人間が最後に承認ボタンを押していても、その承認が実質的な判断になっているとは限らない。AI が推奨案を一つに絞り、長い理由説明を付け、人間にはその案を承認するか拒否するかだけが残されている場合を考える。拒否した後に別案を作る時間も情報もなく、比較に必要な一次資料も AI の要約以外には提示されていなければ、人間は形式的な拒否権を持っていても独立した判断材料を十分に持っていない。制御可能性は、ボタンの有無だけでは測れない。

運用上の枠組みも、人間の関与を単なる最終操作としては扱っていない。NIST の AI リスク管理枠組みは、AI システムを組織の中で利用するとき、人間と AI の構成における役割、責任、監督を明確にすることを求めている[27]。ここで必要とされるのは、AI が望ましい出力を返すことへの期待だけではない。誰が監督し、誰が判断し、どの責任をどの役割へ割り当てるかを、組織上の方針と手順として持つことである。

欧州連合の AI Act 第 14 条も、高リスク AI システムについて、人間による監督を独立した要件として置いている[28]。監督を設ける目的は、AI システムの利用によって健康、安全、基本権に生じ得るリスクを防止または最小化することにある。ここでも、モデル自身へ「安全に振る舞え」と指示するだけでは完結しない。AI の出力や挙動を人間が理解し、必要に応じて介入できる構造をシステム側に持たせる。

NIST と AI Act は対象も法的性質も異なるため、一つの制度としてまとめることはできない。それでも、本稿との接続点は共通している。AI の振る舞いを制御する条件を、AI の生成過程だけに埋め込まないことである。役割、責任、監督、停止可能性を、モデルとは別の制度やシステム構成として持つ。この分離は、前章で述べた「要求形成の内側」と「その外側の境界」を実装や運用へ落とすときの基本形になる。

既稿「AI に任せる前に、人間が残すべき判断」で扱った問題も、ここへ接続する。既稿では、AI に作業を渡す前に、人間が問いの切り方、判断軸、優先順位、任せない領域を決める必要を論じた[29]。そこで焦点にしたのは、AI より速く答えを作ることではなく、AI が生成した答えを評価する基準を人間側に残すことだった。

本稿の議論を重ねると、その必要性を別の角度から説明できる。AI が単に与えられた問いへ答えるだけなら、判断軸を人間側へ残す理由は、出力を正しく評価するためだと説明できる。しかし AI との相互作用が問い、候補、選好、判断基準そのものを変化させるなら、判断軸を外側へ残す理由はさらに強くなる。評価基準まで対話の中で変更され続ければ、AI の出力を評価する基準と、AI の出力によって形成された基準が区別できなくなるからである。

既稿「AI の答えは、採用されたときに責任になる」では、AI の出力が生成された時点ではまだ素材や候補であり、人間や組織が文書、コード、説明、意思決定へ採用した地点で、人間側の判断になると整理した[30]。この区別は本稿でも維持できる。AI が何かを提案しただけで、その結果に対する社会的な責任が自動的に AI へ移るわけではない。誰が採用し、どのように実行したかを見る必要がある。

ただし、本稿で扱った要求形成を加えると、採用の前段階をさらに分解する必要がある。AI が候補 A、B、C を作り、人間が B を採用したとする。採用地点だけを見れば、人間が B を選んだ。しかし、A、B、C 以外の候補を考える必要がないと判断したのは誰か。B を評価する比較軸を作ったのは誰か。その比較軸の優先順位は、対話前から人間が持っていたのか、AI との対話から形成されたのか。採用責任を考えるなら、採用に使われた判断条件まで遡る必要がある。

また、境界は人間個人の注意力だけに依存させない方がよい。人間は疲れる。大量の承認要求が続けば、内容を確認せず許可するようになることもある。AI の説明が十分に流暢なら、別の情報源へ戻らず、その説明だけで判断したくなることもある。前章までに見た通り、人間自身も AI との相互作用によって判断条件を変える存在である。「最後に人間がいるから安全」という考えは、人間を固定された完全な監督者として扱う点でも不十分である。

ここで、人間に残す役割を「AI を常に監視すること」と捉える必要もない。人間がすべてのツール呼び出しを逐一確認するなら、AI エージェントによる反復処理の利点は小さくなる。人間が担うべきなのは、機械と同じ速度で一件ずつ操作を追うことではなく、どこまで自動化してよいかという境界を設計し、その境界を越える地点で判断できるようにすることである。

「人間に何が残るのか」という問いへの答えも、ここで変わる。AI が文章を作れるなら、人間が文章を速く書くことを残す必要はない。AI が候補を大量に比較できるなら、人間がすべての候補を手作業で列挙する必要もない。AI がコードを書けるなら、人間がすべての実装行を直接入力することを人間性の証明にする必要もない。処理の多くは外へ移せる。

人間や組織に残るのは、どの処理を外へ移してよいかを決めること、その処理によって何を変えてよいかを決めること、失敗したときにどこで止めるかを決めること、結果を採用したときにその判断を引き受けることである。これらは AI より賢く計算する仕事ではない。作用範囲と責任範囲を決める仕事である。

ここまで来ると、冒頭で置いた「AI は利用者の選好を発見したのか、それとも作ったのか」という問いにも、実務上の答え方が見えてくる。この問いを毎回完全に判定することはできない。AI が以前から潜在していた考えを言語化した場合と、AI の提示によって新しい考えが形成された場合は、同じ対話の中で連続して起こり得る。利用者本人の納得感だけから、その起源を分離することも難しい。

そこで安全性を「真の選好を正確に復元できたか」に依存させることはできない。AI が本当の選好を発見した場合だけ実行を許し、AI が選好を形成した場合には止める、という境界は実装しにくい。そもそも人間の選好自体が相互作用で更新される以上、その区別を絶対的な基準に置くことにも無理がある。

代わりに、何が形成されてもよいかを分ける。文章の構成を見て好みが変わることは許容できる。複数の実装案から新しい設計上の価値に気づくこともできる。調査の途中で、最初に立てた仮説を捨てることもできる。こうした下位の要求や選好は、AI との相互作用によって変化する余地を残す。

その一方で、どの失敗を許容しないか、誰への不利益を避けるか、どの権限を渡すか、どの操作に承認を必要とするか、誰が採用結果を説明し修正するかという条件は、同じ生成過程の中で自動的に更新しない。これらは、AI が形成に参加した要求を現実へ移してよいかを判断するための外部条件になる。

発見と形成を完全に見分けられないことは、AI との共同探索を諦める理由にはならない。むしろ、見分けられないからこそ、要求形成を許す範囲を先に設計する必要がある。AI が利用者を理解し、その理解によって利用者が変わり、変化した利用者を AI が再び理解する。この循環を止めずに利用するなら、循環の中で変更可能なものと、循環そのものを拘束するものを分離しなければならない。

AI と一緒に「何が欲しいか」を考えることはできる。その過程で、最初に持っていた要求を捨ててもよい。AI が出した候補から新しい価値に気づき、自分の優先順位を変えることもできる。それは、AI との対話を要求形成へ使うことの中心的な利点である。

しかし、「何を欲しいものとしてよいか」「何をしてまでそれを実現してよいか」「どの結果だけは許容しないか」「どこまで AI が自動的に行為してよいか」まで、同じ相互作用の成り行きに委ねることはできない。AI が要求を作り、その要求を評価する基準を作り、その基準に従って自分の権限まで広げられるなら、要求形成とその制御が一つの循環へ閉じる。

要求は共同形成できる。目的も、一定の範囲では対話を通じて更新できる。手段はさらに柔軟に変えてよい。しかし、その共同形成を許す範囲まで、同じ共同形成に委ねてはいけない。下位の要求は相互作用に開き、相互作用そのものを支配する上位の境界は別に置く。この分離が、AI に人間の要求形成へ参加させながら、その結果を人間と社会の側で引き受けるための条件になる。

参考文献

  1. Paul Slovic, “The Construction of Preference,” American Psychologist, Vol. 50, No. 5, pp. 364–371, 1995. https://doi.org/10.1037/0003-066X.50.5.364
  2. James R. Bettman, Mary Frances Luce, John W. Payne, “Constructive Consumer Choice Processes,” Journal of Consumer Research, Vol. 25, No. 3, pp. 187–217, 1998. https://doi.org/10.1086/209535
  3. Amos Tversky, Itamar Simonson, “Context-Dependent Preferences,” Management Science, Vol. 39, No. 10, pp. 1179–1189, 1993. https://doi.org/10.1287/mnsc.39.10.1179
  4. Joel Huber, John W. Payne, Christopher Puto, “Adding Asymmetrically Dominated Alternatives: Violations of Regularity and the Similarity Hypothesis,” Journal of Consumer Research, Vol. 9, No. 1, pp. 90–98, 1982. https://doi.org/10.1086/208899
  5. Dan Ariely, George Loewenstein, Drazen Prelec, “‘Coherent Arbitrariness’: Stable Demand Curves Without Stable Preferences,” The Quarterly Journal of Economics, Vol. 118, No. 1, pp. 73–106, 2003. https://doi.org/10.1162/00335530360535153
  6. Eric J. Johnson, Suzanne B. Shu, Benedict G. C. Dellaert, Craig Fox, Daniel G. Goldstein, Gerald Häubl, Richard P. Larrick, John W. Payne, Ellen Peters, David Schkade, Brian Wansink, Elke U. Weber, “Beyond nudges: Tools of a choice architecture,” Marketing Letters, Vol. 23, No. 2, pp. 487–504, 2012. https://doi.org/10.1007/s11002-012-9186-1
  7. Moshe Glickman, Tali Sharot, “How human–AI feedback loops alter human perceptual, emotional and social judgements,” Nature Human Behaviour, Vol. 9, pp. 345–359, 2025. https://doi.org/10.1038/s41562-024-02077-2
  8. Sandra C. Matz, Jake D. Teeny, Sumer S. Vaid, Heinrich Peters, Gabriella M. Harari, Moran Cerf, “The potential of generative AI for personalized persuasion at scale,” Scientific Reports, Vol. 14, 4692, 2024. https://doi.org/10.1038/s41598-024-53755-0
  9. Francesco Salvi, Manoel Horta Ribeiro, Riccardo Gallotti, Robert West, “On the conversational persuasiveness of GPT-4,” Nature Human Behaviour, Vol. 9, pp. 1645–1653, 2025. https://doi.org/10.1038/s41562-025-02194-6
  10. id774, 人間の注意と認知はどのように消費され始めたか（2026-05-18）. https://blog.id774.net/entry/2026/05/18/4783/
  11. id774, AI を一つの物語に閉じ込めない（2026-08-09）. https://blog.id774.net/entry/2026/08/09/4974/
  12. Allison J. B. Chaney, Brandon M. Stewart, Barbara E. Engelhardt, “How Algorithmic Confounding in Recommendation Systems Increases Homogeneity and Decreases Utility,” Proceedings of the 12th ACM Conference on Recommender Systems, pp. 224–232, 2018. https://doi.org/10.1145/3240323.3240370
  13. Ray Jiang, Silvia Chiappa, Tor Lattimore, András György, Pushmeet Kohli, “Degenerate Feedback Loops in Recommender Systems,” Proceedings of the 2019 AAAI/ACM Conference on AI, Ethics, and Society, pp. 383–390, 2019. https://doi.org/10.1145/3306618.3314288
  14. Michelle Vaccaro, Abdullah Almaatouq, Thomas Malone, “When combinations of humans and AI are useful: A systematic review and meta-analysis,” Nature Human Behaviour, Vol. 8, pp. 2293–2303, 2024. https://doi.org/10.1038/s41562-024-02024-1
  15. 栗林健太郎, 三宅悠介, 松本亮介, 「なめらかなシステムを目指して」, マルチメディア，分散，協調とモバイルシンポジウム 2018 論文集, pp. 703–709, 2018. https://ipsj.ixsq.nii.ac.jp/records/193534
  16. 三宅悠介, 栗林健太郎, 「なめらかなシステムと運用維持の未来」, マルチメディア，分散協調とモバイルシンポジウム 2021 論文集, p. 1509, 2021. https://cir.nii.ac.jp/crid/1050855522098335616
  17. 三宅悠介, 栗林健太郎, 「なめらかなシステムと運用維持の終わらぬ未来」, マルチメディア，分散，協調とモバイル（DICOMO2025）シンポジウム 2025 論文集, p. 1261, 2025. https://cir.nii.ac.jp/crid/1050868981231360768
  18. Shunyu Yao, Jeffrey Zhao, Dian Yu, Nan Du, Izhak Shafran, Karthik Narasimhan, Yuan Cao, “ReAct: Synergizing Reasoning and Acting in Language Models,” International Conference on Learning Representations, 2023. https://arxiv.org/abs/2210.03629
  19. Timo Schick, Jane Dwivedi-Yu, Roberto Dessì, Roberta Raileanu, Maria Lomeli, Luke Zettlemoyer, Nicola Cancedda, Thomas Scialom, “Toolformer: Language Models Can Teach Themselves to Use Tools,” Advances in Neural Information Processing Systems, Vol. 36, 2023. https://arxiv.org/abs/2302.04761
  20. OpenAI, “Guardrails and human review,” OpenAI API Documentation. https://developers.openai.com/api/docs/guides/agents/guardrails-approvals
  21. Raja Parasuraman, Thomas B. Sheridan, Christopher D. Wickens, “A Model for Types and Levels of Human Interaction with Automation,” IEEE Transactions on Systems, Man, and Cybernetics – Part A: Systems and Humans, Vol. 30, No. 3, pp. 286–297, 2000. https://doi.org/10.1109/3468.844354
  22. Linda J. Skitka, Kathleen L. Mosier, Mark Burdick, “Does automation bias decision-making?” International Journal of Human-Computer Studies, Vol. 51, No. 5, pp. 991–1006, 1999. https://doi.org/10.1006/ijhc.1999.0252
  23. Ben Green, Yiling Chen, “The Principles and Limits of Algorithm-in-the-Loop Decision Making,” Proceedings of the ACM on Human-Computer Interaction, Vol. 3, CSCW, Article 50, 2019. https://doi.org/10.1145/3359152
  24. Zana Buçinca, Maja Barbara Malaya, Krzysztof Z. Gajos, “To Trust or to Think: Cognitive Forcing Functions Can Reduce Overreliance on AI in AI-assisted Decision-making,” Proceedings of the ACM on Human-Computer Interaction, Vol. 5, CSCW1, Article 188, 2021. https://doi.org/10.1145/3449287
  25. Saleema Amershi, Dan Weld, Mihaela Vorvoreanu, Adam Fourney, Besmira Nushi, Penny Collisson, Jina Suh, Shamsi Iqbal, Paul N. Bennett, Kori Inkpen, Jaime Teevan, Ruth Kikin-Gil, Eric Horvitz, “Guidelines for Human-AI Interaction,” Proceedings of the 2019 CHI Conference on Human Factors in Computing Systems, pp. 1–13, 2019. https://doi.org/10.1145/3290605.3300233
  26. Filippo Santoni de Sio, Jeroen van den Hoven, “Meaningful Human Control over Autonomous Systems: A Philosophical Account,” Frontiers in Robotics and AI, Vol. 5, Article 15, 2018. https://doi.org/10.3389/frobt.2018.00015
  27. National Institute of Standards and Technology, Artificial Intelligence Risk Management Framework (AI RMF 1.0), NIST AI 100-1, 2023. https://nvlpubs.nist.gov/nistpubs/ai/nist.ai.100-1.pdf
  28. European Union, Regulation (EU) 2024/1689, Article 14: Human oversight, consolidated version 2026-07-27. https://eur-lex.europa.eu/legal-content/EN/TXT/HTML/?uri=CELEX%3A02024R1689-20260727
  29. id774, AI に任せる前に、人間が残すべき判断（2026-06-21）. https://blog.id774.net/entry/2026/06/21/4912/
  30. id774, AI の答えは、採用されたときに責任になる（2026-06-26）. https://blog.id774.net/entry/2026/06/26/4925/