人間の役割は、評価からゲート判断へ広がる

AI が生成したものを人間が評価し、問題がなければ使う。生成 AI の利用を考えるとき、この役割分担は分かりやすい。文章やコードでは、少なくとも多くの場合、外部へ作用させる前に内容を確認できるためである。

ところが、AI が設計したバクテリオファージの完全ゲノム候補を実際に合成し、機能を確かめる研究を追うと、この順序がそのまま成立しない場面がある。候補が本当に機能するかを知るには、計算上の評価だけでは足りず、物理的な実験へ進む必要があった。

この違いを突き詰めると、論点は「AI が何を作れるようになったか」だけではなくなる。人間が AI の出力をどこで判断できるのか、判断に必要な情報はいつ得られるのか、結果が分からないまま次の工程へ進める判断を誰が担うのか、という問題が現れる。

1. 「AI が作り、人間が評価する」には条件がある

1.1 生成が自動化されると、難しい仕事が人間側へ残る

生成 AI が文章、コード、画像、設計案を大量に作れるようになると、人間の役割は「自分で一つずつ作ること」から「出てきた候補を評価し、採用すること」へ移るように見える。この変化は生成 AI だけに特有のものではない。自動化研究では古くから、定型的で扱いやすい仕事を機械へ移すほど、異常の発見、例外処理、監視、最終判断のような難しい仕事が人間側へ残ることが指摘されてきた。Lisanne Bainbridge は 1983 年、この逆説を「自動化の皮肉」として整理した[1]。

自動化された仕組みが存在しても、人間が常に適切に使えるとは限らない。Raja Parasuraman と Victor Riley は、自動化を必要な場面で使わないこと、逆に過度に依存すること、誤った方法で使うことを区別し、人間と自動化の関係そのものが設計対象になることを示した[2]。さらに Parasuraman、Thomas Sheridan、Christopher Wickens は、自動化を一枚岩として扱わず、情報を取得する、情報を分析する、行動を選ぶ、実際に行動するという複数の段階へ分けて考えるモデルを提示している[3]。

生成 AI でも似たことが起きる。候補を一から作る作業が速くなっても、その候補が正しいか、目的に合うか、使ってよいかを判断する仕事は残る。近年の人間と AI の協働に関する研究でも、生成 AI が生産作業を代替した結果、利用者が生成より評価へ多くの労力を割くようになり、場合によっては認知負荷が減らないという「生成 AI の皮肉」が論じられている[4]。

ここまでなら、「AI が作り、人間が評価する」という役割分担を考えればよいように見える。AI が十個、百個、千個の候補を出し、人間が内容を確認し、良いものだけを採用する。生成能力が増えるほど評価能力が重要になる、という整理である。

1.2 「評価してから実行する」という順序が暗黙に置かれている

この整理には、普段は目立たない前提がある。候補を現実に作用させる前に、人間がその候補について十分な情報を得られるという前提である。文章であれば、公開する前に全文を読める。契約書の案なら、署名する前に条文を確認できる。ソフトウェアも完全ではないが、レビュー、静的解析、単体テスト、隔離された試験環境を使い、本番へ投入する前に多くの性質を調べられる。

このとき、工程は次の順序になる。

\[
\text{生成} \rightarrow \text{評価} \rightarrow \text{実行}
\]

生成物は最初の段階では候補にすぎない。人間が評価し、条件を満たしたものだけを次へ送る。そのため、評価段階を安全境界として使うことができる。「AI が誤る可能性がある」という問題に対して、「最後は人間が確認する」という答えが成立するのも、この順序を前提にしている。

工程	人間と AI の典型的な役割	成立に必要な条件
生成	AI が候補を作り、人間は目的や条件を与える。	生成物そのものは、まだ重大な外部作用を起こしていない。
評価	人間が内容、根拠、性能、危険性を確認する。	判断に必要な情報を、実行前に十分取得できる。
実行	評価を通過した候補だけを公開、投入、実施する。	評価と実行を時間的、機能的に分離できる。

この順序が成り立つ領域では、人間を評価者として残す設計は合理的である。しかし、候補の本当の性質を知るために、その候補を実際に動かさなければならない場合はどうなるのか。2026 年に報告された AI 設計ファージの研究は、この隠れた前提をはっきり見せる例になった。

2. 285 候補のうち、実験で機能したのは 16 種類だった

2.1 AI が完全ゲノムを実験候補として出した

2026 年 8 月、Samuel H. King らは、ゲノム配列を扱う生成モデルを使ってバクテリオファージの完全ゲノム候補を設計し、実際に DNA として合成して機能を確かめた研究を Science に報告した[5]。バクテリオファージは細菌へ感染するウイルスであり、この研究で主に扱われたのは大腸菌へ感染する ΦX174 に近い小型ファージである。人間や動物へ感染する病原体を作った研究ではない。

研究チームは生成モデルの出力をそのまま実験へ送ったわけでもない。対象となるファージ群へ生成範囲を寄せ、遺伝子構成や配列上の条件を計算で確認し、候補を絞った。そのうえで 285 の候補を DNA として合成し、大腸菌へ導入して感染と増殖を調べた。そこで機能するファージとして確認されたのが 16 種類だった[5]。

同じ Science 号では、Thomas V. Inglesby と Moritz S. Hanke が「AI-designed viral genomes」という論評を掲載し、この成果を生命科学への応用可能性とともに、バイオセーフティとバイオセキュリティの観点から論じている[6]。ここでバイオセーフティは事故や漏出を防ぐ安全管理、バイオセキュリティは悪用や不正利用を防ぐ管理を指す。研究対象を人間の病原体へ拡大して解釈することはできない一方、生成 AI が完全なウイルスゲノムを実験可能な候補として出し、その一部が実際に機能したという工程上の変化には意味がある。

2.2 DNA からファージを作る技術自体は以前からあった

この研究の新しさを「コンピューター上の配列からウイルスを作れるようになったこと」に置くと、技術史を取り違える。ΦX174 では 2003 年の時点で、化学合成した短い DNA 断片を組み合わせて完全ゲノムを作り、感染性を持つファージを再構成することが実証されていた[7]。つまり、あらかじめ配列が決まっていれば、その情報を DNA という物質へ変換し、機能するファージへつなげる技術は生成 AI より前から存在した。

変わったのは、その合成工程へ渡す「何を作るか」という候補の作り方である。Evo は 2024 年、DNA、RNA、タンパク質をゲノム配列の文脈からモデル化し、分子からゲノム規模まで予測と生成を行うモデルとして報告された[8]。その後、Evo を使って自然界の既知配列を単純に複製するのではなく、指定された機能に関連する新しい遺伝子を生成し、実験で機能を確認する研究も進んだ[9]。

さらに Evo 2 は、細菌、古細菌、真核生物を含む広いゲノムデータを学習し、最大 100 万トークンの文脈を扱いながらゲノム規模の配列を生成できるモデルとして 2026 年に報告された[10]。Evo 2 の論文は、生成した配列が自然のゲノムに近い統計的な性質やまとまりを持つことを示す一方、ゲノム規模の配列を生成できることと、それが一つの生物学的システムとして完全に機能することを同一視してはいない。複数の遺伝子や制御領域が同時に働く系では、配列が「それらしく見える」ことと、実物が機能することの間にまだ距離がある。

National Academies of Sciences, Engineering, and Medicine も 2025 年の報告書で、生命科学における AI の進展を、データ解析の高速化だけでなく、生物学的な発見と設計を加速する能力として整理し、同時にバイオセキュリティ上の影響を検討している[11]。生成モデルが生命科学へ入る意味は、既知の情報へ答えることだけでなく、実験へ投入できる候補を作る側へ能力が伸びることにある。

2.3 重要なのは「16 種類できた」より 285 と 16 の差である

この研究を「AI が 16 種類のファージを作った」とだけまとめると、本稿で重要な部分が抜ける。注目すべきなのは、事前に計算で絞り込まれた 285 候補のうち、実験で感染と増殖が確認されたのが 16 種類だったという差である。割合にすれば約 5.6% であり、残る 269 候補では同じ条件で機能するファージは確認されなかった[5]。

この数字を「AI の性能がまだ低い」と読むことはできる。しかし、それだけでは不十分である。研究者は無作為な文字列を 285 個作って試したわけではない。生成モデルを対象へ寄せ、計算上の条件を調べ、実験へ進める候補を選んでいる。それでも、どの候補が本当にファージとして感染し、増殖するかは、DNA を合成して大腸菌へ導入するまで確定しなかった。

段階	その時点で分かること	その時点では残る不確実性
生成	モデルが完全ゲノムとして扱える配列候補を提示する。	候補が実際に感染や増殖を行えるかは分からない。
計算選別	遺伝子構成や既知の配列条件から、明らかな不適合を減らせる。	複数の要素が同時に働く系全体の機能は確定しない。
DNA 合成	デジタルな配列を物理的な分子として用意できる。	分子が存在しても、ファージとして機能するとは限らない。
感染実験	宿主細胞への感染、複製、増殖という実際の挙動を観測できる。	別の宿主、別の環境、長期的な挙動まで一度の実験で分かるわけではない。

ここで従来の「生成して、評価して、実行する」という順序が崩れる。最終的な評価に必要な情報の一部は、実行するまで存在しない。人間が候補を丁寧に読めば解決する問題ではなく、現実の系へ働きかけて初めて観測できる情報がある。生命科学が示したのは、AI が危険なほど賢くなったという一点ではなく、評価という行為そのものが、実行から切り離せない領域があるということである。

2.4 成功率はモデル単体の性能では決まらない

285 候補から 16 種類という数字をモデルの正答率のように読むのも正確ではない。研究成果は、モデルが候補を生成する工程だけでなく、どのファージ群を対象にするか、どの候補を計算で落とすか、どの配列を合成するか、どの宿主と条件で機能を調べるかという一連の系から生まれている。生成モデルはその系の一部であり、16 という結果はモデル単体のスコアではない。

この点は、人間と AI の役割を考えるときにも重要になる。AI が候補を大量に作れるようになっても、候補空間そのものは研究者が設定した目的、学習データ、選別条件、実験条件によって形を変える。AI が自由な探索者として外部から答えを持ち込むのではなく、人間が設計した探索系の中で候補数と探索範囲を拡張する。

逆に、研究者が最後に評価しているから従来と同じだとも言えない。候補を一つずつ人間が設計していた場合と、モデルが多数の完全ゲノム候補を供給する場合では、実験へ入る前の候補空間が違う。生成側の能力が拡大すれば、下流の選別、合成、実験へ流れ込む可能性のある候補量も変わる。AI の影響は一工程の置換ではなく、工程間の流量を変えることにも現れる。

ここまで整理すると、285 と 16 の差は二つのことを同時に示す。一つは、事前の計算だけでは機能を十分に確定できなかったこと。もう一つは、その不確実な候補を多数作り、物理実験で絞り込む探索方式が成立したことである。この二つを分けずに「成功した」「失敗した」とだけ評価すると、AI が研究工程のどこを変えたのかを見失う。

3. 実験は「答え合わせ」ではなく、新しい情報を作る

3.1 予測された結果と観測された結果は別である

事前の計算がどれほど高度でも、予測と観測は同じものではない。設計候補を \(x\) とし、その候補が現実の条件下で示す本当の性質を \(Y\) と考える。ファージなら、感染できるか、どの程度増殖するか、どの宿主へ作用するかといった性質が \(Y\) に含まれる。

実験前にも情報はある。塩基配列、既知遺伝子との類似性、構造予測、モデルによる評価、過去の実験結果などである。これらをまとめて \(Z\) と置く。すると実験前に分かっているのは、真の結果 \(Y\) そのものではなく、与えられた情報 \(Z\) の下でどの結果がどの程度ありそうかという予測である。

\[
P(Y \mid Z, x)
\]

この式は、「候補 \(x\) と事前情報 \(Z\) を見たとき、真の結果 \(Y\) をどのように予想しているか」を表す。予測精度が高ければ分布は狭くなり、低ければ複数の結果に確率が残る。しかし、分布がどれほど鋭くても、まだ観測していない \(Y\) そのものに置き換わるわけではない。

3.2 実験によって、存在しなかった観測情報が得られる

統計学では、実験は既知の答えを確認するだけの作業として扱われていない。D. V. Lindley は 1956 年、ある実験を行うことでどれだけ情報が得られるかを測る考え方を提示した[12]。その後のベイズ実験計画では、複数の実験候補から何を選ぶかを、期待される情報や意思決定上の効用を含む問題として考える[13]。

Ronald Howard の情報価値理論も、不確実な状態について追加情報を得られたとき、その情報によって意思決定がどれだけ改善するかを価値として扱う[14]。情報は単に多ければよいのではなく、行動の選択を変え、期待される結果を改善するなら価値を持つ。

この観点から見ると、生命科学の実験は「AI の答えが正しいかを見る」だけではない。まだ存在しない観測を作り、その観測によって次の判断を可能にする。実験という行為が、情報を得るための操作そのものになっている。

実験するかどうかを \(a\) で表し、実験しない場合を \(a=0\)、実験する場合を \(a=1\) とする。実験した場合に得られる観測を \(O\) とすると、概念的には次のように書ける。

\[
a \in \{0,1\}
\]

\[
O \sim P(O \mid Y,x,a=1)
\]

実験を行うと、実際の感染や増殖などの観測 \(O\) が得られる。それによって、実験前の予測は更新される。

\[
P(Y \mid Z,x)
\rightarrow
P(Y \mid Z,x,O)
\]

数式を読み飛ばしても要点は一つである。実行する前には得られなかった情報が、実行した後に増える。この構造があると、人間による評価を実行の前へ一括して置くことができなくなる。

3.3 評価の順序が変わる

実行前にほぼすべてを確認できる対象なら、従来の順序でよい。

\[
\text{生成}
\rightarrow
\text{評価}
\rightarrow
\text{実行}
\]

一方、実行から得られる観測が不可欠なら、工程は少なくとも次の形になる。

\[
\text{生成}
\rightarrow
\text{事前評価}
\rightarrow
\text{実行}
\rightarrow
\text{観測}
\rightarrow
\text{再評価}
\]

事前評価がなくなるわけではない。ファージ研究でも計算による選別は行われている。変わるのは、その評価だけでは最終判断に必要な情報がそろわないことである。事前評価は「安全か、正しいかを確定する工程」ではなく、「どの候補なら次の観測を取りに行く価値があるかを絞る工程」へ役割が変わる。

ここまで来ると、人間の役割を「評価者」と呼ぶだけでは足りない。結果がまだ分からない状態で、次の実験へ進めるかどうかを決める役割が、その前に存在するからである。

3.4 「真の結果」も実験条件から独立しているわけではない

さらに、実験すれば一度で「本当の答え」が得られると考えるのも単純化しすぎる。生物学的な結果は、候補そのものだけでなく、宿主、温度、培地、投与量、時間、測定方法などの条件に依存する。そこで、実験条件を \(c\) として、真の性質を \(Y(x,c)\) と書く方が実際の研究に近い。

\[
Y=Y(x,c)
\]

同じゲノム候補でも、条件 \(c\) が変われば観測される性質が変わる可能性がある。ある大腸菌株で感染できたという結果は、すべての細菌、すべての環境で同じ挙動をすることを意味しない。逆に、一つの条件で機能しなかった候補が、あらゆる条件で機能しないと断定できるとも限らない。

このため実験後にも不確実性は残る。実験は不確実性をゼロにする魔法の最終段階ではなく、特定の条件について新しい情報を増やす段階である。研究は、条件を変えながら観測を積み重ね、どの範囲まで一般化できるかを徐々に確かめる。

この構造は、次へ進める判断をさらに難しくする。次へ進めるかどうかを決めるとき、人間は「この候補について何が分かったか」だけでなく、「どの条件について分かったのか」「まだ調べていない条件は何か」も見なければならない。評価結果には常に適用範囲がある。

3.5 情報を得る行為にもコストと危険がある

情報価値の議論では、追加情報によって判断が改善することに価値がある。しかし現実の実験では、情報を得るための行為自体に時間、費用、設備、人員が必要になる。さらに生命科学では、候補を物質化し、細胞や生物へ作用させることが観測の条件になる場合がある。

すると「もっと情報が欲しい」という要求は中立ではない。追加情報を得るために、より大きな実験、別の宿主、長い観測期間、より現実に近い環境へ進むほど、研究コストだけでなく、封じ込めや安全管理の条件も変化する。情報価値と実験リスクを別々に扱えない場面が生じる。

ここで、評価の問題は研究計画の問題へ変わる。分からないことをすべて実験で確かめるのではなく、次の判断に必要な不確実性は何か、その不確実性を減らすために最小限どの実験が必要か、その実験をどの条件なら許容できるかを選ぶ必要がある。

3.6 不確実性は一種類ではない

実験前に分からない理由も一つではない。モデルが十分なデータを学習していない、対象の仕組みをうまく表現できていない、測定方法が粗いといった不確実性は、知識やモデルを改善することで減らせる可能性がある。これに対して、生物個体や細胞のばらつき、確率的な反応、環境変動のように、同じ条件をそろえても結果が完全には一つに決まらない場合もある。

前者を「知識不足による不確実性」、後者を「現象自体のばらつきによる不確実性」と区別すると、事前評価可能性を高める方法も変わる。知識不足なら、学習データ、予測モデル、測定技術を改善することに意味がある。現象のばらつきが大きいなら、単一の予測値を精密にするより、結果の分布や最悪条件を把握する方が重要になる。

生成 AI が高精度になれば、前者の一部は減らせるかもしれない。しかし、すべての不確実性がモデル性能だけで消えるとは限らない。実行前にどこまで評価できるかを議論するときには、「AI がもっと賢くなれば 1 に近づく」と無条件に仮定せず、どの不確実性が予測可能で、どの不確実性が実験による分布観測を必要とするかを分ける必要がある。

この区別は、失敗した候補の意味にも影響する。予測モデルが見落とした系統的な条件によって失敗したなら、失敗データを学習へ戻すことで次の予測を改善できる。一方、同じ候補が条件や個体差によって異なる結果を示すなら、必要なのは一回の正誤判定ではなく、結果分布を推定するための反復実験になる。評価の形そのものが変わる。

4. 「分からなければ人間に回す」だけでは解決しない

4.1 AI が答えない、専門家へ回すという設計は存在する

機械学習では、モデルがすべての入力に必ず答える必要はない。選択的分類（Selective Classification）は、一定の危険水準を満たすために、モデルが自信の低い入力への分類を拒否し、回答する範囲を狭める考え方を扱う[15]。精度を上げる代わりに、すべてを自動処理することを諦める設計である。

さらに専門家への委譲を学習する枠組み（Learning to Defer）では、モデルが自分で判断するか、別の意思決定者へ回すかを学習する。David Madras、Toni Pitassi、Richard Zemel は、機械の予測と別の意思決定者への委譲を同じシステムの中で扱う枠組みを示した[16]。Hussein Mozannar と David Sontag は、モデル自身が予測する場合と、下流の専門家へ判断を委ねる場合を明示的に選ぶ問題を定式化している[17]。

この考え方は実務でも自然である。自動判定が難しい案件を熟練者へ送る。医療支援システムが確信を持てない症例を医師へ戻す。顧客対応 AI が例外的な問い合わせを担当者へ転送する。AI と人間の能力が異なるなら、適切な相手へ仕事を回すことには意味がある。

4.2 不確実性には「人間なら分かる」と「まだ誰にも分からない」がある

しかし、人間への委譲が有効なのは、人間側に AI よりよい判断材料がある場合である。John D. Lee と Katrina A. See は、人間と自動化の関係を単純な「信頼するか、しないか」ではなく、自動化の能力に見合った適切な依存として設計する必要を論じている[18]。人間と AI のどちらがその状況で優れているかを見分けられるなら、役割分担によって全体を改善できる。

ファージの例では、別の種類の不確実性が現れる。AI が分からないから専門家へ回したとしても、実験前の専門家は「この候補は確実に感染・増殖する」という観測結果を持っていない。知識や経験から予測を改善することはできても、まだ行われていない実験の結果そのものを知ることはできない。

不確実性の原因	状態	人間へ回した場合
能力差	AI には判断が難しいが、専門家は既存情報からより正確に判断できる。	委譲によって判断精度を上げられる。
未観測	判断に必要な現実の結果がまだ観測されていない。	専門家へ回しても結果そのものは増えず、追加の観測が必要になる。

この二つを混同すると、「AI の弱点は人間が補えばよい」という説明が過剰に広がる。人間は AI より優れた知識を持つことがあるが、未観測の現実を直接知る能力を持つわけではない。専門家へ戻したあとにも、「この未知の候補を実際に試してよいか」という別の意思決定が残る。

4.3 人間を最終承認者に置くだけでも十分ではない

人間を最後に置けば自動的に安全になる、という前提にも注意が必要である。Linda Skitka、Kathleen Mosier、Mark Burdick は、意思決定支援システムを使う人間が自動化の提案へ引きずられ、誤った提案を見逃す自動化バイアスを実験的に検討している[19]。最終的なボタンを人間が押していても、その判断過程が自動化から独立しているとは限らない。

生成 AI でも、説明を付ければ人間が正しく選別できるとは限らない。Gagan Bansal らは、人間と AI の組み合わせがそれぞれ単独よりよい成績を出す「補完的なチーム性能」を調べ、AI の説明が必ずしも人間と AI の組み合わせを改善しないことを示した[20]。説明があることで、誤った AI 提案まで受け入れやすくなる場合がある。

一方、Zana Buçinca らは、AI の助言を見る前に人間自身の判断を要求するなど、認知的な強制手続きを入れることで過度な依存を減らせることを示している[21]。つまり、人間を置くこと自体より、人間がどの情報をどの順序で見て、どの時点で判断するかを設計することが重要になる。

生命科学の例は、この議論をさらに一段進める。人間の評価品質を改善しても、未観測の結果は実験前には得られない。ここで人間が担うのは「AI の答えを正しく採点すること」だけではなく、まだ答えがない状態で、どの候補を次の現実的工程へ通すかを決めることになる。

4.4 専門家は「答えを知る人」から「未知の扱い方を決める人」へ変わる

専門家の価値が下がるという意味ではない。むしろ役割の中身が変わる。観測済みの事実から答えを出すだけなら、AI がその一部を代替できる可能性がある。一方、まだ観測されていないものについて、どの仮説を優先し、どの実験なら情報を増やせるか、どこまでの危険を許容するかを決めるには、対象分野の知識と研究方法の理解が必要になる。

このとき専門家は、AI の出力に丸や×を付ける採点者ではない。候補の不確実性を分解し、既知の部分と未知の部分を区別し、未知を減らすための次の行為を設計する。評価対象そのものより、評価過程を設計する仕事へ比重が移る。

さらに、その判断は一人の専門家の知識だけで完結しない場合がある。生命科学では、分子生物学的な成立可能性、実験施設の封じ込め能力、利用目的、合成事業者の確認、制度上の条件が別々の主体に分散している。一人へ「最終判断」を委ねても、その人がすべての情報と権限を持つとは限らない。

このため、人間への委譲を「AI から人間へ一本の矢印を戻すこと」として描くより、どの種類の不確実性を、どの情報を持つ主体が、どの工程で処理するかという分業として描く方が実態に近い。次章では、この違いを変数へ分けて扱う。

5. 評価と実行の結びつきを数理モデルに分ける

5.1 生成された候補と真の結果を分ける

ここまでの構造をもう少し厳密にするため、生成、予測、実行、観測を別の変数として置く。まず、人間が設定した目的や条件を \(g\) とし、生成モデルを \(q_\theta\) とする。モデルが作る候補 \(x\) は、次のように表せる。

\[
x \sim q_\theta(x \mid g)
\]

この式は、目的 \(g\) を条件として、モデルが候補 \(x\) を生成することを表す。ここで重要なのは、\(x\) が設計情報であって、その設計を現実へ移したときの真の結果ではないことである。

候補 \(x\) が条件 \(c\) の下で実際に示す性質を \(Y(x,c)\) とする。生命科学なら、機能するか、どの程度増殖するか、意図しない性質がないかといった複数の値を含む。ソフトウェアなら、本番負荷や外部条件の下での性能や未知の入力に対する挙動が含まれる。\(Y\) は一つの数字である必要はなく、現実で知りたい性質全体を表す記号である。以後、式が煩雑にならない範囲では、候補と条件を与えたときの結果を単に \(Y\) と書く。

5.2 実行前に持っているのは真の結果ではなく予測情報である

実行前にも、候補と想定条件について多くの情報を集められる。生命科学なら配列解析や既知遺伝子との比較、ソフトウェアなら静的解析やテスト結果、文章なら原典との照合などである。それらの事前情報を \(Z(x,c)\) と書く。

すると実行前の評価とは、\(Y\) を直接観測することではなく、\(Z\) を材料に \(Y\) を推定することである。

\[
P(Y \mid Z(x,c),x,c)
\]

この区別を置くと、「専門家が評価する」という言葉の中身も見えやすくなる。専門家は \(Z\) の読み方に優れ、よりよい予測分布を作れるかもしれない。しかし、\(Z\) に含まれていない現実の結果まで直接取得するわけではない。

5.3 事前評価可能性を定義する

実行前の情報だけで真の結果についてどこまで分かるかを比較するため、概念的な量として「事前評価可能性」 \(E\) を置く。ここでは比較のため、結果 \(Y\) を有限個のカテゴリに分け、候補集合と条件の範囲を固定して考える。結果 \(Y\) にもともと存在する不確実性を情報エントロピー \(H(Y)\)、事前情報 \(Z\) が \(Y\) について与える情報量を相互情報量 \(I(Y;Z)\) とすると、次の比率で表せる。

\[
E=\frac{I(Y;Z)}{H(Y)}
\]

\(E\) が 1 に近いほど、実行前の情報だけで真の結果について多くを知ることができる。0 に近いほど、事前情報では不確実性がほとんど減らず、現実の観測へ依存する。この量は各分野で実際に測定済みの共通指標ではなく、実行前にどれだけ評価できるかという違いを考えるための概念モデルである。

文章の誤字や論理矛盾のように、成果物を読むだけでかなり確認できる性質では \(E\) は高い側にある。ソフトウェアの本番性能は、試験環境によって事前情報を増やせるものの、実際の負荷や外部システムとの相互作用まで完全に再現できるとは限らない。生命科学の感染や増殖では、計算予測を増やしても物理実験でしか得られない情報が残る場合がある。

5.4 評価と実行の結合度を置く

事前評価可能性が低いほど、「評価するために実行する」必要が強くなる。この関係を見やすくするため、評価と実行の結合度 \(C\) を次のように置く。

\[
C=1-E
\]

\(C\) が 0 に近ければ、実行前に十分評価できるため、評価と実行を分けやすい。\(C\) が 1 に近づくほど、実行から得られる観測への依存が大きくなり、評価と実行を切り離しにくくなる。

状態	事前評価可能性	評価と実行の関係
低結合	\(E\) が高く、事前情報だけで結果の多くを確認できる。	評価を終えてから実行へ進む順序を作りやすい。
中間	事前評価で多くを絞れるが、一部は試行しないと分からない。	試験環境や段階投入によって追加情報を取る必要がある。
高結合	\(E\) が低く、現実の実行から得る情報への依存が大きい。	最終評価の前に、実行許可という別の判断が必要になる。

ここで最初の仮説を修正できる。「AI が生成するようになると、人間は評価者になる」という命題は、\(E\) が十分高い領域では成立する。しかし \(E\) が低い領域では、人間は評価者になる前に、評価のための実行を許可する主体にならなければならない。

5.5 実験の情報利得を明示する

実験によってどれだけ不確実性が減るかを、もう一段だけ数式で表すことができる。実験前の不確実性を \(H(Y\mid Z,x,c)\) とし、ある行為 \(a\) を実施して観測 \(O\) を得た後の不確実性を \(H(Y\mid Z,x,c,O,a)\) とする。実験によって期待される情報利得 \(IG(a;x,c)\) は、概念的には次の差で表せる。

\[
IG(a;x,c)=H(Y\mid Z,x,c)-\mathbb{E}_{O}\left[H(Y\mid Z,x,c,O,a)\right]
\]

左側の第一項は実験前に残っている分からなさ、第二項は実験結果を見た後に残ると期待される分からなさである。その差が大きい実験ほど、結果がどう転んでも多くの情報を与える可能性がある。

この式を置くと、「成功しそうな候補だけを試す」ことと「よく分かる候補を試す」ことが別の目的だと分かる。成功確率が高い候補は成果物を得る目的には有利だが、既にほとんど分かっているなら情報利得は小さいかもしれない。逆に、結果が大きく分かれそうな候補は、成功確率が高くなくてもモデルの境界を知るうえで価値がある場合がある。

研究計画では、この二つを使い分ける。製品化や治療候補の探索では期待性能を重視する場面があり、基礎研究では仮説間の違いを最もよく見分ける実験を重視する場面がある。AI が候補生成を大量化すると、この「何を知るために、どの候補を試すか」という実験選択の自由度も増える。

5.6 真の結果は一つの性能値ではない

ここまで \(Y\) を一つの記号で書いてきたが、現実の判断では複数の性質を同時に見る。ファージなら感染能力だけでなく、宿主範囲、増殖速度、安定性、意図しない相互作用などがあり得る。そこで \(Y\) をベクトルとして考えることもできる。

\[
Y(x,c)=\left(Y_1(x,c),Y_2(x,c),\ldots,Y_k(x,c)\right)
\]

一つの性質について高い事前評価可能性があっても、別の性質については低い場合がある。例えば、配列からあるタンパク質の存在を予測できても、その系全体が特定の環境でどう振る舞うかは分からないかもしれない。したがって「この候補は評価済み」という一括した状態より、どの性質についてどこまで評価済みかを分ける必要がある。

安全管理でも同じである。目的機能だけを精密に予測できるようになっても、危険性に関わる別の性質の予測精度が同じように上がるとは限らない。AI の設計性能が向上することと、安全性の事前評価可能性が向上することは別の技術課題である。

5.7 事前評価可能性そのものも技術で変えられる

\(E(x)\) は対象に固定された運命ではない。利用できる測定法、シミュレーション、予測モデル、試験環境が改善すれば、実行前に得られる情報 \(Z\) が増え、事前評価可能性を高められる。そのため、評価方法を \(e\) と明示し、想定する条件 \(c\) も含めて \(E(x,c,e)\) と書く方がよい場合もある。

\[
E=E(x,c,e)
\]

これは安全性に対して重要な帰結を持つ。危険な候補をすべて禁止することだけが安全策ではない。より安全な代替試験、精度の高い予測、隔離されたモデル系、段階的な検証を開発し、物理的な実行へ進む前に得られる情報量を増やすことも、安全側へ構造を動かす方法になる。

AI が生成能力を高めるなら、評価技術にも投資して \(E\) を引き上げる必要がある。生成側だけが速くなり、評価側の情報量が増えなければ、候補数の増加がそのまま下流の実験判断へ押し寄せるからである。

5.8 生成、実験、学習が閉じたループになると速度の意味が変わる

ここからモデルをさらに拡張すると、AI が候補を一度生成して終わる場合とは別に、実験結果を次のモデル改善や候補選択へ戻す循環を考えられる。時点 \(t\) の生成、順位付け、探索範囲などを含む探索方針を \(\pi_t\) とし、そこから候補 \(x_t\) を選び、実験から観測 \(O_t\) を得て、次の探索方針を更新する。

\[
\pi_t
\rightarrow
x_t
\rightarrow
O_t
\rightarrow
\pi_{t+1}
\]

この循環では、失敗した候補も次の候補を変える情報になる。生成モデルそのものを毎回再学習しなくても、実験結果を使って候補の順位付け、探索領域、プロンプト、推論時の選別方法を変えれば、同じように次の生成分布を偏らせることができる。

すると AI が生命科学へ与える影響を「候補を速く作ること」だけで測れなくなる。重要なのは、設計、実験、学習の一周に必要な時間である。一周が短くなれば、同じ期間に繰り返せる仮説検証の回数が増える。生成速度が上がるだけでなく、観測から次の設計へ戻る速度が上がると、探索系全体の能力が変わる。

一方、この閉ループ化は、次へ進める判断にも新しい課題を作る。一回目の候補だけを審査して終わるのではなく、実験結果によって二回目、三回目の探索範囲が変わるからである。安全性の確認も、最初の研究計画だけでなく、観測によって探索がどの方向へ移ったかを追跡する必要が出てくる。

この意味で、AI 時代の研究能力はモデル性能と実験性能の和ではない。生成と実験をどれだけ速く往復できるか、その途中でどの情報が次の選択へ反映されるかによって決まる。ゲートもまた、この循環の外側に一回置くのではなく、ループの節目へ組み込む必要がある。

6. 判断の難しさは「分からなさ」だけでは決まらない

6.1 分からなければ試せばよい、とは限らない

事前評価可能性だけを考えると、\(E\) が低いなら実際に試して情報を得ればよい、という結論になりやすい。実験科学は実際にその方法で知識を増やしてきた。しかし、試行には結果がある。失敗したときに簡単に元へ戻せる試行と、一度の実行が取り消しにくい作用を残す試行は同じではない。

Kenneth Arrow と Anthony Fisher は 1974 年、環境政策を題材に、不確実性と不可逆性が同時に存在すると、将来の情報を待つことや選択肢を残すことに価値が生じると論じた[22]。対象は生成 AI でも生命科学でもないが、「まだ十分分からない状態で、後から戻しにくい行為を選ぶ」という意思決定構造は共通している。

6.2 可逆性を別の軸として置く

候補 \(x\) を実行したあと、望ましくない結果が出た場合に、どの程度元の状態へ戻せるかを可逆性 \(R(x)\) と置く。

\[
0 \leq R(x) \leq 1
\]

\(R(x)\) が 1 に近ければ、失敗しても取り消しやすい。0 に近ければ、実行後の作用を巻き戻しにくい。この値も共通の実測指標ではなく、意思決定を比較するための概念軸である。

文章の下書きを保存せず破棄する行為は、一般に可逆性が高い。本番へ出す前のソフトウェアを隔離環境で試す場合も、環境が適切ならやり直しやすい。対して、生物を環境へ放出するような行為や、広範囲の物理作用を伴う実験では、同じ意味でのロールバックが成立しない場合がある。重要なのは「生命科学だから不可逆」と決めつけることではなく、工程ごとに戻せる範囲を調べることである。

6.3 事前評価可能性と可逆性を組み合わせる

事前評価可能性 \(E\) と可逆性 \(R\) を組み合わせると、人間がどこで慎重な判断を要求されるかが見えやすくなる。

状態	判断の特徴	管理上の重点
\(E\) 高・\(R\) 高	実行前にかなり確認でき、失敗しても戻しやすい。	通常のレビューと試行で多くを処理できる。
\(E\) 低・\(R\) 高	試さなければ分からないが、失敗しても戻しやすい。	安全な試験環境を作り、試行から情報を増やすことが中心になる。
\(E\) 高・\(R\) 低	実行前にかなり評価できるが、一度の誤りを戻しにくい。	実行前の証拠、独立確認、承認条件を厳しくする意味が大きい。
\(E\) 低・\(R\) 低	結果が十分分からないまま、戻しにくい行為を選ぶ必要がある。	試行範囲、停止条件、封じ込め、段階的な許可を組み合わせる必要がある。

この表で重要なのは、文章、コード、生命科学を固定的に四つへ分類することではない。同じコードでもローカルの単体テストと金融システムの本番変更では位置が違う。同じ生命科学でも計算解析、細胞内の限定実験、環境へ作用する実験では位置が違う。判断対象は「分野」ではなく「その工程」である。

6.4 未知を調べながら安全条件を守るという問題

未知の対象について情報を増やすには試行が必要だが、探索中にも安全条件を破れない。この構造は、機械学習の安全探索でも扱われている。Yanan Sui らの SafeOpt は、未知の関数を試行しながら、一定の安全条件を満たすと考えられる範囲から探索を進める方法を提示した[23]。

Matteo Turchetta、Felix Berkenkamp、Andreas Krause も、未知の状態遷移を含む意思決定問題で、安全と考えられる領域から探索を広げる方法を研究している[24]。これらの数理手法を生命科学へそのまま移植できるわけではない。しかし、「試さなければ分からない一方、危険な試行を無制限には許せない」という構造は共通している。

この構造を一文で言えば、「分からなければ試す」ではなく、「試さなければ分からないからこそ、何を試してよいかを先に決める」となる。ここで人間の役割は、結果を見て採点することから、未知を減らすための行為そのものを設計することへ広がる。

6.5 可逆性も設計によって変えられる

可逆性 \(R\) も、対象そのものだけで決まるわけではない。実験規模を小さくする、隔離環境を使う、外部へ拡散しない仕組みを置く、停止手段を用意する、ソフトウェアならロールバック可能な展開方式を採用するなど、実行方法によって結果の戻しやすさを変えられる。

実行方法や封じ込め条件を \(u\) とすれば、可逆性も \(R(x,c,u)\) と考えられる。

\[
R=R(x,c,u)
\]

この見方では、安全策は候補 \(x\) の可否を決めるだけではない。同じ候補でも、より限定された条件で試すことで \(R\) を高められるなら、「全面的に実行するか、完全に止めるか」という二択を避けられる。段階的な試験は、情報を取りながら可逆性を維持するための設計になる。

6.6 小さな可逆的試行には、将来の選択肢を残す価値がある

不可逆性の議論から導かれるのは、慎重であるほど常に何もしない方がよいという結論ではない。小さく可逆的な試行によって情報を得られるなら、その情報を使って次の判断を改善できる。重要なのは、一度に大きく進むことと、情報が増えるたびに再判断できるよう段階を刻むことの違いである。

例えば、最初の段階では限定された環境で機能の有無だけを確認し、その結果を見て次の試験条件を決める。各段階で停止可能なら、未知を減らしながら将来の選択肢を残せる。これは実験設計と安全管理が同じ構造へ入る地点である。

つまり、人間の判断は候補に対する一回限りの「許可／不許可」ではなくなる。どの大きさの一歩なら許可するか、その一歩から何を学ぶか、どの観測が得られたら次へ進むかを決める連続的な意思決定になる。

7. 人間に残るのは「評価」より広いゲート判断である

7.1 評価と「次へ通す」は別の判断である

候補 \(x\) を次の現実的な工程へ通すかどうかを、ゲート判断 \(G(x)\) と置く。通す場合を 1、止める場合を 0 とする。

\[
G(x) \in \{0,1\}
\]

文章なら公開へ進めるか、コードなら試験環境や本番へ進めるか、生命科学なら合成や次段階の実験へ進めるかに相当する。この \(G\) は「候補が正しいか」という評価そのものではない。候補について分かっている情報と、分かっていない情報を踏まえて、次の工程へ進むことを許可する意思決定である。

事前評価可能性が高ければ、ゲート判断は評価結果へ強く依存できる。

\[
G(x)=f(\text{評価結果})
\]

しかし事前評価可能性が低い場合、まだ結果が分からないまま決めなければならない。そのとき材料になるのは、事前の予測だけではない。次の工程からどれだけ情報を得られるか、失敗した場合にどの程度の損失があり得るか、実験規模を制限できるか、途中で停止できるか、封じ込められるかといった条件も含まれる。

7.2 実験には「成功の価値」と「知る価値」がある

候補 \(x\) を実行することで得られる目的上の利益を \(V_F(x)\)、結果を観測して不確実性を減らす情報価値を \(V_I(x)\)、期待される損失を \(L(x)\)、実行コストを \(K(x)\) と置く。概念的には、次へ進める意思決定には少なくともこれらが関係する。

\[
V_F(x)+V_I(x)
\quad\text{と}\quad
L(x)+K(x)
\]

ここで重要なのは \(V_I(x)\) である。実験は成功品を得るためだけに行われるのではない。失敗した実験であっても、その候補がなぜ機能しなかったか、どの条件なら次に成功しそうかという情報をもたらす場合がある。285 候補から 16 種類が機能した研究でも、269 候補の失敗は単なる無価値な出力ではなく、設計と機能の関係を学ぶ観測になり得る。

ただし、この式を「利益が損失を少し上回れば何でも実験してよい」という規則として使うことはできない。重大な危険については、期待値の比較とは別に、越えてはならない制約が必要になる。安全条件を \(S_j(x)\) とすれば、ゲート判断は利益と損失の比較だけでなく、各制約を満たすことを条件にする。

\[
G(x)=1
\quad\Rightarrow\quad
S_j(x)=1
\quad(\text{必要なすべての }j\text{ について})
\]

つまり、人間が設計するのは一個の「正解判定」ではない。何を利益とみなすか、どの情報を得る価値があるか、どの危険は期待値で相殺せず禁止するか、どの段階で停止するかという、候補を現実へ通す規則そのものである。

7.3 AI が候補を大量に作ると、ゲート側がボトルネックになる

生成 AI が入ると、もう一つ構造が変わる。候補を一つ作るための生成コストを \(c_g\) とする。一定の生成予算や時間のもとでは、\(c_g\) が下がるほど、生成可能な候補数の上限 \(N_{\max}\) を増やしやすくなる。

\[
N_{\max}\propto\frac{1}{c_g}
\]

ただし、生成されたすべての候補が人間の審査や物理実験へ流れ込むとは限らない。自動選別などを経て、一定期間にあるゲートへ実際に流入する候補数を \(N_{\mathrm{in}}\) とする。一方、実験設備、安全審査、専門家の時間、封じ込め設備など、ゲート側が一定期間に丁寧に扱える候補数を \(B\) とする。

\[
B=\text{一定期間に適切に審査・試験できる候補数}
\]

ゲートへの流入数と処理能力の比を、概念的な負荷 \(\rho\) として次のように置ける。

\[
\rho=\frac{N_{\mathrm{in}}}{B}
\]

\(\rho\) が 1 より十分小さければ、そのゲートへ流入した候補を一件ずつ丁寧に扱える余裕がある。\(\rho\) が大きくなると、候補を待たせる、入口で粗く落とす、評価を自動化する、実験数を絞るといった対応が必要になる。この量も実測された普遍法則ではなく、生成側と審査側の能力差を見るためのモデルである。

ここから AI 時代の別のボトルネックが見える。以前は「良い候補を設計できるか」が制約だった。AI が大量の候補を生成できるようになると、「どれを次へ通すか」「どこまで試せるか」「どの候補に限られた実験資源を使うか」が制約になる。生成能力の増大は、設計問題を消すのではなく、選択とゲートの問題を前面へ押し出す。

7.4 候補数が増えると、小さな誤判定率も無視できなくなる

ゲートには誤判定がある。本来止めるべき候補を通してしまう場合と、本来通してよい候補を止めてしまう場合である。前者の確率を概念的に \(\alpha\)、後者を \(\beta\) とする。

\[
\alpha=P(G=1\mid\text{本来は停止})
\]

\[
\beta=P(G=0\mid\text{本来は通過可能})
\]

安全性だけを考えれば \(\alpha\) を小さくしたくなるが、極端に厳しくすると \(\beta\) が増え、有益な研究や試行を大量に止める可能性がある。逆に通過率を上げれば、見逃しが増えることがある。ゲート設計には、この二種類の誤りと、それぞれの帰結を区別する必要がある。

さらに AI によってゲートへの流入数 \(N_{\mathrm{in}}\) が増えると、候補一件あたりの誤判定率が同じでも、誤って通る候補の絶対数は増え得る。本来停止すべき候補の割合を \(p\)、それらを誤って通す平均的な確率を \(\alpha\) とすると、単純化した期待値は次の形になる。

\[
M \approx N_{\mathrm{in}}p\alpha
\]

\(M\) は誤って通過する候補数の期待値である。ここでは \(p\) と \(\alpha\) を候補群へ平均的に適用する単純化を置いており、実際の安全評価をこの式だけで計算できるわけではない。それでも、ゲートへの流入量が桁違いに増えれば「一件あたり 99.9% 正しく判定できる」という数字だけでは安全性を判断できないことを示す。

候補量が増えるほど、ゲート側には単なる精度だけでなく、処理能力、誤判定の非対称なコスト、再確認の仕組みが必要になる。生成 AI がもたらす規模の変化は、同じ判断規則をそのまま大量適用すればよいとは限らない。

7.5 ゲートは個別候補だけでなく、探索範囲にも置ける

候補が大量に生成される場合、最後に一件ずつ可否を判定するだけでは処理能力が足りなくなる。そこでゲートを、生成後の個別候補だけでなく、その手前の探索空間にも置く考え方が重要になる。

人間が指定する目的 \(g\) や生成条件によって、モデルが探索する候補集合は変わる。許容する探索領域を \(\mathcal{X}_{\mathrm{allow}}\) とすると、個別候補を評価する前に、生成そのものをこの領域へ制約できる。

\[
x \in \mathcal{X}_{\mathrm{allow}}
\]

この方法は、危険な候補を完全に予測して除外できるという意味ではない。個々の結果が不確実でも、研究目的、対象、実験規模、扱う機能などの上位条件によって、そもそも探索しない領域を設定できるという意味である。

さらに、実験結果によって安全に探索できる領域が広がった場合だけ、次の候補集合を拡張することもできる。時点 \(t\) で許容する集合を \(\mathcal{X}_t\) とすれば、観測 \(O_t\) を見た後に、条件を満たす範囲で \(\mathcal{X}_{t+1}\) を更新する。

\[
\mathcal{X}_t
\xrightarrow{\;O_t\;}
\mathcal{X}_{t+1}
\]

このとき人間が設計するのは「この一件を通すか」だけではない。AI がどの範囲を探索してよいか、その範囲をどの証拠が得られたら広げてよいかという探索政策そのものになる。候補数が増えるほど、個別審査から探索空間の設計へ判断を上げる必要が強くなる。

7.6 「生成から評価へ」は「生成からゲート判断へ」の一部だった

ここまでをまとめると、最初に置いた「生成から評価へ」という変化は間違いではない。ただし、より一般的な構造の一部だった。

\[
\text{生成から評価へ}
\subset
\text{生成からゲート判断へ}
\]

実行前に十分評価できる対象では、評価結果を見てゲートを開ければよい。そのため評価とゲート判断はほぼ同じに見える。実行して初めて重要な情報が得られる対象では、両者が分離する。人間は評価者になる前に、評価に必要な実行を許可する主体になる。

8. ゲートは一か所ではなく、情報が増える場所ごとに必要になる

8.1 上流で見えないものは、下流で初めて見える

事前評価だけで最終結果を確定できないなら、一回の承認ですべてを処理することも難しい。工程が進むたびに、新しく得られる情報があるからである。生成段階では「どのような候補が作られたか」が分かる。研究計画では「何を目的に、どの条件で実験するか」が具体化する。核酸合成の段階では「誰がどの配列を物質として取得しようとしているか」が分かる。実験へ進めば、初めて実際の生物学的挙動が観測される。

WHO は 2022 年の生命科学の責任ある利用に関する指針で、バイオリスク管理を研究者一人や一度の審査へ閉じず、政策立案者、研究機関、資金提供者、出版社、民間部門など研究ライフサイクルに関わる多様な主体の共有責任として整理している[25]。これは単に責任者を増やす話として読むより、各段階で持てる情報と権限が違うと考えると理解しやすい。

8.2 核酸合成は情報が物質へ変わるゲートになる

米国保健福祉省の 2023 年合成核酸スクリーニング指針は、合成事業者だけでなく、利用者や卓上型合成装置の製造者まで対象を広げ、懸念配列の確認と利用者の正当性確認を推奨している[26]。この地点では、AI モデルの利用時にはまだ存在しなかった「誰が、どの配列を、物理的な核酸として入手するのか」という情報が現れる。

生成 AI が設計へ入ると、合成側の判定方法にも変化が必要になる。Bruce J. Wittmann らは 2025 年、生成 AI で設計されたタンパク質に対応する核酸配列について、既知配列との類似性だけに依存するスクリーニングが回避される可能性を調べ、生成設計に対応できるようスクリーニング方法を強化できることを示した[27]。上流の生成能力が変わると、同じ合成工程でも「何を危険として検出するか」というゲート側の能力を更新する必要が生じる。

8.3 制度も研究ライフサイクル全体へゲートを置く

米国では 2025 年 5 月 5 日の大統領令 14292 号が、高リスク生命科学研究の監督制度を改定し、核酸合成スクリーニングの枠組みも更新するよう連邦機関へ求めた[28]。この大統領令は AI 設計ファージだけを対象にしたものではない。技術能力や研究方法が変化するなかで、既存の監督制度を固定したままにしないという政策変更である。

その後、2026 年 7 月 20 日には「United States Government Policy for Stopping High-Risk Life Sciences Research」が承認された。ASPR の説明では、研究者、研究機関、資金提供機関がそれぞれ、研究や資金提供を進める前に禁止カテゴリーへ該当しないことを確認する責任を持ち、研究開発ライフサイクル全体でリスクに応じた監督を行う構造になっている[29]。

今回のファージ研究がこの政策によって禁止される、とそこから結論することはできない。対象となる生物、操作、予想される結果などを個別に評価する必要がある。ここで制度例から確認できるのは、研究を始める前の一回の承認だけでなく、複数の主体と工程に確認責任を置く考え方が実際の政策でも採用されていることである。

8.4 多段ゲートを数式で表す

工程が \(n\) 段階あるとし、それぞれにゲート \(G_1,G_2,\ldots,G_n\) を置く。第 \(i\) 段階までに得られた情報を \(Z_i\) とすると、その時点での判断は概念的に次のように書ける。

\[
G_i=f_i(Z_i,\,E_i,\,R_i,\,S_i)
\]

\(Z_i\) はその時点までの観測情報、\(E_i\) は次の工程へ進む前にどこまで評価できるか、\(R_i\) は進んだ後の可逆性、\(S_i\) はその工程で満たすべき安全条件を表す。工程が違えば、使える情報も、戻しやすさも、安全条件も違うため、同じ判定関数を何度も適用するわけではない。

ゲート	新しく得られる情報	主な判断
モデル利用	どのような目的や条件で候補を生成しようとしているかが分かる。	モデルへのアクセス、生成可能な範囲、利用条件を決める。
研究計画	対象、目的、実験規模、設備、封じ込め条件が具体化する。	研究を開始するか、条件を変更するかを決める。
核酸合成	誰がどの配列を物質化しようとしているかが分かる。	注文を通すか、追加確認や拒否を行うかを決める。
実験	予測ではなく、実際の生物学的挙動が観測される。	継続、停止、条件変更、次段階への移行を決める。

多層化の意味は、同じ禁止規則を何度も置くことではない。上流では存在しなかった情報が下流で増えるため、その情報を使える場所ごとに判断を更新することにある。同時に、下流へ進むほど物理的作用が大きくなり、可逆性が下がるなら、ゲート条件も変える必要がある。

8.5 多段ゲートは証拠を積み上げる過程として考えられる

多段ゲートでは、前の段階の判断を次の段階で忘れるのではない。各工程で新しい観測が加わり、判断材料が更新される。第 \(i\) 段階で得られた観測を \(O_i\) とすると、次の段階の情報は概念的に次のように増える。

\[
Z_{i+1}=Z_i\cup\{O_i\}
\]

最初は生成配列と計算予測しかなかったとしても、合成可能性、研究者や利用者の情報、限定実験の結果などが順に加わる。後段のゲートは、上流と同じ情報で同じ判断を繰り返すのではなく、追加された証拠を使って判断を更新する。

この構造では、各ゲートの目的も変わり得る。生成段階では明らかに不適切な目的や出力を止める。研究審査では実験条件や封じ込めを確認する。合成段階では配列と利用者を確認する。実験中は実際の挙動を見て停止条件を判断する。ゲートごとに観測対象が違うから、多段化に意味がある。

8.6 ゲートが多くても、迂回経路があれば全体は閉じない

ここから経路全体へ一般化すると、ゲートを増やせば自動的に安全になるわけでもない。工程が一本の直線ではなく、別のモデル、別の合成方法、別の実験環境へ分岐できるなら、一つのゲートを通らない経路が残る。多段防御を考えるときには、ゲートの数だけでなく、どの経路を覆っているかを見る必要がある。

この違いは、モデル側だけの制限と核酸合成側の確認を組み合わせる理由にもつながる。モデルの制限はそのモデルを使う経路には効くが、別の生成手段には届かない。合成事業者の確認は商用合成の経路には効くが、すべての物質化方法を一律に覆うとは限らない。研究機関の審査も、その機関の外で行われる行為には直接届かない。

したがって多段ゲートは、一本の鎖に南京錠を増やす発想では足りない。候補が生成されてから現実の作用へ至る経路をグラフとして捉え、どの分岐にどの観測と介入能力があるかを見る必要がある。この視点では、安全管理は「最後の責任者を決めること」より、経路全体の観測可能性と遮断可能性を設計する問題になる。

9. AI が変えるのは、人間の判断が必要になる場所である

9.1 生命科学は「人間が評価する」の成立条件を露出させた

最初に置いた「AI が作り、人間が評価する」というモデルは、依然として多くの場面で有効である。文章なら公開前に内容を読むことができる。ソフトウェアでも、本番投入前にレビューや複数の試験を行い、問題があれば修正して戻すことができる。NIST の Secure Software Development Framework も、ソフトウェアセキュリティを最後の一回の確認へ集約せず、開発ライフサイクルへ複数の安全実践を組み込む枠組みを示している[30]。

生命科学のファージ研究は、そのモデルが成立する条件を見えやすくした。AI が作った完全ゲノム候補を専門家が計算で選別しても、本当に感染し増殖するかは、DNA を合成して細菌へ導入するまで分からなかった。285 候補のうち 16 種類が機能したという差は、「AI がまだ未熟である」という情報であると同時に、事前評価と実際の機能確認の間に実験が存在することを示している。

ここで人間の役割は二つへ分かれる。一つは、得られた情報を読み、候補の良否を評価する役割である。もう一つは、まだ十分な情報がない状態で、次の観測を得るためにどの候補をどこまで実行してよいかを決める役割である。後者を前者と同じ「評価」という一語に含めると、AI 時代の意思決定で本当に難しくなる場所が見えなくなる。

9.2 分野ではなく工程を見る

この考え方を一般化するとき、「文章は安全、生命科学は危険」という分野分類へ飛ぶ必要はない。事前評価可能性 \(E\)、可逆性 \(R\)、候補量とゲート能力の比 \(\rho\) は、同じ分野の中でも工程によって変わる。

例	事前評価可能性	可逆性	人間の判断が重くなる場所
文章の下書き	公開前に全文と根拠をかなり確認できる。	公開前なら破棄や修正が容易である。	公開可否の評価が中心になる。
隔離されたソフトウェア試験	実行しないと分からない挙動があるが、試験で情報を増やせる。	環境が適切なら失敗を隔離し、やり直しやすい。	どの試験を通して本番へ進めるかが中心になる。
AI 設計ファージの実験	計算選別後も感染と増殖は物理実験まで確定しない。	実験条件、封じ込め、対象によって戻しやすさが変わる。	何を合成し、どの条件で実験へ進めるかが中心になる。

重要なのは、どの分野に AI が入ったかではなく、AI が入ったことでどの工程の候補生成量が増え、その次の工程では何がまだ分からず、どこまで戻せるのかである。この三点が変われば、人間の判断を置く場所も変わる。

9.3 「人間を残す」から「判断位置を設計する」へ

AI の安全性を考えるとき、「最後は人間が判断する」という言い方は分かりやすい。しかし、最後まで待たなければ得られない情報があり、最後まで進めること自体が危険を伴うなら、判断を最後だけに置くことはできない。逆に、入口ですべてを判断しようとしても、まだ存在しない観測を使うことはできない。

必要になるのは、人間を一人「ループの中」に置くことではなく、工程ごとに、何が分かっているか、何がまだ分からないか、次へ進むと何が観測できるか、失敗したときどこまで戻せるかを見て、判断地点を設計することである。

その意味で、生成 AI が人間の仕事を「作ることから評価することへ変える」という説明も、まだ途中だった。事前評価可能性が高い領域では、人間の役割は確かに評価へ寄る。実行しなければ分からない領域では、評価より手前に「未知の候補を現実へ通してよいか」というゲート判断が現れる。AI が候補を大量に作れば、そのゲートを処理する能力自体が新しいボトルネックになる。

したがって、AI 時代に人間へ残る役割を一つの職能名で表すなら、「評価者」より広く考える必要がある。人間が決めるのは、すでに答えが分かっている候補の採否だけではない。何がまだ分からないのかを把握し、どの証拠があれば、どの条件で、どこまで現実へ通してよいかを決める。AI が変えるのは、人間の判断の有無ではなく、人間が判断しなければならない場所である。

9.4 ゲート判断そのものも自動化の対象になりうる

ここまでの議論をさらに一段拡張すると、次の仮説が出てくる。ゲートへの流入数 \(N_{\mathrm{in}}\) が増え、ゲート側の処理能力 \(B\) が追いつかなくなれば、人間はゲート判断そのものにも AI を使いたくなる。AI が候補を生成し、別の AI が順位付けし、危険性を予測し、実験候補を絞り、人間はその結果を監督するという構造である。

これは元の「AI が作り、人間が評価する」へ単純に戻るわけではない。評価側の AI も誤り、評価側のモデルにも事前評価可能性の限界があり、その出力をどの条件で信用するかという一段上のゲートが必要になる。生成の自動化が評価をボトルネックにし、評価のボトルネックが評価自体の自動化を促すという再帰的な構造になる。

このとき人間へ残る仕事は、個々の候補をすべて読むことからさらに離れる可能性がある。どの評価モデルを使うか、どの誤判定を重く扱うか、どの閾値で人間へ戻すか、どの種類の候補は自動判定へ任せないかという、ゲートを作る規則の監督へ移る。

したがって「人間が判断する場所」は固定されない。AI が新しい工程を代替するたび、その工程の一段上へ新しい判断が生じる。生成 AI の普及を、人間の判断が徐々に消えていく過程と見るより、判断対象が成果物から評価規則へ、評価規則から制度や境界条件へ移動していく過程として見る方が、今回のファージ研究から始まった議論を先へ進められる。

参考文献

Lisanne Bainbridge, “Ironies of automation,” Automatica, Vol. 19, No. 6, pp. 775-779, 1983. DOI: 10.1016/0005-1098(83)90046-8. https://doi.org/10.1016/0005-1098(83)90046-8
Raja Parasuraman and Victor Riley, “Humans and Automation: Use, Misuse, Disuse, Abuse,” Human Factors, Vol. 39, No. 2, pp. 230-253, 1997. DOI: 10.1518/001872097778543886. https://doi.org/10.1518/001872097778543886
Raja Parasuraman, Thomas B. Sheridan and Christopher D. Wickens, “A model for types and levels of human interaction with automation,” IEEE Transactions on Systems, Man, and Cybernetics – Part A: Systems and Humans, Vol. 30, No. 3, pp. 286-297, 2000. DOI: 10.1109/3468.844354. https://doi.org/10.1109/3468.844354
Auste Simkute et al., “Ironies of Generative AI: Understanding and Mitigating Productivity Loss in Human-AI Interaction,” International Journal of Human-Computer Interaction, 2025. DOI: 10.1080/10447318.2024.2405782. https://doi.org/10.1080/10447318.2024.2405782
Samuel H. King et al., “Generative design of bacteriophages with genome language models,” Science, Vol. 393, Issue 6811, eaec2657, 2026. DOI: 10.1126/science.aec2657. https://doi.org/10.1126/science.aec2657
Thomas V. Inglesby and Moritz S. Hanke, “AI-designed viral genomes,” Science, Vol. 393, Issue 6811, pp. 563-564, 2026. DOI: 10.1126/science.aej8512. https://doi.org/10.1126/science.aej8512
Hamilton O. Smith et al., “Generating a synthetic genome by whole genome assembly: φX174 bacteriophage from synthetic oligonucleotides,” Proceedings of the National Academy of Sciences, Vol. 100, 2003. DOI: 10.1073/pnas.2237126100. https://doi.org/10.1073/pnas.2237126100
Eric Nguyen et al., “Sequence modeling and design from molecular to genome scale with Evo,” Science, Vol. 386, eado9336, 2024. DOI: 10.1126/science.ado9336. https://doi.org/10.1126/science.ado9336
Aditi T. Merchant et al., “Semantic design of functional de novo genes from a genomic language model,” Nature, Vol. 649, pp. 749-758, 2026; published online 2025-11-19. DOI: 10.1038/s41586-025-09749-7. https://doi.org/10.1038/s41586-025-09749-7
Garyk Brixi et al., “Genome modelling and design across all domains of life with Evo 2,” Nature, Vol. 652, pp. 1349-1361, 2026. DOI: 10.1038/s41586-026-10176-5. https://doi.org/10.1038/s41586-026-10176-5
National Academies of Sciences, Engineering, and Medicine, The Age of AI in the Life Sciences: Benefits and Biosecurity Considerations, National Academies Press, 2025. DOI: 10.17226/28868. https://doi.org/10.17226/28868
D. V. Lindley, “On a Measure of the Information Provided by an Experiment,” The Annals of Mathematical Statistics, Vol. 27, No. 4, pp. 986-1005, 1956. DOI: 10.1214/aoms/1177728069. https://doi.org/10.1214/aoms/1177728069
Kathryn Chaloner and Isabella Verdinelli, “Bayesian Experimental Design: A Review,” Statistical Science, Vol. 10, No. 3, pp. 273-304, 1995. DOI: 10.1214/ss/1177009939. https://doi.org/10.1214/ss/1177009939
Ronald A. Howard, “Information Value Theory,” IEEE Transactions on Systems Science and Cybernetics, Vol. 2, No. 1, pp. 22-26, 1966. DOI: 10.1109/TSSC.1966.300074. https://doi.org/10.1109/TSSC.1966.300074
Yonatan Geifman and Ran El-Yaniv, “Selective Classification for Deep Neural Networks,” Advances in Neural Information Processing Systems 30, 2017. https://proceedings.neurips.cc/paper/2017/hash/4a8423d5e91fda00bb7e46540e2b0cf1-Abstract.html
David Madras, Toni Pitassi and Richard Zemel, “Predict Responsibly: Improving Fairness and Accuracy by Learning to Defer,” Advances in Neural Information Processing Systems 31, 2018. https://proceedings.neurips.cc/paper/2018/hash/09d37c08f7b129e96277388757530c72-Abstract.html
Hussein Mozannar and David Sontag, “Consistent Estimators for Learning to Defer to an Expert,” Proceedings of the 37th International Conference on Machine Learning, PMLR 119, pp. 7076-7087, 2020. https://proceedings.mlr.press/v119/mozannar20b.html
John D. Lee and Katrina A. See, “Trust in Automation: Designing for Appropriate Reliance,” Human Factors, Vol. 46, No. 1, pp. 50-80, 2004. DOI: 10.1518/hfes.46.1.50_30392. https://doi.org/10.1518/hfes.46.1.50_30392
Linda J. Skitka, Kathleen L. Mosier and Mark Burdick, “Does automation bias decision-making?,” International Journal of Human-Computer Studies, Vol. 51, No. 5, pp. 991-1006, 1999. DOI: 10.1006/ijhc.1999.0252. https://doi.org/10.1006/ijhc.1999.0252
Gagan Bansal et al., “Does the Whole Exceed its Parts? The Effect of AI Explanations on Complementary Team Performance,” Proceedings of the 2021 CHI Conference on Human Factors in Computing Systems, 2021. DOI: 10.1145/3411764.3445717. https://doi.org/10.1145/3411764.3445717
Zana Buçinca, Maja Barbara Malaya and Krzysztof Z. Gajos, “To Trust or to Think: Cognitive Forcing Functions Can Reduce Overreliance on AI in AI-assisted Decision-making,” Proceedings of the ACM on Human-Computer Interaction, Vol. 5, CSCW1, 2021. DOI: 10.1145/3449287. https://doi.org/10.1145/3449287
Kenneth J. Arrow and Anthony C. Fisher, “Environmental Preservation, Uncertainty, and Irreversibility,” The Quarterly Journal of Economics, Vol. 88, No. 2, pp. 312-319, 1974. DOI: 10.2307/1883074. https://doi.org/10.2307/1883074
Yanan Sui, Alkis Gotovos, Joel Burdick and Andreas Krause, “Safe Exploration for Optimization with Gaussian Processes,” Proceedings of the 32nd International Conference on Machine Learning, PMLR 37, pp. 997-1005, 2015. https://proceedings.mlr.press/v37/sui15.html
Matteo Turchetta, Felix Berkenkamp and Andreas Krause, “Safe Exploration in Finite Markov Decision Processes with Gaussian Processes,” Advances in Neural Information Processing Systems 29, 2016. https://proceedings.neurips.cc/paper/2016/hash/9a49a25d845a483fae4be7e341368e36-Abstract.html
World Health Organization, Global guidance framework for the responsible use of the life sciences: mitigating biorisks and governing dual-use research, 2022. https://www.who.int/publications/i/item/9789240056107
U.S. Department of Health and Human Services, “2023 HHS Screening Framework Guidance for Providers and Users of Synthetic Nucleic Acids,” 2023. https://www.aspr.gov/readiness-response/medical-countermeasures-biodefense/s3/synthetic-nucleic-acid-screening/hhs-screening-framework-guidance-providers-users
Bruce J. Wittmann et al., “Strengthening nucleic acid biosecurity screening against generative protein design tools,” Science, Vol. 390, Issue 6768, pp. 82-87, 2025. DOI: 10.1126/science.adu8578. https://doi.org/10.1126/science.adu8578
The White House, Executive Order 14292, “Improving the Safety and Security of Biological Research,” 2025-05-05. https://www.whitehouse.gov/presidential-actions/2025/05/improving-the-safety-and-security-of-biological-research/
Administration for Strategic Preparedness and Response, “United States Government Policy for Stopping High-Risk Life Sciences Research,” approved 2026-07-20. https://www.aspr.gov/readiness-response/medical-countermeasures-biodefense/s3/high-consequence-research-oversight/USG-Policy-For-Stopping-High-Risk-Life-Sciences-Research
Murugiah Souppaya, Karen Scarfone and Donna Dodson, Secure Software Development Framework (SSDF) Version 1.1: Recommendations for Mitigating the Risk of Software Vulnerabilities, NIST Special Publication 800-218, 2022. DOI: 10.6028/NIST.SP.800-218. https://csrc.nist.gov/pubs/sp/800/218/final