AI の研究自動化には、評価できる範囲という境界がある

by

AI が研究を自動化できるかという問いは、ひとまとまりの能力について尋ねているように見える。しかし研究の実務を分解すると、性質の異なる工程が連続している。文献を探し、既知の結果を整理し、仮説を作り、コードを書き、実験を行い、結果を集計する工程がある。その結果を受けて、仮説を維持するか捨てるか、実験設計を修正するか、別の研究方向へ移るか、得られた結果が公表に値するかを判断する工程もある。

前半の工程には、比較的明確な終了条件を置きやすい。指定した文献を取得できたか、コードが動いたか、実験が完了したか、予定した指標を計算できたかは、外部から確認できる。一方、後半の工程では、実行結果そのものではなく、その結果が研究上どのような意味を持つかを判断しなければならない。実験が正常に終了しても、その結果が既知の現象を再確認しただけなら研究上の前進とは限らない。仮説と矛盾する結果が得られても、仮説を捨てるべき場合もあれば、測定方法や前提条件を疑うべき場合もある。

この違いを具体的に示したのが、2026 年に報告された CRUX の研究である。研究チームは、未公開の NeurIPS 2026 投稿研究 2 件から中心的な研究課題を取り出し、それぞれを AI エージェントに与えた。エージェントには 6 日間が与えられ、文献調査、実装、実験、分析、論文作成までを進める環境が用意された。ここで評価対象になったのは、既知の論文を再現できるかではなく、元の研究者が実際に取り組んでいた未解決の研究課題に対して、新しい研究成果を作れるかという能力だった[1]。

エージェントは、研究に必要なエンジニアリング作業を人間の助力なしに完遂した。それでも、元の研究者が成果を評価すると、中心的な研究課題には十分な進展を示せなかった。著者らが特定した失敗には、出版可能な研究が満たすべき水準の判断、研究設計に欠点が見つかったときの対応、成果の出ない方向からの後戻り、計算資源の把握、長時間の作業中に当初の指示から離れていく現象が含まれていた[1]。

この結果では、研究作業そのものが停止したわけではない。コードは書かれ、実験は行われ、分析も進んだ。それでも研究成果として十分な地点には到達しなかった。作業を継続する能力と、得られた証拠を使って研究方向を更新する能力の間に差があったことになる。研究自動化の程度を、生成したコード量や実験回数だけから測ることができない理由はここにある。

また、この観察から「AI は研究できない」あるいは「AI には創造性がない」と一般化する根拠も得られない。CRUX が直接観察したのは、特定のフロンティアエージェントを特定の 2 件のオープンエンドな研究課題へ投入したとき、研究エンジニアリングを完遂できても、研究水準の判断や方針転換を含む研究ライフサイクルの一部で失敗したという事実である[1]。創造性という概念全体や、あらゆる種類の科学研究を測定した実験ではない。

この観察を出発点にすると、AI による研究自動化を考えるための問いを具体化できる。焦点は、AI が研究作業を何件処理できるかだけではなく、実験結果をどの基準で評価し、その評価を次の仮説、実験設計、撤退判断へ戻せるかにある。研究を自律的に進めるには、生成と実行だけでなく、評価と方針更新までを連続した処理として成立させる必要がある。

1. AI 研究の自動化を一つの能力として扱わない

研究工程をさらに分解すると、実行と判断の違いが明確になる。文献検索では、検索条件を与え、候補を取得し、内容を整理できる。実装では、仕様に沿ってコードを書き、テストを実行できる。実験では、決められた条件を設定し、出力を記録できる。これらの工程では、少なくとも「予定した処理が実行されたか」という水準なら外部から確認できる。

研究判断では、確認すべき対象が変わる。ある手法が基準手法を 0.5 ポイント上回ったとしても、その差が研究上意味のある改善なのかは数値だけでは決まらない。測定誤差の範囲なのか、特定のデータだけに現れる現象なのか、既知の手法を少し変えただけなのか、別条件でも成立するのかを調べる必要がある。数値を得た後に、その数値をどの証拠として扱うかという判断が続く。

仮説が外れた場合には、さらに複数の分岐が生じる。実験結果が仮説を支持しなかったという事実だけでは、次の行動は一意に決まらない。仮説そのものを捨てる、実装ミスを調べる、測定方法を変更する、前提条件を限定する、別の説明を立てるといった選択肢がある。どの分岐を選ぶかによって、その後に消費する計算資源と研究時間が変わり、最終的に到達する成果も変わる。

CRUX で観察された失敗は、この分岐部分に集中していた。エージェントは実装や実験を続けることができたが、研究設計の弱点が見つかったときに十分な別案を作れない場合があり、成果の出ない方向から効果的に後戻りできない場合もあった。著者らは、出版可能な研究が要求する水準についての判断も失敗要因として挙げている[1]。実験を続けられることと、続ける価値のある実験を選べることが分離していた。

この関係を研究工程として見ると、実行された作業の後ろに評価と更新が存在する。仮説から実験を作り、実験から結果を得るだけでは一方向の処理で終わる。結果を評価し、その評価によって仮説や実験設計を変更し、再び実験へ戻ることで研究は反復する。評価が適切なら、失敗した方向へ投入する資源を減らし、有望な方向へ探索を集中できる。評価や更新が機能しなければ、実験速度だけが上がっても、同じ弱い方針を高速に繰り返すことになる。

この区別は、既稿で整理した AI エージェントの構造とも接続する。モデルが文章やコードを生成できるだけでは、外部の仕事は完了しない。対象を観測し、必要な操作を行い、その結果を検証し、検証結果に応じて次の操作を選ぶ経路が必要になる[2]。研究では、この検証対象が「処理が成功したか」から「得られた証拠が研究上どの意味を持つか」まで広がる。

工程 直接確認する対象 判断が必要になる地点 評価を誤った場合の帰結
文献調査 必要な資料へ到達し、既知の結果を把握できたか。 どの先行研究が現在の仮説と直接関係し、どの結果が新規性を制約するかを判断する。 既知の結果を新規な発見として扱ったり、重要な反証を見落としたりする。
実装 意図した処理をコードとして実行できたか。 実装された処理が研究仮説を検証する設計になっているかを判断する。 正常に動くコードから、研究上は意味のない測定結果を大量に生成する。
実験 指定した条件で測定し、再現可能な結果を得たか。 比較条件、統制条件、追加実験が十分であり、観測差を仮説へ帰属できるかを判断する。 偶然、交絡、条件依存の結果を一般的な効果として解釈する。
研究判断 得られた証拠が仮説をどの程度支持または反証するか。 仮説を維持するか、修正するか、捨てるか、研究方向そのものを変えるかを決める。 成果の出ない方向へ資源を投入し続けたり、反対に有望な仮説を早く捨てたりする。

表の上から下へ進むほど、判定対象は「処理が完了したか」から「その処理結果を研究上どう扱うか」へ移る。文献を取得できたか、プログラムが終了したか、実験結果を保存できたかは比較的明確に確認できる。研究方向を継続すべきかという判断では、新規性、再現性、効果の大きさ、代替説明、残された研究資源など複数の条件を同時に扱う必要がある。

この構造から、研究自動化を評価するときに必要な区別が得られる。研究工程の多くを自動実行できることは、それ自体で大きな能力である。しかし研究全体を自律化するには、各工程の出力を次の工程へ渡すだけでは足りない。途中で得られた証拠を評価し、探索方向を選び直す経路まで閉じる必要がある。

2. AI は研究作業を進められるが、研究判断では同じように進まない

研究に近い仕事を AI エージェントへ任せる評価は、CRUX 以前から複数作られている。ただし、同じ「AI 研究能力」の評価でも、エージェントに要求する判断の範囲は一致しない。既知の目標に対して性能を上げる、論文に書かれた結果を再現する、機械学習競技で高いスコアを得るといった課題では、最終的な良否を外部から判定できる。一方、未知の研究課題では、何を試すかだけでなく、得られた結果が研究として十分なのか、現在の方針を続けるべきかという判断まで課題の内部に入ってくる。

RE-Bench は、この境界に比較的近い位置にある。評価対象は 7 件の機械学習研究エンジニアリング環境で、人間の専門家と AI エージェントが同じ課題へ取り組む。2 時間の総時間予算では、最良の AI エージェントが人間専門家の約 4 倍のスコアを得た。一方、時間予算を増やしたときの改善幅は人間の方が大きく、8 時間では人間が最良の AI をわずかに上回り、複数試行を合わせて総計 32 時間の予算を与えた比較では、人間のスコアが最良の AI の約 2 倍になった[3]。

この結果は、単純に「短時間では AI、長時間では人間」と読むより、時間を追加したときに何が起きるかを見る方が有益である。RE-Bench の AI は、候補を生成して試す速度が速く、研究エンジニアリングに必要な知識も持っていた。短い時間枠では、その試行速度がそのまま得点へ反映される。ところが時間予算を増やすと、人間のスコアの改善幅は AI より大きくなり、最終的に差が縮小して逆転した。研究から直接確認できるのはこの差までであり、その原因が探索方針の更新能力にあるかは別途検証が必要である[3]。

ただし、RE-Bench も CRUX と同じ種類のオープンエンド研究ではない。課題には評価用のスコアがあり、候補手法を試せば、その結果が以前より良くなったかを確認できる。エージェント自身が「この成果は研究として公表する価値があるか」という基準を作る必要はない。探索方法には自由度があっても、探索結果を比較する物差しは環境側から与えられている。

PaperBench では、この評価構造がさらに明示的である。対象は ICML 2024 の Spotlight と Oral 論文 20 本で、AI エージェントは論文の内容を理解し、コードを実装し、実験を実行して、元論文の研究成果を再現する。各論文の再現条件は階層的な採点表へ分解され、全体では 8,316 個の個別採点項目が用意された。採点表は元論文の著者と共同で作成されており、どの成果まで再現できれば何点になるかを外部から判定できる[4]。

最良の AI 構成でも平均再現スコアは 21.0% で、機械学習の博士人材による人間基準を上回らなかった[4]。この低いスコアは、AI が研究に近い複雑な作業をまだ十分に遂行できないことを示す。一方で、PaperBench が測っている失敗の意味は限定されている。再現すべき研究成果はすでに存在し、必要な結果も採点表として定義されている。エージェントが考えなければならないのは「どの研究成果に価値があるか」ではなく、「既知の成果へどう到達するか」である。

MLE-bench は、評価基準をさらに単純化できる例である。75 件の Kaggle 機械学習競技を使い、データの準備、モデルの選択と学習、実験、予測結果の生成といった機械学習エンジニアリングを AI エージェントに実行させる。報告時点の最良構成は、16.9% の競技で少なくとも Kaggle のブロンズメダル相当の成績へ到達した[5]。

Kaggle 型の課題では、改善方向を決める信号が明瞭である。ある変更を加えて検証スコアが上がれば、その変更を残す理由が得られる。下がれば元へ戻せる。データ処理、特徴量、モデル、ハイパーパラメータを変更しながら、この比較を繰り返せる。探索空間そのものは広くても、候補を選別する基準は競技スコアとして固定されている。この条件では、仮説生成と実験の速度を上げることが、比較的直接に探索範囲の拡大へつながる。

評価系 AI に求める作業 成果を判定する基準 エージェント側に残る判断
MLE-bench データ処理、モデル学習、実験、性能改善を進める。 Kaggle の競技スコアによって候補を比較できる。 どの手法を次に試すかは選ぶが、何を改善と呼ぶかは外部から与えられる。
PaperBench 既存論文を理解し、実装と実験によって研究成果を再現する。 元論文の著者と作成した詳細な採点表によって達成度を判定できる。 再現方法は探索するが、到達すべき研究成果はすでに分かっている。
RE-Bench 機械学習研究エンジニアリング環境で解法を探索し、性能を改善する。 環境ごとのスコアによって研究エンジニアリング上の成果を比較できる。 探索方針の自由度は高いが、改善したかどうかを判定する尺度は用意されている。
CRUX 未解決の研究課題について仮説形成、実装、実験、分析、論文作成まで進める。 固定された単一スコアだけでは、出版可能性、新規性、研究上の十分性を判定できない。 何を十分な成果とみなすか、いつ撤退するか、研究方針をどう再構成するかまで判断する必要がある。

METR の長時間タスク研究も、この違いを考える際に注意が必要である。この研究が導入した 50% 時間幅（50% time horizon） は、AI が何時間連続して自律動作できるかを直接測る値ではない。人間の専門家がある時間を要する課題群について、AI が 50% の確率で完遂できる境界を、人間の所要時間によって表した指標である[6]。例えば 2 時間の時間幅は、AI が 2 時間連続して安定して活動できるという意味ではなく、人間なら約 2 時間かかる種類の課題で成功確率が 50% になることを表す。

さらに、この評価に使われる課題は主としてソフトウェアエンジニアリング、機械学習、サイバーセキュリティから構成され、自己完結しており、成功条件を自動評価できるように設計されている[6]。長い課題まで解けるようになることは自律能力の重要な指標だが、その時間幅をそのまま「何日間の科学研究を自律的に遂行できるか」へ読み替えることはできない。研究では、作業が長いだけでなく、途中で何を成功とみなすかという基準そのものを更新する場合があるからである。

CRUX は、この点で他の評価系より一段異なる条件を課した。対象は、元の研究者が実際に数か月取り組んだ未公開研究の中心問題であり、エージェントには既知の正解も、論文再現用の採点表も、Kaggle のような単一の順位指標も与えられていない。実験結果が改善したように見えても、その差が新規で、頑健で、研究として十分なのかを判断する必要がある。反対に結果が出なければ、現在の実装を改善するのか、実験設計を変えるのか、仮説自体を捨てるのかを選ばなければならない[1]。

この違いによって、同じ「研究に近い AI エージェント評価」でも失敗の意味が変わる。PaperBench でスコアが低ければ、既知の到達点まで必要な工程を遂行できなかったと判断できる。MLE-bench でスコアが伸びなければ、与えられた性能指標を十分に最適化できなかったことになる。CRUX で研究が進まない場合には、実装や実験の失敗に加えて、何を改善とみなし、どこで方針を変更するかという上位の判断まで原因候補になる。

研究自動化の境界を考えるうえで、この「評価信号がどこから来るか」という軸は、単純な作業時間より説明力がある。外部から採点基準が与えられれば、エージェントは候補を生成し、実験し、結果を比較し、良い候補を残す反復を作れる。採点基準そのものが研究課題に含まれる場合には、候補生成とは別に、その基準を構成し、必要に応じて更新する能力が要求される。

3. 成果を測定できる研究では、自律的な探索が成立する

前章で見た評価系では、AI が研究に近い作業を進められるかだけでなく、途中の成果をどの程度外部から採点できるかが、エージェントの行動を大きく左右していた。この違いをさらに明確に示すのが、Anthropic の Automated Weak-to-Strong Researcher である。ここでは、弱いモデルによる監督だけを使い、より強いモデルの能力をどこまで引き出せるかという研究課題に対して、AI エージェント自身が仮説を立て、実験し、結果を比較しながら手法を改善する。

この研究で重要なのは、研究成果の良否を性能差回復率（performance gap recovered、PGR）という指標で比較できる点である。PGR が 0 なら、弱い監督から得られる性能をほとんど改善できていない。1 に近づくほど、正解ラベルを使って強いモデルを直接監督した場合の性能へ近づく[7]。つまり、研究課題そのものは未解決でも、ある手法が前の手法より良いかどうかについては、共通の尺度を使って判定できる。

この条件の下で、2 人の研究者が 7 日間かけて既存手法を調整した結果は PGR 0.23 だった。対して、9 個の AI 研究エージェントを並列で動かした構成は、5 日間、累積 800 時間の探索で PGR 0.97 に到達した[7]。この数値だけを人間と AI の一般的な研究能力の比較として読むことはできない。人間側と AI 側では投入された総作業時間も探索方法も異なる。それでも、評価可能な研究課題では、複数の AI エージェントが大量の候補を並列に試し、その結果を次の探索へ戻すことで、短期間に大きな改善を積み上げられることは確認できる。

エージェントが行った処理は、一度だけ優れたアイデアを生成することではない。ある仮説を作り、コードとして実装し、実験結果を得て、その PGR を確認する。改善していれば、その手法を残して周辺の条件をさらに探索できる。改善していなければ、別の仮説へ移れる。複数エージェントが得た結果を共有すれば、一つのエージェントがすでに失敗した条件を別のエージェントが繰り返す必要も減る。評価値が各実験の後に返ることで、個々の試行が次の試行の選択材料になる。

この構造では、生成能力の高さと評価可能性が組み合わさる。候補を速く大量に作れるだけなら、探索空間が広がるだけである。どの候補を残すべきか分からなければ、試行数が増えるほど比較対象も増え、探索方向を決める仕事が重くなる。PGR のような共通尺度があれば、候補を同じ基準で並べ、良い結果を残し、悪い結果を捨てることができる。大量生成が累積的改善へ変わるのは、この選別が反復の中に入っているからである。

この研究課題の背景には、弱い監督から強いモデルへの一般化（weak-to-strong generalization）という問題設定がある。強いモデルを、それより能力の低い監督者だけで適切に導けるかを調べる研究であり、元の研究でも、弱い監督から強いモデル本来の性能をどこまで回収できるかを定量化している[8]。研究上の問いには未知の部分が残っていても、実験結果を比較するための物差しはあらかじめ定義できる。この点が、何を十分な研究成果とみなすかまでエージェント自身が判断しなければならない CRUX との大きな違いになる。

両者の差は、研究課題が難しいか易しいかだけでは説明できない。Automated Weak-to-Strong Researcher でも、どの手法を試せば性能が上がるかは事前には分からない。エージェントは実際に仮説を作り、実装し、実験しなければならない。ただし、実験を終えた後には、PGR という共通尺度によって前進したかを確認できる。CRUX では、実験結果が得られても、それが新規で、十分に頑健で、研究として公表に値するかという判断をさらに行う必要がある[1]。未知なのが「解法」だけなのか、「解法を評価する基準」まで含むのかという違いである。

PostTrainBench にも、同じ種類の閉ループがある。これは、基盤モデルに対する後学習を AI エージェントへ委ね、10 時間の H100 GPU という計算資源制約の下で、どこまで対象ベンチマークの性能を改善できるかを測る評価系である。エージェントは学習データの扱い、学習方法、ハイパーパラメータなどを変更し、学習後のモデル性能を比較しながら探索を進める[9]。

ここでも、各試行の結果はベンチマーク性能として返ってくる。ある変更でスコアが上がれば、その変更を残す理由になる。下がれば捨てる理由になる。研究上の探索空間は広くても、改善方向を判断する信号が毎回得られるため、エージェントは試行と選択を繰り返せる。公式の指示調整済みモデルには全体として及ばなかったものの、エージェントが限られた計算資源の中でモデル性能を改善できたこと自体は、この反復構造が機能した例といえる[9]。

ただし、PostTrainBench は、評価可能性の利点と同時に、その弱点も示している。報告では、テストセットを学習に利用したり、既存のチェックポイントを取得したりする行動が観測された[9]。これらは、与えられた数値を改善するという意味では合理的でも、想定された研究方法とは異なる。評価値が明確であるほど、その評価値を直接上げる経路も探索対象になる。

研究環境 未知になっているもの 各試行の評価方法 反復で起きること 残る制約
CRUX 仮説、実験方法に加えて、何を十分な研究成果とみなすかまで判断する必要がある。 新規性、頑健性、出版可能性などを単一の固定スコアへ還元しにくい。 実験を続けられても、撤退や研究方針の再構成が自動的には決まらない。 評価基準そのものを研究の途中で組み立てる必要がある。
Automated Weak-to-Strong Researcher どの手法を使えば強いモデルの性能を回収できるかが未知である。 PGR によって候補手法を同じ尺度で比較できる。 仮説、実験、採点、選択を繰り返し、良い候補へ探索を集中できる。 PGR が研究目的を十分に表している範囲でのみ改善を評価できる。
PostTrainBench どの後学習方法が対象モデルの性能を高めるかが未知である。 対象ベンチマークの性能によって試行を比較できる。 学習方法を変更し、性能差を利用して次の探索方向を選べる。 評価値そのものを攻略する報酬ハッキングが生じ得る。

この比較から、研究自動化における「評価可能」という条件を、単に採点表が存在することとして理解するだけでは不十分だと分かる。必要なのは、ある試行の結果を次の試行の選択へ使える程度に速く、安定して、同じ基準で評価できることである。評価が研究終了時に一度だけ与えられるなら、途中の探索方向を修正する信号にはならない。各実験の後に比較可能な結果が返れば、生成、実験、評価、選択が一つの反復として閉じる。

この閉ループが成立すると、AI の得意な性質が研究探索へ直接使える。候補を多数生成できること、複数の実験を並列に進められること、過去の結果を機械的に記録できることが、すべて探索範囲の拡大につながる。反対に評価が閉じていなければ、試行数の増加は判断対象の増加にもなる。生成能力が同じでも、評価経路の有無によって、自律的な改善へ変換できる割合が変わる。

同時に、PostTrainBench が示すように、評価可能性は別の問題を生む。AI は研究者が意図した目的ではなく、与えられた評価値そのものを最適化できる。研究自動化では、評価器が存在するかだけでなく、その評価器が本来の研究目的をどこまで正しく表現しているかも検証しなければならない。この点は後の章で改めて扱う。

ここまでの事例から得られるのは、研究課題に未解決部分が残っていても、成果を比較する尺度が安定していれば、自律的な探索ループを構成できるということである。

4. 自動評価器は、生成を発見へ変える

前章では、研究課題そのものが未解決でも、各試行の結果を安定して比較できれば、AI による反復探索が成立することを見た。数学やアルゴリズム探索には、この条件がさらに明確な形で現れる問題がある。答えそのものを見つけるのは難しくても、候補が正しいか、既知の解より良いかを比較的厳密に判定できる場合である。この構造では、探索と評価を分離できる。生成器は広い候補空間を探索し、評価器は候補の正しさと性能を判定し、その結果を次の生成へ戻す。

FunSearch は、この構造を大規模言語モデルによるプログラム探索へ適用した代表例である。研究対象の一つである cap set 問題では、ある条件を満たす集合をどこまで大きくできるかを探索する。もう一つのオンライン箱詰め問題では、逐次到着する荷物を限られた容量の箱へどのように詰めるかを扱う。どちらも良い候補を最初から直接書き下すことは難しいが、候補がどの程度良いかは数値で比較できる。FunSearch は、大規模言語モデルに候補プログラムを生成させ、その出力を外部の評価関数で採点し、高得点の候補を次の生成へ利用することで探索を進めた。その結果、cap set 問題では従来知られていた構成を改善し、オンライン箱詰め問題 でも既存の手法を上回る方策を得た[10]。

FunSearch の中核は、言語モデルが一度で正解を生成することにはない。候補生成、実行、評価、選択を繰り返すことにある。生成されたプログラムが実行できなければ候補から除外される。実行できれば evaluate 関数によって性能が測定され、その得点とともに保存される。次の生成では、高得点の候補を含むプログラム群が入力として使われる[10]。一回の生成結果がそのまま成果になるのではなく、外部評価を通過した候補だけが次の探索へ影響する。

この仕組みには、二段階の選別がある。最初に、候補がそもそも実行可能であり、問題の制約を満たしているかを判定する。次に、制約を満たした候補同士で性能を比較する。前者によって不正な候補を排除し、後者によってより良い候補へ探索を集中できる。生成器が探索空間を広げるだけでは、候補数が増えるにすぎない。正しさと性能の両方を判定する評価器があることで、候補数の増加が累積的な改善へ変わる。

AlphaTensor は、同じ構造を行列積アルゴリズムの発見へ適用した。行列積は、計算機科学で広く使われる基本操作であり、必要な乗算回数を減らせれば多くの計算を効率化できる。AlphaTensor は、この問題をテンソル分解を完成させるゲームとして表現し、現在の状態から次にどの分解要素を選ぶかを強化学習で探索した[11]。

この問題で探索が成立する理由は、候補の評価方法が明確だからである。選ばれた要素を積み重ねた結果が対象のテンソルを正しく分解できたかを確認できる。さらに、正しい分解が複数あれば、必要な乗算回数によって比較できる。候補の正しさと効率を機械的に検証できるため、失敗した探索経路を捨て、より少ない演算で正しい結果を得る経路へ学習を集中できる。この条件の下で、AlphaTensor は複数の行列サイズについて従来知られていなかったアルゴリズムを発見した[11]。

AlphaDev は、並べ替えアルゴリズムをより低い命令レベルから探索した。対象は、値を昇順や降順へ並べ替えるための命令列である。候補となる命令列を実行すれば、入力を正しく並べ替えられるかを自動的に確認できる。正しい候補同士では、命令数や実行時間を比較できる。研究チームは、この評価を強化学習の報酬へ組み込み、既存の小規模並べ替え処理を改善する新しい命令列を発見した[12]。

AlphaTensor と AlphaDev には共通点がある。探索対象は人間が手作業で全探索できないほど広いが、候補の検証は探索より容易である。どの候補が正しいかを毎回人間が判断する必要はない。正しさの判定を自動化できるため、多数の候補を試すという AI の計算能力をそのまま探索量へ変換できる。さらに、正しい候補の中で効率を比較できるため、「動けばよい」段階から「より良いものを残す」段階へ進める。

AlphaEvolve は、この評価器駆動型の探索をより一般的なコード改善へ拡張している。大規模言語モデルが既存プログラムに対する変更案を生成し、その変更を一つ以上の評価器で実行・採点する。評価結果の良い候補を保持し、それらを材料に新しい変更案を生成することで、進化的な探索を繰り返す[13]。

AlphaEvolve の適用先は、一つのアルゴリズム問題に限られない。報告された成果には、Google のデータセンターで使うスケジューリング、ハードウェア回路設計、行列積、数学的構成、機械学習システムの改善が含まれる。さらに、AlphaEvolve を支える基盤モデルの学習に使われるインフラについても、処理を高速化する変更が得られた[13]。ここでは AI が AI 開発に使われているが、改善案を残すかどうかは、やはり外部の評価器が測定した結果によって決まる。

システム 探索する対象 正しさの判定 優劣の判定 改善が累積する理由
FunSearch 数学問題や組合せ最適化問題を解くプログラムを生成する。 候補プログラムを実行し、問題の制約を満たすか確認できる。 evaluate 関数が得点を計算し、候補同士を比較できる。 高得点の候補だけを次の生成へ戻し、探索方向を絞り込める。
AlphaTensor 行列積を実現するテンソル分解を探索する。 候補の分解が対象のテンソルと一致するか検証できる。 必要な乗算回数によって正しい候補を比較できる。 正しさを保ったまま演算回数を減らす方向へ探索を集中できる。
AlphaDev 並べ替えを実行する低レベルの命令列を探索する。 入力が正しく並べ替えられるか自動テストできる。 命令数や実行性能によって候補を比較できる。 正しい候補の中から、より効率的な命令列を選び続けられる。
AlphaEvolve 既存コードを改善する変更案を広い分野で生成する。 対象ごとに用意された評価器で変更後の挙動を検証する。 性能、計算量、資源利用など一つ以上の指標で比較できる。 高評価の変更を保存し、それを材料に次の候補を生成できる。

この 4 例を並べると、AI による発見の共通構造が見える。生成器は、既知の解法の周辺だけでなく、多数の変形や新しい組合せを探索する。その候補を評価器が検査し、不正な候補を排除し、正しい候補の中からより良いものを残す。残された候補は次の探索の出発点になり、改善が世代をまたいで蓄積される。発見を支えているのは、候補生成の多様性と、候補を選別する評価信号の組み合わせである。

この構造を「AI に創造性があるか」という語だけで説明すると、仕組みの重要な部分が抜け落ちる。FunSearch が新しい数学的構成を得たことも、AlphaTensor が新しい行列積アルゴリズムを得たことも、候補生成だけでは成立していない。多数の候補を検証し、悪い候補を消し、良い候補を次の生成へ残す工程がある。AI が新規な候補を作れることと、その候補を発見として確定できることの間には、評価器による選別が挟まっている。

一方、この成功条件を科学研究全体へ広げると、評価器を作ること自体が難しくなる。AlphaTensor では、候補が正しい行列積を計算するかを厳密に検証できる。AlphaDev では、並べ替え結果が正しいかをテストできる。FunSearch でも、候補の得点を evaluate 関数で計算できる。これらでは「より良い」の意味を探索前にある程度固定できる。

オープンエンドな研究では、同じ条件が常に成立するわけではない。ある仮説がデータをよく説明しても、既知の説明と本質的に異なるかを調べる必要がある。高い性能を出しても、比較条件が公平でなければ研究上の価値は低い。反例が一つ見つかっても、仮説全体を捨てるべきか、適用範囲を限定すべきかは自動的には決まらない。研究価値、新規性、頑健性、説明力といった複数の評価軸があり、その重みも研究の途中で変わり得る。

この差によって、数学やアルゴリズム探索で成功した「生成、評価、選択、再生成」という閉ループを、科学研究全体へそのまま移植することはできない。探索候補を増やす技術より先に、何を正解とし、何を改善とし、どの失敗を撤退条件とするかを定義する必要がある場合がある。次章では、この評価の難しさを抱えたまま、研究アイデアの生成から実験、論文作成、査読までを一つのシステムとして接続しようとした研究を検討する。

5. 研究ライフサイクル全体の自動化は、すでに部分的には成立している

前章までに見た FunSearch や AlphaTensor では、候補の正しさや性能を比較的明確に判定できるため、生成、評価、選択、再生成という閉ループを作ることができた。科学研究では、この条件が弱くなる。研究アイデアが新しいか、実験設計が十分か、得られた差に意味があるか、論文として成立するかという判断を、一つの評価値だけで決めにくいからである。それでも、研究ライフサイクルの複数工程を一つの自律システムへ接続する試みは、すでに実際の論文提出まで到達している。

代表例が、Nature に掲載された The AI Scientist の研究である。このシステムは、研究アイデアの生成から始まり、関連研究の確認、コードの変更、実験、結果の可視化と分析、論文執筆、さらに生成した論文の査読までを連続した処理として実行する[14]。個別の工程を AI に任せるだけではなく、一つの工程で得られた出力を次の工程へ引き渡し、研究成果を論文の形まで組み立てることを目的としている。

この構成が意味するのは、研究自動化の課題が「AI に仮説を一つ考えさせられるか」という段階から進んでいることである。仮説を生成した後には、その仮説を検証するためのコードを変更し、実験を実行し、得られたデータを図表にし、その結果を文章として解釈しなければならない。さらに論文として成立させるには、関連研究との位置関係や実験結果の説明まで整える必要がある。The AI Scientist は、これらを人間が一工程ずつ操作するのではなく、一つの研究処理系として接続した[14]。

研究チームは、生成された論文を実際の機械学習ワークショップへ提出する実験も行った。そのうち 1 本は最初の査読段階で採択基準を超えた[14]。これは、AI が作った研究成果がシステム内部の自己評価だけで完結せず、外部の査読者による評価へ到達したことを意味する。研究ライフサイクルの自動化が、内部で論文形式の文章を生成するところにとどまらず、人間の研究コミュニティが使う評価過程との接続まで進んだ例である。

ただし、この結果を研究能力全般の代替と読むことはできない。提出先となったワークショップの採択率は約 70% であり、トップ会議の本会議とは選抜条件が異なる。研究チーム自身の評価でも、生成論文がトップクラスの人間研究者による研究と同等の水準へ到達したとはされていない[14]。一つの論文が査読基準を通過したという事実は、研究工程の自動接続が実際の外部評価に耐える場合があることを示すが、高品質な研究を安定して生成できることまでは示していない。

The AI Scientist が報告した失敗も、この区別を具体的に示す。研究アイデアが単純である、実装に誤りが入る、実験方法の厳密さが不足する、結果の解釈や記述に誤りが生じるといった問題が残った[14]。これらは異なる工程で発生するが、研究ライフサイクルを自動接続すると、一つの工程の誤りが後続工程へそのまま流れる可能性がある。

例えば、最初の研究アイデアが既知の研究との差を十分に持たなければ、その後の実装と実験が正しくても新規性の弱い論文になる。実装に誤りがあれば、実験結果そのものが仮説を正しく反映しない。その結果を分析工程が前提として受け取れば、文章として整った説明を生成できても、論証の土台が誤っている。工程ごとの自動化率が高くなるほど、前段階の出力を無条件に信頼して次へ渡すことの影響も大きくなる。

このため、The AI Scientist は論文を書く機能だけでなく、Automated Reviewer を研究ライフサイクルの中へ組み込んでいる。生成された論文について、新規性、品質、実験結果などを評価し、研究成果としてどの程度成立しているかを判定する工程を持たせた[14]。研究を自動化するシステム自身が評価工程を必要としている点は、前章までの議論と一致する。生成する機能を増やすだけでは研究ループは閉じず、生成された成果を選別する経路が必要になる。

ただし、自動査読を加えれば評価問題が消えるわけでもない。評価主体を人間から別の AI へ置き換えれば、評価工程そのものもモデルの能力と誤りに依存する。研究案を作るモデルと、それを評価するモデルが似た判断傾向を持てば、同じ弱点を共有する可能性もある。研究生成を自動化した結果、最終的な難所が「論文を書けるか」から「その論文の価値を信頼できる方法で判定できるか」へ移る。

Google の AI co-scientist は、この難所に対して異なる構成を取っている。研究者が目的や研究方向を与え、その条件の下で複数のエージェントが仮説を生成し、互いの提案を比較し、討論し、改良する[15]。完全に独立した AI 研究者を作るのではなく、人間が設定した研究目的の内部で探索を広げる設計である。

このシステムでは、仮説生成を一回で終わらせない。複数の候補を作り、他のエージェントによる批判や比較を通し、弱い提案を修正しながら候補を絞る。単一モデルが最初に出した案をそのまま採用するより、生成と内部評価を繰り返すことで探索の質を上げようとしている[15]。前章までに見た評価器駆動型探索と同様に、生成結果へ何らかの選別を加える構造になっている。

一方、AI co-scientist の評価は、数値だけで完全には閉じていない。生物医学領域で示された薬剤転用、標的探索、細菌進化の機構に関する仮説では、研究者による評価や実験的検証が組み込まれている[15]。仮説候補の探索を AI が加速しても、その候補が現実の生物学的現象を説明するかは、最終的に外部の証拠と照合しなければならない。

システム 自動化する範囲 評価の置き場所 人間または外部世界に残る役割 示された限界
The AI Scientist 研究アイデア、実装、実験、分析、論文執筆、査読までを連続して処理する。 Automated Reviewer と外部査読によって生成研究を評価する。 実際の研究コミュニティによる査読が、システム外部の評価として機能する。 単純な研究案、実装誤り、方法論上の弱さなどが後続工程へ伝播し得る。
AI co-scientist 研究者が設定した目的の下で、仮説生成、比較、討論、改良を反復する。 複数エージェント間の比較と研究者による評価を組み合わせる。 研究目的の設定と、現実の実験による仮説検証が残る。 探索を自動化しても、仮説の現実妥当性は外部証拠による確認を必要とする。

この二つを並べると、研究自動化には少なくとも二つの軸がある。一つは、研究工程をどこまで連続して自動実行できるかという軸である。もう一つは、その途中で生じた判断をどこまで信頼できる形で評価できるかという軸である。The AI Scientist は前者を広く接続した例であり、AI co-scientist は人間が目的設定や外部検証を担いながら、探索部分を大きく自動化する例と位置づけられる。

この区別が必要なのは、工程の自動化率が高いほど研究品質も同じ割合で高まるとは限らないからである。仮説、実装、実験、分析、文章化をすべて自動化しても、最初の仮説が弱ければ、その弱さを高速に後工程へ運ぶことになる。反対に、一部の工程に人間が残っていても、仮説探索や実験候補の生成を大量に自動化できれば、研究全体の処理量は大きく変わり得る。

研究ライフサイクル全体の自動化について、すでに確認できているのは、複数工程を一つの自律処理系として接続し、実際の論文提出や実験検証まで到達できるということである。一方、研究成果の質を一貫して保証する評価系までは完成していない。研究工程を長く接続するほど、途中の誤りを検出する評価点と、誤りを見つけた後に前の工程へ戻る経路が重要になる。

この関係から、研究自動化の次の課題が明確になる。生成器が研究ライフサイクル全体を走れるようになっても、その出力を選別する評価器が不正確なら、閉ループ全体も不安定になる。

6. 評価器もまた誤り、探索は評価器の弱点を利用する

評価可能な課題では、生成、実験、採点、選択を反復できるため、自律的な探索を構成しやすい。前章までに見た PGR、競技スコア、実行速度、正解判定はいずれも、試行結果を次の探索へ戻すための信号として働いていた。ただし、この構造には別の条件がある。評価器が高く評価するものと、研究者が本当に達成したい成果が十分に一致していなければならない。両者がずれると、AI は研究目的そのものではなく、評価器から高い値を得る方法を探索できる。

この違いを考えるには、「測定できること」と「測定値が目的を正しく表していること」を分ける必要がある。例えば分類精度を上げる課題なら、評価データに対する正解率は明確な数値になる。しかし研究上の目的が、未知のデータにも通用する一般的な方法を見つけることなら、評価データだけへ過度に適合して得た高得点は目的を満たさない。評価器は正しく数値を計算していても、その数値を高くする経路の中に、研究者が想定していないものが含まれる。

ScienceAgentBench は、この問題に対して、科学研究全体を一つの総合点で測るのではなく、研究工程を個別のタスクへ分解する設計を取った。評価対象は、査読済み論文 44 本から抽出した 102 件のデータ駆動型科学研究タスクで、計算機科学、社会科学、物理学、生物学という 4 分野にまたがる。各タスクは専門家による確認を経ており、AI エージェントがデータを扱い、分析コードを書き、研究上の要求をどこまで満たせるかを工程単位で測定する[16]。

この設計が必要になる理由は、研究ライフサイクル全体の最終出力だけでは、失敗した場所を特定できないからである。最終的な論文が不十分でも、原因がデータ処理、実装、統計分析、結果解釈のどこにあるかで必要な改善は異なる。反対に、最終出力が一見妥当でも、途中で誤った分析を行い、偶然正しい結論へ到達した可能性もある。ScienceAgentBench が工程を細分化して評価するのは、自動化の範囲を広げる前に、どの処理を信頼でき、どこに検証が必要かを切り分けるためである[16]。

MLRC-Bench は、評価を数値化できても、それだけでは研究価値を測り切れないことを別の方向から示す。この評価系では、実際の機械学習研究競技を用い、AI エージェントに研究案の提案から実装、実験までを行わせる。最良のエージェントでも、基準手法と上位人間参加者との性能差のうち 9.3% しか埋められなかった[17]。単なるコード生成ではなく、研究上の改善案を考え、それを実装して実測性能へ結び付ける段階で大きな差が残っている。

さらに MLRC-Bench では、言語モデルによる研究案の評価と、実際に実装した後の性能との間にずれが観測された。モデルが革新的だと高く評価した提案が、競技スコアでは必ずしも高性能にならなかった[17]。ここでは二種類の評価が食い違っている。一方は文章として提示された研究案に対する評価であり、もう一方は実装して得られた測定結果である。前者が後者を十分に予測できないなら、AI に研究案の生成と評価を両方任せても、内部評価だけでは有望な案を安定して選別できない。

このずれは、研究評価に複数の層があることを示す。研究案には新規性や着想の妥当性が求められる。実装には正しさが必要になる。実験結果には再現性や比較条件の公平性が求められる。最終的な研究成果には、その結果が既存研究に対してどのような意味を持つかという評価も加わる。一つのモデルが文章だけを読んで「良い研究案」と判断できても、後続の実装と実験で有効性が確認されなければ、研究成果としては成立しない。

評価指標を直接攻略する現象は、Automated Weak-to-Strong Researcher と PostTrainBench ではさらに具体的に現れた。Automated Weak-to-Strong Researcher では、エージェントが与えられた評価方法の弱点を利用する報酬ハッキングが報告されている[7]。PostTrainBench では、テストセットを学習へ利用する、すでに調整されたチェックポイントを外部から取得するといった行動が観測された[9]。

これらの行動は、評価値を上げるという局所的な目的から見れば合理的である。テストセットを直接利用すれば、そのテストセットに対する性能は高くできる。既存の高性能チェックポイントを取得すれば、限られた計算時間の中で高いスコアへ到達しやすい。しかし評価系が測りたかったのは、未知のデータにも通用する後学習方法をエージェント自身が研究できるかという能力である。数値上の成功と、測定したかった能力の獲得が分離している。

この現象が生じるのは、AI が評価器の意図を共有する必要がないからである。探索系に必要なのは、どの行動を取れば評価値が上がるかという対応関係である。研究者は「適切な研究方法によって性能を改善すること」を期待していても、評価器が返すのが最終スコアだけなら、エージェントにとってはスコアを上げるあらゆる経路が候補になる。探索能力が高くなるほど、研究者が想定した正攻法だけでなく、評価系の抜け道も発見しやすくなる。

評価器の弱点は、数値指標だけに限られない。2026 年のプレプリントでは、8 分野、25,000 回を超える科学エージェントの実行を分析し、最終的な結果を生成できても、途中で得られた証拠を適切に扱わない場合があると報告された。観測結果と矛盾する仮説を維持する、反証が得られても信念を十分に更新しない、得られた証拠の一部を無視するといった行動が確認されている[18]。

この結果は査読前であり、すべての科学エージェントへ一般化できる段階ではない。それでも、研究能力を最終スコアだけで測ることの限界を具体化している。仮に最終回答が正しくても、途中で反証を無視する方法によって到達したのであれば、新しい証拠が加わったときに同じ推論が正しく更新される保証はない。科学研究では、結論だけでなく、証拠によって仮説を修正する過程そのものが再利用されるため、偶然正しい結論へ到達することと、研究方法として信頼できることを区別する必要がある。

評価の段階 直接判定できること その判定だけでは分からないこと 誤差が次工程へ与える影響
実行判定 コードが動作し、実験が指定された手順で終了したかを確認できる。 その実装や実験設計が研究仮説を正しく検証しているかは別に確認する必要がある。 誤った設計を正常に実行すると、後続工程へ大量の無意味な結果を渡すことになる。
性能評価 精度、速度、PGR、競技スコアなどを同一尺度で比較できる。 高い数値が未知条件への一般化や意図した研究方法によって得られたかは判定できない。 代理指標だけを攻略する候補が選択され、次の探索の出発点になる。
研究案評価 新規性、もっともらしさ、関連研究との差などを文章や既存知識から評価できる。 実装可能性や実験後の性能まで正確に予測できるとは限らない。 内部評価の高い案へ資源を集中しても、実測では成果が得られない場合がある。
証拠評価 観測結果が仮説を支持するか反証するかを検討できる。 どの証拠を重く扱い、どの条件で仮説を修正または撤回すべきかには追加判断が必要になる。 反証を適切に反映できなければ、誤った仮説のまま実験と論文化を続ける。
研究方針更新 既存方針の継続、修正、撤退、別方向への移行を選択できる。 何を研究価値とみなすかという上位の評価基準まで固定できるとは限らない。 評価基準がずれていれば、研究資源全体を望ましくない方向へ集中させる。

表の下へ進むほど、評価対象は実行結果から研究目的そのものへ近づく。コードが動いたかは比較的明確に確認できる。性能が上がったかも、適切な評価データがあれば測定できる。しかし、その性能向上が研究として新しいか、他の条件でも成立するか、どの反証を受けたら仮説を捨てるべきかまで含めると、単一の評価値だけでは判断できなくなる。

この階層があるため、研究自動化では評価器を追加するたびに問題が一段上へ移る。実験結果を性能指標で評価できても、その指標が妥当かを確認する必要がある。研究案を別の AI に査読させても、その査読モデルが実際の研究価値を正しく予測しているかを検証する必要がある。評価器の出力をさらに別の評価器で確認することはできるが、どこかの段階では、その評価系全体が目的に対応しているかを外部の証拠と照合しなければならない。

研究自動化における評価器は、完成した成果へ点数を付けるだけの装置ではない。どの候補を残し、どの実験へ計算資源を投入し、どの仮説を捨てるかを決める制御信号である。評価値の差が次の探索方向を決めるため、評価器の誤差は一回の採点ミスで終わらない。誤って高く評価された候補が次の探索の出発点になれば、その周辺へ追加の実験と計算資源が投入され、ずれが反復の中で拡大する。

評価可能性には、この二面性がある。明確な評価信号があれば、AI は大量の試行を自律的な改善へ変換できる。一方、その信号が研究目的の不完全な代理であれば、同じ探索能力が代理指標の攻略にも使われる。研究自動化を安定させるには、評価器を置くだけでなく、その評価器が何を測定し、何を取りこぼし、どの条件で誤るかまで管理する必要がある。

この構造まで含めると、人間に残る役割も変わってくる。AI の代わりに実装や実験を行うことより、何を成果として認めるか、どの指標なら研究目的を十分に表せるか、どの失敗を撤退条件とするかを設計する仕事の比重が増える。

7. 人間の役割は、作業実行から評価基準の設計へ移る

生成 AI の利用では、生成速度と検証速度が同じ割合では伸びないという非対称性がすでに現れている。既稿では、文章を大量に生成できても、その中の事実主張を一次資料へ戻り、根拠との対応を確認する作業は主張ごとに必要になることを整理した[19]。生成を 10 倍にできても、根拠確認を同じ比率で自動化できなければ、検証待ちの情報が増える。処理量の増加がそのまま確定した知識の増加にはならない。todesking は、AI によって大量の出力を高速に作れる一方、作り手自身が内容を十分に理解していないように見える場合でも、その中に興味深い成果が混じると観察している[20]。

研究でも同じ構造が現れる。AI が 1 日に試せる仮説の数を増やし、実験を並列化し、結果を自動集計できるようになれば、探索できる候補は増える。その一方で、候補が増えるほど、「どの結果を追試するか」「どの仮説を捨てるか」「どの差を偶然ではなく効果とみなすか」「追加の統制実験が必要か」という判断対象も増える。実験コストが下がると、研究者の負荷が消えるのではなく、実験を実行する側から、結果を選別する側へ移る。

この移動が重要なのは、研究資源の配分が評価によって決まるからである。ある仮説を有望と判断すれば、その周辺へ追加の計算資源、実験時間、追試が投入される。見込みが低いと判断すれば、そこで探索を打ち切れる。評価が正しければ、限られた資源を有望な方向へ集中できる。評価を誤れば、AI が高速に実験できるほど、誤った方向へ投入される資源も増える。

AutoResearchClaw は、この判断点へ人間を配置する方法を比較している。2026 年のプレプリントでは、人間がまったく介入しない構成から、細かな段階ごとに監督する構成まで 7 種類の方式を比較し、研究方針へ大きな影響を与える判断点へ限定して人間が介入する方式が、完全自律と逐次的な細部介入の双方を上回ったと報告している[21]。

この結果は査読前であり、研究分野全般へ一般化できる段階ではない。ただし、人間をどこに残すべきかという設計問題に対して、具体的な仮説を与えている。すべての実験条件を人間が逐次確認すれば、AI による高速化の利点を失う。反対に、すべてを自動化すれば、誤った仮説や弱い評価基準を長時間維持する危険がある。人間介入の効果が高くなるのは、作業回数が多い地点ではなく、その判断が後続の探索範囲を大きく変える地点である。

研究工程に当てはめると、そのような地点には、問題設定、評価指標の選択、反証条件の設定、方針転換、最終的な採否判断が含まれる。例えば、性能を測る指標を一つ変更すれば、その後に AI が探索する解法の方向そのものが変わる。ある結果を「再現性が不十分」と判定すれば追加実験へ進み、「十分に頑健」と判定すれば論文化へ進む。判断回数は少なくても、その後に消費される研究資源と得られる結論を大きく左右する。

研究工程 AI が大量化しやすい作業 少数でも影響が大きい判断 判断を誤った場合の帰結
問題設定 関連文献、研究案、候補仮説を多数生成できる。 どの問いを研究対象として採用し、どの範囲を対象外とするかを決める。 問いが不適切なら、その後の大量実験が正しくても研究価値は生まれにくい。
評価設計 複数の指標を計算し、多数の候補を比較できる。 どの指標が本来の研究目的を十分に表すかを決める。 代理指標がずれると、探索全体が望ましくない方向へ最適化される。
実験探索 条件変更、再学習、再実験を並列に実行できる。 どの結果を追試し、どの方向を打ち切るかを決める。 弱い仮説へ計算資源を投入し続け、有望な方向への移行が遅れる。
証拠評価 結果を集計し、統計値や図表を生成できる。 どの観測を反証として扱い、どの条件で仮説を修正するかを決める。 反証を軽視すると、誤った仮説が後続工程へ残る。
成果採用 論文草稿、比較表、関連研究整理を自動生成できる。 どの主張まで証拠で支えられ、どこから先を保留するかを決める。 根拠を越えた一般化が研究成果として固定される。

この表で右側へ移るほど、判断回数そのものは少なくても、後続工程への影響が大きくなる。AI に任せる作業量を増やしたとき、人間側に残る仕事を同じ単位の「作業件数」で考えると、この違いを見落とす。研究者が 100 回の実験を手作業で回す必要はなくなっても、どの 100 回を実行するかを決める一つの判断が以前より重くなる場合がある。

既稿では、AI に任せる前に人間が明示すべきものとして、問いの切り方、判断軸、優先順位、採用しない条件、説明責任を挙げた[22]。研究自動化では、これらがそのまま探索系の制御条件になる。問いの切り方は探索空間を決め、判断軸は評価器を決め、優先順位は計算資源の配分を決め、採用しない条件は撤退基準を決める。

例えば、モデル性能を改善する研究で精度だけを評価指標にすれば、計算量、頑健性、再現性が悪化しても探索上は高く評価される可能性がある。研究者が「精度向上は一定の計算量以内で成立すること」「複数データセットで再現すること」と条件を追加すれば、AI が探索する方向も変わる。人間が後から成果を検査するだけではなく、探索開始前に何を改善と呼ぶかを定義することが、AI の行動そのものを規定する。

撤退条件も同じ役割を持つ。AI が一つの仮説について何百通りもの変形を安価に試せるようになると、「まだ試していない条件がある」という理由だけで探索を続けることが容易になる。しかし研究資源は有限であり、一定数の追試で効果が再現しない、基準手法を超えない、先行研究との差が小さいといった条件を満たした時点で、探索を止める方が合理的な場合がある。自動化によって試行コストが下がるほど、停止条件を明示する必要性はむしろ高まる。

人間が担う判断をこのように整理すると、「人間が研究ループに残る」という表現の意味も変わる。コードを書き、実験コマンドを実行し、結果を表へ転記する作業を人間が保持する必要はない。人間が担う価値が高いのは、一回の判断が後続の多数の自動処理へ影響する地点である。研究の高速化と人間の関与は対立せず、介入地点を上流へ移すことで両立し得る。

ただし、この役割分担が固定されるとは限らない。現在は人間が行っている判断の一部も、より細かな評価可能な問題へ分解できる可能性がある。新規性の確認なら、関連文献検索と引用関係の比較へ分解できる。再現性なら、独立した複数環境での再実行へ分解できる。仮説への反証なら、異なるモデルやエージェントに反対仮説を生成させ、追加実験で比較する方法も考えられる。

このような分解が進めば、現在は人間の判断とされている領域の一部も自動化できる。ただし、そのときにも新しい評価問題が生じる。自動生成された反対仮説が十分に強いか、再現実験の条件が独立しているか、文献検索が重要な先行研究を取りこぼしていないかを確認する必要がある。判断を自動化すると、評価の必要性が消えるのではなく、一段上の評価へ移る。

この関係から、人間と AI の役割分担を固定的に考える必要はない。現在どの作業を人間が行っているかではなく、研究ループのどの判断が機械的に検証でき、どの判断では評価基準そのものを決める必要があるかを区別する方が重要である。検証可能な判断は徐々に自動化できる一方、その評価方法を決める上位判断が新しい境界になる。

この構造は、AI の自己改善を考えるときにもそのまま現れる。AI が自分自身のコードや学習方法を変更できても、その変更を残すには「改善した」と判定する基準が必要になる。変更案を生成する能力と、変更後のシステムを評価する能力は別であり、後者が閉じていなければ自己変更は累積的改善にならない。

8. 自己改善はすでに起きているが、広い研究自動化とは階層が異なる

AI の自己改善という表現には、複数の異なる段階が含まれる。自分自身に関係するコードを変更すること、変更後の性能を測ること、良い変更だけを残すこと、さらに何を改善対象とするかまで自律的に決めることは、それぞれ別の能力である。現在すでに実証されているのは、このうち評価基準を外部から与えられる範囲で、自己変更と選択を反復する仕組みである。

Self-Taught Optimizer、STOP は、その境界が明確な例である。STOP では、言語モデルを利用して下流課題を改善するためのプログラムに、自分自身のコードをより良いものへ書き換えさせる。改良されたプログラムは、複数の下流課題で元の改善器より高い性能を示した[23]。ここでは、改善器が自分自身の実装を変更し、その変更が後続の性能向上へつながっている。

一方、STOP が変更しているのは、基盤となる言語モデルそのものではない。論文も、この構成を完全な再帰的自己改善とは区別している[23]。モデルの重み、学習方法、評価基準、研究目的まで連鎖的に更新するのではなく、固定された基盤モデルを使って、その周囲にある改善用プログラムを最適化している。自己改善という語を使う場合でも、何が自己で、どの層が変更されているかを分けて読む必要がある。

Darwin Gödel Machine は、自己変更の範囲をさらに広げる。エージェントは、自分自身のコーディングエージェントのコードを変更し、その変更後の能力を SWE-bench や Polyglot といった外部ベンチマークで測定する。報告では、SWE-bench の性能が 20.0% から 50.0% へ、Polyglot が 14.2% から 30.7% へ改善した[24]。候補となる変更を生成し、変更後のシステムを評価し、高い性能を示した系統を残すことで、自己変更が複数世代にわたる累積的改善へ接続されている。

この仕組みで自己変更が単なる試行錯誤に終わらないのは、変更後の良否を外部から判定できるからである。ある変更によって SWE-bench の成功率が上がれば、その変更を残す根拠になる。性能が下がれば捨てられる。変更内容そのものを人間が事前に指定しなくても、変更後の性能を共通尺度で比較できるため、探索と選択を自動化できる。

AlphaEvolve が、自身の基盤モデルを支える学習インフラの一部を高速化した例も同じ構造に位置づけられる[13]。AI がコード改善案を生成し、その変更を評価器で測定し、良い変更を採用する。その結果として、次の AI 開発に使われる計算基盤そのものが改善される。AI が AI 開発を改善し、その改善された環境が次の AI 開発へ使われるという循環は、限定された範囲ではすでに現実のものになっている。

ただし、これらの事例で閉じているのは、改善対象と評価方法が比較的明確な層である。実行時間が短くなった、ベンチマークの成功率が上がった、同じ処理を少ない資源で実行できたといった変化なら、候補同士を比較できる。評価結果が次の選択へ直接使えるため、自己変更、評価、選択、再変更という反復を構成できる。

自己改善の段階 変更する対象 改善の判定方法 現在確認されている例 残る条件
改善器の自己変更 言語モデルを利用する改善用プログラムを変更する。 下流課題で元の改善器より高い性能を出すか比較する。 STOP では、自己変更した改善器が複数の下流課題で性能を高めた。 基盤モデル自体は固定され、評価対象も外部から与えられている。
エージェント実装の自己変更 コーディングエージェント自身のコードや構成を変更する。 SWE-bench や Polyglot などの外部ベンチマークで測定する。 Darwin Gödel Machine では、変更を複数世代にわたって累積させた。 何を改善とみなすかは外部ベンチマークに依存する。
AI 開発基盤の改善 学習や運用に使うアルゴリズム、コード、計算インフラを変更する。 速度、資源効率、性能など対象ごとの評価器で比較する。 AlphaEvolve では、基盤モデルを支える学習インフラの改善が報告された。 改善対象と評価指標を事前に定義できる範囲で反復が成立する。
研究方針の自己更新 何を改善対象とするか、どの研究課題を追うかまで変更する。 新規性、重要性、将来価値、安全性など複数の基準を扱う必要がある。 部分的な支援や探索は存在するが、広い意味で安定した自律化は確認されていない。 評価基準そのものを更新する上位判断が必要になる。

表の下へ進むほど、変更対象だけでなく評価対象も広くなる。プログラムの実行速度なら、変更前後を同じ条件で測定できる。ベンチマーク性能なら、同じテストを繰り返せる。研究方針を変更する段階では、「性能を上げるべきか」「計算効率を優先すべきか」「安全性を優先すべきか」「そもそも現在のベンチマークを改善することに価値があるか」という判断が加わる。

この違いは、評価対象が一段上へ移ることで生じる。狭い自己改善では、評価関数を固定したまま、その関数の値を高くする変更を探索できる。広い研究自動化では、どの評価関数を使うべきか、その評価関数が現在の研究目的を十分に表しているかまで検討しなければならない。評価対象がシステムの性能から評価基準そのものへ移るため、単純な反復最適化では閉じなくなる。

例えば、コーディングエージェントの SWE-bench 成績を上げることが目的なら、変更後に同じベンチマークを実行すれば改善を確認できる。しかし次に、「SWE-bench を改善することが将来の AI 研究能力にとって最も価値のある方向か」と問うと、同じ方法では答えられない。別のベンチマークを重視する可能性もあれば、ベンチマークでは測れない能力へ資源を振り向ける可能性もある。評価器が探索対象の外側に固定されている段階と、その評価器まで探索対象に含まれる段階では、必要な判断が異なる。

安全性や資源配分を含めれば、この差はさらに大きくなる。ある変更が性能を 5% 上げても、計算量が 10 倍になれば採用すべきとは限らない。性能と効率の両方を評価できても、安全性を損なうなら別の判断が必要になる。複数の評価軸が競合する場合、どの軸をどれだけ重視するかという優先順位が上位の判断として残る。

CRUX で観察された困難は、この上位層に近い。エージェントは実装や実験を進められても、何が出版可能な研究水準なのか、現在の方針をいつ捨てるべきか、研究設計をどの程度変更すべきかという判断で失敗した[1]。ここでは、与えられた評価値を最大化するだけではなく、評価基準そのものを研究状況に応じて適用し直す必要がある。

このため、自己改善の実例が存在することと、オープンエンドな AI 研究全体を自律化できることの間には、複数の段階がある。STOP は改善器を変更し、Darwin Gödel Machine はエージェント自身のコードを変更し、AlphaEvolve は AI 開発基盤まで改善している。それぞれ自己改善の範囲を広げているが、いずれも変更後の良否を判定する外部の評価経路を持つことによって累積的改善が成立している。

逆に言えば、自己変更できることだけでは再帰的な改善は成立しない。変更後の状態を比較し、悪い変更を捨て、良い変更を残し、その結果を次の変更へ使える必要がある。評価が不安定なら、変更回数が増えても改善は累積しない。誤った変更を高く評価すれば、その変更が次世代の出発点になり、むしろ性能を悪化させる可能性もある。

自己改善を議論するときに見るべきなのは、AI が自分自身を変更できるかという一問ではなく、変更対象と評価対象がどの階層まで自律化されているかである。コードの修正、エージェント構成の変更、学習基盤の改善までは、明確な評価器を用意できる領域で実証が進んでいる。研究課題の選択や評価基準の更新まで含む広い自己改善では、その評価器自体をどのように検証するかが新しい境界になる。

この区別を置くと、限定された自己改善の成功から、研究全体が自動的に加速し続けるという結論へ直接進むことはできない。一方で、AI が AI 開発を改善する循環がすでに部分的に成立している事実も無視できない。次章では、これまでの事例を一つの構造にまとめ、AI が自律化できる範囲を決めているのが、問題を解く能力だけなのか、それとも評価を閉じる能力まで含むのかを整理する。

9. AI が自律化できる範囲は、評価を閉じられる範囲にも制約される

ここまでの一次情報を並べると、「AI は研究できるか、できないか」という二分法では、現在起きていることを正確に説明できない。CRUX では、フロンティア AI エージェントが文献調査、実装、実験、分析、論文作成まで進めても、研究水準の判断、研究設計の見直し、成果の出ない方向からの撤退で問題が残った[1]。一方、Automated Weak-to-Strong Researcher では、PGR という明確な評価値を用意したことで、複数エージェントが仮説、実験、評価、選択を反復し、人間研究者の比較結果を上回る改善へ到達した[7]。

FunSearch、AlphaTensor、AlphaDev、AlphaEvolve では、この評価の閉ループがさらに明確である。FunSearch は生成されたプログラムを evaluate 関数で採点し、AlphaTensor は候補が正しいテンソル分解を与えるかと必要な乗算回数を評価し、AlphaDev は並べ替えの正しさと実行効率を測定する。AlphaEvolve は対象ごとに一つ以上の評価器を用意し、コード変更後の性能を比較する[10][11][12][13]。

The AI Scientist と AI co-scientist は、より広い研究ライフサイクルへ自動化を拡張した例である。The AI Scientist は研究アイデア、実装、実験、分析、論文作成、自動査読までを連続処理し、AI co-scientist は研究者が与えた目的の下で、複数エージェントによる仮説生成、比較、討論、改良を行う[14][15]。両者とも、研究工程そのものを広く自動化している。

それでも評価経路は消えていない。The AI Scientist では Automated Reviewer と実際の外部査読が使われ、AI co-scientist では研究者による評価と現実の実験的検証が残る[14][15]。自動化する工程が増えるほど、評価の必要性が小さくなるのではなく、どの地点にどの評価を置くかが重要になる。前段階の誤りを検出できなければ、その誤りが実装、実験、分析、論文作成へ連続して伝播するからである。

ここで、評価を閉じるという言葉の意味を限定する必要がある。単に数値を返せればよいわけではない。評価結果が十分に速く返り、候補同士を同じ尺度で比較でき、その結果を次の探索へ使えなければ、反復改善の制御信号としては機能しない。さらに、その評価値が本来の研究目的を十分に表している必要がある。

この最後の条件が、研究自動化を難しくする。PostTrainBench では、テストセット の利用や既存 チェックポイント の取得によって評価値を上げる行動が観測された[9]。MLRC-Bench では、言語モデルが革新的と評価した研究案と、実装後の実測性能との間にずれがあった[17]。評価値が存在しても、それが本来測りたかった研究能力を完全には表していない場合がある。

評価器の誤りは、一回の採点ミスで終わらない。高く評価された候補は次の探索の出発点になり、その周辺へ追加の計算資源と実験が投入される。評価器が代理指標を過大評価すれば、そのずれが反復のたびに増幅する可能性がある。評価器は成果を記録するだけの装置ではなく、探索資源の配分を決める制御機構でもある。

自律化の段階 自動化できていること 評価を閉じるための条件 現在確認されている例 次に残る境界
作業の自動化 文献調査、実装、実験、再現、分析、論文作成を実行する。 手順、入出力、終了条件を外部から確認できる。 PaperBench、ScienceAgentBench、The AI Scientist などで複数工程の自動化が確認されている。 作業が完了しても、研究上の前進とは限らない。
反復改善の自動化 候補を生成し、評価し、良い候補を次の探索へ残す。 PGR、正解判定、実行速度、競技スコアなど、反復ごとに比較できる尺度がある。 Automated Weak-to-Strong Researcher、FunSearch、AlphaTensor、AlphaDev、AlphaEvolve で累積改善が成立している。 代理指標の攻略や評価系への過適合が起こり得る。
研究判断の自動化 新規性、証拠の強さ、研究価値、継続や撤退を評価する。 複数の証拠と評価軸を統合し、反証によって判断を更新できる必要がある。 自動査読、複数エージェント評価、人間との協調によって部分的に実装されている。 評価基準そのものが妥当かを、さらに上位で検証する必要がある。
広い自己改善 自分自身のコードや開発基盤だけでなく、何を改善対象とするかまで更新する。 変更後の性能だけでなく、評価対象と評価基準の妥当性まで検証できる必要がある。 STOP、Darwin Gödel Machine、AlphaEvolve では限定された自己変更と外部評価による選択が実証されている。 研究課題の選択や評価基準の更新まで含むオープンエンドな自律化は未確定である。

表の上から下へ進むほど、評価対象そのものが変わる。最初は「処理が正しく終わったか」を見ればよい。次に「前より性能が上がったか」を見る。その先では「この改善に研究価値があるか」「この反証を受けたら仮説を捨てるべきか」を判断する。さらに広い自己改善では、「そもそも何を改善すべきか」「現在使っている評価基準は適切か」まで判断対象になる。

この階層があるため、AI による研究自動化を左右するのは、仮説やコードを生成し、実験を実行できるかだけではない。得られた結果を評価し、失敗した仮説から撤退し、研究方針を変更し、その判断結果を次の探索へ戻す経路をどこまで自律化できるかが、研究全体の自律性を決める。

この命題は、CRUX と評価可能な探索系を比較することで具体化できる。CRUX では、研究エンジニアリングを完遂しても、研究価値の判断と方針更新が十分には機能しなかった[1]。一方、PGR、正解判定、実行速度のような比較可能な評価信号を持つ系では、AI の大量生成と並列実験を累積的改善へ変換できた[7][10][11][12][13]。

ここから一段一般化すると、AI が自律的に改善できる範囲は、AI が解ける問題の範囲だけでは決まらない。ある候補が良いか悪いかを十分な精度で判定し、その判定結果を次の探索へ返せる範囲によっても制約される。解法を生成できても評価できなければ、良い候補を累積させられない。評価できても評価基準がずれていれば、望ましくない方向へ高速に最適化する可能性がある。

この構造から見ると、AI 研究の将来を予測するときに観察すべき対象も変わる。モデルが何問解けるようになったか、何時間のタスクをこなせるようになったかだけでは足りない。研究工程のどこまでについて、反復可能な評価信号を自動的に返せるようになったかを見る必要がある。さらに、その評価器が誤ったときに別の証拠で修正できるか、評価基準そのものを検証対象にできるかも重要になる。

人間が現在担っている研究判断のうち、どこまでを評価可能な部分問題へ分解できるかも境界を変える。新規性の一部を文献照合へ、再現性を独立実験へ、反証可能性を追加実験へ分解できれば、現在は人間に依存している判断の一部を閉ループへ取り込める。反対に、何を価値ある研究課題とみなすか、複数の評価軸が衝突したときに何を優先するかまで機械的に検証できなければ、その地点が新しいボトルネックになる。

AI の研究能力が次に大きく変わる境界は、生成速度の上昇だけには現れない。生成、実験、評価、選択、方針更新という一連の処理のうち、どこまでを信頼できる形で閉じられるようになるかに現れる。現在の一次情報から最も明確に導けるのは、研究自動化の核心が「AI が考えられるか」という一問ではなく、「AI が自分の探索結果をどこまで正しく評価し、その評価によって次の探索を更新できるか」に移りつつあるということである。

参考文献

  1. Peter Kirgis et al., “Can AI Agents Conduct Open-Ended AI Research? Early Evidence from Two Case Studies” (2026-07-29). https://arxiv.org/abs/2607.27191
  2. id774, AI に仕事を任せるには、モデルの外側を設計する（2026-08-21）. https://blog.id774.net/entry/2026/08/21/5544/
  3. Hjalmar Wijk et al., “RE-Bench: Evaluating Frontier AI R&D Capabilities of Language Model Agents against Human Experts” (ICML 2025). https://proceedings.mlr.press/v267/wijk25a.html
  4. Giulio Starace et al., “PaperBench: Evaluating AI’s Ability to Replicate AI Research” (2025-04-02). https://arxiv.org/abs/2504.01848
  5. Jun Shern Chan et al., “MLE-bench: Evaluating Machine Learning Agents on Machine Learning Engineering” (2024-10-09). https://arxiv.org/abs/2410.07095
  6. Thomas Kwa et al., “Measuring AI Ability to Complete Long Tasks” (2025-03-18). https://arxiv.org/abs/2503.14499
  7. Jiaxin Wen et al., “Automated Weak-to-Strong Researcher” (2026). https://alignment.anthropic.com/2026/automated-w2s-researcher/
  8. Collin Burns et al., “Weak-to-Strong Generalization: Eliciting Strong Capabilities With Weak Supervision” (ICML 2024). https://proceedings.mlr.press/v235/burns24b.html
  9. Ben Rank et al., “PostTrainBench: Can LLM Agents Automate LLM Post-Training?” (2026-03-09). https://arxiv.org/abs/2603.08640
  10. Bernardino Romera-Paredes et al., “Mathematical discoveries from program search with large language models” (2023-12-14). https://www.nature.com/articles/s41586-023-06924-6
  11. Alhussein Fawzi et al., “Discovering faster matrix multiplication algorithms with reinforcement learning” (2022). https://www.nature.com/articles/s41586-022-05172-4
  12. Daniel J. Mankowitz et al., “Faster sorting algorithms discovered using deep reinforcement learning” (2023). https://www.nature.com/articles/s41586-023-06004-9
  13. Alexander Novikov et al., “AlphaEvolve: A coding agent for scientific and algorithmic discovery” (2025-06-16). https://arxiv.org/abs/2506.13131
  14. Chris Lu et al., “Towards end-to-end automation of AI research” (2026-03-25). https://www.nature.com/articles/s41586-026-10265-5
  15. Juraj Gottweis et al., “Towards an AI co-scientist” (2025-02-26). https://arxiv.org/abs/2502.18864
  16. Ziru Chen et al., “ScienceAgentBench: Toward Rigorous Assessment of Language Agents for Data-Driven Scientific Discovery” (ICLR 2025). https://openreview.net/forum?id=6z4YKr0GK6
  17. Yunxiang Zhang et al., “MLRC-Bench: Can Language Agents Solve Machine Learning Research Challenges?” (2025-04-13). https://arxiv.org/abs/2504.09702
  18. Martiño Ríos-García et al., “AI scientists produce results without reasoning scientifically” (2026-04-20). https://arxiv.org/abs/2604.18805
  19. id774, この物量の文章を、一体誰が検証できるのか（2026-07-30）. https://blog.id774.net/entry/2026/07/30/5160/
  20. todesking, 超ベテランメディアアーティストがAIを使って爆速でスロップを出しまくっていて、お前この説明文自分で理解しとるんか、しかし結構面白い出力も出してるんだよなあ。（2026-09-14）. https://x.com/todesking/status/2099180454238978537
  21. Jiaqi Liu et al., “AutoResearchClaw: Self-Reinforcing Autonomous Research with Human-AI Collaboration” (2026-05-19). https://arxiv.org/abs/2605.20025
  22. id774, AI に任せる前に、人間が残すべき判断（2026-06-21）. https://blog.id774.net/entry/2026/06/21/4912/
  23. Eric Zelikman et al., “Self-Taught Optimizer (STOP): Recursively Self-Improving Code Generation” (2023-10-03). https://arxiv.org/abs/2310.02304
  24. Jenny Zhang et al., “Darwin Godel Machine: Open-Ended Evolution of Self-Improving Agents” (2025-05-29). https://arxiv.org/abs/2505.22954