生成 AI を使うと、長文記事を作る速度は大幅に上がる。題材と中心命題を渡せば、章構成、背景説明、比較表、参考文献候補、結論まで短時間で揃う。白紙から文章を組み立てる負担が減るため、従来なら数日かけていた題材でも、短時間で公開可能に見える外形へ到達できる。
自分も、半年以上にわたって毎日、長文論考を公開してきた。論考ごとに中心命題を決め、章構成を作り、外部資料を集め、参考文献を付け、公開前に表現や参照関係を修正している。数行の指示から出た文章を、そのまま公開しているわけではない。それでも、公開本数、本文の総文字数、参考文献数、本文中の事実命題を合計すると、別の問題が現れる。
文章を生成する作業と、その文章を検証する作業は対称ではない。生成 AI は、複数の資料を要約し、共通点を抽出し、因果関係を説明する文章を一度に作れる。しかし、その一文が資料のどこに根拠を持つのか、引用先が断定の範囲まで支えているのか、複数資料の接続に自身の解釈が入っていないかは、資料へ戻って個別に確かめなければならない。生成は一括処理できても、検証は主張ごとに分解される。
たとえば、ある論文が特定の実験条件で観測した結果を、記事が一般的な社会現象として説明していたとする。論文名、著者名、公開年、URL が正しくても、引用として十分とは限らない。実験対象、比較条件、効果量、限界を読み、本文の断定範囲と照合する必要がある。技術記事なら、コマンドの存在だけでなく、対象版、権限、前提設定、終了状態まで確認しなければならない。記事が長くなり、異なる分野を接続するほど、この照合作業は増える。
生成 AI に同じ文章を再点検させれば、誤字、参照番号、表記の揺れ、説明の重複は発見できる。しかし、最初の生成時に置かれた前提を、再点検でも同じモデルが引き継げば、誤った因果関係を別の表現で承認する可能性がある。独立した検証には、生成文を読み直すだけでなく、外部資料、実行結果、既稿、反例へ接続する工程が必要になる。
この工程には、人間の時間と注意が必要である。生成できる文章量は急速に増えたが、自分が一日に一次資料を読める時間、コマンドを試せる環境、既稿と比較できる注意力は同じ速度では増えていない。読者についても事情は同じである。論考を読むこと、参考文献を開くこと、主張との対応を確認すること、誤りを書いた人間へ知らせることは、それぞれ別の行為である。公開量が増えても、それを検証する読者の時間が比例して増えるわけではない。
ここで問うべきなのは、個々の論考が一定の品質を持つかどうかだけではない。各論考に構成、参考文献、修正工程があっても、その総量が自身と読者の処理能力を超えれば、論考群全体には確認されない領域が残る。公開された文章のうち、どこまでが実際に外部資料と照合され、どこからが流暢な説明を検品しただけなのかを、誰も把握できなくなる。
本稿の問いは、この一点にある。この物量の文章を、一体誰が検証できるのか。生成 AI が書いたかどうかを判定するのではなく、生成された主張を誰が受け取り、どの範囲を確認し、どの誤りを訂正できるのかを、公開工程の処理能力として検討する。
1. 問いは AI slop かどうかではない
1.1 生成が容易になるほど評価が希少になる
既稿では、生成 AI が成果物の外形を低コストで作れるようになると、問いを設定し、候補を評価し、複数の結果を統合し、採用範囲を制御する能力が相対的に希少になると論じた[1]。文章生成で供給過剰になるのは、語彙や説明だけではない。見出し、比較、具体例、反論、留保、結論まで揃った「完成品に見える候補」が増える。
候補が少ない段階では、人間は一つずつ内容を読み、採用するか捨てるかを判断できる。生成費用が下がって候補が増えると、評価側には同じ数だけ採否判断が発生する。ところが、生成は同時に複数案を出せても、人間は各案の前提、根拠、適用条件を順番に確認しなければならない。生成量が評価量を上回ると、内容そのものではなく、読みやすさ、網羅感、参考文献数、見出しの整い方が採用判断の代理になりやすい。
生成 AI が文章作業を速めることには実証的な裏付けがある。専門職の文章作業を対象にした実験では、ChatGPT の利用によって平均所要時間が短くなり、評価された品質も上がった[2]。これは、生成 AI が文章作業に役立つことを示している。ただし、実験で測定されたのは、定められた課題を完了する時間と、その成果物に対する評価である。公開後も参照される長文記事について、引用先を精読し、主張を再現し、将来の訂正まで維持できることを示した結果ではない。
生成 AI の効果には、課題ごとに不均一な境界がある。モデルの能力が及ぶ課題では成果を改善しても、境界の外側では、もっともらしい誤答への依存によって成績を下げる場合がある[3]。顧客対応業務の調査でも、生産性向上は平均として観測されたが、その効果は経験や技能によって同一ではなかった[4]。平均的に速くなることと、すべての作業が同じ比率で安全に短縮されることは別である。
ブログ記事では、この差が生成工程と検証工程の間に現れる。構成案の作成、段落の展開、表の整形は短縮しやすい。一方、論文の該当箇所を読む、製品仕様を公式文書と照合する、コマンドを対象環境で実行する、既稿との重複を探すといった作業は、外部の資料や環境に拘束される。文章の作成時間が半分になっても、一次資料の内容や実行環境が半分に縮むわけではない。
この非対称性によって、生成 AI が節約した時間をすべて次の論考の生成へ回すと、公開本数だけが増える。各論考に必要な確認時間が残ったままなら、検証待ちの主張も同じ速度で追加される。生成能力の向上が、そのまま検証済みの論考の生産能力になるためには、後工程の処理量も増やさなければならない。
文章生成において希少になるのは、書ける人間ではなく、公開候補を捨てられる判断である。どの主張を残すのか、どの一般化は資料から遠すぎるのか、既稿と同じ結論なら新しい論考にする必要があるのか、確認できない部分をどこまで保留するのかを決める必要がある。生成 AI は候補を増やせるが、そのすべてを自身の名で引き受けられる状態にはしない。
1.2 短い着想の長文化より広い問題がある
todesking は、ちょっとしたアイデアを生成 AI で長文へ膨らませ、そのまま公開する行為を批判した[5]。数行で済む観察の周囲に、一般的な背景、利点と欠点、社会的影響、将来展望を付け加えれば、内容の増加より先に記事の外形が完成する。中心命題を削っても結論が変わらない段落は、読者に追加の判断材料を与えず、読む時間だけを増やす。
この種の長文化には、削るという対処ができる。書き手が中心命題を一文で示し、各段落がその命題を支えているかを確認すれば、無関係な一般論を落とせる。数千字の文章が数百字で済むと分かれば、短い記事として公開するか、公開を見送る判断も可能である。
ところが、公開量の検証問題は、文章を圧縮しただけでは解消しない。対象固有の資料を使い、自身が構成と修正に関与し、各段落に一定の根拠がある論考でも、その件数が増えれば確認対象の総量も増える。一つの論考ごとの品質が平均して高くても、百本に含まれる引用、数値、仕様、因果関係を誰も追跡できなければ、論考群のどこに誤りが残っているかを把握できない。
ここには、個別品質と母集団品質の違いがある。個別品質は、一つの論考を精読し、根拠と結論を照合すれば評価できる。論考群の品質を評価するには、対象期間と論考一覧を確定し、共通の基準で複数の論考を調べ、欠陥の種類と発生範囲を記録しなければならない。自身が自信のある論考だけを選べば、論考群全体の評価にはならない。
NIST の生成 AI 向けリスク管理文書は、生成 AI の利用に追加の人間レビュー、追跡、文書化、管理監督が必要になり得ると整理している[6]。レビューという名称を公開工程に置くだけでは、この条件を満たさない。誰が、どの資料を使い、何を確認し、どの結果を記録したかが必要になる。確認項目と作業時間が定義されていなければ、論考数が増えたときに、内容検証が誤字やリンクの確認へ縮小しても外から判別できない。
レビュー工程が処理可能量を超えると、最初に省略されるのは、外形から見えにくい確認である。見出し、HTML、参照番号、リンク切れは機械的に検査できる。一方、引用先が本文の断定範囲を支えるか、別の研究が反対の結果を示していないか、既稿と中心命題が重複していないかは、人間が資料と文脈を読む必要がある。成果物が増えるほど、形式検査は残り、内容検証が薄くなる構造が生じる。
| 問い | 確認する対象 | 判定できること | 判定できないこと |
|---|---|---|---|
| AI slop か | 水増し、無関係な一般論、未検品の表現、独自価値の欠如を確認する。 | 一つの記事が、短い着想を記事らしい外形へ膨らませただけかを評価できる。 | 内容のある記事が大量に公開され、記事群全体の検証が追いつかない状態までは評価できない。 |
| 事実誤認があるか | 数値、仕様、引用、固有名詞、出来事を外部資料と照合する。 | 抽出した記事に含まれる個別の誤りや引用不一致を発見できる。 | 未調査の記事に重大な誤りが存在しないことや、公開量が適切であることは保証できない。 |
| 検証可能量に収まるか | 記事数、主張数、引用数、確認時間、訂正能力を一つの処理系として測る。 | 新しく発生する検証作業を、自身と読者が処理できる公開速度かを評価できる。 | 個別記事の正しさは、資料照合や再現試験によって別に確認する必要がある。 |
三つの問いは競合しない。AI slop の判定は、短い内容を不必要に長くした記事を見つける。事実確認は、個々の主張と外部資料の不一致を見つける。検証可能量の評価は、それらの確認作業を記事群全体へ適用できるかを測る。対象と判定範囲が異なるため、一つの問いで他の二つを代用できない。
本稿が扱うのは三つ目の問いである。個々の論考に内容があることを前提にしても、公開量が検証量を上回れば、未確認の主張は残る。AI slop という評価語で記事を二分するより先に、公開された事実、引用、解釈を、自身と読者が追跡し訂正できる範囲に収められているかを確かめる必要がある。
2. 論考数ではなく検証対象の総量を数える
2.1 一つの論考には複数の検証対象が含まれる
一日に一つの論考を公開したという記録だけでは、検証負荷を測れない。千字程度の体験記と、一万字を超え、数式、製品仕様、比較表、二十件の参考文献を含む論考では、同じ一件でも確認すべき対象が異なる。公開本数だけを数えると、本文の長さだけでなく、事実命題の数、引用への依存度、推論の段階数、再現確認の必要性が消える。
たとえば、日付や製品名は一次資料との照合で確認できる。コマンドや設定値には、対象版と実行環境を固定した再現試験が必要になる。複数の研究から因果関係を導いた段落では、各研究の結果だけでなく、その結果を接続する推論が妥当かを確かめなければならない。一つの論考は、公開単位としては一件でも、検証工程では性質の異なる複数の作業へ分解される。
検証対象は、事実、引用、技術的手順、因果関係、一般化の順に外部資料からの距離が広がる。事実は資料中の記述と直接照合できるが、因果関係には複数の事実を結ぶ自身の解釈が入る。一般化では、個別事例から別の環境や制度へ結論を広げる判断が加わる。後段へ進むほど、文献が実在することだけでは足りず、資料から結論へ至る推論経路そのものが検証対象になる。
| 検証対象 | 必要な確認 | 負荷が増える条件 | 見落とした場合の帰結 |
|---|---|---|---|
| 単純な事実 | 日付、名称、数値、公開主体を一次資料と照合する。 | 仕様、価格、提供条件のように、時点によって内容が変わる情報を扱うと、公開後にも再確認が必要になる。 | 論考の前提となる対象、時点、規模を誤り、後続の比較や評価も誤った条件に基づく。 |
| 引用 | 文献の実在と書誌情報だけでなく、該当箇所が本文の主張をどこまで直接支えるかを確認する。 | 文献数と主張数が増えると、本文と出典の対応関係が増え、関連資料を根拠資料と誤認しやすくなる。 | 参考文献の外形は残るが、読者がリンク先を確認しても本文の結論へ到達できない。 |
| 技術的手順 | 対象版、前提環境、権限、実行結果、終了状態、失敗条件を確認する。 | OS、製品版、依存関係、既存設定によって挙動が変わるほど、再現環境の固定が難しくなる。 | 読者が同じ手順を実行しても再現できず、場合によっては設定破損やデータ消失を招く。 |
| 因果関係 | 観察された現象、資料が示す直接原因、自身が加えた背後構造の説明を分離し、他の説明や反例を検討する。 | 異なる分野の研究や事例を接続すると、各資料が直接扱っていない推論区間が長くなる。 | 個々の事実は正しくても、その接続によって資料からは導けない説明が確定事項として残る。 |
| 一般化 | 個別事例の対象、条件、期間を確認し、どの範囲まで結論を広げられるかを判断する。 | 対象固有の制約を落とし、別の分野、制度、社会全体へ結論を広げるほど、根拠との距離が大きくなる。 | 限定条件で成立した知見が普遍的な命題へ変わり、読者が適用できない場面へ持ち込まれる。 |
この総量を把握するには、一定期間を区切り、新しく公開した論考について、公開数、本文総文字数、参考文献総数、外部リンク数、事実命題数、コマンドや数値を含む論考数、公開後の訂正数を集計する必要がある。文字数は文章量を示すが、引用の対応確認や再現試験の回数までは示さない。参考文献数は外部資料への依存度を示すが、そこから導いた解釈の段階数までは示さない。複数の指標を組み合わせなければ、検証作業の実体は測れない。
別媒体向けの再構成は、この集計から分離する。同じ中心命題を別の読者へ届ける再構成では、表現、構成、記法の確認は新たに発生するが、論点そのものと主要な根拠は原典となる論考から引き継がれる。原典と再構成版を同じ新規論考として数えると、論点を生み出した量と、既存の論点を別形式へ変換した量が混ざり、検証負荷を二重計上する。
集計対象を、自身が新しい中心命題を提示した原典となる論考へ限定すると、確認すべき対象が明確になる。問うべきなのは、公開したページの総数ではなく、自身が新たな主張として提示した事実、解釈、因果関係、一般化の総量である。この量が、自身の確認時間と公開後の訂正能力に収まっているかを測る必要がある。
2.2 情報が増えるほど受け手の注意が不足する
Herbert A. Simon は、情報が豊富になると、それを受け取る側の注意が不足すると論じた[7]。この指摘は、読者が論考を読む時間だけに当てはまるものではない。自身が生成された文章を疑い、一次資料へ戻り、引用範囲を確かめ、反例を探す時間も有限な注意の配分である。
情報量が少ない段階では、一つの資料へ時間をかけ、前提から結論まで追跡できる。供給量が増えると、すべてを同じ深さで読むことができなくなり、見出し、要約、引用数、文章の流暢さによって確認対象を選ぶようになる。確認対象を選別すること自体は避けられないが、選別基準が内容の危険度ではなく、読みやすさや公開順に置き換わると、検証すべき論考が未確認のまま残る。
情報過剰に関する研究では、供給される情報量が処理能力を超えたときに、判断品質や作業効率が低下する構造が整理されている[8]。さらに、過剰を決めるのは情報量だけではない。情報の複雑さ、曖昧さ、新規性、時間圧力、作業間の依存関係も、処理に必要な時間を増やす[9]。同じ一万字でも、既知の体験を時系列で記述した論考と、複数分野の研究を接続して新しい因果関係を提示する論考では、必要な検証能力が異なる。
情報過剰が検証品質を下げるまでには、二つの段階がある。第一に、公開される主張と引用が増えることで、一件あたりに割ける確認時間が減る。第二に、限られた時間で公開を続けるため、外部資料との照合より先に、誤字、HTML、参照番号、リンク切れのような短時間で完了する検品が優先される。その結果、形式上は整った論考が増える一方、引用と主張の距離、一般化の妥当性、既稿との差異といった内容上の確認が後回しになる。
検証負荷は、本文の長さに、主張の複雑さ、外部資料への依存度、誤った場合の影響を加えたものとして考える必要がある。短い論考でも、医療上の判断、投資判断、危険なコマンドを含めば、公開前に必要な確認は多い。反対に、長い体験記でも、観察範囲と自身の解釈が明確に分かれ、外部の事実をほとんど主張しないなら、資料照合の範囲は比較的限定できる。
論考の物量を文字数だけで測れない理由はここにある。文字数は読む時間の一部を説明するが、根拠へ戻る時間、実行環境を用意する時間、反例を探す時間、公開後に訂正する時間までは表さない。自身が公開可能な量を判断するには、何文字書けたかではなく、どれだけの主張について根拠と適用範囲を確認し、その確認結果を後から追跡できるかを測らなければならない。
3. 文章を整えることと主張を検証することは違う
3.1 検品と検証は外部への接続が違う
既稿では、AI が誤った出力を生成することだけでなく、その出力が十分な確認を経ずに人間の判断として採用されることを問題にした[10]。生成直後の文章は、構成と表現を備えていても、まだ公開候補にすぎない。自身が内容を選び、自分の名前で公開した時点で、その文章は自身の判断として読まれる。AI の出力から公開された論考へ移る境界は、文章が生成された時点ではなく、自身が採用した時点にある。
採用前の確認には、検品と検証という性質の異なる作業が含まれる。検品は、文章の内部で形式が整合しているかを調べる。誤字、HTML、見出し階層、参照番号、リンク、表記の揺れは、成果物の内部を比較すれば確認できる。検証は、論考の主張を一次資料、実行結果、対象環境、反例へ接続し、その主張が外部の事実に対して成立するかを調べる。
両者の違いは、確認先にある。参照番号が本文と参考文献で一致しているかは、論考の内部だけで判定できる。参照先の論文が本文の断定範囲を支えているかは、論文本文を読まなければ判定できない。コマンドの綴りは文字列として確認できるが、そのコマンドが指定した環境で期待どおりに動作するかは、公式仕様との照合または実行試験が必要になる。
形式検査を繰り返すと、文章は読みやすくなり、参照関係も整う。しかし、最初に置いた前提が誤っていれば、その前提を維持したまま文章の完成度だけが上がる。誤った因果関係を簡潔に説明し、根拠にならない文献へ正しい形式でリンクすることもできる。検品の精度が高いほど論考の外形は信頼できるように見えるため、内容検証を通過していない部分がかえって発見されにくくなる。
| 確認層 | 主な対象 | 外部への接続 | 通過しても保証できないこと |
|---|---|---|---|
| 形式検査 | HTML、見出し、リンク、参照番号、表記、文章上の重複を確認する。 | 論考の内部要素を相互に比較すれば確認できる。 | 本文の事実、引用内容、因果関係が外部の資料に照らして正しいとは限らない。 |
| 出典検査 | 文献の実在、書誌情報、公開主体、該当箇所、本文の主張との対応を確認する。 | 参考文献の本文と論考中の参照対象文を直接照合する。 | 複数の資料を接続して自身が加えた解釈や一般化までは保証しない。 |
| 内容検査 | 数値、仕様、手順、因果関係、比較条件、適用範囲、失敗条件を確認する。 | 一次資料、対象環境、実行結果、反例へ接続して主張の成立条件を調べる。 | その論考が既稿と異なる価値を持ち、長文として公開する必要があるかまでは決まらない。 |
| 編集判断 | 中心命題、新規性、既稿との差、文章量、読者が得られる判断材料を確認する。 | 自身の公開目的、既稿群、想定読者、公開後に引き受けられる責任と照合する。 | 将来の仕様変更、新資料、反証によって訂正が必要になる可能性は残る。 |
| 継続検証 | 公開後の仕様変更、リンク切れ、読者からの指摘、新しい研究、訂正履歴を管理する。 | 公開時点の論考を、変化した外部環境と定期的に照合する。 | 確認を停止した後も、論考が現在の条件に対して正確であり続けるとは限らない。 |
この五層は、後段が前段を置き換える関係ではない。出典を正しく確認しても HTML が壊れていれば読者は参照経路をたどれず、形式が整っていても内容が誤っていれば正確な論考にはならない。さらに、公開時点で内容が正しくても、更新される仕様を扱う論考には継続検証が必要になる。公開可能な状態とは、いずれか一つの検査を通過した状態ではなく、その論考に必要な確認層を特定し、それぞれの結果を引き受けられる状態である。
3.2 流暢な出力にも根拠との不一致は入り込む
自然言語生成における幻覚の研究は、生成された文章が入力資料や外部の事実と整合しない現象を整理している[11]。要約に範囲を絞った研究でも、元資料を入力したからといって、生成文のすべてが資料に忠実になるわけではない[12]。言語モデルについては、形式上自然な文章を生成できることと、対象について根拠に接続された意味を保持することを同一視できないという批判もある[13]。
これらの研究から、AI が生成した文章はすべて誤っているという結論は出ない。導けるのは、元資料を入力したこと、参考文献を付けたこと、文章が自然であることのいずれも、生成文と根拠の一致を自動的には保証しないという結論である。検証では、文献の有無ではなく、本文中の参照対象文と文献中の該当箇所を対応させる必要がある。
たとえば、論文が特定の参加者、期間、実験条件で効果を観測したとする。論考がその結果を同じ条件の説明に使うなら、引用と主張の距離は近い。対象集団や利用環境を広げて「一般に効果がある」と書けば、論文中の事実に自身の一般化が加わる。さらに、その効果を社会制度や人間一般の性質へ接続すれば、文献が直接支えていない推論区間は長くなる。引用先が実在していても、一般化の各段階が検証されたことにはならない。
根拠との不一致は、架空の文献や明白な数値誤りだけとして現れるわけではない。関連する文献を、直接の根拠として扱う場合にも生じる。文献が同じ分野、同じ製品、同じ現象を扱っていても、本文の因果説明、比較結果、適用条件まで支えているとは限らない。関連性と立証力を分けなければ、参考文献数は増えても、各主張を支える経路は不明確になる。
自動化への過信は、システムの提案を無条件に受け入れる行為だけを指すものではない。不完全な自動化支援は、必要な警告が出なかったことで人間も異常を見落とす省略誤りと、誤った提案を人間が採用する実行誤りの双方を生み得る[14]。検証作業が複雑になるほど、自動化された助言への依存が強まりやすいという系統的レビューもある[15]。
論考の検証では、省略誤りと実行誤りが別の形で現れる。AI に問題点を列挙させ、特定の引用不一致が指摘されなければ、自身も問題がないと判断する可能性がある。これは、警告されなかった箇所を確認済みとみなす省略誤りに相当する。AI が「この文献は主張を支えている」と説明し、その説明を資料へ戻らず採用すれば、誤った助言を論考へ残す実行誤りになる。
長文の論考では、引用数と推論段階が増えるほど検証の組合せも増える。二十八件の参考文献を一覧へ配置することはできても、二十八件すべてを読み、本文中のどの文をどこまで支え、どこから自身の解釈へ移るかを確認するには時間がかかる。一つの文献が複数の段落で使われ、複数の文献が一つの一般化を支える場合、検証対象は文献数だけでは表せない。
参考文献数を品質の代理指標にすると、根拠を増やす操作が、未確認の対応関係を増やす操作へ反転する。論考の信頼性を高めるのは、文献の件数ではない。本文の各主張について、どの資料が直接支え、どの部分が自身の解釈で、どの一般化に追加の留保が必要かを追跡できることである。
4. 生成速度だけが上がると検証待ちが蓄積する
4.1 生成と検証は同じ工程ではない
文章生成は並列化しやすい。複数の資料を検索し、構成案を比較し、表を整え、異なる説明案を作る処理は、計算資源と実行単位を増やせば同時に進められる。生成 AI は、一つの論点について複数の候補を出すだけでなく、別の題材についても並行して長文を作れる。生成側の処理量は、人間が一文ずつ入力する速度に拘束されなくなった。
検証は同じ方法では拡張できない。引用と文献の対応を調べるには、参照対象文が何を断定しているかを読み、その断定を文献中の該当箇所と照合する必要がある。技術的手順には対象環境での実行が必要になり、一般化には適用範囲と反例の検討が必要になる。作業の一部を AI に補助させても、どの主張を自分の判断として採用するかは、最終的に自身が内容を理解できる範囲へ戻る。
この違いにより、生成候補を十倍に増やしても、自身が一日に精読できる資料、再現できる手順、比較できる既稿が十倍になるわけではない。むしろ、候補が増えるほど採否判断も増えるため、一件あたりに割ける時間は短くなる。生成能力の拡張が検証能力の拡張を伴わなければ、処理時間の短縮ではなく、検証待ちの増加として現れる。
生成 AI の生産性研究は、特定の文章作業で所要時間が短くなることを示している[2]。一方、生成 AI の効果には課題ごとの不均一な境界があり、能力が及ばない課題では、もっともらしい誤答への依存によって成績が下がる場合がある[3]。前者は生成 AI が作業を速め得ることを示し、後者は速く得られた出力を一律に信頼できないことを示す。
両者を論考の公開工程へ当てはめると、生成時間だけから公開量を決められない理由が明確になる。生成時間が短くなったことは、検証を終えたことを意味しない。短縮によって生まれた時間を次の論考の生成へすべて使えば、公開候補は増えるが、一次資料の確認、再現試験、既稿との比較へ使える時間は増えない。公開可能に見える成果物と、検証を完了した成果物の差が広がる。
この状態は、未処理の検証作業量が時間とともにどう変化するかとして表せる。
D_{t+1}=D_t+G_t-V_t
\]
\(D_t\) は時点 \(t\) の終了時に残っている検証待ちの作業量である。\(G_t\) は次の期間に新しく発生した検証作業量、\(V_t\) は同じ期間に実際に完了できた検証作業量を表す。次の時点に残る作業量 \(D_{t+1}\) は、前期から持ち越した \(D_t\) に新規発生分 \(G_t\) を加え、完了分 \(V_t\) を差し引いたものになる。
新規発生分 \(G_t\) が処理量 \(V_t\) を一時的に上回っても、その後に公開を抑え、既稿の確認へ時間を回せば、残作業を減らせる。毎期 \(G_t>V_t\) が続く場合は、公開するたびに未確認事項が追加され、検証待ちは増加し続ける。この状態では、個々の論考に確認工程が存在していても、論考群全体としては検証が完了しない。
ここで \(G_t\) と \(V_t\) の単位を論考数だけにすると、処理量を正しく比較できない。短い体験記一件と、二十件の参考文献、数式、技術的手順を含む論考一件では、必要な確認作業が異なる。一件を一件として数えると、主張密度、外部資料への依存度、再現試験の必要性、誤った場合の影響が消える。
| 負荷要因 | 検証作業が増える理由 | 単純な論考数では見えない差 |
|---|---|---|
| 事実命題数 | 日付、名称、数値、仕様ごとに一次資料との照合が必要になる。 | 同じ文字数でも、外部の事実を多く断定する論考ほど確認箇所が増える。 |
| 参考文献数 | 文献の実在確認に加え、本文中の各主張との対応を読む必要がある。 | 一文献を一度確認するだけでは、複数段落で異なる使われ方をした場合に対応できない。 |
| 推論段階数 | 事実から直接原因、背後構造、一般化へ進む各段階について、飛躍と反例を検討する必要がある。 | 個々の事実が正しくても、接続部分に自身の未検証の解釈が残り得る。 |
| 再現確認 | コマンド、設定、計算、実験には、前提を固定した実行環境が必要になる。 | 文章上は一行でも、環境準備と異常系確認に長い時間がかかる場合がある。 |
| 失敗時の影響 | 医療、投資、法律、セキュリティ、破壊的操作では、低頻度の誤りも重点的に確認する必要がある。 | 同じ一件の誤りでも、表記上の誤りと読者の行動を誤らせる誤りでは損失が異なる。 |
| 更新頻度 | 仕様、料金、制度、脆弱性情報が変わると、公開後にも再確認が発生する。 | 公開時点で正しくても、継続的な保守を要する論考は将来の作業量を増やす。 |
検証作業量を見積もる目的は、各要因へ厳密な点数を付けることではない。生成した論考をすべて同じ一件として扱わず、どの論考がどの種類の確認を要求するかを明らかにすることにある。公開量を検証能力へ合わせるには、件数より先に、確認作業の種類と深さを見積もる必要がある。
4.2 公開は検証の終了ではない
論考の検証は、公開時点で終了するとは限らない。製品仕様、ソフトウェアの版、サービスの料金、法制度、脆弱性情報は公開後も変わる。公開時点の条件では正しかった説明でも、後から読んだ人が現在の条件へそのまま適用すれば、誤った判断につながる可能性がある。
時間の経過による不整合には、少なくとも二種類ある。第一は、外部環境が変化したことで、正しかった記述が現在の条件に合わなくなる陳腐化である。第二は、新しい資料、再現試験、読者からの指摘によって、公開時点から存在していた誤りが後から発見される訂正である。前者には対象版と確認日の明示が必要になり、後者には訂正箇所と変更理由の記録が必要になる。
| 公開後の変化 | 発生する不整合 | 必要な対応 |
|---|---|---|
| 仕様変更 | コマンド、設定、制限、提供条件が現在の版に適用できなくなる。 | 対象版、確認日、変更後の挙動を追記し、旧条件との違いを示す。 |
| 新資料の公開 | 既存の説明を支持しない結果や、より限定された適用条件が明らかになる。 | 新資料と既存の根拠を比較し、断定範囲または結論を修正する。 |
| 再現失敗 | 自身または読者が同じ結果を得られず、暗黙の前提条件が露出する。 | 環境差、権限、依存関係、失敗条件を確認し、再現可能な範囲を限定する。 |
| 引用不一致の発見 | 文献は実在するが、本文の主張を直接支えていないことが判明する。 | 根拠を差し替えるだけでなく、主張自体を縮小または撤回する必要がある。 |
| 既稿との重複発見 | 題材は異なっても、中心命題と結論が既稿の言い換えであることが分かる。 | 新規性を再評価し、統合、短縮、相互参照のいずれが適切か判断する。 |
NIST は、生成 AI の利用には、追加の人間レビュー、追跡、文書化、管理監督が必要になり得ると整理している[6]。追跡が必要になるのは、生成時点の確認だけで管理が完了しないためである。どの資料を根拠に採用したか、どこを自身の解釈として加えたか、何が未確認だったか、公開後に何を修正したかが残らなければ、再検証のたびに判断経路を最初から復元しなければならない。
論考を公開することは、一回限りの制作物を追加することではなく、将来の保守対象を追加することでもある。仕様変更を追う必要がある論考を一件公開すれば、その時点の生成作業は終わっても、将来の \(G_t\) に再確認作業が加わる。公開量の増加は、新規作成時の検証負荷だけでなく、既稿群を維持する継続負荷も増やす。
新規公開を優先し続けると、自身の時間は新しい論考の生成と、既稿の再確認との間で競合する。新規生成へ時間を固定すると、過去の論考へ戻るための処理量 \(V_t\) が不足する。生成能力が高いほど新しい候補を追加しやすいため、この競合は早く表面化し、訂正されない既稿と検証待ちの新稿が同時に増える。
公開後の保守まで含めれば、論考の完了条件は公開ボタンを押した時点には置けない。根拠、対象時点、未確認事項、訂正履歴を後から追跡でき、外部条件が変わったときに更新または適用範囲の限定ができる状態まで含めて、検証可能な論考になる。生成速度から公開量を決めるのではなく、この継続作業を引き受けられる量から公開上限を決める必要がある。
5. 公開しても読者が検証してくれるとは限らない
5.1 読者の数は検証者の数ではない
論考を公開すれば、多くの読者の目に触れ、誤りがあれば誰かが指摘してくれると期待できる。しかし、閲覧と検証は異なる行為である。閲覧数はページが表示された回数を示しても、本文が最後まで読まれ、参考文献と照合された回数までは示さない。公開範囲が広いことを、検証体制が広いことへ読み替えることはできない。
一つの主張を検証して自身へ通知するまでには、複数の段階がある。読者は、まず論考を開き、参照対象文を読み、その主張に疑問を持ち、参考文献を開き、該当箇所を探し、本文との不一致を判定しなければならない。技術的手順であれば、対象環境を用意し、同じ操作を再現し、期待結果との差が環境差ではなく記述上の誤りであることまで確認する必要がある。最後に、発見内容を整理し、自身へ通知して初めて訂正へ接続する。
| 段階 | 読者が行うこと | 次の段階へ進まない理由 |
|---|---|---|
| 閲覧 | 論考を開き、題名、導入、見出しから読む価値を判断する。 | 関心、専門分野、可処分時間が合わなければ、本文の精読へ進まない。 |
| 読解 | 本文の命題、具体例、因果関係、結論を追う。 | 内容を理解できても、根拠を疑う契機がなければ参照先を確認しない。 |
| 出典確認 | 参考文献を開き、本文の主張に対応する箇所を探す。 | 論文の入手条件、言語、専門知識、分量が確認の障壁になる。 |
| 再現確認 | コマンド、設定、計算、技術的条件を同等の環境で試す。 | 対象版、権限、依存関係、機器を用意できなければ再現できない。 |
| 誤りの判定 | 結果の差が環境差、解釈差、記述上の誤りのどれに当たるかを区別する。 | 不一致を見つけても、本文の誤りだと断定できるとは限らない。 |
| 通知 | 根拠、再現条件、修正候補を整理して自身へ伝える。 | 連絡方法が不明、説明負荷が高い、訂正される見込みがないと判断すれば通知しない。 |
各段階を通過する読者は、前段階の読者より少なくなる。千人が論考を開いても、千人が参考文献を確認するわけではない。さらに、その中で同じ専門性と実行環境を持ち、不一致を判定し、訂正可能な形で通知する読者は限定される。閲覧数が増えても、検証数が同じ比率で増えるとは限らない。
専門性も一人の読者へ集約されていない。セキュリティの実務者が暗号 API の説明と権限境界を確認できても、同じ論考に含まれる統計モデルの前提まで検証できるとは限らない。研究方法に詳しい読者が、Linux コマンドの版ごとの挙動まで確認できるとも限らない。複数分野を接続した論考では、各部分を別の読者が確認できても、分野間を接続した自身の推論が検証されずに残る可能性がある。
読者の可処分時間も、公開される論考数に比例して増えない。新しい論考が連続して公開されると、前の論考について参考文献を確認している間に次の検証対象が追加される。読者が関心のある題材だけを選ぶことは合理的だが、その結果、選ばれなかった論考の未確認部分は公開状態のまま残る。
公開は、検証の機会を不特定多数へ開く。しかし、担当、期限、確認基準、対象範囲、報告経路を設定するものではない。組織的なレビューであれば、誰がどの部分を確認したかを記録し、未確認部分を残課題として扱える。不特定多数の読者に依存する場合、誰も確認しなかった箇所と、確認したが誤りがなかった箇所を区別できない。
読者から指摘がなかったという事実も、論考が正しかった証拠にはならない。指摘がない状態には、誤りがなかった場合、誤りに気づかなかった場合、気づいたが通知しなかった場合、そもそも検証できる読者が読まなかった場合が含まれる。公開後の沈黙から内容の正しさを推定するには、観測されていない経路が多すぎる。
5.2 読みやすさは正しさの証拠にならない
処理流暢性とは、情報を容易に知覚し理解できると感じる性質である。明確な見出し、短い文、整った表、自然な因果説明は、読者の認知負荷を下げ、複雑な内容を追いやすくする。読みやすさは論考に必要な品質であるが、主張が外部の事実と一致していることを直接示す品質ではない。
処理しやすさは、対象への肯定的な評価に影響し得る[16]。流暢性と真実性判断の関係を調べた研究でも、容易に処理できるという感覚と、内容が実際に正しいことを分離する必要が示されている[17]。文章が理解しやすいと、読者は論理を追えたという感覚を得る。しかし、論理を追えたことと、その前提や引用を外部資料で確認したことは別である。
生成 AI は、内容が未確定でも、前提、理由、比較、留保、結論が揃った文章を作れる。各段落が自然に接続されていると、読者は途中で立ち止まる契機を持ちにくい。根拠の弱い一般化も、具体例と結論の間に滑らかな説明が置かれることで、資料から直接導かれたように見える。文章上の接続が強いほど、根拠上の接続まで強いとは限らない。
反復も真実性判断に影響する。偽ニュースの見出しを用いた実験では、一度接した情報が後に正確だと評価されやすくなる効果が観測された[18]。この結果を論考群へ直接移し、同じ命題を繰り返せば必ず信じられると断定することはできない。実験対象、提示形式、政治的文脈が異なるためである。
それでも、既稿と近い命題が異なる題材で繰り返される場合、既視感を根拠確認から分離する必要がある。以前にも読んだ結論は、自身の論考群の中で一貫しているように見える。しかし、複数の論考が同じ一次資料や同じ生成時の前提に依存していれば、反復は独立した裏付けにならない。一つの誤った一般化が別の題材へ再利用されると、論考数だけが増え、根拠の系統は増えない。
| 文章上の特徴 | 読解上の利点 | 検証上の誤認 | 必要な補完 |
|---|---|---|---|
| 明確な章構成 | 前提から結論までの位置関係を追いやすくなる。 | 論理の順序が明確であることを、各前提が正しいことと混同しやすい。 | 各章の事実命題と解釈命題を分け、根拠へ戻れる参照を置く。 |
| 比較表 | 複数の対象や判断軸の違いを一覧できる。 | 分類軸の選択や項目の対応が、自明な事実であるように見える。 | 表の分類基準と、その基準を選んだ主体を本文で説明する。 |
| 参考文献の多さ | 読者が外部資料へ進む経路が増える。 | 文献数を、各主張が直接支えられている証拠として受け取りやすい。 | 参照対象文の直後に文献を置き、文献が支える範囲を限定する。 |
| 数式 | 変数間の関係と前提を簡潔に表現できる。 | 数式化されたことで、変数の定義や関係が実測済みであるように見える。 | 数式が実測モデル、概念モデル、説明用の関係式のどれかを明示する。 |
| 断定的な結論 | 論考が何を主張しているかを把握しやすい。 | 結論の明確さを、証拠の強さや適用範囲の広さと混同しやすい。 | 成立条件、適用範囲、反証された場合に変わる部分を示す。 |
読みやすさを落として人間らしさを演出しても、検証可能性は高まらない。必要なのは、事実、引用、解釈、一般化の境界を読者が遡れることである。文章の流れを維持しながら、どの箇所が外部資料から直接確認でき、どの箇所が自身の推論で、どの結論に追加の留保が必要かを示さなければならない。
流暢な論考は、検証を不要にする完成品ではない。読者が検証箇所を発見し、根拠へ到達し、異なる解釈を提示できるようにする案内図である。読みやすさがその経路を隠すなら、文章上の品質が検証上の障害へ反転している。
6. ランダムサンプリングなら品質傾向を調べられる
6.1 全数を読めなくても母集団の状態は推定できる
公開済みの論考をすべて同じ深さで再検証できない場合、無作為抽出は品質傾向を調べる現実的な方法になる。最初に調査期間を固定し、その期間に新しく公開した論考の一覧を母集団として確定する。その後、乱数を用いて監査対象を選び、あらかじめ定めた基準で各論考を調べる。
無作為抽出の役割は、自身の選択による偏りを減らすことにある。自信のある論考を選べば品質を過大評価しやすく、公開後に問題を認識した論考だけを選べば過小評価しやすい。記憶に残っていない通常の論考も同じ確率で抽出対象に含めることで、自身がまだ認識していない欠陥を観測できる。
母集団の定義が曖昧なままでは、無作為抽出を行っても結果を解釈できない。原典となる論考と、それを別の読者向けに再構成した文章を同じ母集団へ入れると、同じ根拠と中心命題に由来する欠陥が重複して数えられる。新しい主張を提示した論考群の品質を調べるなら、原典となる論考だけを母集団へ含める必要がある。
製品、記録、作業結果の一部を抽出し、適合か不適合かを調べる属性別の標本検査は、ISO 2859-1 によって体系化されている[19]。論考は同一仕様で製造される工業製品ではないため、規格の判定表をそのまま適用することはできない。一方、母集団、抽出方法、欠陥定義、判定規則を検査前に固定するという原則は、論考群の監査にも使える。
NIST の統計手引きは、不良率の信頼区間と、一定の精度で推定するために必要な標本数を扱っている[20]。FDA の統計資料では、標本を適合か不適合かに分類する属性サンプリングと、標本結果からロットを受け入れるか判断する受入サンプリングが区別されている[21]。この区別を論考へ移すと、欠陥率を推定する監査と、公開を継続してよいか決める判断を分離できる。
論考の標本監査では、検査単位と欠陥単位も分ける必要がある。一つの論考に引用不一致が三件あった場合、「欠陥を含む論考一件」と数える方法と、「欠陥三件」と数える方法では結果が異なる。前者は、少なくとも一つの問題を含む論考の割合を示す。後者は、論考一件あたりの欠陥密度を示す。どちらを測るかを監査後に決めると、結果に合わせて指標を選ぶことになる。
| 測定単位 | 測定するもの | 適した問い | 限界 |
|---|---|---|---|
| 論考単位 | 一つ以上の欠陥を含む論考の割合を測る。 | 公開した論考のうち、どの程度に訂正または追加確認が必要かを知る。 | 一件の軽微な欠陥と、複数の重大な欠陥を同じ不適合一件として数える。 |
| 欠陥件数 | 標本中に見つかった欠陥の総数と種類を測る。 | どの確認工程で、どの種類の問題が多く発生しているかを知る。 | 長い論考ほど検査箇所が増えるため、文章量を調整しないと比較しにくい。 |
| 主張単位 | 事実命題、引用、因果関係、一般化ごとの不一致率を測る。 | どの種類の主張が検証に失敗しやすいかを知る。 | 何を一つの主張として数えるかに判断が入り、分解作業にも時間がかかる。 |
| 重大度単位 | 欠陥が読者の理解、判断、操作へ与える影響を分類する。 | 限られた時間で、どの欠陥から修正すべきかを決める。 | 発生頻度と影響度を一つの数値へまとめると、評価根拠が見えにくくなる。 |
監査基準には、欠陥の有無だけでなく、種類と重大度を含める必要がある。引用不一致、技術的誤り、推論の飛躍、既稿との重複、過剰な長文化、陳腐化では、混入した工程も修正方法も異なる。同じ不適合として合計すると、制作工程のどこへ戻るべきか判断できない。
| 欠陥分類 | 判定例 | 直接原因 | 工程へ戻す判断 |
|---|---|---|---|
| 引用不一致 | 文献は実在するが、本文の断定範囲を直接支えていない。 | 関連する資料を、主張を立証する資料として採用している。 | 同じ調査方法と同じ時期に作成した論考へ監査範囲を広げ、参照対象文と該当箇所の照合を追加する。 |
| 技術的誤り | コマンド、オプション、設定値、対象版の説明が実際の動作と異なる。 | 公式仕様との照合または対象環境での実行確認を省略している。 | 同種の手順を含む論考を抽出し、公開前確認へ対象版の固定と再現試験を追加する。 |
| 推論の飛躍 | 限定された研究結果から、対象外の集団、環境、制度へ結論を広げている。 | 資料が示す事実と、自身が加えた解釈や一般化の境界が明示されていない。 | 事実、直接原因、背後構造、一般化を分離し、各段階の根拠と反例を確認する。 |
| 既稿との重複 | 題材は異なるが、中心命題と結論が既稿の言い換えになっている。 | 題材の新しさを、論点の新しさとして扱っている。 | 構想段階で既稿群を検索し、新規性を一文で示せない論考を統合、短縮、保留する。 |
| 過剰な長文化 | 中心命題に寄与しない背景、分類、利点と欠点、将来展望が文章量を増やしている。 | 完成した論考の外形を作ることが、読者への価値追加より優先されている。 | 各段落が中心命題へ与える新しい根拠または判断材料を確認し、寄与しない段落を削る。 |
| 陳腐化 | 公開時の仕様、制度、料金が変わり、現在の適用条件が分からない。 | 更新される対象を扱いながら、確認期限と対象時点を記録していない。 | 対象版、確認日、更新期限、訂正履歴を付け、期限到来時に再検証する。 |
無作為抽出で欠陥が見つかった場合、その論考だけを直して終えると、同じ原因から生じた欠陥が他の論考に残る。引用不一致が複数見つかれば、個別の読み違いではなく、文献候補を収集した後に本文との対応を確認する工程が不足している可能性が高い。技術的誤りが同じ時期に集中すれば、再現試験を省略した制作手順が共通原因になっている可能性がある。
標本監査の価値は、質の低い論考を選別することだけにはない。抽出された欠陥から、同種の未発見欠陥が存在し得る範囲を特定し、確認対象を広げ、制作工程を修正することにある。一件の欠陥を訂正履歴へ変えるだけでなく、欠陥を生んだ条件を次の公開工程から除く必要がある。
6.2 標本中の欠陥ゼロは母集団の欠陥ゼロではない
三十本の論考を無作為に抽出し、重大な欠陥が一件も見つからなかったとしても、残りの論考に重大な欠陥が存在しないとは言えない。標本で観測できるのは、抽出された範囲の結果である。母集団について述べるには、抽出方法、標本数、許容する不確実性を含めて解釈しなければならない。
Hanley と Lippman-Hand が示した「3 の法則」では、独立した試行で対象事象がゼロ件だった場合、95％信頼水準における発生率の上限を概算で \(3/n\) と見積もる[22]。ここで \(n\) は標本数である。この近似は、ゼロ件という観測結果をリスクゼロと読み替えず、観測されなかった事象がどの程度の頻度まで残り得るかを考えるために使う。
三十本で重大な欠陥がゼロ件なら、発生率上限の概算は \(3/30=0.1\)、すなわち 10％になる。六十本でゼロ件なら \(3/60=0.05\)、約 5％である。これは、実際の欠陥率が 10％または 5％だという意味ではない。標本中で一件も観測しなかったとしても、その標本数では、それより低い率まで十分に絞り込めないという意味である。
| 標本数 | 観測した重大欠陥 | 3 の法則による上限概算 | 読み取れること |
|---|---|---|---|
| 10 本 | 0 件 | 約 30％ | 欠陥を観測しなかっただけで、母集団の欠陥率を低いと評価するには標本が小さい。 |
| 30 本 | 0 件 | 約 10％ | 重大欠陥が頻発する可能性は狭められるが、十本に一本程度の率までは除外できない。 |
| 60 本 | 0 件 | 約 5％ | 上限は下がるが、重大欠陥が存在しないことの証明にはならない。 |
| 100 本 | 0 件 | 約 3％ | 低い発生率まで絞り込めるが、母集団の構成と独立性が妥当であることが前提になる。 |
この計算を論考群へ適用するときには、前提上の制約がある。3 の法則は、各試行が独立し、同じ発生確率を持つという単純な状況に近い。実際の欠陥は独立でも均一でもない。同じ生成手順、同じ参考資料、同じ時期の確認不足から、複数の論考へ同種の誤りがまとめて入る可能性がある。
たとえば、特定期間に使用した参考文献収集方法が、関連文献を直接根拠として扱う傾向を持っていた場合、引用不一致はその期間へ集中する。技術分野では再現試験の不足、科学分野では適用範囲の過度な一般化というように、分野ごとに欠陥の種類も異なり得る。母集団全体から単純に無作為抽出すると、件数の少ない分野や短い期間へ集中した欠陥が標本に入らない可能性がある。
この偏りには層化抽出を使う。公開時期、分野、参考文献数、技術的手順の有無、文章量などによって母集団を層へ分け、各層から監査対象を抽出する。全体の平均だけでなく、どの層にどの欠陥が集中しているかを調べることで、無作為抽出では埋もれる構造的な偏りを発見しやすくなる。
ただし、層化しても重大な欠陥の不存在までは保証できない。標本監査が答えられるのは、論考群の品質傾向、欠陥の推定頻度、時期や分野による偏りである。低頻度でも一件の影響が大きい誤りについては、発生率の推定とは別に、対象を選んだ重点検証が必要になる。次章の脆弱性調査との比較は、この境界を明らかにする。
7. 脆弱性調査はサンプリングだけでは済まない
7.1 平均的な欠陥率と一つの攻撃経路は別の対象である
既稿「Claude Mythos は世界をどう変えたのか」では、AI がソフトウェアの潜在的不整合を広く速く観測できるようになる一方、発見後のトリアージ、再現確認、影響評価、修正、テスト、配布、適用が追いつかなければ、未処理の脆弱性候補が蓄積すると論じた[23]。本稿の文章検証と共通するのは、候補を生み出す前工程だけが高速化され、その候補を判定して処理する後工程が律速になる点である。
ただし、論考群の品質傾向を調べる監査と、ソフトウェアの脆弱性調査では、見つけるべき対象が異なる。論考の無作為抽出では、標本中に見つかった欠陥から母集団の状態を推定する。脆弱性調査で必要なのは、コード全体の平均的な安全性ではなく、保護対象へ到達できる攻撃経路の発見である。コードの 99％に問題がなくても、残る 1％に認証を回避し、権限を取得できる経路があれば、システムは侵害され得る。
脆弱性はコード全体へ同じ確率で分布しない。外部入力を受け取る境界、認証と認可の判定、権限が変化する処理、状態遷移、例外処理、外部ライブラリとの接続点は、攻撃経路を構成し得るため、重点的な調査対象になる。攻撃者もコードを無作為に選んで調べるのではなく、公開された入口から資産へ到達する経路をたどり、その途中にある前提の破れを探す。この偏りがあるため、全体から一定数のファイルや関数を無作為抽出しても、重大な経路が標本へ入る保証はない。
NIST の Secure Software Development Framework は、脆弱性を減らすための実践を、設計、実装、検証、公開、対応を含む開発工程へ組み込む方法を示している[24]。開発者によるソフトウェア検証の最低基準を扱う NIST IR 8397 も、脅威モデリング、静的解析、構造テスト、過去の不具合に基づくテスト、ファジングなど、探索原理の異なる手段を挙げている[25]。CISA の Secure by Design は、安全性を利用者側の設定や公開後の対処へ委ねず、製品の設計要件として扱う考え方を示している[26]。DevSecOps の参照モデルでも、相互レビュー、ソフトウェア構成分析、静的解析、構文検査、ファジングには、それぞれ異なる実施段階と探索範囲が割り当てられている[27]。
| 調査方法 | 主な探索対象 | 単独では見つけにくいもの |
|---|---|---|
| 脅威モデリング | 保護すべき資産、攻撃面、信頼境界、想定される攻撃経路を設計段階で特定する。 | 実装時に混入した個別のメモリ破壊や入力処理の誤りまでは確定できない。 |
| 静的解析 | 実行前のコードから、既知の危険な構造、データの流れ、規則違反を探索する。 | 実行環境、外部サービス、複数処理の組合せによって成立する挙動を捉えにくい。 |
| 構造テスト | 分岐、境界値、状態遷移など、実装内部の構造を踏まえて動作を確認する。 | テスト設計時に想定されなかった入力や攻撃者の操作は残り得る。 |
| ファジング | 多数の入力を与え、クラッシュ、停止、異常応答、未想定の状態を探索する。 | 業務上の権限規則や複数段階の論理的な攻撃経路は、異常終了を伴わなければ見逃し得る。 |
| 無作為抽出 | 検査対象全体の傾向を推定し、特定時期や特定工程への欠陥の集中を調べる。 | 発生頻度は低いが影響の大きい攻撃経路の発見には適さない。 |
複数の手法が必要になるのは、どの検査方法にも固有の観測範囲があり、単独では脆弱性の不存在を証明できないためである。無作為抽出は、既知の種類の欠陥がどの程度含まれるかを調べ、重点調査すべき領域を選ぶ補助にはなる。しかし、低頻度で重大な攻撃経路を探すには、保護対象、外部入力、権限境界、状態遷移を起点とした探索が欠かせない。
7.2 論考にも低頻度で影響の大きい誤りがある
論考に含まれる誤りも、すべてが同じ損失を生むわけではない。句読点の誤りや表記の不統一は読解を妨げるが、それだけで読者の環境や財産を直ちに損なう可能性は低い。データを破壊するコマンド、誤った医療情報、存在しない法制度、適用条件を誤認した脆弱性情報は、読者が記述に従って行動した時点で具体的な損害へつながり得る。論考群全体の平均欠陥率が低くても、この種の一件を許容できることにはならない。
この違いを監査へ反映するには、発生頻度と影響度を分けて扱う必要がある。通常の論考にどのような欠陥がどの程度含まれるかは、無作為抽出または層化抽出によって推定できる。一方、医療、投資、法律、セキュリティ、実行可能なコマンド、具体的な製品設定などを含む論考は、公開前に対象を特定して重点検証する必要がある。高リスクな論考が母集団の少数にとどまる場合、無作為抽出だけでは一件も標本へ入らない可能性があるためである。
| 監査目的 | 対象の選び方 | 検証方法 | 得られる結論 |
|---|---|---|---|
| 論考群の品質傾向 | 期間と母集団を固定し、無作為抽出または分野別の層化抽出を行う。 | 共通の欠陥分類と判定基準を使い、引用、事実、推論、重複、陳腐化を監査する。 | 欠陥の推定頻度と、時期、分野、作成工程による偏りを把握できる。 |
| 重大な誤りの予防 | 読者が従った場合の影響を基準に、高リスクな論考を公開前に抽出する。 | 一次資料との照合、実行環境での再現試験、適用条件の確認、必要に応じた専門家確認を行う。 | 既知の高リスク領域にある誤りを公開前に減らせるが、未知の誤りの不存在までは証明できない。 |
| 欠陥を生む工程の特定 | 標本で見つかった欠陥と同じ時期、資料、生成手順、確認方法を使った論考を追跡する。 | 個別の記述だけでなく、出典選定、再現確認、一般化、公開判断の過程を調べる。 | 一件の訂正を、同種の欠陥が再発する条件の除去へ接続できる。 |
無作為抽出と重点検証は、同じ問いに対する競合案ではない。前者は、論考群の平均的な状態と欠陥の偏りを推定する。後者は、発生頻度が低くても損失の大きい誤りを、公開前に減らす。限られた検証時間を配分するには、通常の品質傾向を測る監査と、重大な一件を防ぐ監査を分離し、両方の結果を公開工程へ戻す必要がある。
8. 未確認の主張は検証負債として残り続ける
8.1 公開によって確認作業が完了するわけではない
公開時に省略した確認は、論考が公開されたことで消えるわけではない。本文との対応を精読していない参考文献、実行していないコマンド、研究対象を越えて一般化した科学説明、既稿と近い中心命題、継続的に更新される製品仕様は、いずれ再確認を必要とする。本稿では、公開後にも残るこの確認作業を検証負債と呼ぶ。
検証負債は、誤りが確定した論考の件数ではない。誤りかどうかをまだ判定できていない主張、根拠との対応を確認していない引用、特定の版や時点に依存する記述、将来の更新期限を迎える説明を含む。誤りが確定していなくても、判定に必要な作業が残っている以上、将来の検証時間を消費する。
少量の検証負債であれば、公開後の指摘や仕様変更に応じて処理できる。新たに公開する論考が毎日追加され、そのたびに未確認の主張と将来の保守対象が増える一方、訂正、再現確認、更新によって減らせる量が変わらなければ、残作業は蓄積する。残高が大きくなると、どの主張が未確認なのかを把握する管理作業にも時間が必要になり、実際の検証へ使える時間がさらに減る。
既稿「Claude Mythos は世界をどう変えたのか」では、観測結果が修正履歴へ流れる場合と、未処理履歴へ残る場合を区別した[23]。この分岐は論考にも当てはまる。引用不一致を訂正し、同じ方法で作成した論考を再検査し、出典確認の工程まで変更すれば、発見された欠陥は修正履歴へ入り、再発条件も減る。その論考の一文だけを直して次の生成へ進めば、同じ原因から生じる未確認事項は別の論考に残り続ける。
| 検証負債の種類 | 発生する条件 | 残した場合の帰結 | 返済とみなせる状態 |
|---|---|---|---|
| 出典負債 | 文献の実在だけを確認し、本文の主張をどこまで支えるかを精読していない。 | 参照数が増えても、根拠と断定範囲の不一致を検出できない。 | 該当箇所と本文を照合し、事実、解釈、一般化の境界を修正している。 |
| 再現負債 | コマンド、設定、計算、手順を対象環境で実行せずに公開している。 | 前提環境や版の違いによる失敗が、読者の実行時まで判明しない。 | 対象版、前提条件、実行結果、失敗条件を確認して記録している。 |
| 推論負債 | 限定された資料や事例から、適用範囲を確認せずに広い結論を導いている。 | 文章としては整っていても、根拠から結論までの飛躍が残る。 | 反例と適用条件を調べ、主張の範囲を根拠が支えられる位置まで戻している。 |
| 保守負債 | 版、料金、制度、脆弱性情報など、時間とともに変化する内容へ確認期限を設けていない。 | 公開時には正しかった説明が、訂正されないまま検索から参照され続ける。 | 基準時点、適用版、更新履歴、次回確認時期を記録し、期限に応じて再確認している。 |
8.2 生成量ではなく検証を完了した量を測る
公開本数は、制作工程を通過した論考の数であって、検証工程を完了した数とは限らない。構想、生成、形式検査、出典検査、内容検査、編集判断、公開後保守のどこまでを終えたかを区別しなければ、公開ボタンを押した時点で全工程が完了したように見える。実際には、公開済みの論考の中に、出典未確認、再現未実施、更新期限未設定の主張が混在し得る。
NIST は、生成 AI の利用には、追加の人間レビュー、追跡、文書化、管理監督が必要になり得ると整理している[6]。安全なソフトウェア開発でも、設計から公開後の対応まで複数の検証活動を工程へ組み込む方法が示されている[24]。両者が区別しているのは、候補を作った状態と、根拠を確認し、利用に伴うリスクを管理できる状態である。論考についても、公開候補の生成数より、主張の根拠を確認し、採用範囲を判断し、後から訂正できる記録を残した数のほうが、知識生産の完了量に近い。
| 計測対象 | 数値が示すもの | 数値だけでは示さないもの |
|---|---|---|
| 生成した草稿数 | 候補を作成した量と、生成工程の処理能力を示す。 | 主張の正しさ、公開価値、検証の完了を示さない。 |
| 公開した論考数 | 公開判断を通過し、読者が参照できる状態になった量を示す。 | 出典検査、内容検査、再現確認、将来の保守が完了したとは限らない。 |
| 検証済み主張数 | 根拠、適用条件、反例、再現結果を確認した範囲を示す。 | 未確認の主張が重大な影響を持たないことまでは保証しない。 |
| 訂正と再監査の完了数 | 公開後に発見された欠陥を修正し、同じ原因を持つ論考へ確認を広げた量を示す。 | 未知の欠陥や、まだ更新期限を迎えていない保守対象の不存在は示さない。 |
| 検証負債残高 | 未確認の主張、未実施の再現試験、期限を迎えた保守作業の量を示す。 | 各負債の影響度を区別しなければ、処理の優先順位は決められない。 |
この見方では、公開を遅らせることは直ちに生産性の低下を意味しない。検証待ちの草稿を完成済みの成果へ数えず、根拠確認と再現試験を終える時間を確保する行為だからである。生成能力に余裕があるなら、新しい草稿を増やすだけでなく、既稿から標本を抽出し、引用と主張の対応を再検査し、見つかった欠陥と同じ工程で作成した論考へ監査を広げる用途にも使える。
9. 書ける量と公開してよい量は同じではない
9.1 公開量は検証能力から逆算する
生成 AI が一日に何本の草稿を作れるかを基準にすると、公開本数が先に決まり、出典確認や再現試験は公開時刻までの残り時間へ押し込まれる。生成が予定より早く終われば、その余裕は次の草稿の作成に使われやすい。検証へ割り当てる時間が増えないまま確認対象だけが増えるため、公開頻度を維持するには、一つの主張へ使える確認時間を短くするしかなくなる。
順序を逆にする必要がある。先に定めるのは、論考の種類ごとに通過すべき確認である。参考文献と主張の対応を該当箇所まで読むこと、技術的記述を一次資料または実行結果と照合すること、事実と自身の解釈を分けること、既稿と中心命題を比較すること、一定時間を置いて再読すること、公開後の指摘と訂正を記録できることを完了条件とする。その条件を一日に何件通過させられるかを測り、そこから公開量を逆算する。
既稿では、AI に作業を任せる前に、人間が問題設定、判断軸、採用判断、説明責任を残す必要があると整理した[28]。論考制作でこの原則を実体化するには、自身が最終判断者であると宣言するだけでは足りない。判断に必要な資料を読んでおらず、実行結果を確認せず、反例を探す時間も残っていなければ、最終判断は完成した文章を眺めて公開操作を行う形式的な承認へ縮む。責任主体が人間であっても、その人間が判断できる条件を失えば、公開判断の実質は生成結果への追認になる。
一律の本数を公開上限にすると、論考ごとの検証負荷を反映できない。体験した範囲を明示した記録と、複数の研究から因果関係を導く論考では、必要な確認が異なる。実測値、コマンド、設定手順を含む論考には再現時間が必要になり、医療、法律、投資、セキュリティを扱う論考には、誤りの影響を踏まえた重点検証が必要になる。参考文献数が多く、複数分野を接続する論考では、資料間の関係と一般化の範囲を調べる時間も加わる。
| 論考の性質 | 公開前に必要な確認 | 公開量への反映 |
|---|---|---|
| 体験と観察を中心とする論考 | 観察した範囲、事実と解釈の境界、記憶や記録との一致、既稿との差を確認する。 | 外部資料への依存が少なくても、経験の範囲を越えた一般化がないかを確認できる量に制限する。 |
| 参考文献を接続する論考 | 各文献の該当箇所、研究条件、限界、本文の主張との対応を確認する。 | 文字数ではなく、確認を要する主張数と引用数に応じて公開間隔を延ばす。 |
| 技術的手順を含む論考 | 対象版、実行環境、前提条件、正常時の結果、失敗条件を実際に確認する。 | 再現試験と記録を完了できない場合は、公開待ちの草稿として残す。 |
| 高リスク分野を扱う論考 | 一次資料との照合、適用条件の確認、反対資料の検討、必要に応じた専門家確認を行う。 | 無作為監査へ委ねず、公開前の重点検証を完了できる件数だけを公開する。 |
| 更新頻度の高い対象を扱う論考 | 基準時点、対象版、更新履歴、再確認期限、訂正経路を記録する。 | 新規公開だけでなく、既稿の保守に必要な時間を差し引いて上限を決める。 |
公開上限は、固定された本数ではなく、監査結果によって変化する処理能力として扱うのが適切である。通常の論考を無作為監査し、引用不一致や推論の飛躍が続けて見つかった場合には、新規公開を減らし、同じ時期または同じ工程で作成した既稿へ調査を広げる。重大な欠陥が見つかれば、該当する種類の論考を一時的に止め、確認手順を修正してから再開する。公開頻度が検証結果に連動すれば、欠陥の増加を認識しながら同じ速度で公開を続ける事態を避けられる。
9.2 完全な検証を引き受ける単独の主体はいない
生成 AI は、文章内の不整合を探し、参照候補を示し、反論を列挙できる。しかし、同じ入力、同じ検索範囲、同じ推論上の前提を使って出力を再点検しても、独立した保証にはならない。最初の生成で見落とした資料を再点検でも検索せず、誤った前提を保ったまま文章だけを修正すれば、誤りは残る。AI による点検は検証手段の一つにはなるが、外部資料と実行結果へ接続し、採用範囲を決める主体の代わりにはならない。
読者は誤りを発見できるが、公開されたすべての論考と参考文献を読む責任を負わない。検索サービスは論考を流通させても、検索順位へ現れた主張の妥当性を保証しない。引用された研究者は、自身の研究内容には責任を持つが、その研究を別の資料と接続して導かれた一般化まで確認する立場にはない。編集者や専門家の確認を受けられる場合でも、対象範囲、時間、専門分野には限界がある。
| 確認主体 | 担える確認 | 代替できない確認 |
|---|---|---|
| 生成 AI | 内部矛盾、表記、参照候補、想定反論、確認項目を提示できる。 | 自らの前提から独立した事実保証と、公開に伴う説明責任を引き受けることはできない。 |
| 自身 | 主張の採否、根拠の範囲、既稿との差、公開後の訂正を管理できる。 | 未習得の専門分野を含む全資料を、無制限の時間で検証することはできない。 |
| 読者 | 専門知識や実行環境に基づき、個別の誤りや反例を指摘できる。 | 論考群全体を一定の基準と期限で監査する責任は負わない。 |
| 引用元の著者 | 引用された資料の研究条件、記述、限界を明らかにしている。 | 引用者が加えた解釈や、複数資料から導いた結論までは保証しない。 |
| 検索サービス | 関連資料の発見と、公開された論考への到達を助ける。 | 検索結果に含まれる主張の正しさや、現在も有効であることを保証しない。 |
この物量の文章を、単独で完全に検証できる主体は存在しない。複数の主体へ確認を分けても、担当範囲、判定基準、期限、記録方法が決まっていなければ、検証は実行されたかどうかさえ分からない。読者から指摘が来なかったことも、誤りがなかった証拠にはならない。公開前に自身が確認する範囲、AI へ補助させる範囲、外部の専門知識を求める条件、公開後に再監査する対象を定め、それでも処理できない草稿は検証待ちへ戻す必要がある。
生成 AI によって、文章候補を作る能力は急速に増えた。一方、根拠を読み、実行結果を確かめ、反例を探し、既稿との差を判断し、公開後の誤りを訂正する時間は同じ速度では増えない。供給が増えたのは文章の外形であり、検証を完了した主張ではない。文章が希少でなくなった後も、根拠へ遡ることができ、訂正可能な状態に置かれた文章は希少なままである。
書ける量と、公開してよい量は同じではない。公開量の上限を決めるのは、生成 AI が文章を作れる速度でも、公開後に誰かが誤りを見つけるという期待でもない。自身が根拠を追跡し、重大度に応じた確認を終え、残った検証負債を把握し、指摘を修正履歴と工程改善へ変えられる速度である。この速度を超えて公開された文章は、完成していない草稿なのではなく、公開済みであっても検証を完了していない論考として数える必要がある。
参考文献
- id774, AI は思考設計格差を拡大する（2026-02-19）. https://blog.id774.net/entry/2026/02/19/3698/
- Noy, S., Zhang, W. Experimental Evidence on the Productivity Effects of Generative Artificial Intelligence. https://www.science.org/doi/10.1126/science.adh2586
- Dell’Acqua, F. et al. Navigating the Jagged Technological Frontier: Field Experimental Evidence of the Effects of AI on Knowledge Worker Productivity and Quality. https://www.hbs.edu/faculty/Pages/item.aspx?num=64700
- Brynjolfsson, E., Li, D., Raymond, L. Generative AI at Work. https://arxiv.org/abs/2304.11771
- todesking, ちょっとしたアイデアをAIで長文記事にして公開するのをやめろ（2026-05-12）. https://zenn.dev/todesking/articles/fba4cc93baf0a9
- National Institute of Standards and Technology, Artificial Intelligence Risk Management Framework: Generative Artificial Intelligence Profile. https://www.nist.gov/publications/artificial-intelligence-risk-management-framework-generative-artificial-intelligence
- Simon, H. A. Designing Organizations for an Information-Rich World. https://atelierdesfuturs.org/wp-content/uploads/2025/07/1971-simon.pdf
- Eppler, M. J., Mengis, J. The Concept of Information Overload: A Review of Literature from Organization Science, Accounting, Marketing, MIS, and Related Disciplines. https://www.tandfonline.com/doi/abs/10.1080/01972240490507974
- Edmunds, A., Morris, A. The Problem of Information Overload in Business Organisations: A Review of the Literature. https://www.sciencedirect.com/science/article/abs/pii/S0268401299000511
- id774, AI の答えは、採用されたときに責任になる（2026-06-26）. https://blog.id774.net/entry/2026/06/26/4925/
- Ji, Z. et al. Survey of Hallucination in Natural Language Generation. https://dl.acm.org/doi/10.1145/3571730
- Maynez, J. et al. On Faithfulness and Factuality in Abstractive Summarization. https://aclanthology.org/2020.acl-main.173/
- Bender, E. M. et al. On the Dangers of Stochastic Parrots: Can Language Models Be Too Big? https://dl.acm.org/doi/10.1145/3442188.3445922
- Parasuraman, R., Manzey, D. H. Complacency and Bias in Human Use of Automation: An Attentional Integration. https://pubmed.ncbi.nlm.nih.gov/21077562/
- Lyell, D., Coiera, E. Automation Bias and Verification Complexity: A Systematic Review. https://pubmed.ncbi.nlm.nih.gov/27516495/
- Reber, R., Schwarz, N., Winkielman, P. Processing Fluency and Aesthetic Pleasure: Is Beauty in the Perceiver’s Processing Experience? https://journals.sagepub.com/doi/10.1207/s15327957pspr0804_3
- Unkelbach, C. et al. Fluency and Positivity as Possible Causes of the Truth Effect. https://pubmed.ncbi.nlm.nih.gov/20943416/
- Pennycook, G., Cannon, T. D., Rand, D. G. Prior Exposure Increases Perceived Accuracy of Fake News. https://pmc.ncbi.nlm.nih.gov/articles/PMC6279465/
- International Organization for Standardization, ISO 2859-1:2026, Sampling procedures for inspection by attributes — Part 1: Sampling schemes indexed by acceptance quality limit (AQL) for lot-by-lot inspection. https://www.iso.org/standard/85464.html
- NIST/SEMATECH, e-Handbook of Statistical Methods. https://www.itl.nist.gov/div898/handbook/dtoc.htm
- U.S. Food and Drug Administration, Applying Statistics to Quality Systems. https://www.fda.gov/media/160131/download
- Hanley, J. A., Lippman-Hand, A. If Nothing Goes Wrong, Is Everything All Right? Interpreting Zero Numerators. https://pubmed.ncbi.nlm.nih.gov/6827763/
- id774, Claude Mythos は世界をどう変えたのか（2026-05-08）. https://blog.id774.net/entry/2026/05/08/4737/
- National Institute of Standards and Technology, Secure Software Development Framework Version 1.1. https://nvlpubs.nist.gov/nistpubs/specialpublications/nist.sp.800-218.pdf
- National Institute of Standards and Technology, Guidelines on Minimum Standards for Developer Verification of Software. https://nvlpubs.nist.gov/nistpubs/ir/2021/NIST.IR.8397.pdf
- Cybersecurity and Infrastructure Security Agency, Secure by Design. https://www.cisa.gov/securebydesign
- National Institute of Standards and Technology, Notional Reference Model for DevSecOps for Demonstration of NIST SSDF. https://pages.nist.gov/nccoe-devsecops/notational-reference-model.html
- id774, AI に任せる前に、人間が残すべき判断（2026-06-21）. https://blog.id774.net/entry/2026/06/21/4912/