法律と医療から見る、AI 実務の四つの評価軸

AI の性能は、多くの場合、与えられた入力に対してどのような出力を返したかで評価される。質問応答なら正答率、分類なら適合率や再現率、文章生成なら人間評価や別の評価指標を使える。この方法では、評価対象となる問題文や資料が最初からモデルへ渡され、モデルはその入力を処理して答えを返す。しかし実務では、入力が判断に十分な状態であることも、生成された出力がそのまま利用できる状態であることも保証されていない。

法律相談では、相談者が説明した事実だけで適用法や法的評価を決められるとは限らない。居住地や勤務先の州、当事者の属性、出来事が起きた時期、既に行われた手続きによって、適用される規則や利用できる救済手段が変わる場合がある。必要な事実が欠けた状態で法理だけを正しく適用しても、前提が違えば助言全体が相談者の状況から外れる。誤りは推論の途中で生じるのではなく、推論を開始してよい状態かを確認しなかった時点で既に生じている。

医療でも、症状について医学的に妥当な説明を生成できることと、その患者について判断できることは一致しない。胸痛という一つの訴えだけでも、発症時刻、痛みの性質、呼吸困難の有無、既往歴、服薬、診察所見、検査結果によって判断は変わる。しかも医療では、必要な情報が患者の説明の中に存在するとは限らない。診察や検査を行って初めて得られる情報もあるため、不足情報を指摘するだけでなく、次に何を観察し、何を測定する必要があるかという工程まで判断に含まれる。

出力側にも別の成立条件がある。契約書の各条項が個別には自然な文章であっても、定義語が本文と一致していない、参照先の条番号が違う、同じ当事者を異なる名称で記述しているといった不整合が残れば、完成した契約書として扱えない。退院時サマリーでも、文章が読みやすく整っているだけでは足りない。記載された薬剤、検査値、診断、退院時の状態が、患者について確認された最新の情報と対応している必要がある。生成された文章の品質と、成果物としての妥当性は異なる評価対象である。

既稿「AI の答えは、採用されたときに責任になる」では、AI の出力を素材として受け取り、人間や組織が確認し、採用した時点で、その出力が実務上の判断へ変わる構造を整理した[1]。この構造を確認工程の側から見ると、単に「最後は人間が確認する」と置くだけでは足りない。確認するためには、何が成立条件なのかを知り、確認対象を特定し、必要な根拠へ戻り、不一致を発見し、修正できない場合には差し戻すか判断を保留しなければならない。確認は生成後に付け加える手続きではなく、それ自体が複数の判断を含む仕事である。

2026 年に発表された法律 AI の 2 つの研究は、この仕事の入口と出口を別々の課題として評価している。一方は、利用者の質問から法的判断に必要な情報が欠けていることをモデルが認識できるかを測る。もう一方は、完成直前の契約書を読み、定義、参照、当事者表記などに残った誤りや不整合を検出できるかを測る。両者を並べると、AI が中心の推論を遂行できることと、その推論を開始できる条件を確認すること、さらに生成後の成果物を検証することが、それぞれ異なる能力であることが見えてくる。

この区別を医療 AI へ持ち込むと、さらに一つの論点が加わる。医療では、必要情報を集めればよいだけではなく、患者情報をどこまで、どの経路で AI に利用させてよいかという制約がある。また、十分な情報から妥当な候補を生成できたとしても、患者の価値観や身体への介入を伴う判断をそのまま AI に委ねてよいとは限らない。入力の十分性、処理能力、出力の検証、判断を採用する権限は、一つの性能指標へまとめられない。

1. AI の仕事は、答える前から始まり、答えた後も続く

実務を「入力を受け取り、処理し、出力する」という三段階だけで表すと、入力と出力の状態について二つの前提が隠れる。第一は、入力に必要な情報が既に揃っているという前提である。第二は、処理結果がそのまま利用可能な成果物になるという前提である。試験問題や固定された評価用データでは、この二つをあらかじめ満たした状態を作れる。しかし実際の相談、診療、契約作成では、その状態を作り、維持し、確認する作業も業務の一部になる。

法律相談を例にすると、モデルへ相談文を渡す前に、その文章だけで法的評価を開始できるかを判断する必要がある。適用法を左右する管轄が不明であれば、どの法律を参照するかが定まらない。当事者の属性や人数が適用要件になっている制度では、その情報が欠ければ、規則が適用されるかどうか自体を決められない。ここで不足情報を見落とすと、次の推論は不完全な前提を固定したまま進む。その後の法理の適用が形式上正しくても、出発点が違うため、最終的な助言も対象となる事案から外れる。

医療では、入力を成立させる工程がさらに広い。患者が説明できる症状や既往歴だけでなく、身体診察、血液検査、画像検査など、診療の途中で新たに取得する情報が判断材料になる。情報が足りないと判明した場合、単に追加質問を返せば済むとは限らず、何を観察し、どの検査を行うかという次の行為を選ぶ必要がある。一方で、患者情報には利用目的や処理経路に応じた管理が必要になるため、情報量を増やすこと自体を安全側の操作とはみなせない。必要な情報を確保することと、必要な範囲に利用を制限することを同時に満たす必要がある。

中央の処理では、法律なら法的評価、助言、契約文案の生成を行い、医療なら情報整理、診断支援、説明文や診療文書の生成を行う。この部分は従来の AI 評価で比較的切り出しやすい。入力と正解を固定すれば、モデル間で同じ問題を解かせられるからである。しかし、この方法で測定できるのは、与えられた条件の下で処理を遂行する能力であり、その条件が現実の案件について成立しているかを判定する能力までは含まれない。

生成後には、別の確認が必要になる。契約書では、ある条項が自然な文章になっているかだけでなく、定義した用語が全文で同じ意味に使われているか、条項参照が実際の参照先と一致しているか、当事者名が途中で入れ替わっていないかを文書全体で確認する。局所的な文章生成が成功していても、離れた箇所の関係が崩れていれば成果物としての整合性は失われる。ここでは、一文を生成する能力ではなく、複数箇所にまたがる制約を保持し、違反箇所を発見する能力が要求される。

医療文書の確認には、文書内部の整合性に加えて、文書外部との照合が入る。退院時サマリーに記載された薬剤名が全文で統一されていても、その薬剤が退院時点で実際に処方されているとは限らない。検査値が正確に転記されていても、その後に再検査が行われていれば最新状態を表していない可能性がある。医療では対象となる患者の状態が時間とともに変化するため、文書だけを閉じた対象として検査しても、成果物の妥当性を確定できない。文書と患者、記録時点と現在時点、生成内容と根拠資料を対応させる必要がある。

工程	法律	医療	評価すべき能力
入力前	管轄、当事者、時期、手続状況など、法的評価の成立条件となる事実が揃っているかを確認する。	症状、既往歴、診察所見、検査結果などが判断に必要な範囲で得られ、適切な経路で利用可能になっているかを確認する。	不足している条件を特定し、判断を開始するか、追加情報を求めるか、保留するかを決める。
中核処理	確認された事実に法令や契約条件を適用し、評価、助言、文書生成を行う。	確認された情報を基に、情報整理、診断支援、説明、文書生成を行う。	与えられた条件の下で必要な推論や生成を遂行する。
出力後	定義、参照、当事者表記、条項間の関係を文書全体で照合する。	生成内容を患者状態、診療記録、検査時点、処方、根拠資料と照合する。	生成物の内部整合性と、根拠となる現実との対応を検証する。
採用	助言や契約書を、依頼者や組織の法的判断として利用する。	生成内容を診療記録、患者への説明、検査や治療に関する判断の材料として利用する。	出力を誰がどの範囲で採用でき、どの条件では専門職の判断へ戻すかを定める。

四つの工程は直列につながっているが、一つの能力ではない。入力条件を見落とせば、中核処理は誤った前提から始まる。中核処理が正しくても、出力後の不整合を検出できなければ、成果物には誤りが残る。検証まで成功しても、その判断に患者の価値観や専門職の責任が含まれるなら、技術的な成功だけで採用権限までは決まらない。前段の失敗を後段の性能だけで補えず、後段の権限を前段の正答率から導くこともできない。

この分解から、AI の実務能力には少なくとも四つの評価軸が必要になる。判断を始める条件が揃っているかを判定する十分性、与えられた条件の下で仕事を遂行する処理能力、生成物の誤りや不整合を発見する検証能力、そして検証済みの出力を実務上の判断としてどこまで採用できるかという権限である。法律 AI の 2 つの研究は、このうち入口の十分性と出口の検証能力をそれぞれ直接測っている。次に、その結果を見ることで、「答えられること」と「答えてよいこと」がどの程度異なる能力なのかを具体的に確認できる。

2. 答える前に、この情報で答えてよいかを判断できるか

法律相談では、利用者が法的判断に必要な事実を最初から把握しているとは限らない。相談者は、解雇された、契約を破られた、代金を支払ってもらえないといった、自分にとって中心的な出来事を説明する。一方で、どの法域の規則が適用されるか、当事者がどのような地位にあるか、出来事がいつ起きたか、既にどの手続きまで進んでいるかといった条件は省かれることがある。ところが法律では、その省かれた条件によって適用される法令や利用できる手続きが変わる。相談文に書かれていない情報が結論を左右する以上、回答を作る前に「何が欠けているか」を判断する工程が必要になる。

この工程を直接評価したのが InsufficiencyBench である。研究では、必要な情報が揃った 58 件の基礎質問から、法的に重要な情報を意図的に除いた 144 件の質問を作り、合計 202 件について LLM が欠落情報を認識できるかを調べた。対象は 6 つの法分野と米国の 24 法域にまたがる[2]。評価対象は最終的な法律相談の正誤だけではない。モデルが回答を始める前に、追加確認が必要な条件を特定できるかという、法的推論の入口が測定されている。

結果を見ると、現在のフロンティアモデルでも、この入口の判断は安定していない。欠落要素の同定では、評価した 10 モデルのうち F2 が 0.46 を超えたものはなく、再現率の中央値は 0.44 だった[2]。F2 は、不要な指摘をどれだけ避けたかよりも、必要な欠落情報をどれだけ取りこぼさなかったかを重く見る指標である。この値が低いということは、モデルが法律について何も知らないという意味ではない。質問に含まれる事実を使って推論する能力とは別に、質問に含まれていない重要事実を発見する能力が不足していることを示している。

しかも、確認を増やせばそのまま改善するわけではない。研究では、不完全な質問に対して不足を指摘せず、暗黙の前提を置いて回答する挙動が見られた一方、必要な事実が揃っている質問にまで追加条件を要求する挙動も確認された[2]。前者では、欠落した条件をモデルが勝手に補うため、後続の法的推論が誤った前提に固定される。後者では、判断可能な案件まで保留され、利用者に不要な確認を求める。必要なのは慎重さの量ではなく、どの条件が結論を変えるのかを識別し、確認が必要な場合だけ処理を止めることである。

この評価対象は、従来の法律ベンチマークと異なる。LegalBench は、法令の適用、契約の解釈、定義の抽出など、多様な法的推論を評価する 162 のタスクから構成される[3]。そこでは、モデルが処理すべき文章や事実関係が問題として与えられ、その入力から適切な法的判断を導けるかが測られる。これに対して InsufficiencyBench が測るのは、その入力自体が判断に必要な条件を満たしているかをモデルが見抜けるかである。前者が「与えられた問題を解けるか」を測るなら、後者は「まだ問題を解く段階に入ってよいか」を測っている。

この違いは、評価の単位を変える。必要な事実がすべて与えられた問題では、モデルは法的推論そのものに集中できる。しかし実際の相談では、利用者の説明から不足条件を探し、追加質問を行い、その回答を受けて初めて法的評価へ進む場合がある。入力の完全性を外部で保証したベンチマークだけでは、この最初の判断を評価できない。実務で必要になるのは、知識を適用する能力だけでなく、知識を適用できる状態が成立しているかを判定する能力である。

同じ種類の失敗は医療にも現れる。Handler らは、診断に必要な情報が揃っていないのに結論を確定する早期終結を評価した。正解選択肢を取り除いた MedQA と AfriMed-QA では、評価対象となったモデルが、正解が存在しないにもかかわらず残された選択肢から回答を選ぶ挙動を示した。医師が作成した敵対的な質問でも、不十分な情報から判断を進める回答が残った[4]。医学知識を持っていることと、現在の情報では診断を確定できないと判断することが、ここでも別の能力として現れている。

一般領域を対象とした AbstentionBench も、この区別を法律や医療だけの特殊事情として扱えないことを示している。答えそのものが存在しない質問、必要情報が欠けた質問、誤った前提を含む質問、モデルの知識時点より新しい情報を必要とする質問など、20 のデータセットを横断して評価すると、回答を保留すべき状況を安定して識別することは未解決の課題として残った[5]。質問へ何らかの文字列を返すことと、その質問に答える根拠が成立しているかを判定することは、同じ処理ではない。

回答を保留するには、単に「分からない」と出力できればよいわけでもない。法律で管轄が欠けているなら、その管轄によって適用法が変わるから確認が必要になる。医療で胸痛の発症時刻や重症徴候が欠けているなら、それらが緊急性や鑑別すべき疾患を変えるから確認が必要になる。欠落情報を重要だと判断するためには、欠けている事実と最終判断の間にある因果的、制度的な関係を理解しなければならない。その関係を認識できなければ、不足を見落として回答を続けるか、反対に結論へ影響しない情報まで無差別に要求することになる。

ここから、回答保留の位置づけも変わる。保留は回答に失敗した結果ではなく、判断条件が成立していないことを検出した結果として成立する。実務で求められるのは、できる限り多くの質問へ答えるモデルではなく、回答を開始する条件と、追加確認へ戻る条件を区別できるモデルである。法律 AI で測られたこの入口の能力を医療へ持ち込むと、さらに別の制約が加わる。医療では、不足した情報を確認するだけでなく、その情報を新たな診察や検査によって取得する場合があり、同時に患者情報をどこまで AI に渡してよいかも管理しなければならない。

3. 法律と医療では「十分な入力」の意味が違う

3.1 法律では、既に存在する重要事実の欠落を探す

InsufficiencyBench が主として扱うのは、法的判断に必要な事実が現実には存在しているにもかかわらず、利用者の質問文には含まれていない状況である。勤務した州、契約当事者の属性、出来事が起きた時期、既に行われた手続きなどは、その典型になる。利用者がその事実を知らないとは限らない。法的判断に必要だと認識していないため、相談時に書かなかった可能性がある。

法律では、この欠落が結論の前提を変える。勤務した州が違えば適用される州法が変わる場合があり、当事者の属性や人数によって特定の法律が適用されるかどうかが変わることもある。出来事の時期が分からなければ、出訴期間などの手続的な条件を判断できない場合がある。欠けているのは単なる補足情報ではなく、どの規則を適用し、どの結論候補を残すかを決める条件である。

この状況で AI に必要なのは、質問文に空欄があることを検出する能力ではない。適用し得る法的構造から必要条件を逆算し、その条件に対応する事実が質問文に含まれているかを確認する必要がある。管轄が結論を左右するなら管轄を聞き、当事者の地位が適用要件になるならその地位を確認する。追加質問は一般的な慎重さから生じるのではなく、欠落した事実と法的結論の間にある制度上の関係から導かれる。

その意味では、InsufficiencyBench の不足情報は、入力文の外側にある既存事実として比較的明確に位置づけられる。利用者への追加質問によって必要条件を補える場合があり、その回答を得た後に法的評価へ進める。ただし、これは法律実務全体がそのように単純だという意味ではない。証拠が存在しない、当事者の説明が食い違う、将来の事実関係が確定していないといった不確実性も法律にはある。InsufficiencyBench が直接評価しているのは、その中でも、法的に重要な条件が相談文から欠けていることをモデルが認識できるかという限定された工程である。

3.2 医療では、まだ観測されていない情報がある

医療では、情報不足を発見した後の工程が法律相談より広がる。患者が「胸が痛い」と訴えた場合、年齢、発症時刻、痛みの持続時間、既往歴、服薬状況などは、本人や家族への質問によって得られることがある。一方で、血圧や酸素飽和度、心電図所見、血液検査値、画像所見、身体診察所見は、質問文のどこかに隠れている事実ではない。診察、測定、検査という行為を行って初めて観測可能になる。

この違いによって、医療における「情報が足りない」という判断は、そのまま次の行為の選択につながる。発症時刻を聞けばよいのか、心電図を取るべきなのか、血液検査を追加するのか、直ちに救急対応へ移るのかは、欠落している情報の種類と患者の状態によって変わる。不足を認識する能力だけでは診療工程は閉じず、どの情報をどの方法で取得するかを選び、その結果によって次の判断を更新する必要がある。

医学質問応答を評価してきた研究は、この違いを考えるうえで重要な基準になる。Med-PaLM を報告した研究では、複数の医学質問応答データセットを使って医学知識の利用能力を測り、回答の事実性や有害性などについて人間評価も行った[6]。後続研究では医学質問への回答性能がさらに向上したが、それでも評価用の質問に答えることと、実際の患者から不足情報を集めながら判断を更新することは別の課題として残る[7]。

試験問題では、評価者が問題文を作る段階で、解答に必要な情報をある程度選別している。モデルは与えられた情報から答えを選べばよい。実際の診療では、どの情報がまだ必要なのかを判断する主体も診療側にある。さらに、検査には時間、費用、身体的負担、偽陽性や偶発所見といった影響があるため、情報を取得できるからといって無制限に取得すればよいわけでもない。医療における入力形成は、既存情報の収集だけでなく、追加観察の必要性と負担を比較しながら判断材料を作る工程になる。

3.3 医療では、必要な情報でも無制限に渡せない

医療には、情報を取得する側とは反対方向の制約もある。診療上必要な患者情報を集めることと、その情報をすべて LLM に入力することは同義ではない。氏名や住所のような直接識別子だけでなく、病歴、診断名、検査結果、服薬歴、受診時期なども、組み合わせによって患者との対応を持つ医療情報になる。診療に必要だから収集された情報であっても、AI に処理させる目的、処理経路、利用範囲が別に定められる。

既稿「医療 LLM は患者情報をそのまま読ませない」では、この点をモデル単体の性能ではなく、入力から出力までの情報経路として整理した[8]。患者情報を入力する前に必要な情報を選別し、識別につながる情報を処理し、利用するモデルや処理環境を決め、生成結果を根拠資料と照合し、人間が採用を判断する。どのモデルを使うかだけでは、患者情報を扱うシステムの安全性は決まらない。

東京大学松尾・岩澤研究室が 2026 年 7 月に公開した医療業務支援向け日本語 LLM の成果も、この構造を具体化している。公開対象には医療向けモデルだけでなく、個人を識別し得る情報を検出し、マスキングや処理先の振り分けに使う PII Router と、攻撃的な入力を用いて弱点を調べるレッドチーミング用の仕組みが含まれている[9]。これは、医療 AI の実装では「高性能なモデルへ必要情報を渡す」という一本の処理だけでは足りず、モデルへ到達する前の情報制御も独立した構成要素になることを示している。

厚生労働省の「医療情報システムの安全管理に関するガイドライン第 7.0 版」も、医療情報の安全管理を個々のアプリケーションだけの問題として扱っていない。組織としての管理、企画、システム運用、外部事業者への委託を含めて管理責任を構成している[10]。患者情報が医学的に有用であることと、その情報を特定の AI サービスへ送信してよいことは別の判断であり、利用目的と処理経路の双方を満たして初めて実務上の入力として使える。

観点	法律相談	医療
不足情報	法的判断に必要だが、利用者の質問文に含まれていない既存事実が中心になる。	本人への質問で得られる情報に加え、診察、測定、検査によって初めて観測される情報がある。
不足発見後の処理	不足した条件を特定し、追加質問によって事実関係を補える場合がある。	追加質問だけでなく、診察や検査を選び、その結果を受けて次の観察や判断を更新する必要がある。
取得の制約	必要な事実を確認できるかどうかが主な課題となり、証拠や機密情報について別途管理が必要になる。	検査には時間、費用、身体的負担があり、情報取得そのものにも適応と優先順位がある。
AI への提供	依頼者情報や契約情報などの機密性に応じて処理範囲を管理する必要がある。	診療上必要な患者情報であっても、利用目的、識別可能性、処理経路に応じて AI へ渡す範囲を制御する必要がある。
十分性の意味	法的評価を開始するために必要な条件が確認されている状態を指す。	判断に必要な情報が適切な方法で取得され、そのうち AI が利用してよい情報が許容された経路で利用可能になっている状態を指す。

この比較から、法律と医療で「十分な入力」を同じ意味にはできない。InsufficiencyBench が扱う法律相談では、法的構造から必要条件を特定し、質問文に欠けている既存事実を補うことが中心になる。医療では、それに加えて、まだ観測されていない情報をどの診察や検査によって取得するかを決め、その取得自体の負担を評価し、さらに得られた患者情報のうち何を AI に利用させるかを制御する工程が入る。

共通しているのは、入力の十分性を情報量の多さでは定義できないことである。情報が少なすぎれば、結論を左右する条件を欠いたまま処理が始まる。反対に、利用目的と権限を超えて情報を集めたり AI へ渡したりすれば、判断材料は増えても適切な情報処理にはならない。実務で必要になるのは、判断に必要な情報が揃っていることと、その情報を取得し利用する条件が成立していることの両方である。入力品質は文脈長ではなく、判断に必要な情報、取得方法、利用権限、処理経路の対応関係によって決まる。

4. 答えた後の確認も、独立した能力である

入力条件が揃い、中核となる推論や生成が正しく行われても、成果物がそのまま利用可能になるとは限らない。契約書では、一つひとつの条項が文法的に正しく、意味も通っていても、定義語の使い方、条項番号、当事者名、参照先、表現の統一が文書全体で崩れていれば、最終版としては不備が残る。生成時に各部分を適切に作る能力と、完成後に全体を横断して不整合を発見する能力は分けて考える必要がある。

この出口側の能力を直接評価したのが ContractScrub である。研究では、完成段階に近い契約書を対象に、定義済みだが使用されていない用語、定義されていない大文字語、重複した定義、誤った内部参照、当事者の取り違え、表現の不整合などを検出させた。フロンティアモデルを比較した結果、カテゴリーごとの再現率を同じ重みで平均するマクロ平均再現率が 0.75 に達したモデルは 1 つだけであり、最も高いモデルでも既知の問題のおよそ 4 分の 1 を検出できなかった[11]。

再現率が重要なのは、この仕事では「見つけた指摘が正しいか」だけでなく、「存在する問題をどれだけ取りこぼさなかったか」が成果物の品質に直結するからである。契約書に 10 件の確認対象があり、7 件を正しく指摘できても、残る 3 件の中に当事者の取り違えや誤った条項参照が含まれていれば、その文書を無条件に完成品とは扱えない。最終確認では、平均的に多くの問題を見つけられることより、重大な見落としがどの条件で残るかを把握する必要がある。

ContractScrub の結果が示唆的なのは、課題を構成する個々の処理が、LLM にとって未知の能力ではない点にある。長い文書を読む、固有表現を識別する、定義語を追跡する、離れた箇所の参照関係を確認する、異なる表現を比較するといった処理は、それぞれ別の評価課題として扱われてきた。それでも、これらを一つの契約書について同時に適用し、全文を通じて漏れなく不整合を探すと見落としが残った[11]。

この差は、個別能力を持っていることと、実務工程の中でそれらを統合して使えることが同義ではないために生じる。ある条項の定義語を認識できても、その定義が数ページ後の別条項で別の意味に使われていることを検出するには、最初の定義を保持したまま後続部分と照合しなければならない。条項番号を読み取れても、その参照先が本来意図された条項かを判断するには、参照元と参照先の意味関係まで確認する必要がある。処理が文書全体へ広がるほど、単一箇所の認識精度だけでは説明できない失敗が増える。

ContractScrub では、参照元と参照先の距離が長くなるにつれて、誤った条項参照を検出する再現率が低下する傾向も報告されている[11]。これは、モデルが長い文書を入力として受け取れることと、文書内の離れた要素同士の関係を一貫して検査できることを区別する必要があることを示す。長い文脈を受け付けられるだけでは、全文の制約関係を保持し、必要な箇所同士を比較し、違反を特定できることまでは保証されない。

従来の契約書評価である CUAD は、500 件の契約書と 13,000 件を超える専門家注釈を用い、人間が確認すべき重要な条項や契約情報を抽出する課題として構築された[12]。ここでは、ある種類の条項や情報が文書内のどこに存在するかを見つける能力が中心になる。ContractScrub が対象とするのは、その後に残る最終確認である。必要な条項が存在することを確認するだけではなく、定義と利用箇所、参照元と参照先、当事者名とその役割が、文書全体で矛盾なく接続されているかを検査する。

両者の違いは、「存在するものを探す」ことと「存在するもの同士の関係が正しいかを確認する」ことの差として整理できる。前者では、目的の条項や表現を認識して抽出すれば処理を完了できる。後者では、文書から複数の要素を取り出したうえで、本来成立しているべき関係を再構成し、実際の記述と比較する必要がある。確認対象は一つの文ではなく、文書全体に分散した制約関係になる。

生成と確認の違いも、この構造から説明できる。文章を生成するときは、前の文脈と与えられた条件を基に、次に置くべき文や条項を順に作っていく。一方、確認では、完成した文書を既成のものとして受け入れるのではなく、定義語はどこで定義され、どこで使われるべきか、条項参照は何を指すべきか、各当事者はどの名称で一貫して呼ばれるべきかという期待状態を組み立て直す。その期待状態と現物を比較して初めて、不整合を発見できる。

このため、生成後の確認を「もう一度 LLM に読ませる」だけで独立した検証工程にしたとは言えない。検証として成立させるには、何を制約として確認するのか、どの根拠へ戻るのか、どの種類の不一致を差し戻し条件とするのかを定め、その工程自体の見落とし率を評価する必要がある。ContractScrub が示しているのは、確認を追加すれば自動的に安全性が上がるということではなく、確認そのものにも測定可能な性能限界があるということである。

この点を医療へ移すと、さらに条件が増える。契約書の最終確認では、主として文書内部の定義、参照、当事者、表現の関係を検査する。医療文書では、それに加えて、記載内容が患者の現在の状態、検査結果、処方、診療時点と一致しているかを確かめなければならない。次の章では、この違いから、文書内部の整合性を確認することと、現実の患者に対する妥当性を確認することが、なぜ同じ検証ではないのかを整理する。

5. 医療では、文書の整合性だけ確認しても足りない

ContractScrub が主として検査するのは、契約書の内部に成立しているべき関係である。定義された語が別の箇所でも同じ意味で使われているか、条項参照が実際の参照先と一致しているか、当事者名が途中で入れ替わっていないかを確認する。これらは、文書そのものを閉じた対象として比較できる。定義箇所と使用箇所、参照元と参照先、当事者名とその役割を対応させれば、不整合を文書内部から発見できる。

医療文書にも同じ種類の内部整合性は必要になる。薬剤名が記録の途中で変わっていないか、検査値が別患者の値と混同されていないか、診断名と日時が対応しているかといった確認である。しかし医療文書では、内部整合性が取れていることだけでは臨床上の妥当性を確定できない。文書が記述している対象である患者の状態が、文書の外側に存在し、しかも時間とともに変化するからである。

退院時サマリーに同じ薬剤名が一貫して記載されていたとしても、その薬剤を退院後も継続すべきかは、退院時点の処方方針や患者状態との照合がなければ判断できない。検査値が原記録から正確に転記されていても、入院初日の値で、その後に再検査が行われていれば、退院時点の状態を表す根拠にはならない。症状についての記述が文章内で矛盾していなくても、入院中に症状が改善または悪化していれば、記録された時点と現在の状態を区別する必要がある。

ここでは、誤りが二つの経路から生じる。第一に、文書内部の対応関係が崩れることで、記録そのものに矛盾が生じる。第二に、文書内部では整っていても、参照している患者情報が古い、対象を取り違えている、診療方針の更新を反映していないといった理由で、文書と現実の対応が崩れる。前者は文書内部を比較すれば検出できるが、後者を見つけるには、診療記録、検査結果、処方、患者の現在状態など、文書外部の根拠へ戻らなければならない。

この違いは、医療 AI の評価を実際の臨床環境へ近づけるほど明確になる。DECIDE-AI は、医療 AI の早期臨床評価について、事前に固定したデータセット上の性能だけでなく、実際の臨床環境における性能、安全性、人間要因、臨床的有用性まで評価対象に含めるための報告項目を示している[13]。モデル単体の精度が高くても、実際の診療工程に組み込んだときに情報の受け渡しや人間との役割分担で失敗すれば、臨床上の性能は同じにならない。

FDA の臨床意思決定支援ソフトウェアに関する最終ガイダンスも、医療者が推奨をそのまま受け入れるのではなく、根拠を独立して確認できることを重視している。そのためには、どの入力情報を用いたのか、患者固有情報のうち何が既知で何が未知なのか、アルゴリズムにどのような性能と限界があるのかを確認可能な形で示す必要がある[14]。確認対象が最終出力だけではなく、その出力を成立させた入力と根拠まで広がっている点が重要である。

確認対象	契約書の最終確認	医療文書の確認
内部整合性	定義語、条項参照、当事者名、表現が文書全体で矛盾なく対応しているかを確認する。	薬剤名、検査値、診断名、日時、記録間の対応が文書内で一貫しているかを確認する。
外部との対応	文書内部が整っていても、依頼者の意図、交渉目的、法的リスクに適合しているかは別に評価する必要がある。	文書内部が整っていても、患者の現在状態、診療記録、検査結果、処方、診療方針と一致しているかを確認する必要がある。
時間変化	契約書は特定時点の文面を比較的固定した対象としてレビューできる。	患者状態と診療方針は変化するため、過去に正しかった記述でも現在時点では古くなる場合がある。
根拠への戻り先	定義箇所、参照先、関連条項、依頼内容へ戻って不整合や目的とのずれを確認する。	原記録、検査結果、処方履歴、診察所見、患者の現在状態へ戻って出力との対応を確認する。
完成条件	内部整合性を確認したうえで、依頼目的や法的リスクとの適合を別途判断する。	内部整合性を確認したうえで、患者の現実との対応が確かめられて初めて臨床上の妥当性を検討できる。

この比較では、「正しく書かれていること」と「現実に対して正しいこと」を分ける必要がある。契約書でも、定義、参照、当事者名が完全に整っているからといって、契約条件が依頼者の目的に合っているとは限らない。内部整合性の確認は、文書品質のうち内部整合性という一側面を確認するが、文書が外部の目的や事実に適合していることまでは確認できない。

医療では、この二つの距離がさらに広がる。患者は文書の外側で変化し続けるため、文書が内部的に無矛盾でも、その記述が現在の患者に適合しているとは限らない。検証工程には、生成物を読む経路だけでなく、生成物から原記録、検査、処方、診察所見、現在の患者状態へ戻る経路が必要になる。この経路がなければ、確認は文章の校正にとどまり、臨床上の妥当性を検証する工程にはならない。

この条件を置くと、次に検討すべき対象は確認を担当する主体になる。AI の出力を人間が読む工程を追加しても、その人間が根拠へ戻らず、出力の自然さだけを見て承認すれば、文書と現実のずれは残る。確認工程を成立させるには、誰が、どの根拠を使い、どの不一致を差し戻し条件とするのかまで設計しなければならない。

6. 「人間が確認する」は、それだけでは安全策にならない

AI の誤りに対する対策として、「最後は人間が確認する」という配置がよく置かれる。しかし、この表現には、確認者が出力を読めば誤りを発見できるという前提が含まれている。実際の確認には、何を疑うべきかを知る専門知識、元の情報へ戻る手段、比較に使う時間、AI の提案を退ける権限が必要になる。これらが欠ければ、人間は工程上は介在していても、実質的には生成結果を承認する役割にとどまる。

前章で見た医療文書を例にすると、この違いは具体的である。退院時サマリーに記載された処方を確認するとき、確認者が文章だけを読んでも、退院時点の正式な処方と一致しているかは分からない。処方履歴や診療記録へ戻り、変更時点を確認し、患者の現在状態と照合して初めて検証になる。AI が作った文章を人間が一度読み直したという事実だけでは、同じ情報源から生じた誤りを独立して発見できるとは限らない。

臨床意思決定支援では、このような人間側の失敗が自動化バイアスとして以前から研究されている。Goddard らの系統的レビューでは、自動化された助言への依存によって、誤った推奨に従う作為の誤りと、システムから警告が出なかったために必要な行動を取らない不作為の誤りの双方が整理されている[15]。自動化されたシステムが判断候補を先に提示すると、人間はその出力を一つの情報源として読むだけでなく、判断の起点として利用する。その結果、自分で候補を組み立てる場合よりも、提示された結論から離れて再検討するための認知的負荷が増える。

この負荷は、業務条件によってさらに大きくなる。確認者が多くの案件を短時間で処理している場合、すべての出力について原資料へ戻ることは難しい。対象が複雑で、確認すべき項目が明示されていなければ、自然で読みやすい文章ほど異常を見つけにくくなる。時間制約、業務量、確認項目の不明確さが重なると、人間は AI の出力を検証対象ではなく、既に整理された判断材料として扱いやすくなる。Goddard らが自動化バイアスとともに仕事量や課題の複雑さを検討しているのは、この条件依存性があるためである[15]。

人間へ説明を表示すれば、この問題が自動的に解消するわけでもない。Buçinca らは AI 支援判断を対象に、AI の説明を提示する方法と、利用者自身に先に考えさせる認知的な介入を比較した。その結果、AI の答えと説明をそのまま見せるだけの場合より、利用者が自分の判断を形成するよう促す設計の方が、誤った AI への過度な依存を減らせる場合があることを示した[16]。この研究は医療現場そのものを対象としていないが、人間の介在を「出力を見ること」と「独立した判断を形成したうえで照合すること」に分ける根拠になる。

この差は、確認工程の順序にも関係する。AI の回答を先に見てから原資料を読む場合、人間の注意は既に提示された結論に沿って配分される可能性がある。一方、重要な項目について人間が先に原資料を確認し、その後で AI の提案と比較する設計なら、少なくとも判断の起点を AI だけに依存しにくくなる。すべての業務で人間が先に独立判断すべきという意味ではなく、AI の誤りを発見することが目的なら、確認者が AI と同じ推論経路をそのまま追認しない構造が必要になる。

FDA の臨床意思決定支援ソフトウェアに関するガイダンスが、医療者が推奨の根拠を独立して確認できることを重視するのも、この構造と対応する[14]。確認可能性を成立させるには、推奨結果だけでなく、その判断に使われた入力、根拠、患者固有情報、既知の限界が医療者から参照できる必要がある。出力だけを提示されても、確認者には比較対象がないため、正誤を独立して判定できない。

ただし、根拠を参照できるようにすることと、実際に参照できることも別である。救急対応のように判断までの時間が短い場面で、数十項目の根拠やモデルの説明を表示しても、医療者が一つずつ検証する時間は生まれない。判断までの猶予が短くなるほど、人間の確認を前提とした設計は実行可能性を失う。形式上は人間が最終決定者であっても、実際には AI の提案を短時間で受け入れるしかないなら、独立した確認工程とは呼びにくい。

条件	確認工程で必要になること	欠けた場合に起こること
確認対象	薬剤、検査値、条項参照など、何を照合するかが具体的に定められている必要がある。	確認者は文章全体を漠然と読み、重大な確認項目を見落とす可能性がある。
根拠	原記録、検査結果、契約原文など、AI 出力とは独立した情報源へ戻れる必要がある。	AI の出力そのものを根拠として再確認し、同じ誤りを追認する。
時間	根拠を参照し、差異を検討できるだけの時間が業務工程に確保されている必要がある。	形式上の確認だけが残り、実質的には AI の推奨を即時採用する。
専門知識	どの不一致が重大で、どの情報を追加確認すべきかを判断できる必要がある。	出力の読みやすさや表面的な一貫性だけを確認して終了する。
権限	AI の提案を退け、追加確認、差し戻し、処理停止を選べる必要がある。	誤りに気づいても業務上の判断を変更できず、人間の介在が形式化する。

人間による確認を独立した安全策として機能させるには、少なくともこれらの条件が必要になる。確認対象が定まり、独立した根拠へ戻れ、必要な時間があり、確認者が判断に必要な知識と差し戻し権限を持っていれば、AI の出力とは別の経路から誤りを検出できる。どれかが欠ければ、人間の介在は残っていても、独立した検証経路は弱くなる。

この点から見ると、人間を判断工程に組み込む設計は、人間を処理フローの最後に配置するという構成名ではなく、人間による検証が成立する条件を含む業務設計として捉える必要がある。誰が確認するかだけでなく、何を、どの根拠と比較し、どの時間内に、どの不一致で処理を止められるかまで定義して初めて、人間の確認は独立した安全機構になる。

それでも、確認可能であることと、その判断を AI に任せてよいことは一致しない。十分な情報が揃い、AI が高い精度で処理し、人間が結果を検証できる場合でも、患者の価値観や専門職の責任を含む判断まで自動的に委任できるわけではない。次の章では、技術的に遂行できる仕事と、制度上・倫理上どこまで委ねてよいかという権限を分けて考える。

7. 「できるか」と「任せてよいか」は別の問いである

7.1 能力が確認できても、権限は自動的には移らない

ここまで扱ってきた法律 AI の 2 つの研究は、主として能力を測っている。InsufficiencyBench は、法的判断に必要な情報が欠けていることを LLM が検出できるかを評価する。ContractScrub は、完成直前の契約書に残った不整合を見つけられるかを評価する。どちらも、「この仕事をどの程度遂行できるか」という性能の問いである。モデルが不足情報を高い再現率で検出できるようになり、契約書の確認でも見落としが減れば、その仕事への適性は高まる。

しかし、ある仕事を遂行できることから、その仕事に関する最終的な権限まで AI に移してよいとは導けない。たとえば、契約書から誤った条項参照を検出する能力が十分に高ければ、その検査工程を AI に任せる範囲は広げられる。それでも、契約条件を受け入れるか、どのリスクを許容するか、依頼者にどの選択肢を勧めるかという判断には、契約目的、交渉方針、責任主体の意思が含まれる。検査能力の向上は、これらの意思決定権限まで自動的に代替しない。

医療では、この境界がさらに明確になる。既稿「医療 AI と人間の判断」では、診療情報の整理、候補の提示、説明文の下書き、見落とし防止といった補助的な仕事と、患者の価値観、重大な不確実性、治療による利益と害、終末期の選択などを含む判断を分けた[17]。前者では、出力の正確さ、再現率、処理時間などを測り、一定の条件を満たせば AI に担当させる範囲を広げられる。後者では、同じ性能評価だけでは委任範囲を決められない。

終末期医療を例にすると、この違いは性能の不足では説明できない。仮に AI が予後予測や治療選択肢の整理で高い精度を示し、関連する医学情報を漏れなく提示できたとしても、延命をどこまで望むか、どの程度の身体的負担を受け入れるか、残された時間をどのように過ごしたいかという選択は、患者本人の価値判断を含む。AI が医学的な予測を正確に行えることは、この価値判断を代行する根拠にはならない。

ここでは、判断を構成する要素が二種類に分かれる。一つは、観察可能なデータから予測、分類、候補抽出を行う能力である。もう一つは、その結果をどの価値基準で採用するかを決める権限である。前者は性能評価によって比較しやすい。後者には、患者本人の意思、専門職としての責任、制度上の権限、結果を引き受ける主体が関係する。能力が向上しても、この第二の層が消えるわけではない。

WHO の医療 AI に関する倫理指針が、人間の自律、安全性、透明性、説明責任、公平性、持続可能性を並べて扱っているのも、このためである[18]。精度が高いことは安全性の一部に関係するが、人間の自律や説明責任まで精度から算出することはできない。医療 AI を導入する際には、モデルの性能と同時に、誰が判断を行い、誰が患者へ説明し、誰が結果について責任を負うのかを別に定める必要がある。

Habli らも、AI が関与する医療の安全性と説明責任を、臨床医だけの問題として扱っていない[19]。AI の設計や検証に関与する開発者、安全技術者、導入する医療機関、実際に利用する臨床医など、複数の主体が異なる役割を持つ。モデルの誤りが患者への被害につながった場合、その原因はアルゴリズムだけでなく、訓練データ、導入条件、画面設計、確認工程、運用規則にも存在し得る。責任が複数主体へ分散する以上、モデルの能力だけを見て判断権限を移すことはできない。

この区別を置くと、AI の実務導入で決めるべきことが具体化する。ある仕事を AI が遂行できるかは、評価データ、再現率、誤りの種類、利用条件を調べて判断する。その仕事をどこまで AI に任せるかは、誤った場合の影響、修正可能性、人間による確認可能性、本人の意思が関与する程度、法制度上の責任主体を踏まえて別に決める。能力評価は委任判断の材料になるが、委任判断そのものではない。

7.2 生成 AI では、導入後まで含む管理が必要になる

この区別は、生成 AI を医療へ導入するとさらに複雑になる。医療 AI には、胸部画像から特定の所見を検出する、一定の入力からリスクを推定するなど、入力、出力、用途を限定して評価できるシステムがある。大規模な生成モデルでは、同じモデルを診療記録の要約、質問応答、説明文作成、情報検索、文書校正など複数の用途へ転用できる。用途が変われば、許容できる誤り、必要な入力、確認方法、利用者の専門性も変わる。

同じモデルだから同じ権限を与えられるわけではない。診療記録から退院時サマリーの下書きを作る用途では、人間が原記録と照合して修正できる。患者からの緊急相談に直接回答する用途では、誤った安心を与えれば受診の遅れにつながる。文献検索の補助では誤りを後から訂正できる場合があるが、治療方針を即時に提示する用途では、判断までの時間と身体への影響が異なる。モデルの能力が同じでも、利用場面が変われば必要な管理条件も変わる。

WHO の大規模マルチモーダルモデル向け指針は、こうした汎用的な生成モデルが医療、研究、公衆衛生、医薬品開発など複数領域へ使われることを前提に、設計、提供、利用の各段階における倫理とガバナンスを扱っている[20]。評価対象がモデル本体だけでなく、そのモデルを誰が、何の目的で、どの情報と組み合わせて利用するかへ広がるのは、汎用モデルでは用途ごとのリスクが固定されないためである。

さらに、生成 AI は導入時点の評価だけで運用条件を確定しにくい。モデルが更新されれば出力傾向が変わる可能性があり、接続する検索基盤や参照資料が変われば根拠も変わる。利用者が想定外の用途へ転用することもある。導入時に確認した性能が、その後のすべての入力、利用者、施設、更新後の構成について維持されるとは限らない。

FUTURE-AI の国際合意ガイドラインが、公平性、普遍性、追跡可能性、使いやすさ、頑健性、説明可能性という 6 原則を掲げ、設計、開発、検証、規制、導入、監視までのライフサイクル全体に実践項目を置いているのは、この運用上の変化を含めて信頼性を管理するためである[21]。WHO の規制上の考慮事項も、リスクと利益の評価、性能評価、導入後の監視を連続した課題として扱っている[22]。

導入後の監視が必要になる理由は、性能が時間と利用条件に依存するからである。開発時の評価で高い精度を示したモデルでも、異なる患者集団、別の施設、異なる入力形式では誤り方が変わる可能性がある。利用者がモデルの出力をどの程度信用するかも、運用経験によって変化する。さらに、モデルや周辺システムが更新されれば、以前に確認した挙動と同じである保証はない。運用権限を維持するには、導入時の一度の評価ではなく、利用条件が変わっていないかを継続的に確認する必要がある。

評価対象	確認する内容	権限判断との関係
能力	特定条件の下で、必要な情報不足を検出し、推論や生成を行い、誤りを発見できるかを測る。	AI に担当させられる仕事の候補を定める材料になる。
利用条件	対象患者、入力形式、利用者、施設、時間制約など、評価時の前提が実運用でも成立しているかを確認する。	評価済みの能力をどの範囲まで適用できるかを制限する。
被害と修正可能性	誤りが起きた場合の影響と、人間が発見し修正できる時間や手段を確認する。	自動化できる範囲と、人間の事前確認を必須にする範囲を分ける。
価値判断	患者本人の意思、利益と害の評価、生活上の選好などが判断に含まれるかを確認する。	性能が高くても AI だけでは決定できない領域を定める。
責任	誰が出力を採用し、誰が説明し、誰が結果を引き受けるかを明確にする。	技術的能力とは別に、最終的な意思決定主体を定める。
導入後の変化	モデル更新、利用者行動、患者集団、周辺システムの変化によって性能やリスクが変わっていないかを監視する。	一度認めた利用範囲を継続して認められるかを再評価する。

能力と権限を分けると、「AI が人間と同等以上の性能になれば人間を置き換えられる」という一直線の議論は成立しなくなる。性能が上がれば、自動化できる作業や人間の負担を減らせる範囲は広がる。しかし、利用条件が変われば再評価が必要になり、患者の価値判断を含む決定では高い性能だけでは委任の根拠にならない。責任を負う主体が制度上必要である仕事では、モデルが高精度でもその主体は消えない。

性能が示すのは、特定の条件で何ができるかである。権限が定めるのは、その能力をどの条件で実務上の判断へ変えてよいかである。両者の間には、入力範囲、誤りの影響、人間による確認可能性、価値判断、責任、導入後の変化という条件が入る。この条件を飛ばして性能から権限を直接導くと、ベンチマーク上の能力を、そのまま社会的な意思決定能力として扱うことになる。

ここまでの議論をまとめると、AI の実務評価には、入力が判断可能な状態かを見極める十分性、与えられた条件で仕事を遂行する能力、生成物を根拠と照合する検証能力に加えて、その結果を誰がどこまで判断として採用できるかという権限の評価が必要になる。最後の章では、この四つを一つの業務工程として並べ直し、モデルの正答率だけでは捉えられない実務 AI の評価構造を整理する。

8. 実務 AI は四つの評価軸を分けて考える

法律の 2 研究と医療の議論を一つの業務工程として並べると、AI の実務評価は少なくとも四つの評価軸に分かれる。第一は、そもそも判断を開始できる状態かを見極める十分性である。第二は、与えられた条件の下で推論や生成を遂行する処理能力である。第三は、生成された成果物を疑い、誤りや不整合を発見する検証能力である。第四は、その出力を実務上の判断としてどこまで採用してよいかという権限である。最後の権限はモデルの能力ではないため、四つをまとめて「AI の能力」と呼ぶより、異なる評価軸として扱う方が正確である。

評価軸	問うこと	代表的な失敗	必要な確認
十分性	現在の入力だけで判断を開始できるか、不足している条件を特定できるかを問う。	不足した事実を暗黙に補って推論を始める。反対に、判断可能な入力にも不要な確認を要求する。	結論を左右する必要条件、欠落情報、その取得方法、回答を保留する条件を確認する。
処理能力	確認された条件の下で、必要な推論、生成、分類、検索を遂行できるかを問う。	法令の誤適用、誤分類、根拠のない生成、診療情報の誤った整理などが生じる。	実際の用途、対象集団、入力形式、失敗時の影響に対応したデータと評価指標で測定する。
検証能力	生成物に残る誤り、欠落、不整合を発見し、根拠へ戻って照合できるかを問う。	個々の文章が自然であるために、文書全体の参照ミスや現実との不一致を見落とす。	文書内部の整合性と、原資料、患者状態、契約条件など外部の根拠との対応を分けて確認する。
採用権限	技術的に遂行できる処理を、誰が、どの条件で、どこまで AI に委ねてよいかを問う。	高い性能を理由に、患者の価値判断や専門職の責任を含む決定まで自動化する。	被害の大きさ、修正可能性、人間による確認可能性、説明責任、監査、導入後の監視を踏まえて決める。

この四つを一つの性能値へまとめると、同じ高得点でも失敗の意味を区別できなくなる。InsufficiencyBench で見たように、法的推論そのものを行えるモデルでも、管轄や当事者の地位といった必要条件の不足を見落とせば、誤った前提から処理を始める。その後の推論が整合的に進められても、誤った前提から導かれた結論を一貫して説明しうる。処理能力の高さは、入力の十分性に失敗した場合の補償にはならない。

出口側でも同じ非対称性がある。ContractScrub が示したように、長文を読み、定義語や参照関係を認識できるモデルでも、それらを契約書全体へ同時に適用すると見落としが残る。生成能力が高くなれば文章や条項を作る品質は向上するが、それだけでは完成後の不整合を発見する能力が同じ割合で向上するとは限らない。生成と検証が別の処理である以上、生成側の評価値から検証側の信頼性を推定することはできない。

医療では、さらに前後の工程が広がる。入力が不足している場合、患者への追加質問だけでなく、診察や検査によってまだ観測されていない情報を取得する必要がある。同時に、得られた患者情報をすべて AI に渡すのではなく、利用目的、識別可能性、処理経路に応じて利用範囲を制御しなければならない。出口では、生成された文書の内部整合性だけでなく、検査結果、処方、診療時点、変化する患者状態との対応を確認する必要がある。法律と医療で入口と出口の具体的な作業は異なるが、「中核処理の前後にも独立した成立条件がある」という構造は共通している。

四つの評価軸は直列につながっているため、前段の失敗が後段へ伝播する。十分性の判定を誤れば、処理能力は誤った入力に対して発揮される。処理結果に誤りが残れば、検証工程で発見できるかどうかが次の防御線になる。検証でも見落とせば、最後に残るのは、その出力を誰がどの条件で採用するかという運用上の制御である。各工程は前工程の失敗を一定範囲で発見できるが、後工程が存在することを理由に前工程の評価を省くことはできない。

この構造から、人間による確認の位置も具体化できる。人間を最後に配置するだけでは、十分性、処理、検証のどこで生じた誤りを確認するのかが定まらない。法律相談なら、相談者への追加質問を人間が判断するのか、AI が候補を挙げて人間が選ぶのかを決める必要がある。医療文書なら、AI の文章だけを読むのか、原記録や最新の検査結果まで照合するのかで確認の内容が変わる。人間の役割は「最終確認者」という一語ではなく、どの工程のどの失敗を検出する責任を持つかとして定義しなければならない。

NIST の AI Risk Management Framework 1.0 は、AI リスク管理をモデルの開発時だけの活動とは位置づけず、設計、開発、導入、利用を通じて継続する組織的な活動として整理している[23]。2026 年 8 月時点では AI RMF 1.0 の改定作業が進められているが、現行の 1.0 でも、利用文脈を把握し、リスクを測定し、管理し、組織として統治するという考え方が中核にある。NIST の分類は本稿の四つの評価軸とは異なるが、モデル単体の性能だけでなく、利用条件とライフサイクルを含めて評価する点では共通している。

実務 AI の評価単位をモデルから業務工程へ広げると、導入判断も変わる。どのモデルが最も高得点かだけではなく、どの入力条件なら利用できるか、どの失敗をモデル自身で検出できるか、どこから人間による照合を必須にするか、どの判断は高性能であっても委任しないかを個別に決められる。評価結果が悪い工程だけを人間へ戻す、追加の検査を置く、利用範囲を限定するといった対策も、失敗箇所が特定されて初めて設計できる。

InsufficiencyBench が明らかにしたのは、答えを作る前に「まだ答えられない」と判断する仕事にも性能差があることである。ContractScrub が明らかにしたのは、答えを作った後に「まだ完成していない」と判断する仕事にも見落としがあることである。医療へ移ると、その入口には新しい観察や検査によって情報を作る工程と、患者情報の利用範囲を制御する工程が加わり、出口には文書から患者の現実へ戻って確認する工程が加わる。さらに、すべての技術的評価を通過した後にも、患者の価値判断や専門職の責任を含む決定を誰が引き受けるかという権限の問題が残る。

この順序で見ると、「最後は人間が確認する」という説明が不足している理由も特定できる。人間が確認する前に、AI が処理を開始してよい条件を判定できるのかを測る必要がある。人間へ渡す前に、生成物のどの種類の誤りを AI 自身が検出できるのかも測る必要がある。そのうえで、人間には独立した根拠へ戻る手段、確認する時間、AI の提案を退ける権限を与えなければならない。確認工程を配置することと、確認工程が機能することは別である。

AI の実務能力を評価するとは、答えの正しさだけを採点することではない。仕事を始めてよい状態を見分け、与えられた条件で処理を遂行し、完成した成果物を別の根拠から検証し、その結果を誰がどこまで判断として採用できるかを工程ごとに確かめることである。法律 AI の 2 研究が示した入口と出口の性能限界を医療へ照らすと、AI 導入で管理すべき対象はモデルの回答から判断工程全体へ広がる。実務で問うべきなのは、AI が答えを出せるかだけではなく、その答えが生まれる前後を含めて、どこまでを AI に任せられる状態になっているかである。

参考文献

id774, AI の答えは、採用されたときに責任になる（2026-06-26）. https://blog.id774.net/entry/2026/06/26/4925/
Samuel J. Vincent, Daniel Calloway, Fangyi Yu, Andrew M. Bean, Nabeel Seedat, InsufficiencyBench: Evaluating LLM legal advice on underspecified user queries（2026）. https://arxiv.org/abs/2608.20220
Neel Guha et al., LegalBench: A Collaboratively Built Benchmark for Measuring Legal Reasoning in Large Language Models（NeurIPS 2023）. https://proceedings.neurips.cc/paper_files/paper/2023/hash/89e44582fd28ddfea1ea4dcb0ebbf4b0-Abstract-Datasets_and_Benchmarks.html
Rebecca Handler, Suhana Bedi, Nigam Shah, Quantifying and Mitigating Premature Closure in Frontier LLMs（2026）. https://arxiv.org/abs/2605.15000
Polina Kirichenko, Mark Ibrahim, Kamalika Chaudhuri, Samuel J. Bell, AbstentionBench: Reasoning LLMs Fail on Unanswerable Questions（2025）. https://arxiv.org/abs/2506.09038
Karan Singhal et al., Large language models encode clinical knowledge（Nature, 2023）. https://www.nature.com/articles/s41586-023-06291-2
Karan Singhal et al., Toward expert-level medical question answering with large language models（Nature Medicine, 2025）. https://www.nature.com/articles/s41591-024-03423-7
id774, 医療 LLM は患者情報をそのまま読ませない（2026-08-11）. https://blog.id774.net/entry/2026/08/11/4988/
東京大学大学院工学系研究科, 東京大学松尾・岩澤研究室、医療業務支援向け日本語 LLM および安全性検証ツール群を公開（2026-07-08）. https://www.t.u-tokyo.ac.jp/press/pr2026-07-08-001
厚生労働省, 医療情報システムの安全管理に関するガイドライン第 7.0 版（令和 8 年 6 月）. https://www.mhlw.go.jp/stf/shingi/0000516275_00006.html
Yejin Bang, Kirsty Fielding, Brandan Oliver, Brian Birke, Nabeel Seedat, Andrew M. Bean, ContractScrub: A benchmark for final review of legal contracts（2026）. https://arxiv.org/abs/2608.20204
Dan Hendrycks, Collin Burns, Anya Chen, Spencer Ball, CUAD: An Expert-Annotated NLP Dataset for Legal Contract Review（2021）. https://arxiv.org/abs/2103.06268
Baptiste Vasey et al., Reporting guideline for the early-stage clinical evaluation of decision support systems driven by artificial intelligence: DECIDE-AI（Nature Medicine, 2022）. https://www.nature.com/articles/s41591-022-01772-9
U.S. Food and Drug Administration, Clinical Decision Support Software, Final Guidance（2026）. https://www.fda.gov/regulatory-information/search-fda-guidance-documents/clinical-decision-support-software
Kate Goddard, Abdul Roudsari, Jeremy C. Wyatt, Automation bias: a systematic review of frequency, effect mediators, and mitigators（Journal of the American Medical Informatics Association, 2012）. https://pubmed.ncbi.nlm.nih.gov/21685142/
Zana Buçinca, Maja Barbara Malaya, Krzysztof Z. Gajos, To Trust or to Think: Cognitive Forcing Functions Can Reduce Overreliance on AI in AI-assisted Decision-making（2021）. https://arxiv.org/abs/2102.09692
id774, 医療 AI と人間の判断（2026-05-28）. https://blog.id774.net/entry/2026/05/28/4814/
World Health Organization, Ethics and governance of artificial intelligence for health（2021）. https://www.who.int/publications/i/item/9789240029200
Ibrahim Habli, Tom Lawton, Zoe Porter, Artificial intelligence in health care: accountability and safety（Bulletin of the World Health Organization, 2020）. https://pubmed.ncbi.nlm.nih.gov/32284648/
World Health Organization, Ethics and governance of artificial intelligence for health: Guidance on large multi-modal models（2024）. https://www.who.int/publications/i/item/9789240084759
Karim Lekadir et al., FUTURE-AI: international consensus guideline for trustworthy and deployable artificial intelligence in healthcare（BMJ, 2025）. https://www.bmj.com/content/388/bmj-2024-081554.long
World Health Organization, Regulatory considerations on artificial intelligence for health（2023）. https://www.who.int/publications/i/item/9789240078871
Elham Tabassi, Artificial Intelligence Risk Management Framework (AI RMF 1.0)（NIST, 2023）. https://www.nist.gov/publications/artificial-intelligence-risk-management-framework-ai-rmf-10