医療 AI と人間の判断

by

医療 AI を考えるとき、最初に確認すべきことは、AI が便利かどうかではない。医療は、病名を当てる作業だけではなく、患者の不安を聞き、症状の背景を整理し、検査の必要性を判断し、治療の利益と害を比べ、本人の価値観を確認し、家族や社会資源との関係も踏まえて決める実践である。したがって、医療 AI の倫理は、「AI が医師より賢いか」という競争問題ではなく、「どの判断を AI に任せ、どの判断を人間が引き受けるべきか」という責任分配の問題である。

本稿では、医療 AI を、バイオエシックスと AI 倫理が交差する領域として扱う。生命科学が新しい対象を作り始めた段階では、治療、研究、設計、道具化の境界が問題になった[1]。人工配偶子や境界的存在の議論では、技術が親子関係、生命の分類、責任帰属を作り直すことを確認した[2][3]。ゲノム編集では、治療と設計の線引きが中心問題になった[4]。医療 AI でも同じことが起きる。ただし、対象は細胞や胚ではなく、判断、説明、責任、信頼である。

医療 AI の難しさは、人間が結果から責任を逆算しやすい点にもある。悪い結果が出ると、医師が悪いのか、AI が悪いのか、病院が悪いのか、患者が正しく説明しなかったのか、開発企業が悪いのかが曖昧になる。これは責任推定の誤差として整理できる[5]。さらに、対話 AI は人間の注意と認知を強く引き込み、相談相手のように見えるため、単なる検索ツールとは違う依存構造を作りうる[6]。意味は差異の読み取りから生まれるが、医療ではその読み取りが生命、苦痛、不安、死に直結する[7]。主観的な苦痛や不安は、外から見えるデータだけでは尽くせないため、患者にとっての現れを軽視してはならない[8]。

1. 医療 AI は何をしているのか

医療 AI とは、医療に関係する情報を入力し、その情報をもとに分類、予測、要約、推奨、説明文生成などを行うシステムである。ここでいう医療に関係する情報とは、患者の症状、検査値、画像、病歴、服薬情報、診療記録、生活上の相談、受診前の不安などを含む。したがって、医療 AI は、単に「病名を当てる機械」ではない。病気の候補を示すこともあれば、検査の必要性を推定することもあり、医師向けの記録を要約することもあり、患者向けに説明文を作ることもある。医療 AI を考えるときに最初に確認すべきなのは、AI が医師の仕事を丸ごと置き換えているのではなく、医療の中にある複数の作業を部分ごとに機械化しているという点である。

この違いを確認しないと、議論はすぐに混乱する。たとえば、画像診断支援 AI は、X 線、CT、MRI、内視鏡画像、病理画像などを読み取り、異常らしい場所を示す。この場合、AI がしているのは、画像の中から注意すべき候補を見つけることである。診療支援 AI は、症状、検査値、既往歴、服薬情報などから、考えられる病気や追加検査を提案する。この場合、AI がしているのは、医師が考えるべき選択肢を広げたり、見落としを減らしたりすることである。患者説明 AI は、検査結果や治療方針を、患者が読みやすい文章に変換する。この場合、AI がしているのは、専門的な情報をわかりやすい言葉に置き換えることである。医療相談 AI は、患者の質問に答え、受診の目安や生活上の注意を示す。この場合、AI がしているのは、医療機関に行く前の不安や判断を整理することである。

このように見ると、医療 AI の利点はわかりやすい。大量の画像や検査値を素早く確認できれば、医師の負担を減らせる。まれな病気や見落とされやすい異常を候補に出せれば、診断の精度を高められる可能性がある。患者向けの説明文を作れれば、医療者の事務作業を減らし、患者の理解を助けられる。夜間や休日に相談できる仕組みがあれば、患者は受診前に不安を整理できる。医療 AI は、この意味では医療を便利にし、早くし、わかりやすくする道具である。

しかし、医療 AI の問題は、便利かどうかだけでは終わらない。医療では、出力された候補や説明が患者の判断、治療方針、受診行動、医師との信頼関係に影響する。AI が「緊急性は低い」と示せば、患者は受診を控えるかもしれない。AI が「この病気の可能性が高い」と示せば、医師も患者もその方向に意識を引っ張られるかもしれない。AI が優しい言葉で説明すれば、患者は安心するかもしれないが、その説明が本当に自分の状態に合っているとは限らない。つまり、医療 AI は単なる情報処理ではなく、人間の判断と行動に介入するシステムである。

ここに、医療 AI の倫理的な出発点がある。AI が画像を読む、病名候補を出す、説明文を作る、相談に答えるという作業だけを見れば、それらは便利な支援機能に見える。しかし、その支援機能が医療の現場に入ると、誤った判断を誰が止めるのか、患者にどう説明するのか、患者の不安をどう扱うのか、AI の出力を医師がどこまで信じてよいのか、責任は誰が負うのかという問題が生じる。Hastings Center は、医療 AI の倫理的論点として、安全性、説明責任、プライバシー、バイアス、信頼、患者と医療者の関係の変化を挙げている[9]。これは、医療 AI の評価が、性能の高さだけではなく、医療の責任構造そのものに関わることを示している。

用途 AI が行うこと 患者にとっての意味 倫理上の焦点
画像診断支援 X 線、CT、MRI、内視鏡画像、病理画像などから異常候補を検出し、医師の読影を補助する。 病気の見落としが減る可能性がある一方で、AI の指摘が強く見えすぎると、医師や患者の判断が偏る可能性がある。 見落とし、過剰検出、医師の過信、最終判断者、誤診時の責任分担が問題になる。
診療支援 症状、検査値、病歴、服薬情報などから、診断候補、追加検査、治療候補を提示する。 医師が考える選択肢を広げられる一方で、患者の生活、希望、体力、家族状況まで十分に反映できるとは限らない。 推奨の根拠、患者個別性、説明可能性、医師の監督責任、最終判断者が問題になる。
患者説明 検査結果、診断名、治療方針、副作用、生活上の注意を患者向けの文章に変換する。 専門的な説明を理解しやすくできる一方で、患者が本当に理解したか、不安や誤解が残っていないかは別に確認する必要がある。 わかりやすさ、過度な安心、誤解、説明の正確性、医療者による確認が問題になる。
医療相談 症状相談、受診判断、生活上の助言を対話形式で行い、患者の不安や疑問を整理する。 受診前に不安を整理できる一方で、本来受診すべき症状を軽く見たり、AI の回答を診断のように受け取ったりする危険がある。 緊急性の見落とし、受診抑制、過剰受診の誘導、責任の所在、相談内容のデータ利用が問題になる。

したがって、医療 AI を考えるときの第一歩は、「AI は医師になれるのか」といきなり問うことではない。まず、AI が医療のどの作業を担っているのかを分ける必要がある。画像を見るのか、病名候補を出すのか、患者に説明するのか、相談に答えるのか。それぞれの作業は似ているようで、患者に与える影響も、必要な監督も、責任の重さも異なる。医療 AI は、医療の一部を支援できる。しかし、その支援が患者の判断や医師の責任に接続する以上、単なる便利な道具として扱うだけでは不十分である。

2. 便利さだけでは評価できない

AI が医療に入る理由はわかりやすい。医療現場では、医師、看護師、薬剤師、技師、事務職などの負担が大きく、扱う情報も増え続けている。患者の症状、検査値、画像、診療記録、紹介状、服薬情報、過去の病歴を短い診察時間の中で確認しなければならない。画像診断では、X 線、CT、MRI、内視鏡画像、病理画像などを専門的に読み取る必要がある。診療後には、カルテ、紹介状、退院サマリー、患者向け説明文も作らなければならない。AI がこれらの作業を補助し、見落としを減らし、文章作成を早くし、患者への説明を整えられるなら、その利益は大きい。WHO も医療 AI には大きな可能性があるとしつつ、その利用には倫理とガバナンスが必要だと整理している[10]。

しかし、医療 AI は、便利だから使えばよいという種類の道具ではない。一般的な業務支援 AI であれば、要約が少し不正確でも、人間が読み直して修正すれば済む場合が多い。ところが医療では、出力の誤りが患者の受診判断、検査、治療、手術、投薬、入院、退院、終末期の選択に影響する。AI が「緊急性は低い」と判断すれば、患者は受診を遅らせるかもしれない。AI が「この病気の可能性が高い」と示せば、医師や患者の注意がその方向に偏るかもしれない。AI が自然な説明文を作れば、患者は安心するかもしれないが、その説明が事実と違えば、安心そのものが危険になる。医療では、便利さがそのまま安全性を意味しない。

医療で重要なのは、平均的にうまく動くかどうかだけではない。平均精度が高くても、特定の患者群で性能が落ちるなら問題になる。たとえば、ある AI が多くの患者では正しく働いても、高齢者、子ども、妊婦、障害のある人、複数の病気を持つ人、まれな疾患の人、日本語以外を母語とする人、過去に十分な医療データが集まっていない地域の人で性能が落ちるなら、その AI は公平とは言えない。医療 AI の判断は、学習に使われた過去のデータに影響される。過去のデータに偏りがあれば、AI はその偏りを引き継ぐ可能性がある。つまり、AI の判断は中立に見えても、実際には過去の医療アクセス、検査機会、診断傾向、記録の残り方を反映していることがある。

また、医療 AI の説明は、自然な文章であれば十分というものでもない。患者にとって必要なのは、読みやすい文章だけではなく、自分の状態に合った正確な説明である。副作用はどの程度起こりうるのか。今すぐ受診すべきなのか。様子を見てよいのか。治療しない場合に何が起こりうるのか。選択肢にはどのような利点と不利益があるのか。患者が本当に知りたいのは、医学的に正しい一般論だけではなく、自分の生活、自分の不安、自分の身体にとって何を意味するのかである。AI がわかりやすい文章を作れても、その文章が患者の個別状況に合っているかを確認する責任は残る。

責任の問題も避けられない。AI が出した候補を医師が採用して誤診した場合、責任は医師にあるのか、病院にあるのか、AI を開発した企業にあるのか、導入を認めた組織にあるのか。患者向けの説明文を AI が作り、医療者が十分に確認しないまま渡した場合、誤解の責任は誰が負うのか。医療相談 AI が受診不要と回答し、患者の重い病気が見落とされた場合、その回答は単なる参考情報だったと言えるのか。医療 AI は人間の判断を補助するが、その補助が実際の医療判断に影響する以上、責任の所在を曖昧にしたまま使うことはできない。

そのため、医療 AI は導入時だけでなく、使い続ける過程でも管理しなければならない。最初は高い精度を示していても、患者層、病気の流行、診療体制、検査方法、薬、医療制度が変われば、性能は変化する。AI がどのデータで学習され、どの患者に使われ、どの場面で失敗しやすく、誰が出力を確認し、問題が起きたときにどう修正するのかを継続的に見る必要がある。WHO の規制上の考慮事項は、透明性、リスク管理、データ品質、規制評価、プライバシー、ライフサイクル管理を含めて、医療 AI を継続的に管理する必要を示している[11]。

評価軸 単純な見方 医療で必要な見方 理由
精度 正解率が高ければよい。 誰に対して、どの条件で、どの疾患で正確なのかを確認する必要がある。 平均精度が高くても、高齢者、子ども、まれな疾患、複数疾患を持つ患者で性能が落ちれば、医療上の不利益が特定の人に集中するためである。
速度 早く答えればよい。 緊急性、確認手順、見落とし時の被害を含めて評価する必要がある。 医療では早い回答が役立つ一方で、誤った安心や受診の遅れが重大な被害につながることがあるためである。
説明 自然な文章ならよい。 患者が誤解せず、医療者が確認でき、リスクと限界が伝わる必要がある。 患者にとって重要なのは読みやすさだけではなく、自分の状態に合った判断材料を得られることだからである。
公平性 同じ AI を全員に使えば公平である。 患者群ごとの性能差、学習データの偏り、医療アクセスの格差を確認する必要がある。 同じ仕組みを使っていても、過去のデータに含まれる偏りを AI が再現すれば、不利益は特定の患者に集中するためである。
責任 使った人が責任を負えばよい。 医師、病院、開発者、販売者、規制当局の責任分担を事前に決める必要がある。 AI の出力は複数の主体によって作られ、導入され、運用されるため、事故が起きてから責任を考えると患者保護が遅れるためである。
継続管理 導入時に性能を確認すればよい。 運用後も性能低下、利用実態、失敗例、患者への影響を確認し続ける必要がある。 医療環境、患者層、治療法、検査方法が変われば、導入時の性能がそのまま維持されるとは限らないためである。

したがって、医療 AI を評価するときには、「便利か」「早いか」「精度が高いか」だけでは足りない。便利であっても、患者に誤った安心を与えるなら危険である。早くても、確認すべき症状を見落とすなら危険である。平均精度が高くても、特定の患者に不利益が集中するなら公平ではない。自然な説明をしても、患者が誤解するなら説明責任は果たされていない。医療 AI の評価とは、性能の評価であると同時に、安全性、公平性、説明責任、責任分担、継続管理の評価である。ここを確認してはじめて、医療 AI を医療の中でどこまで使ってよいのかを考えることができる。

3. 生成 AI は医療 AI の危険を広げる

生成 AI は、従来の医療 AI とは性質が異なる。従来の医療 AI は、画像から病変らしい部分を見つける、検査値からリスクを計算する、一定の入力から分類する、といった使われ方が中心だった。もちろん、それらにも誤診、見落とし、バイアス、責任分担の問題はある。しかし、出力は比較的限定されていた。異常候補を示す、リスクスコアを出す、分類結果を返す、といった形であり、医療者がその結果を確認して使う構図を作りやすかった。

生成 AI は、この範囲を広げる。文章、画像、音声、検査情報、診療記録、患者との会話を組み合わせ、医師向けの文書を作り、患者向けに説明し、相談に応答し、受診の目安を示し、不安に対して柔らかい言葉を返す。つまり、生成 AI は、医療の裏側にある情報処理だけでなく、患者や医療者が直接読む言葉を作る。ここが重要である。医療では、言葉そのものが患者の理解、安心、不安、受診行動、治療選択に影響する。生成 AI は、医療判断の前段階だけでなく、患者とのコミュニケーションそのものに入り込む。

WHO は、大規模マルチモーダルモデルが医療、研究、公衆衛生、創薬に広く使われうる一方で、誤情報、バイアス、プライバシー、責任、労働環境への影響を慎重に扱う必要があると整理している[12]。ここでいう大規模マルチモーダルモデルとは、文章だけでなく、画像、音声、検査情報など複数種類の情報を扱える生成 AI を指す。これは医療にとって便利である。患者の説明、診療記録の要約、論文調査、治療候補の整理、薬剤情報の確認などを支援できるからである。しかし、扱える情報が増えるほど、誤った出力が患者や医療者に影響する経路も増える。

生成 AI の大きな特徴は、答えが人間らしく見える点にある。患者が「胸が痛い」と入力したとき、生成 AI は丁寧に返答できる。「不安なお気持ちはよくわかります」「まずは落ち着いて状況を確認しましょう」「次の症状がある場合は受診を検討してください」といった文章を自然に作れる。文章だけを見れば、落ち着いていて、親切で、医療的に配慮されているように見える。だが、その返答が正しいとは限らない。胸痛には、筋肉痛や胃の不調のような軽い原因もあれば、心筋梗塞、大動脈解離、肺塞栓のように急を要する原因もある。生成 AI が緊急性を過小評価すれば、患者の受診が遅れる。

逆の危険もある。軽い症状を過剰に危険視すれば、患者の不安を強め、不要な受診や検査を増やす可能性がある。医療資源は無限ではない。救急外来、検査、医師の時間、病床には限りがある。AI が過剰に安全側へ寄せた回答を大量に出せば、患者個人の不安だけでなく、医療現場の負担にもつながる。したがって、生成 AI の問題は、危険を見落とすことだけではない。危険を過大に示し、必要以上の不安と受診を生むことも問題である。

さらに厄介なのは、生成 AI の誤りが、誤りらしく見えにくいことである。従来のシステムであれば、数値や分類結果が不自然なら、人間が違和感を持つことがある。生成 AI の場合、文章が整っているため、内容まで正しいように見えやすい。落ち着いた文体、丁寧な説明、専門用語の使用、注意書きの挿入は、読む人に信頼感を与える。しかし、文章の自然さは、医学的な正しさを保証しない。ここに、生成 AI 特有の危険がある。間違っていても、もっともらしく見えるのである。

この危険は、患者だけでなく医療者にも関係する。医師が診療記録の要約、紹介状、退院サマリー、患者説明文の下書きに生成 AI を使う場合、出力が自然であればあるほど、確認が甘くなる可能性がある。文章の形が整っていると、記載漏れ、事実誤認、患者取り違え、薬剤名の誤り、検査結果の読み違いに気づきにくくなる。医療文書は、単なる文章ではない。次の診療、他の医療者への引き継ぎ、患者への説明、保険請求、法的記録に使われる。生成 AI が作った文章を確認せずに使えば、誤りは文書として固定され、後続の判断に残り続ける。

患者説明でも同じ問題が起きる。生成 AI は、難しい医学用語をわかりやすい言葉に置き換えることができる。これは大きな利点である。しかし、わかりやすい説明は、正確な説明と同じではない。副作用を軽く見せすぎる説明、治療効果を強く見せすぎる説明、まれだが重大なリスクを省く説明、患者の病状に合わない一般論は、患者の判断を誤らせる。患者は、医療者から受け取った説明文であれば、内容が確認済みだと思いやすい。だからこそ、生成 AI が作った説明文は、人間の医療者が確認し、患者の状態に合わせて修正する必要がある。

生成 AI には、共感らしい言葉を作れるという特徴もある。患者が不安を訴えると、AI はやさしい言葉で応答できる。これは一見すると、患者支援として有益である。夜間や休日に不安を整理できることは、患者にとって助けになる場合がある。しかし、共感らしい文章を返すことと、患者の苦痛を医療的に引き受けることは同じではない。AI は、患者の表情、沈黙、生活背景、家族関係、死への恐怖、治療への迷いを、責任ある関係の中で受け止めているわけではない。生成 AI は会話を作れるが、その会話がそのままケアになるわけではない。

生成 AI の特徴 医療で役立つ点 危険になる点 必要な対応
自然な文章を作れる 患者説明、診療記録、紹介状、退院サマリーを読みやすくできる。 文章が自然であるため、誤りや抜けが正しい説明のように見える。 医療者が原資料と照合し、患者の状態に合っているかを確認する必要がある。
対話できる 患者の不安や疑問を整理し、受診前の準備を助けられる。 患者が AI の回答を診断のように受け取り、受診を遅らせる可能性がある。 診断ではなく相談補助であることを明示し、緊急症状では受診を促す設計が必要である。
複数の情報を組み合わせられる 画像、検査値、診療記録、問診内容をまとめて整理できる。 誤った組み合わせや文脈の取り違えが、もっともらしい結論として出力される。 情報源、対象患者、出力根拠を確認できる形で運用する必要がある。
共感らしい応答を作れる 患者が不安を言語化しやすくなり、一時的な安心につながることがある。 共感の文体が、医療的責任や実際のケアがあるかのように見える。 AI の応答と人間によるケアを混同させず、必要時には医療者へ接続する必要がある。
大量の文書を処理できる 医療者の事務負担を減らし、記録や説明の作成を効率化できる。 誤った内容が文書として固定され、後の診療や説明に残り続ける可能性がある。 生成物をそのまま記録にせず、人間が確認したうえで正式文書にする必要がある。

したがって、生成 AI は、医療 AI の便利さを広げると同時に、危険も広げる。従来の医療 AI が主に分類、検出、予測を担っていたのに対し、生成 AI は説明、相談、記録、共感らしい応答まで担う。これは、AI が患者や医療者の判断により近い場所へ入ってくることを意味する。問題は、生成 AI が使えるかどうかではない。生成 AI が作った言葉を、誰が確認し、誰が患者に説明し、誰が責任を負い、どこで人間の医療者へ接続するのかである。生成 AI を医療に使うなら、文章の自然さではなく、患者の安全、説明の正確性、責任の所在、医療者による確認を基準にしなければならない。

4. 医療機器としての AI と相談相手としての AI は違う

医療 AI を考えるときには、まず「どこで、誰が、何の目的で使う AI なのか」を分ける必要がある。同じ AI という言葉で呼ばれていても、病院の中で医師が使う AI と、患者が自宅で一般のチャット AI に症状を入力して使う AI では、意味が大きく違う。前者は、診断支援、画像診断支援、治療計画支援、検査支援など、医療行為の一部として使われる。後者は、患者が不安を整理したり、受診するかどうかを考えたり、症状について質問したりするために使われる。この違いを曖昧にすると、医療 AI の安全性、責任、規制、説明責任を正しく考えられない。

医療機器として使われる AI は、一定の使用目的を前提に評価される。たとえば、肺の画像から異常候補を示す AI、糖尿病網膜症の判定を支援する AI、心電図から異常の可能性を示す AI などは、どの種類の入力を扱い、どの患者群に使い、何を出力し、医師がどのように確認するのかを定めたうえで導入される。この場合、AI は医療現場の中で使われるため、医師、病院、メーカー、規制当局の関係が比較的明確である。FDA は、AI や機械学習を用いた医療機器ソフトウェアについて、事前審査、変更管理、ライフサイクル管理を含む考え方を示している[13]。また、FDA は米国で販売が認められた AI 対応医療機器のリストを公開しており、どのような領域で AI 医療機器が増えているかを確認できる[14]。

ここで重要なのは、医療機器としての AI は、少なくとも建前としては「何に使う AI なのか」が決められているという点である。胸部画像を読むための AI は、患者の人生相談に答えるための AI ではない。心電図を解析する AI は、薬を飲むべきかどうかを患者に直接助言するための AI ではない。糖尿病網膜症を検出する AI は、すべての目の病気を診断する AI ではない。使用目的が限定されているからこそ、その範囲の中で性能を評価し、リスクを管理し、医療者の確認手順を設計できる。医療機器としての AI では、「何に使ってよいか」と同じくらい、「何に使ってはいけないか」が重要である。

一方で、患者が一般向けのチャット AI に症状を入力して相談する場合、その AI は必ずしも医療機器として管理されていない。患者は「胸が痛い」「子どもの熱が下がらない」「薬を飲み忘れた」「検査結果が不安だ」「この症状は病院に行くべきか」といった質問を入力できる。AI は、それらに対して自然な文章で返答できる。しかし、その回答が医療機器として評価されたものなのか、どの国の医療制度を前提にしているのか、どの患者群で安全性が確認されているのか、誰が責任を持つのかは明確でない場合が多い。ここに大きな隙間がある。

この隙間が危険なのは、患者から見れば、医療機器としての AI と一般向け相談 AI の違いがわかりにくいからである。病院で使われる AI も、スマホで使う AI も、画面上では同じように文章や結果を返す。一般向け AI が「医師に相談してください」と注意書きを付けていても、患者が不安な状態で読むと、その回答は実質的な受診判断の材料になる。AI が「緊急性は低そうです」と書けば、患者は受診を遅らせるかもしれない。AI が「早めの受診をおすすめします」と書けば、患者は強い不安を感じるかもしれない。つまり、一般向け相談 AI は、制度上は医療機器ではなくても、実際には患者の医療行動に影響する。

病院内で使われる AI と、生活空間で使われる相談 AI では、責任の流れも違う。病院内の AI であれば、導入を決めた医療機関があり、使用する医療者がいて、対象業務があり、確認手順がある。誤りが起きたときにも、少なくとも調査すべき経路がある。ところが一般向け相談 AI では、患者が自分で入力し、自分で読み、自分で受診するかどうかを決める。医師がそのやり取りを見ていないことも多い。開発企業は一般的な注意書きを出していても、個別の患者の判断までは把握していない。この構造では、患者に不利益が起きたとき、どこで誤りが生じ、誰が防げたのかが見えにくくなる。

また、一般向け相談 AI では、患者が入力する情報の扱いも問題になる。症状、病歴、服薬、検査結果、妊娠、精神状態、家族関係、生活習慣、経済状況などは、きわめて個人的な情報である。患者は不安なときほど、詳しい情報を入力しやすい。しかし、その情報がどのように保存され、学習や改善に使われ、第三者に共有されるのかを十分に理解しているとは限らない。医療 AI の問題は、出力の正しさだけではない。患者が入力した情報がどのように扱われるのかも、倫理上の重要な問題である。

区分 主な利用場面 管理しやすい点 危険になる点
医療機器としての AI 病院、診療所、検査部門、画像診断部門などで、医療者が診断支援や検査支援に使う。 使用目的、対象患者、入力データ、出力形式、確認手順、責任者を定めやすい。 医療者が AI を過信した場合、誤った出力が診断や治療に影響する。
診療支援システムとしての AI 電子カルテ、診療記録、薬剤情報、検査値などをもとに、医師の判断を補助する。 院内ルールや診療フローに組み込み、医療者が確認する前提を作りやすい。 推奨が標準的に見えすぎると、患者個別の事情が軽視される可能性がある。
患者説明支援 AI 検査結果、治療方針、副作用、退院後の注意点などを患者向けに説明する。 医療者が確認したうえで渡せば、説明の補助として使いやすい。 確認なしに使うと、誤った説明や過度に単純化された説明が患者の判断に影響する。
一般向け相談 AI 患者が自宅や外出先で、症状、不安、受診の目安、薬、生活上の注意について相談する。 患者が気軽に使え、不安を言語化し、受診前に情報を整理できる。 医療機器として評価されていない場合でも、患者が回答を実質的な診断や受診判断として受け取る可能性がある。

したがって、医療 AI の倫理では、「AI が医療に使われる」という大きな言い方だけでは不十分である。医療機器として規制された AI なのか、医療者が確認する診療支援 AI なのか、患者説明の下書きなのか、一般向けの相談 AI なのかを分けて考える必要がある。医療機器としての AI では、使用目的、性能評価、変更管理、責任分担が中心になる。一般向け相談 AI では、患者の誤解、受診遅れ、過剰不安、個人情報、医療者への接続が中心になる。両者を区別しなければ、医療 AI の危険を過小評価することにも、逆に有用な支援まで一律に否定することにもなる。

5. 高リスク AI として考える

医療 AI を考えるときには、すべての AI を同じ危険度で扱うべきではない。予約案内に使う AI、検査結果を患者向けに言い換える AI、画像診断を支援する AI、救急の優先順位を決める AI、終末期の治療方針に関わる AI では、患者に与える影響がまったく違う。予約時間を案内する AI が間違えれば、患者は不便を被る。検査結果の説明 AI が間違えれば、患者は自分の状態を誤解する。診断支援 AI が間違えれば、病気が見落とされる可能性がある。救急トリアージ AI が間違えれば、本来急いで治療すべき患者が後回しにされる可能性がある。終末期ケアに関わる AI が間違えれば、残された時間の過ごし方や治療選択そのものに影響する。

この違いを整理するうえで有用なのが、「リスクに応じて管理を重くする」という考え方である。AI を一律に禁止するのでも、一律に自由に使わせるのでもない。患者への影響が小さい用途では、誤情報の防止、個人情報の保護、人間による確認を基本にする。一方、患者の生命、身体、治療選択、尊厳に強く関わる用途では、性能評価、監査ログ、人間の監督、責任分担、利用範囲の限定をより厳しくする。これは、医療 AI の危険を感覚的に恐れるのではなく、どの用途で、どの程度の被害が起こりうるのかを分けて考える方法である。

EU は、医療目的の AI ソフトウェアを高リスク AI として扱いうる枠組みを整備している。欧州委員会は、医療目的の AI ベースソフトウェアには、リスク低減、高品質データ、明確な利用者情報、人間による監督などが求められると説明している[15]。EU の AI Act は、AI を一律に禁止するのではなく、リスクに応じて義務を変える枠組みである[16]。この考え方は、医療 AI を理解するうえでわかりやすい。医療では、AI の出力が単なる参考情報で終わらず、患者の検査、診断、治療、受診行動、人生上の選択に接続するからである。

たとえば、体温計のような単純な測定補助と、がんの見落としに関わる画像診断 AI は同じではない。一般的な健康情報を表示する AI と、救急外来で誰を先に診るかに影響する AI も同じではない。服薬説明の下書きを作る AI と、患者に「今すぐ受診すべきか」を判断させる AI も同じではない。違いは、AI が賢いかどうかではなく、AI の出力がどれだけ患者の重要な判断に近い場所で使われるかにある。患者の生命や身体に近いほど、また患者が自分では確認しにくい判断に関わるほど、その AI は高いリスクを持つ。

高リスク AI として考えるということは、「危険だから使わない」と決めることではない。むしろ、危険の種類を明確にしたうえで、使うための条件を厳密にすることである。画像診断 AI は、医師の見落としを減らす可能性があるため、有用である。しかし、だからといって AI の指摘をそのまま診断にしてよいわけではない。救急トリアージ AI は、混雑した現場で優先順位を整理する助けになるかもしれない。しかし、だからといって AI のスコアだけで患者の順番を決めてよいわけではない。終末期ケアに関わる AI は、予後や治療効果の情報整理に役立つかもしれない。しかし、だからといって患者や家族の価値観を AI が代わりに判断してよいわけではない。

ここで重要なのは、人間による監督を形式的なものにしないことである。「最終判断は医師が行う」と書いてあっても、実際には AI の出力が強く表示され、医師が忙しく、病院の運用が AI の推奨を前提にしていれば、人間の確認は形だけになる。高リスク AI では、単に人間が関与していると言うだけでは不十分である。医師が AI の出力を疑えること、根拠を確認できること、患者個別の事情を反映できること、AI の推奨に従わない選択が制度上許されていることが必要である。人間の監督とは、AI の出力に署名することではなく、AI の出力を医療判断の一材料として位置づけ直すことである。

また、高リスク AI では記録も重要になる。AI がどの情報を入力として使い、どのような出力を出し、誰が確認し、最終的にどの判断が行われたのかを後から追える必要がある。これは責任追及のためだけではない。誤りが起きたときに、どの患者群で、どの条件で、どのような失敗が起きたのかを確認し、運用を修正するためである。医療 AI は導入して終わりではない。医療現場、患者層、治療法、検査方法、疾患の傾向が変われば、AI の性能や危険も変わる。高リスク AI では、導入前の審査だけでなく、導入後の監査と改善が欠かせない。

リスク段階 具体例 患者への影響 必要な管理
低 予約案内、受付案内、一般的な健康情報、事務文書の下書き 主な影響は不便、誤解、事務上の混乱であり、生命や治療判断への直接影響は比較的小さい。 誤情報防止、プライバシー管理、担当者確認、AI が作成した情報であることの明示を基本にする。
中 検査結果説明、服薬説明、生活指導、退院後注意事項の下書き 患者の理解、服薬行動、受診行動、生活上の判断に影響する。 医療者確認、患者への AI 使用説明、誤解防止、患者個別の状態に合っているかの確認を必須にする。
高 診断支援、画像診断支援、治療候補提示、救急判断、トリアージ支援 病気の見落とし、過剰診断、治療の遅れ、医療資源の配分に影響する。 性能評価、対象患者の限定、監査ログ、人間の最終判断、根拠確認、責任分担を必須にする。
極高 終末期判断、生殖医療、精神危機対応、重大疾患の受診判断、治療中止に関わる判断 患者の生命、尊厳、家族関係、将来の人生、取り返しのつかない選択に影響する。 AI 単独判断を避け、専門職の直接関与、患者と家族への丁寧な説明、倫理的検討、記録、説明責任を制度化する。

したがって、医療 AI を高リスク AI として考えるとは、AI を怖がって排除することではない。患者への影響に応じて、利用条件を変えるということである。影響が小さい用途では、AI は業務負担を減らす道具として使える。患者の理解や受診行動に影響する用途では、医療者の確認が必要になる。診断、トリアージ、治療方針に関わる用途では、性能評価、監査、人間の最終判断、責任分担が不可欠になる。終末期や精神危機のように、患者の尊厳や生命に深く関わる用途では、AI は判断主体ではなく、専門職が説明と責任を担うための補助に限定されるべきである。

医療 AI の問題は、AI がどれだけ高性能かだけでは決まらない。低リスクの場面では高性能な AI でも簡単な確認で足りることがある。一方で、高リスクの場面では、どれほど高性能に見える AI でも、人間の監督、説明責任、記録、監査、患者の同意を省くことはできない。医療 AI は、患者の身体と人生に近づくほど、便利な道具ではなく、厳しく管理すべき判断支援システムになる。このリスクの段階を分けることが、医療 AI を現実的に使うための出発点である。

6. 説明できることと説明すべきことは違う

AI 倫理では、「説明可能性」という言葉がよく使われる。説明可能性とは、AI がなぜその出力を出したのかを、人間が理解できる形で示せるかという問題である。医療 AI でも、この考え方は重要である。AI が診断候補を出したり、検査の必要性を示したり、治療候補を提示したりするなら、医師も患者も、その出力をただ信じるわけにはいかない。どの情報をもとにしているのか。どの程度確からしいのか。どの患者では外れやすいのか。どこに不確実性があるのか。こうした点が見えなければ、AI の出力を医療判断の中に安全に組み込むことはできない。

ただし、ここで注意すべきなのは、「説明できること」と「説明すべきこと」は同じではないという点である。AI の内部計算を細かく説明することは、技術者や監査者には必要かもしれない。しかし、患者にとって必要な説明は、それとは違う。患者が知りたいのは、AI の数理モデルの構造そのものではない。自分の診断や治療に AI が使われたのか。AI はどの情報を見ていたのか。医師はその結果をどう確認したのか。AI の判断にはどの程度の不確実性があるのか。他にどのような選択肢があるのか。最終的な判断は誰が行ったのか。患者に必要なのは、自分の身体と治療選択に関わる説明である。

NIST の AI リスクマネジメントフレームワークは、AI リスクを組織的に把握し、測定し、管理するための枠組みを示している[17]。OECD の AI 原則も、信頼でき、人権と民主的価値を尊重する AI を重視する[18]。UNESCO の AI 倫理勧告も、人権、尊厳、公平性、透明性、責任を含む広い価値を扱っている[19]。これらに共通しているのは、AI を単なる性能競争として扱わない点である。AI が社会の中で使われる以上、透明性、説明責任、人間の権利、制度上の管理を考える必要がある。医療 AI では、この要求がさらに強くなる。なぜなら、AI の出力が患者の身体、生命、治療選択に関わるからである。

医療で必要な説明には、少なくとも 4 つの相手がいる。第一に、技術者向けの説明である。これは、AI がどのようなデータで作られ、どのような入力を受け取り、どのような条件で性能を発揮し、どのような条件で失敗しやすいのかを確認するための説明である。第二に、医師向けの説明である。これは、AI がどの情報を重視してその候補を出したのか、医師がどこを確認すべきか、患者個別の事情をどのように反映すべきかを判断するための説明である。第三に、患者向けの説明である。これは、AI が自分の診療にどう関わったのか、医師がどのように確認したのか、自分にはどの選択肢があるのかを理解するための説明である。第四に、監査者向けの説明である。これは、問題が起きたときに、AI の出力、医療者の判断、病院の運用、開発者の設計を後から検証するための説明である。

これらを一つの説明にまとめようとすると、かえって誰にも使えない説明になる。技術者向けに細かく書けば、患者には難しすぎる。患者向けに簡単に書けば、監査には不十分になる。医師向けに臨床上の要点だけを示せば、開発者がモデルの問題を検証するには足りない。つまり、医療 AI の説明可能性は、「一つのわかりやすい説明を出すこと」ではない。相手と目的に応じて、説明の粒度と内容を分けることである。

説明の相手 必要な説明 目的 不十分な説明の危険
技術者 学習データ、入力情報、モデルの性能、失敗しやすい条件、更新履歴 AI の性能、偏り、安全性、劣化、改善点を確認する。 どの条件で AI が失敗するのかを把握できず、同じ種類の誤りが繰り返される。
医師 AI が重視した情報、出力の根拠、信頼度、不確実性、確認すべき点 AI の出力を診療判断の一材料として使い、患者個別の事情を踏まえて判断する。 医師が AI の出力を過信し、患者の症状、生活背景、例外的事情を見落とす。
患者 AI が使われたか、何を補助したか、医師がどう確認したか、選択肢と不確実性は何か 自分の診療に AI がどう関わったのかを理解し、納得して判断できる状態を作る。 患者が AI の出力を確定診断のように受け取り、リスクや選択肢を誤解する。
病院・管理者 導入目的、使用範囲、確認手順、責任分担、事故時の対応、運用上の制限 AI を現場に安全に組み込み、医療者任せにせず組織として管理する。 AI の利用が現場任せになり、事故時に責任の所在や改善手順が不明確になる。
監査者・規制者 ログ、性能評価、変更履歴、苦情、事故、患者群ごとの影響、改善記録 AI が安全に運用されているか、特定の患者に不利益が出ていないかを検証する。 問題が起きても、原因を追跡できず、制度的な改善につながらない。

患者向けの説明では、特に注意が必要である。患者に対して「この AI は深層学習モデルであり、多数のパラメータを用いて推論しています」と説明しても、診療上の理解にはほとんど役立たない。患者に必要なのは、「この AI は画像の異常候補を示すために使われました」「最終判断は医師が行いました」「AI の結果だけで治療方針を決めたわけではありません」「この検査には別の解釈もありえます」「不安な点があれば確認できます」という説明である。説明とは、専門的な情報をそのまま渡すことではなく、患者が自分の状態と選択肢を理解できる形に変換することである。

一方で、患者にわかりやすくするために、重要な不確実性を隠してはいけない。医療 AI の出力は、しばしば確率的である。病気の可能性が高い、低い、追加検査が望ましい、緊急性がありそうだ、という判断には幅がある。患者が求めているのは、常に断定的な答えとは限らない。むしろ、「どこまでわかっていて、どこから先は不確実なのか」を知ることが、納得した判断につながる。説明が親切であるとは、安心させることだけではない。不確実性を過不足なく伝えることでもある。

医師向けの説明も、単なる根拠表示では足りない。AI が「この疾患の可能性が高い」と出したとき、医師に必要なのは、出力の順位だけではない。どの症状や検査値が判断に影響したのか。入力情報に欠けているものはないか。患者の年齢、既往歴、服薬、妊娠、障害、生活背景、過去の診療記録と矛盾していないか。AI が苦手な症例ではないか。これらを確認できなければ、医師は AI の出力を批判的に使えない。説明可能性は、医師が AI を疑える状態を作るために必要である。

監査者向けの説明では、さらに別の情報が必要になる。患者にどの説明をしたか、医師が AI の出力を見たか、AI の推奨に従ったのか、従わなかったのか、なぜその判断をしたのか、AI のバージョンは何だったのか、後で結果に問題があったのか。これらが記録されていなければ、事故が起きても原因を検証できない。医療 AI では、説明はその場で理解してもらうためだけではなく、後から検証できる状態を残すためにも必要である。

したがって、医療 AI に必要な説明可能性とは、AI の内部をすべて見せることではない。必要なのは、相手と目的に応じて、説明すべき内容を分けることである。技術者には性能と限界を説明する。医師には確認すべき根拠と不確実性を説明する。患者には、自分の診療に AI がどう関わり、どの選択肢があり、何が不確実なのかを説明する。監査者には、後から責任と改善点を追える記録を残す。説明できる情報を大量に出すことではなく、必要な相手に、必要な内容を、必要な粒度で示すことが、医療 AI における説明責任である。

7. 医師の責任は消えない

医療 AI が使われるようになっても、医師の責任は消えない。AI が診断候補を出し、検査の必要性を示し、治療候補を並べ、患者向けの説明文を作ったとしても、それだけで医療判断が完了するわけではない。医療では、患者の症状、検査値、画像、病歴、服薬、年齢、生活背景、本人の希望、不安、家族関係を合わせて考える必要がある。AI はその一部を整理できるが、患者の前に立ち、説明し、選択肢を示し、最終的な判断を支えるのは人間の医療者である。

AMA は、医療における AI を「人工知能」よりも「拡張知能」と呼ぶ文脈を重視し、医師の判断を置き換えるのではなく支援する技術として位置づけている[20]。また、AMA の AI 原則では、医療 AI の責任、透明性、公平性、負担、医師の関与が重要な論点として扱われている[21]。この考え方は、医療 AI の基本線として妥当である。AI は医師の代わりに患者を診る主体ではなく、医師がよりよく判断するための補助として使われるべきである。

ただし、「最終判断は医師が行う」と言うだけでは不十分である。その言い方は、一見するとわかりやすい。しかし、実際の医療現場では、医師が AI の出力を十分に検証できるとは限らない。外来が混んでいる。救急現場が逼迫している。診療時間が短い。AI の仕組みが説明されていない。出力の根拠が見えにくい。病院の運用が AI の推奨に従うことを前提にしている。このような状況で、医師にだけ「最終責任」を負わせるなら、それは責任の所在を明確にしているのではなく、責任を現場の医師へ押しつけているだけになる。

医師の責任が残るということは、医師が AI の出力をそのまま受け入れてよいという意味ではない。むしろ、医師には、AI の出力を診療判断の一材料として扱い、患者個別の事情と照らして確認する責任がある。AI が「この病気の可能性が高い」と示しても、患者の症状の経過、診察所見、既往歴、薬、生活背景と合っているかを見なければならない。AI が「緊急性は低い」と示しても、患者の訴えや身体所見が危険を示していれば、AI の出力より患者の状態を優先しなければならない。医師の責任とは、AI の結論に署名することではなく、AI の出力を疑い、補い、必要なら退けることである。

一方で、医師がその責任を果たすには、医師だけでは足りない。病院は、どの AI を、どの診療場面で、誰が、どの手順で使うのかを決めなければならない。開発企業は、AI の性能、限界、失敗しやすい条件、更新履歴を示さなければならない。規制当局は、安全性や有効性の評価枠組みを整えなければならない。医療機関は、AI の出力、医師の確認、患者への説明、事故時の調査を記録できる仕組みを持たなければならない。医師が責任を持つためには、医師が責任を果たせる環境が必要である。

患者から見ると、AI が関わった医療判断では、誰が何をしたのかがわかりにくくなる。AI が候補を出したのか。医師がそれを確認したのか。病院の方針として AI が使われたのか。説明文は医師が書いたのか、AI が下書きしたのか。患者が知るべきなのは、AI の内部構造そのものではない。自分の診療に AI がどう関わり、医師がどのように確認し、最終判断がどのように行われたのかである。医療 AI が使われるほど、患者への説明責任は軽くなるのではなく、むしろ重くなる。

また、AI は医師の負担を減らす道具であるはずだが、使い方によっては逆に負担を増やすことがある。AI の出力を確認する。誤りを修正する。患者に AI の関与を説明する。AI の推奨に従わない理由を記録する。出力と実際の診療が食い違った場合に調査へ対応する。こうした作業が追加されるなら、AI は単なる効率化ではなく、新しい確認業務を生む。医療 AI を導入するなら、医師の負担が本当に減っているのか、それとも責任と確認作業だけが増えているのかを検証する必要がある。

主体 担うべき責任 不十分な場合の問題
医師 AI の出力を患者個別の症状、診察所見、病歴、希望と照らし、最終的な医療判断を支える。 AI の推奨をそのまま受け入れると、患者個別の事情や例外的な危険を見落とす可能性がある。
病院 AI の使用範囲、確認手順、記録方法、患者説明、事故時対応を組織として定める。 現場任せにすると、医師ごとに使い方がばらつき、事故時の責任や改善手順が不明確になる。
開発企業 AI の性能、限界、対象患者、失敗しやすい条件、更新履歴を明示する。 限界が見えないと、医療者が AI を過信し、患者に不適切な判断が行われる可能性がある。
規制当局 安全性、有効性、変更管理、導入後監視、患者保護に関する基準を整える。 基準が不十分だと、危険な AI が医療現場や患者の生活空間に入り込みやすくなる。
患者 AI が関与したこと、医師が確認したこと、選択肢と不確実性について説明を受ける。 AI の関与が見えないと、患者は自分の診療がどのように判断されたのかを理解できない。

したがって、医療 AI の時代に必要なのは、「AI が判断し、医師が責任を負う」という単純な構図ではない。AI は情報を整理し、候補を提示し、説明を下書きできる。医師は、その出力を患者の状態と照らして判断し、患者に説明し、必要なら AI の推奨を退ける。病院は、その判断が現場任せにならないように運用を設計する。開発企業と規制当局は、AI の性能と限界を管理する。責任は医師から消えない。しかし、責任を医師一人に閉じ込めてはならない。

医療 AI が本当に医療を支えるためには、医師の責任を軽く見ても、医師に責任を押しつけてもいけない。必要なのは、医師が AI を批判的に使えること、患者に説明できること、病院が運用を管理すること、事故時に原因を追跡できること、そして患者が自分の診療に AI がどう関わったのかを理解できることである。医師の責任は消えない。ただし、その責任は、組織的な評価、教育、監査、記録、患者説明によって支えられなければならない。

8. 病院は AI を買うだけでは足りない

医療 AI は、製品として買えば終わるものではない。病院が画像診断 AI、診療支援 AI、患者説明 AI、医療相談 AI を導入するとき、それは新しい機械やソフトウェアを置くというだけではない。医師、看護師、技師、事務職、患者の判断の流れの中に、新しい判断支援システムを組み込むということである。したがって、医療 AI の導入では、価格、性能、便利さだけでなく、誰が使い、どの患者に使い、どの場面では使わず、出力を誰が確認し、患者にどう説明し、問題が起きたときにどう調査するのかを決めなければならない。

たとえば、病院が画像診断 AI を導入したとする。このとき、単に「AI が異常候補を示します」と決めるだけでは足りない。どの種類の画像に使うのか。外来患者にも入院患者にも使うのか。救急でも使うのか。AI が異常なしと示した場合でも医師は全画像を確認するのか。AI が異常ありと示した場合、その結果は患者説明にどう使うのか。AI の見落としが疑われた場合、誰が報告し、誰が調査するのか。これらを決めないまま導入すると、AI は便利な道具ではなく、責任の所在を曖昧にする装置になる。

National Academy of Medicine は、医療 AI のコード・オブ・コンダクトとして、責任ある、人間中心で、公平な AI の開発と利用をそろえる枠組みを提示している[22]。JAMA の AI サミットも、医療 AI を開発、評価、規制、普及、監視する方法を広く議論している[23]。NEJM も AI in Medicine を通じて、AI と機械学習が医療全体に広がる可能性を扱っている[24]。これらが示しているのは、医療 AI は個別の便利ツールとしてではなく、医療制度、医療機関、専門職、患者の関係の中で管理すべき対象だということである。

病院が最初に確認すべきなのは、その AI が自分たちの現場に合っているかである。AI の性能は、どこで検証されたかによって意味が変わる。大病院のデータで作られた AI が、地域の診療所で同じように使えるとは限らない。ある国の患者データで評価された AI が、日本の患者、別の年齢層、別の疾患構成、別の検査体制で同じ性能を出すとは限らない。高性能と書かれていても、その性能が自分たちの患者集団、自分たちの診療科、自分たちのワークフローで成り立つかは別問題である。

次に必要なのは、現場のワークフローにどう入れるかである。AI の出力が、診察前に表示されるのか、診察中に表示されるのか、診察後の確認に使われるのかによって、医師の判断への影響は変わる。診察前に強く表示されれば、医師の注意は AI の候補に引っ張られやすい。診察後に補助的に表示されれば、見落とし確認として使いやすい。患者説明の前に AI が文章を作るなら、医師が確認する時間を確保しなければならない。AI をどこに置くかは、単なる画面設計ではなく、医療判断の流れをどう設計するかという問題である。

医療者への教育も欠かせない。医師や看護師が、AI の得意なこと、苦手なこと、使ってよい場面、使ってはいけない場面を知らなければ、安全には使えない。AI が出した結果を過信しても危険であり、逆に何も信じずに無視するだけでも導入の意味がない。必要なのは、AI を信じることではなく、AI を批判的に使うことである。医療者は、AI の出力を確認し、患者の状態と照らし、合わない場合には退ける判断ができなければならない。

患者への説明も病院の責任である。AI が診療に関わった場合、患者は、自分の診断や説明に AI がどのように使われたのかを知る必要がある。すべての技術的詳細を説明する必要はない。しかし、「AI が画像の異常候補を示すために使われた」「説明文の下書きに AI を使ったが、医師が確認した」「AI の結果だけで治療方針を決めたわけではない」といった説明は必要である。患者に何も知らせず、後から AI が関わっていたことがわかれば、医療への信頼を損なう。

運用中の監視も重要である。医療 AI は、導入時に性能を確認すれば終わりではない。患者層が変わる。病気の流行が変わる。検査機器が変わる。診療方針が変わる。AI のモデルが更新される。現場での使われ方が変わる。こうした変化によって、導入時には問題がなかった AI でも、時間が経つと誤りや偏りが目立つことがある。したがって、病院は、AI の出力、医師の確認、患者への影響、事故、苦情、使われ方の変化を継続的に見る必要がある。

事故が起きたときの調査手順も、導入前に決めておく必要がある。AI が関わった医療判断で問題が起きた場合、どの入力が使われたのか、AI は何を出力したのか、医師はその出力を見たのか、出力に従ったのか、従わなかったのか、患者には何を説明したのかを確認できなければならない。ログが残っていなければ、事故の原因を追跡できない。原因がわからなければ、同じ事故を防ぐこともできない。医療 AI の記録は、責任追及のためだけでなく、再発防止のために必要である。

この流れからわかるのは、医療 AI の倫理は、個別ツールの性能だけでは決まらないということである。どの患者集団で検証したのか。現場のワークフローにどう入れるのか。医師は AI の限界を知っているのか。患者にはどう説明するのか。誤りを発見したとき、誰が止めるのか。モデルが更新されたとき、再評価するのか。BMJ の FUTURE-AI は、医療 AI を信頼できる形で開発・展開するための国際的な枠組みとして、妥当性、公平性、使いやすさ、トレーサビリティ、堅牢性、説明可能性を含む観点を提示している[25]。これは、医療 AI を導入後も管理し続ける必要があることを示している。

段階 確認すること 失敗した場合の問題 病院が担う責任
導入前 性能、対象患者、データ品質、臨床的有用性、法規制、自院の診療体制との適合性を確認する。 現場に合わない AI を入れ、誤判断、業務混乱、患者への不利益を生む。 製品資料だけで判断せず、自院の患者集団とワークフローに合うかを評価する。
導入時 医療者教育、患者説明、利用範囲、禁止用途、確認手順、ログ設計を決める。 誰が何を確認するのか曖昧になり、AI の出力だけが現場に流れる。 AI を使ってよい場面、使ってはいけない場面、人間が確認する手順を明文化する。
運用中 性能劣化、患者群ごとの偏り、事故、苦情、ワークフローへの影響、医療者の負担を監視する。 モデルの劣化、現場依存の誤用、特定患者への不利益に気づけない。 導入後も AI の出力と実際の診療結果を確認し、必要に応じて利用範囲を修正する。
更新時 モデル更新、機能追加、入力項目の変更、画面表示の変更が診療判断に与える影響を確認する。 以前と同じ AI だと思って使っていたものが、実際には別の挙動をする可能性がある。 更新内容を医療者へ周知し、必要なら再教育と再評価を行う。
事故後 入力、出力、判断過程、関与者、患者説明、ログ、AI のバージョンを検証する。 原因が不明になり、同じ事故を再発させる。 個人責任で終わらせず、運用、教育、製品、記録、説明のどこに問題があったかを調査する。

したがって、病院は AI を買うだけでは足りない。必要なのは、AI を医療現場に入れるための運用設計である。導入前に評価し、導入時に教育し、患者へ説明し、運用中に監視し、更新時に再評価し、事故後に検証する。この一連の管理がなければ、医療 AI は便利な支援技術ではなく、責任の所在が曖昧なまま医療判断に入り込む危険な仕組みになる。医療 AI を安全に使うためには、製品を買うことではなく、病院がその AI を管理できる体制を持つことが必要である。

9. 患者説明を AI に任せると何が起きるか

患者説明は、医療 AI が入りやすい領域である。検査結果をわかりやすい言葉に言い換える。専門用語を説明する。退院後の注意をまとめる。薬の飲み方を整理する。患者からの質問に対する回答の下書きを作る。こうした作業は、医療者にとって負担が大きく、患者にとっても理解が難しいため、AI の支援が役立ちやすい。Nuffield Council on Bioethics も、医療と研究における AI の利用可能性と倫理的問題を整理している[26]。患者説明に AI を使うこと自体は否定すべきではない。問題は、AI が作った説明文を、患者がそのまま信じてよい説明として受け取ることである。

医療の説明は、単に情報をわかりやすくする作業ではない。患者が知る必要があるのは、病名や検査値の意味だけではない。いま急ぐべきなのか。様子を見てよいのか。どの症状が出たら再受診すべきなのか。治療しない場合に何が起こりうるのか。薬にはどのような副作用があるのか。検査結果にはどの程度の不確実性があるのか。別の病気の可能性は残っているのか。患者説明とは、患者が自分の身体と生活について判断できる状態を作ることである。わかりやすい文章はそのための手段であって、目的そのものではない。

AI が患者説明に向いているように見えるのは、文章を整える能力が高いからである。難しい医学用語を日常語に置き換え、長い説明を短くまとめ、やさしい文体で伝えることができる。これは有益である。患者が専門用語だけを渡されても理解できない場合、AI が下書きした説明文は、医療者と患者の間にある言葉の壁を低くできる。しかし、わかりやすさには危うさもある。説明がわかりやすくなる過程で、重要な条件、不確実性、例外、再受診の目安が削られると、患者は本来よりも安全だと思い込む可能性がある。

たとえば、「検査結果に大きな異常はありません」という説明は、患者を安心させる。しかし、それが「病気の可能性はありません」という意味で受け取られると危険である。検査で異常が見つからないことと、病気が存在しないことは同じではない。症状が続く場合、悪化する場合、別の症状が出る場合には、再受診が必要になることがある。AI が説明文を短く、やさしく、安心できる形に整えるほど、このような条件が落ちやすくなる。医療説明では、安心させることと、必要な警戒を残すことの両方が必要である。

逆に、AI の説明が患者を過度に不安にさせる場合もある。軽い症状やよくある検査値の変化について、重大な疾患の可能性を広く列挙すれば、患者は自分が重い病気かもしれないと感じる。安全側に寄せた説明は、一見すると慎重に見える。しかし、必要以上に不安を強めれば、過剰な受診、過剰な検査、医療資源の圧迫につながる。患者説明では、危険を隠してはいけないが、可能性を無制限に並べてもいけない。必要なのは、患者の状態に応じて、どのリスクをどの程度重く見るべきかを整理することである。

KFF の調査では、健康情報や助言のために AI を使う成人が一定数おり、AI 利用後に医師や医療者へ相談しない人もいることが示されている[27]。これは重要である。患者が AI の説明を読んだあとに医療者へ相談しないなら、AI の説明は単なる補助ではなく、実質的な判断材料になる。Pew Research Center の調査でも、医療における AI への期待と不安は併存している[28]。また、健康情報源としての AI は便利と見なされやすい一方で、正確性への評価とは分けて考える必要がある[29]。便利であること、読みやすいこと、親切に見えることは、医学的に正確であることと同じではない。

医療者側から見ても、AI による患者説明の下書きには利点がある。JAMA Network Open では、患者向け検査結果説明文の AI 下書きについて、臨床家の視点から有用性と改善余地が検討されている[30]。検査結果の説明や退院後の注意を毎回一から書く負担は大きい。AI が下書きを作れば、医療者は説明の骨組みを早く作れる。しかし、下書きは下書きである。患者の病状、年齢、理解度、不安、生活状況、通院可能性、家族の支援、薬の管理能力に合わせて、医療者が確認し、修正しなければならない。

患者説明を AI に任せる危険は、説明責任が見えにくくなる点にもある。患者は、病院から渡された説明文であれば、医師や医療者が内容を確認したものだと考える。ところが、実際には AI が生成し、医療者が十分に確認していない文章であれば、患者は確認済みの説明だと誤認する。説明文に誤りがあった場合、患者は誰に確認すればよいのか。医師なのか、病院なのか、AI を提供した企業なのか。この責任の流れが曖昧なまま患者へ説明文を渡すことは、医療への信頼を損なう。

また、患者説明には、情報だけでなく関係が含まれる。悪い検査結果を伝えるとき、治療の副作用を説明するとき、再発の可能性を話すとき、終末期の選択に触れるとき、患者は単に情報を受け取っているわけではない。不安、恐怖、怒り、否認、迷いを抱えながら説明を聞いている。AI は丁寧な文章を作れるが、患者が沈黙した理由、質問できない理由、理解したふりをしている可能性、不安を隠している可能性を関係の中で受け止めることはできない。説明文を作ることと、患者に説明することは同じではない。

用途 AI が役立つ点 危険になる点 必要な対応
検査結果説明 専門用語を日常語に置き換え、患者が結果の概要を理解しやすくできる。 異常なしという説明が、病気の可能性なしという意味で受け取られる可能性がある。 症状が続く場合、悪化する場合、再受診すべき条件を医療者が追記する。
治療説明 治療の目的、流れ、副作用、代替案を整理し、説明の抜けを減らせる。 治療効果を強く見せすぎたり、副作用や不確実性を軽く見せたりする可能性がある。 利点、不利益、代替案、治療しない場合を患者個別の状態に合わせて確認する。
退院後の注意 服薬、生活上の注意、受診予定、警戒すべき症状を一覧化できる。 患者の生活環境、家族支援、通院手段、理解度が反映されない可能性がある。 患者が実際に守れる内容か、家族や支援者を含めて確認する。
質問への回答 患者の疑問に対する回答案を素早く作り、医療者の説明負担を減らせる。 一般論としては正しくても、その患者の病状には合わない回答になる可能性がある。 AI の回答をそのまま渡さず、医療者が診療情報と照合して修正する。
不安への応答 患者が不安を言語化し、次に何を確認すべきか整理しやすくなる。 共感的な文章が、医療者による確認や実際のケアの代わりに見える可能性がある。 必要に応じて医療者へ接続し、AI の応答をケアそのものと誤解させない。

この領域での妥当な線引きは、AI に説明文の下書きは許しても、患者への最終説明責任は医療者が持つ、というものである。AI は、文章の骨組みを作り、専門用語を言い換え、説明項目の抜けを減らすために使える。しかし、AI が作った文章をそのまま患者へ流してはならない。医療者は、内容が正確か、患者の状態に合っているか、不確実性が残っているか、再受診の条件が示されているか、患者が誤解しやすい表現がないかを確認する必要がある。

患者説明における AI の役割は、説明者になることではなく、説明を支えることに限定されるべきである。説明文を作る能力が高くなるほど、その文章は医療者が書いたもののように見える。しかし、患者が必要としているのは、整った文章だけではない。自分の状態に即した判断材料、理解できない点を確認できる関係、不安を受け止める相手、必要なときに再び医療につながれる道筋である。患者説明を AI に任せると、文章は整うかもしれない。しかし、説明責任、患者個別性、不確実性、再受診の条件、人間による確認が抜け落ちれば、それは医療として不十分である。

10. トリアージと医療相談 AI は最も危うい

医療相談 AI の中でも、最も危ういのはトリアージに関わる使い方である。トリアージとは、限られた医療資源の中で、誰を先に診るべきか、救急受診が必要か、通常外来でよいか、経過観察でよいかを判断することである。これは、単なる案内ではない。患者にとっては、「今すぐ病院へ行くべきか」「救急車を呼ぶべきか」「明日まで待ってよいか」「自宅で様子を見てよいか」という行動の分かれ目になる。したがって、トリアージ AI の出力は、患者の受診行動、医療者への到達時間、救急外来の混雑、治療開始の遅れに直接影響する。

トリアージが難しいのは、症状の重さが見た目だけではわからないからである。胸痛には、筋肉痛や胃の不調のような比較的軽い原因もあれば、心筋梗塞や大動脈解離のように急を要する原因もある。頭痛にも、疲労や片頭痛のこともあれば、くも膜下出血や髄膜炎のような重大な病気が隠れていることもある。子どもの発熱も、多くは自然に軽快するが、意識状態、呼吸、脱水、けいれん、発疹の出方によっては緊急対応が必要になる。医療者は、症状そのものだけでなく、発症の速さ、経過、年齢、既往歴、妊娠、服薬、身体所見、本人の様子を合わせて判断する。AI が患者の短い入力だけで安全に判断できる範囲は限られている。

胸痛、息切れ、強い頭痛、意識障害、麻痺、ろれつが回らない、激しい腹痛、妊娠中の異常、子どもの急変、自殺念慮、虐待の疑いなどでは、判断の遅れが重大な結果につながる。こうした場面で、AI が「様子を見てよい」と返して患者が受診を遅らせれば、治療の機会を失う可能性がある。逆に、すべてを危険と判断して救急受診を勧めれば、患者の不安を過度に高め、救急外来を不要な受診で圧迫する可能性がある。オンライン症状評価アプリや AI ベースのトリアージに関する研究は増えているが、性能は対象、設計、評価方法によって大きく変わる[31]。

医療相談 AI が使われやすい理由は明確である。病院は待ち時間が長い。夜間や休日には相談先が限られる。医療費や仕事、家庭の事情から、すぐに受診しづらい人もいる。軽い症状で病院へ行ってよいのか迷う人もいる。こうしたとき、AI はすぐに返答し、費用も低く、心理的な負担も小さい。患者がまず AI に聞きたくなるのは自然である。そのこと自体は悪いことではない。問題は、AI の回答が、患者にとって実質的な受診判断になってしまうことである。

特に危険なのは、患者が「病院に行かなくてよい理由」を求めて AI を使う場合である。体調に不安があっても、仕事を休みにくい、家族に迷惑をかけたくない、費用が気になる、救急外来に行くほどではないと思いたい、という心理は珍しくない。そのような状態で AI が「緊急性は低そうです」「様子を見てもよいでしょう」と返せば、患者は安心材料として受け取る可能性がある。しかし、AI は患者の顔色、呼吸の様子、発汗、歩き方、意識の変化、話し方、家族が感じる違和感を十分には見ていない。文章上は軽く見えても、実際には危険な状態であることがある。

一方で、AI が危険を過大評価することにも問題がある。軽い症状に対して毎回「念のため救急受診してください」と返せば、患者は強い不安を抱く。救急外来には、限られた医師、看護師、検査機器、病床しかない。不要な受診が増えれば、本当に急ぐべき患者の対応が遅れる可能性がある。したがって、医療相談 AI では、受診を抑えすぎても、過剰に促しすぎても問題が起きる。ここで必要なのは、診断名を当てることではなく、危険な見落としを避けながら、適切な相談先や受診先へ接続することである。

トリアージ AI では、「正しい病名を言えるか」よりも、「危険サインを見落とさないか」が重要になる。患者が必要としているのは、専門医のような診断名ではない。今すぐ救急車を呼ぶべきか。夜間救急へ行くべきか。翌日の外来でよいか。症状がどう変わったら再相談または受診すべきか。薬を飲んでよいか。子どもや高齢者や妊婦の場合に注意すべきことは何か。これらは診断そのものではなく、安全な行動につなげるための判断である。医療相談 AI は、診断確定ツールではなく、安全な受診行動を支援する入口として設計すべきである。

精神的危機に関わる相談では、さらに慎重さが必要である。自殺念慮、自傷の衝動、虐待、家庭内暴力、強い孤立、幻覚や妄想、急激な混乱がある場合、AI が対話だけで抱え込むことは危険である。患者が AI に気持ちを打ち明けることで一時的に落ち着くことはあるかもしれない。しかし、危機的な状態では、対話の継続よりも、安全確保、緊急連絡先、身近な人への連絡、専門職への接続が優先される。共感的な文章を返すことと、危機介入を行うことは同じではない。

慢性疾患の相談でも、AI の役割には限界がある。糖尿病、高血圧、心疾患、腎疾患、精神疾患、自己免疫疾患などでは、薬、食事、運動、検査値、合併症、他の病気との関係を継続的に見なければならない。AI が一般的な生活管理や記録支援を行うことは有益である。しかし、薬の変更、治療中断、受診間隔の変更を AI が独断で勧めることは危険である。慢性疾患の管理では、短期的に症状が落ち着いていても、長期的な悪化や合併症リスクを見なければならないからである。

場面 AI に任せやすいこと AI 単独にすべきでないこと 理由
軽い症状相談 一般的な注意点、受診目安、緊急症状の説明、相談前に整理すべき情報の提示を行う。 個別診断を確定し、受診不要と断定する。 軽く見える症状の中に、まれだが重大な病気が隠れていることがあるためである。
救急判断 危険サインを広く拾い、救急受診や専門窓口への相談を促す。 胸痛、麻痺、意識障害、強い頭痛、呼吸困難などを低リスクと判定して受診を抑制する。 判断の遅れが、治療開始の遅れや生命への危険に直結するためである。
精神的危機 緊急連絡先、支援先、身近な人への連絡、危険時の行動を案内する。 自殺念慮、自傷衝動、虐待リスク、暴力リスクを対話だけで抱え込む。 危機的状況では、共感的な応答よりも安全確保と専門職への接続が優先されるためである。
慢性疾患相談 一般的な生活管理、記録支援、受診時に相談すべき項目の整理を行う。 薬の変更、治療中断、受診間隔の変更を独断で勧める。 慢性疾患では、現在の症状だけでなく、検査値、合併症、長期リスクを見て治療を調整する必要があるためである。
小児・妊娠中の相談 注意すべき症状、早めに相談すべき条件、受診先の目安を整理する。 子どもの急変や妊娠中の異常を、一般的な成人の軽症相談と同じように扱う。 子どもや妊娠中の患者では、同じ症状でも危険度や必要な対応が変わるためである。

医療相談 AI を安全に使うには、患者を安心させることだけを目的にしてはならない。必要なのは、危険サインを拾うこと、受診すべき条件を明示すること、AI の回答が診断ではないことを示すこと、緊急時には医療者や救急窓口へ接続することである。AI が患者の不安を整理することは有益である。しかし、患者の受診を抑制する方向に働くなら危険である。医療相談 AI は、病院へ行かなくてよい理由を与える道具ではなく、必要なときに医療へつなぐ道具でなければならない。

したがって、トリアージと医療相談 AI は、医療 AI の中でも特に慎重に扱うべき領域である。画像診断 AI や文書作成 AI も危険を持つが、多くの場合は医療者が確認する前提を作りやすい。これに対して、相談 AI は患者が一人で使い、その回答をもとに受診するかどうかを決めることがある。ここでは、AI の誤りが患者の行動に直結する。医療相談 AI に求められるのは、賢く診断名を当てることではなく、危険な見落としを避け、必要なときに人間の医療者へ接続し、患者を孤立した自己判断に閉じ込めないことである。

11. 終末期ケアに AI を入れるべきか

終末期ケアに AI を入れるべきか。この問いは、他の医療 AI よりも慎重に考える必要がある。なぜなら、終末期ケアでは、医療の目的そのものが変わるからである。病気を治すことが難しくなったとき、医療は単に病変を小さくすることや、検査値を改善することだけを目的にできなくなる。苦痛を減らすのか。延命を優先するのか。集中治療を続けるのか。家で過ごすのか。意識がある時間を大切にするのか。家族と話す時間を確保するのか。患者本人が何を大切にしているのかを確認することが、治療方針の中心に近づいてくる。

終末期ケアでは、医学的にできることと、本人にとって望ましいことが必ずしも一致しない。人工呼吸器を使えることと、使うべきことは同じではない。抗がん剤を続けられることと、続けることが本人の望みに合うことは同じではない。入院して治療を続けることと、自宅で家族と過ごすことのどちらがよいかは、医学的な数値だけでは決まらない。ここでは、生命をどれだけ延ばせるかだけでなく、残された時間をどのように過ごすかが問題になる。

Hastings Center は、終末期ケアでは、どの治療を行い、弱め、中止し、差し控えるかという選択が中心になると整理している[32]。また、Hastings Center の終末期ケア・ガイドラインは、死にゆく患者、家族、介護者、医療者が直面する判断を倫理的に支えることを目的としている[33]。この整理が重要なのは、終末期ケアが単なる医療技術の選択ではなく、患者の尊厳、家族との関係、苦痛の軽減、本人の意思、医療者の説明責任を含む判断だからである。

AI は、この領域でも役立つ可能性がある。たとえば、過去の診療記録、検査値、病状の変化から、患者の予後を推定することができるかもしれない。緩和ケアを早めに導入すべき患者を見つけることもできるかもしれない。医師が家族面談の前に、病状、治療経過、今後の選択肢を整理する補助にも使える。患者や家族に説明するための資料の下書きを作ることもできる。終末期ケアでは情報が複雑になりやすいため、AI が情報整理を助ける意味はある。

しかし、終末期ケアの中心は、確率計算ではない。AI が「この患者の 6 か月生存率は低い」と推定したとしても、それだけで治療方針は決まらない。予後予測は重要な情報である。しかし、患者が何を大切にしてきたのか、どの苦痛を避けたいのか、どの関係を保ちたいのか、どこで過ごしたいのか、何を納得と呼べるのかは、確率だけでは決められない。終末期ケアでは、医学的な見通しと、本人の価値観を結びつける対話が必要になる。

ここで注意すべきなのは、AI の予測が強い言葉として働きやすいことである。医師が「統計的には厳しい状況です」と説明する場合でも、本来は患者や家族の反応を見ながら、言葉を選び、理解を確認し、希望や不安を聞き取る必要がある。ところが AI が数値や分類として「予後不良」「治療効果は低い」「緩和ケア適応」と示すと、その表示が結論のように見えることがある。予測は判断材料であるはずなのに、患者や家族にとっては、未来を決めつけられたように感じられる可能性がある。

AI の予後予測には、別の危険もある。過去の医療データにもとづく予測は、過去の医療のあり方を反映する。ある患者群が十分な治療を受けられていなかった場合、そのデータにもとづく AI は、その患者群の予後を低く見積もるかもしれない。高齢者、障害のある人、認知症の人、慢性疾患を複数持つ人、十分な医療アクセスを持たなかった人について、AI が「治療効果が低い」と判断したとき、その判断が本当に医学的な予測なのか、過去の医療格差を反映したものなのかを確認する必要がある。

終末期ケアでは、患者本人の意思も難しい問題になる。本人が明確に意思表示できる場合もあれば、意識が低下している場合、認知機能が低下している場合、家族が代理で判断する場合もある。AI が患者の過去の発言、診療記録、生活歴から「本人はこう望む可能性が高い」と推定できたとしても、それを本人の意思そのものとして扱ってはならない。人間の意思は、文書や発言の断片から完全に復元できるものではない。終末期の意思決定では、本人の過去の価値観、現在の状態、家族の理解、医療者の説明を丁寧に合わせる必要がある。

家族への説明でも、AI の役割には限界がある。家族は、医学的な情報だけでなく、悲しみ、迷い、後悔、罪悪感、不安を抱えている。治療を続けるべきか、苦痛を減らすことを優先すべきか、本人は何を望んでいたのかという判断は、家族にとって重い。AI が面談用の説明文を作ることはできる。しかし、家族が沈黙したとき、怒ったとき、泣いたとき、理解できずに同じ質問を繰り返したとき、その場にとどまり、関係の中で支えることはできない。終末期ケアでは、説明文を作ることと、家族と向き合うことは同じではない。

用途 AI が役立つ点 危険になる点 必要な線引き
予後予測 病状、検査値、治療経過から、今後の見通しを整理する補助になる。 確率的な予測が、本人の未来を決めつける結論のように扱われる可能性がある。 予測は判断材料にとどめ、治療方針は本人の価値観と医療者の説明を含めて決める。
緩和ケア導入 苦痛が強い患者や、早期に緩和ケアを検討すべき患者を見つけやすくなる。 緩和ケアが、治療を諦めることや医療資源を減らすことのように誤解される可能性がある。 緩和ケアは苦痛を減らし、本人らしい時間を支える医療であることを説明する。
家族面談の準備 病状、治療経過、選択肢、説明すべき論点を整理できる。 整理された説明が、家族の悲しみや迷いを受け止める対話の代わりになる可能性がある。 AI は面談準備に使い、実際の説明と対話は医療者が担う。
患者説明文の作成 治療方針、苦痛緩和、今後の見通しをわかりやすく書き直せる。 不確実性や選択肢が単純化され、患者が十分に考える機会を失う可能性がある。 医療者が確認し、患者の理解度、不安、価値観に合わせて説明する。
本人意思の推定 過去の診療記録や発言から、本人が大切にしていたことを整理する補助になる。 AI の推定が、本人の意思そのものとして扱われる可能性がある。 推定は参考情報にとどめ、本人、家族、医療者の対話で慎重に確認する。

終末期ケアで AI を使うなら、最も重要なのは、AI を判断者にしないことである。AI は、情報を整理し、予後の見通しを補助し、緩和ケアの導入候補を示し、面談準備を助けることはできる。しかし、治療を続けるか、治療を弱めるか、苦痛緩和を優先するか、家で過ごすか、集中治療を続けるかという判断を、AI が単独で決めてはならない。これらは、患者の身体だけでなく、患者の人生、家族関係、価値観、尊厳に関わる判断だからである。

したがって、終末期ケアに AI を入れるべきかという問いへの答えは、単純な賛成でも反対でもない。AI は、情報整理と意思決定支援には使える。しかし、患者や家族の代わりに価値判断をする主体にはなれない。AI が出す確率は、患者がどう生き終えるかを決めるものではない。終末期ケアで必要なのは、予測の精度だけではなく、本人の価値観を聞き取り、家族と対話し、不確実性を伝え、苦痛を減らし、納得できる選択を支えることである。ここでは、AI は判断者ではなく、医療者が責任ある対話を行うための補助者にとどめるべきである。

12. 医療 AI は医師になれるのではなく、医療の責任を見えやすくする

ここまで見てきたように、医療 AI は、医療の一部を確かに支援できる。画像から異常候補を示すことができる。検査値や病歴から診断候補を整理できる。患者向けの説明文を下書きできる。医療相談に応答し、受診前の不安を整理できる。救急やトリアージの場面で、危険サインを拾う補助にもなりうる。終末期ケアでも、予後の見通し、緩和ケア導入の候補、家族面談の準備を支援できる可能性がある。したがって、医療 AI を単に危険なものとして退ける必要はない。適切に使えば、医療者の負担を減らし、見落としを減らし、患者の理解を助ける道具になりうる。

しかし、医療 AI が支援できることと、医師になれることは同じではない。医師の仕事は、病名を当てることだけではない。患者の話を聞き、身体を診察し、検査結果を読み、生活背景を考え、本人の希望を確認し、複数の選択肢を示し、不確実性を説明し、患者が判断できる状態を作ることである。さらに、悪い知らせを伝え、治療の限界を説明し、苦痛や不安を受け止め、家族との関係を含めて支えることも医療の一部である。AI は情報を処理できるが、患者の人生に関わる判断を責任ある関係の中で引き受ける主体ではない。

医療倫理の基本原則として、患者の自律、利益、害の回避、公正がある[34]。医療 AI は、この四つの原則を消すのではなく、むしろ難しくする。患者の自律を守るためには、患者が AI の関与を理解し、自分の診療に AI がどう使われたのかを知る必要がある。患者の利益を実現するためには、AI が単に高性能であるだけでなく、実際にその患者の状態改善や理解に役立つ必要がある。害の回避のためには、誤診、見落とし、過剰診療、受診抑制、誤った安心を防がなければならない。公正のためには、AI が特定の年齢、性別、疾患、障害、地域、言語、社会的背景を持つ患者に不利に働かないようにしなければならない。

つまり、医療 AI の倫理は、AI の性能だけでは決まらない。平均精度が高くても、特定の患者群で性能が落ちるなら問題である。説明文が自然でも、患者が誤解するなら問題である。相談 AI が親切に見えても、必要な受診を遅らせるなら問題である。トリアージ AI が効率的でも、過去の医療格差を反映して患者の優先度を下げるなら問題である。終末期ケアで AI が予後を予測できても、その予測が本人の価値観や家族との対話を押しのけるなら問題である。医療 AI は、性能、効率、便利さだけでなく、安全性、公平性、説明責任、患者の理解、人間による監督を含めて評価されなければならない。

医療 AI の責任問題については、患者への害と安全保証を分けて考える必要がある。医療 AI の説明責任と安全性をめぐる議論では、誰が何を保証し、事故時にどのように説明できるかが中心問題になる[35]。また、AI が診断、予後、治療に意味のある影響を与える場合、患者への説明や同意の扱いも重要になる[36]。患者が医療 AI の利用について何を知りたいかを調べる研究もあり、AI 利用の開示や説明内容は今後ますます重要になる[37]。これは、医療 AI が医療の裏側で動く単なる計算処理ではなく、患者が理解し、納得し、選択する過程に関わる技術であることを示している。

ここで重要なのは、責任を単純化しないことである。AI が出した結果を医師が使ったからといって、責任を医師一人に閉じ込めてよいわけではない。病院は、その AI をどの場面で使うかを決め、医療者を教育し、確認手順を設計し、ログを残し、患者への説明を整えなければならない。開発者や提供企業は、AI の性能、限界、対象患者、失敗しやすい条件、更新履歴を明示しなければならない。規制者は、高リスクの医療 AI について、安全性、有効性、変更管理、導入後監視の枠組みを整えなければならない。医師は、AI の出力を患者の状態と照らして確認し、必要なら退けなければならない。患者は、自分の診療に AI がどう関わったのかを理解できるように説明を受ける必要がある。

項番 AI に任せてよいこと 任せてはならないこと 理由
1 画像、検査値、診療記録から注意すべき候補を整理する。 候補をそのまま確定診断として扱う。 診断には、患者の症状、診察所見、病歴、生活背景、不確実性の評価が必要だからである。
2 患者説明文、退院後の注意、質問回答の下書きを作る。 医療者の確認なしに、患者への最終説明として渡す。 説明には、患者個別の状態、不安、理解度、再受診の条件を反映する必要があるからである。
3 医療相談で、一般的な注意点や危険サインを整理する。 受診不要、治療不要、薬の変更を個別に断定する。 相談 AI の回答が、患者の受診行動や治療継続に直接影響する可能性があるからである。
4 トリアージで、緊急性を疑う情報を拾い、医療者への接続を促す。 重大症状を低リスクと判断して、受診を抑制する。 胸痛、麻痺、意識障害、精神的危機などでは、判断の遅れが重大な結果につながるからである。
5 終末期ケアで、予後、治療経過、面談資料を整理する。 治療中止、延命、緩和ケア、過ごし方を AI が単独で決める。 終末期の判断は、患者の価値観、家族との関係、苦痛、尊厳に関わるためである。

医療 AI は、医師、病院、開発者、規制者、患者の間にある責任の構造を見えやすくする。これまで人間の専門性や慣習の中に隠れていた判断が、AI の導入によって分解されるからである。誰が情報を集めるのか。誰が候補を出すのか。誰が確認するのか。誰が患者に説明するのか。誰が不確実性を引き受けるのか。誰が事故を調査するのか。誰が再発防止を行うのか。AI が医療に入ることで、これらの問いを曖昧なままにできなくなる。

その意味で、医療 AI は医師になれるのではない。むしろ、医療がもともと持っていた責任の重さを明らかにする技術である。医療は、単なる情報処理ではない。患者の身体、生活、価値観、苦痛、不安、死に関わる判断の連続である。AI は、その中の情報整理、候補提示、見落とし防止、文書作成、説明補助を担える。しかし、患者の価値観を受け止めること、重大な不確実性を引き受けること、死や苦痛に関わる最終判断を単独で下すことはできない。

結論は明確である。医療 AI は、医師の一部の作業を補助できるが、医師そのものにはなれない。任せてよいのは、情報整理、候補提示、下書き、見落とし防止、業務負担の軽減である。任せてはならないのは、患者の価値観を受け止めること、重大な不確実性を引き受けること、患者や家族との関係の中で説明責任を果たすこと、死や苦痛に関わる最終判断を単独で下すことである。医療 AI の倫理とは、AI を恐れることでも、AI に期待しすぎることでもない。医療の中で人間が引き受けるべき判断を、技術によって曖昧にしないための設計である。

参考文献

  1. id774, 生命を作る時代のバイオエシックス（2026-05-20）. https://blog.id774.net/entry/2026/05/20/4791/
  2. id774, 人工配偶子は親子関係を作り直す（2026-05-23）. https://blog.id774.net/entry/2026/05/23/4798/
  3. id774, 境界的存在をどう評価するか（2026-05-25）. https://blog.id774.net/entry/2026/05/25/4805/
  4. id774, ゲノム編集はどこまで許されるのか（2026-05-26）. https://blog.id774.net/entry/2026/05/26/4810/
  5. id774, 公正世界仮説を責任推定の誤差として捉える（2026-05-21）. https://blog.id774.net/entry/2026/05/21/4793/
  6. id774, 人間の注意と認知はどのように消費され始めたか（2026-05-18）. https://blog.id774.net/entry/2026/05/18/4783/
  7. id774, 意味は差異の読み取りから生まれる（2026-05-09）. https://blog.id774.net/entry/2026/05/09/4740/
  8. id774, クオリアはどのように成立するのか（2026-04-21）. https://blog.id774.net/entry/2026/04/21/4565/
  9. The Hastings Center, AI in Healthcare. https://www.thehastingscenter.org/briefingbook/ai-in-healthcare/
  10. World Health Organization, Ethics and governance of artificial intelligence for health. https://www.who.int/publications/i/item/9789240029200
  11. World Health Organization, Regulatory considerations on artificial intelligence for health. https://www.who.int/publications/i/item/9789240078871
  12. World Health Organization, Ethics and governance of artificial intelligence for health: Guidance on large multi-modal models. https://www.who.int/publications/i/item/9789240084759
  13. U.S. Food and Drug Administration, Artificial Intelligence in Software as a Medical Device. https://www.fda.gov/medical-devices/software-medical-device-samd/artificial-intelligence-software-medical-device
  14. U.S. Food and Drug Administration, Artificial Intelligence-Enabled Medical Devices. https://www.fda.gov/medical-devices/software-medical-device-samd/artificial-intelligence-enabled-medical-devices
  15. European Commission, Artificial Intelligence in healthcare. https://health.ec.europa.eu/ehealth-digital-health-and-care/artificial-intelligence-healthcare_en
  16. European Commission, AI Act. https://digital-strategy.ec.europa.eu/en/policies/regulatory-framework-ai
  17. National Institute of Standards and Technology, Artificial Intelligence Risk Management Framework. https://www.nist.gov/itl/ai-risk-management-framework
  18. OECD, AI principles. https://www.oecd.org/en/topics/sub-issues/ai-principles.html
  19. UNESCO, Recommendation on the Ethics of Artificial Intelligence. https://www.unesco.org/en/artificial-intelligence/recommendation-ethics
  20. American Medical Association, Augmented intelligence in medicine. https://www.ama-assn.org/practice-management/digital-health/augmented-intelligence-medicine
  21. American Medical Association, AMA AI principles. https://www.ama-assn.org/system/files/ama-ai-principles.pdf
  22. National Academy of Medicine, Health Care Artificial Intelligence Code of Conduct. https://nam.edu/our-work/programs/leadership-consortium/health-care-artificial-intelligence-code-of-conduct/
  23. JAMA, AI, Health, and Health Care Today and Tomorrow. https://jamanetwork.com/journals/jama/fullarticle/2840175
  24. NEJM, AI in Medicine. https://www.nejm.org/ai-in-medicine
  25. BMJ, FUTURE-AI: international consensus guideline for trustworthy and deployable artificial intelligence in healthcare. https://www.bmj.com/content/388/bmj-2024-081554
  26. Nuffield Council on Bioethics, AI in healthcare and research. https://www.nuffieldbioethics.org/publication/ai-in-healthcare-and-research/
  27. KFF, Tracking Poll on Health Information and Trust: Use of AI for Health Information and Advice. https://www.kff.org/public-opinion/kff-tracking-poll-on-health-information-and-trust-use-of-ai-for-health-information-and-advice/
  28. Pew Research Center, How Americans View Use of AI in Health Care and Medicine by Doctors and Other Providers. https://www.pewresearch.org/science/2023/02/22/60-of-americans-would-be-uncomfortable-with-provider-relying-on-ai-in-their-own-health-care/
  29. Pew Research Center, Health information from social media and AI rated more convenient than accurate. https://www.pewresearch.org/science/2026/04/07/users-of-social-media-and-ai-chatbots-for-health-information-are-more-likely-to-say-they-are-convenient-than-accurate/
  30. JAMA Network Open, Clinician Perspectives on AI-Generated Drafts of Patient Test Result Explanations. https://jamanetwork.com/journals/jamanetworkopen/fullarticle/2837938
  31. Nature Digital Medicine, Accuracy of online symptom assessment applications including artificial intelligence-based tools. https://www.nature.com/articles/s41746-025-01566-6
  32. The Hastings Center, End-of-Life Care. https://www.thehastingscenter.org/briefingbook/end-of-life-care/
  33. The Hastings Center, The Hastings Center Guidelines on End-of-Life Care. https://www.thehastingscenter.org/who-we-are/our-research/selected-past-projects/1544-2/
  34. Varkey B., Principles of Clinical Ethics and Their Application to Practice. https://pmc.ncbi.nlm.nih.gov/articles/PMC7923912/
  35. Habli I. et al., Artificial intelligence in health care: accountability and safety. https://pmc.ncbi.nlm.nih.gov/articles/PMC7133468/
  36. American Medical Association, Ethical AI Use in Medicine: A Clinical Practice Toolkit. https://edhub.ama-assn.org/code-of-medical-ethics/module/2843218
  37. Park H. J. et al., Patient perspectives on informed consent for medical AI. https://journals.sagepub.com/doi/10.1177/20552076241247938