考えを変えたら、根拠も見直す

by

一度根拠を確認して決めたことでも、判断の前提が変われば、その根拠が引き続き使えるとは限らない。たとえば、ソフトウェアの要求仕様を変更した後に、変更前のテストがすべて成功していたという記録を示しても、新しく加わった要求の検証にはならない場合がある。研究計画でも、調べる問題を変更した後は、それまで読んでいた論文が現在の計画を支えるかを確かめ直す必要が生じる。根拠そのものが誤っていなくても、根拠と判断対象の関係が変わるためである。

この関係は、根拠が成立した条件と、その根拠を利用する現在の条件を分けると理解しやすい。テスト結果は、特定の実装、入力、期待結果について実際に確認された事実を示す。研究論文も、特定の対象、方法、測定条件の下で得られた結果を報告する。いずれも、その事実から何を判断できるかは、証拠が得られたときの条件に依存している。判断対象を変更すると、証拠として記録された事実は変わらなくても、その事実から現在の結論を導けるかどうかは変化する。

考えを変更したときは、その変更が既存の根拠と評価条件に及ぼす影響を確認し、変更後も判断が成立するかを検証する必要がある。確認の対象は、変更された主張だけでなく、その主張を支える資料、前提条件、評価方法にも及ぶ。ただし、すべての資料や評価方法を初めから作り直すことが目的ではない。変更によって適合性が失われた部分と、引き続き利用できる部分を区別することで、再検証の範囲を定められる。既稿では、未整理の情報を検証可能な判断構造へ変えることを論じた[1]。そこで組み立てた判断が変更された場合には、判断を構成する条件のうち、何が維持され、何が再評価を必要とするかという問題が生じる。

根拠を見直す際には、資料そのものの正確性、現在の主張との関連性、その主張を支えるための適用条件を区別する必要がある。さらに、主張の変更が他の評価条件へどのように波及するかを調べれば、必要な見直しの範囲を特定できる。研究計画の変更に合わせて関連文献を選び直し、文献から得られた知見を研究案の修正へ反映する LitPivot というシステムは、この関係を研究活動の中で具体的に扱う事例である。

1. 考えを変えても、根拠は同じでよいのか

「特定の条件では処理を実行しない」という要求に対し、条件を満たす入力で処理が止まることをテストしたとする。テストでは、該当する入力を与えたときに処理が実行されないことを確認し、期待結果と実測結果が一致すれば合格と判定する。この時点では、処理の停止が要求の成立条件であり、テスト結果はその条件を満たしたことの証拠になる。

その後、要求が「処理を実行せず、利用者に理由を表示する」に変更された場合、以前のテストが成功したという事実は残る。しかし、そのテストが確認したのは処理の停止までであり、理由を表示するという追加条件の成立は確認していない。変更後の要求を満たすためには、処理が停止することに加えて、停止した理由が利用者へ表示されることを確認する必要がある。要求の変更によって、合格を示すために必要な証拠の範囲が広がったのである。

この変更では、要求を構成する条件と、それぞれを確認するテストの対応関係を整理できる。

確認対象 変更前の検証 変更後に必要な検証 既存結果の位置づけ
処理の停止 指定された条件で処理が実行されないことを確認する。 変更後の実装でも同じ停止条件が成立することを確認する。 変更前の実装で停止条件を満たした証拠として利用できる。
理由の表示 表示に関する要求がなく、確認対象に含まれていない。 停止時に利用者へ理由が表示されることを確認する。 既存のテスト結果には、表示の成立を判断する情報が含まれていない。
停止条件と表示内容の対応 停止条件の成立だけを確認し、表示内容との対応は検証していない。 停止した条件に対応する理由が表示されることを確認する。 既存の結果から表示内容の適切さを判断することはできない。
変更後の要求全体 処理の停止という変更前の要求を満たしたことを確認する。 停止と理由の表示が、ともに要求された条件で成立することを確認する。 既存結果と追加の検証結果を組み合わせ、変更後の適合性を判断する。

この表では、変更前に成立していた停止条件と、変更後に追加された表示条件を分けている。停止条件の要求が維持されていれば、その条件に対応する既存のテスト設計は再利用できる可能性がある。一方、理由の表示については新しい検証が必要になる。さらに、表示機能を追加するために実装を変更した場合には、その変更が既存の停止処理へ影響していないかも確認する必要がある。過去のテスト結果が示すのは、当時の実装と検証条件に対する結果であり、変更後の実装でも同じ結果が得られることは再実行によって確かめることになる。

ここでは、古いテスト結果の正確性を疑う必要はない。以前の仕様に対応したテストとしては正しい結果であり続ける。一方、その結果だけで変更後の仕様を満たすと判断すれば、未検証の条件を検証済みと取り違える。第一に、要求の変更によって合格判定に必要な条件が増える。第二に、既存のテストが確認していた条件と、変更後に必要な条件の間に差が生じる。その差を明らかにしなければ、過去の証拠を現在の判断へ適用できる範囲を特定できない。

同じ構造は研究計画にも現れる。たとえば、当初は「医療文書の事実誤認を検出する」という課題を設定し、単一の文書に記載された診断名や検査値が参照情報と一致するかを調べる研究を計画したとする。この段階では、文書内の記述と正解データを比較し、誤った記述を検出できるかという評価方法が考えられる。先行研究も、文書中の事実誤認、正解データとの照合方法、検出精度などを中心に選定される。

ところが、研究課題を「複数回の受診記録にまたがる記載の矛盾を検出する」へ変更すると、検証対象が変わる。単一の文書に記載された値が正しいかという問題から、異なる時点の記録を照合し、それらの関係が整合しているかという問題へ移るためである。必要になる情報には、受診日時、同一患者を識別する条件、検査値や診断内容が変化した経緯などが加わる。単一文書の事実誤認を測定した先行研究は、変更後の計画でも背景知識として使える可能性がある。しかし、受診時点をまたぐ矛盾がどの程度発生するか、どの条件で矛盾と判断するか、どのデータで測定できるかという主張には、別の根拠が必要になる。

特に、異なる受診時点で記載内容が一致しないことと、記録に誤りが存在することは区別しなければならない。患者の状態が時間とともに変化した場合、診断名や検査値が異なるのは自然な結果である。二つの記録の値が違うという理由だけで矛盾と判定すれば、正当な状態変化まで誤りとして数える可能性がある。この場合、研究課題の変更は、参照する文献だけでなく、矛盾の定義、正解データの作成方法、検出結果を評価する基準にも影響する。

研究計画の変更によって、従来の先行研究がすべて不要になるわけではない。単一文書の事実誤認に関する知見は、複数文書を比較する際にも、個々の記述が正しいかを判断するために利用できる。一方、時間経過に伴う状態変化と記録間の不整合を区別するためには、別の知識や評価条件が求められる。以前の文献が何を示していたか、その知見が変更後の研究課題のどの部分を支えるかを整理することで、既存の根拠を維持できる範囲と新しい根拠を必要とする範囲が明確になる。

ソフトウェアの要求変更と研究課題の変更では、対象も検証方法も異なる。しかし、どちらも判断対象が変更されることで、従来の証拠が担える役割に変化が生じている。ソフトウェアでは、要求条件とテスト結果の対応が変わる。研究では、問題設定と先行文献、評価方法の対応が変わる。変更前の判断と変更後の判断が同じ資料やテスト結果を参照していても、それらが支えている条件まで同じとは限らない。根拠の適合性を確認するには、資料や検証結果が何についての事実を示し、その事実が現在のどの主張につながるのかを特定する必要がある。

2. 正しい情報と、判断に使える根拠は異なる

ある治療法の研究で効果が報告されたとしても、異なる患者集団に同じ効果があるとは直ちに結論できない。年齢、重症度、併用治療、追跡期間、測定する結果が異なれば、研究から得られた推定値をどこまで適用できるかが変わる。Cochrane Handbook は、研究で実際に調べた条件と、意思決定に用いたい条件の間に生じる「間接性」と「適用可能性」という観点から、研究結果が現在の問いにどこまで対応しているかを検討している[2]。

たとえば、比較的症状の軽い成人を対象に、ある治療法を 4 週間実施し、症状の改善度を測定した研究があるとする。その研究で治療群と比較群の間に改善度の差が認められた場合、結果が直接示しているのは、研究に参加した患者集団と治療条件における、4 週間後の症状の違いである。研究の測定方法や解析が適切であれば、その条件で得られた結果には一定の信頼性を認められる。しかし、高齢で重症度の高い患者に同じ治療を適用し、1 年後の入院率を下げられるかという判断には、別の確認が必要になる。

この違いには二つの理由がある。第一に、患者の重症度や併用治療が変わることで、治療による効果の大きさが変化する可能性がある。第二に、4 週間後の症状改善と 1 年後の入院率では、測定している結果そのものが異なる。短期間の症状改善が認められても、それが長期的な入院の減少につながるかは、症状の改善が持続するか、入院を引き起こす要因に作用するかといった条件に左右される。患者集団と測定項目の両方が変わっている以上、元の研究結果だけから変更後の問いへの答えを確定することはできない。

ただし、研究対象の条件が異なることは、必ずしも研究結果を適用できないことを意味しない。患者の年齢や重症度が違っていても、治療効果に影響する仕組みが共通していれば、結果を参考にできる場合がある。一方、治療による相対的な効果が似ていても、治療前のリスクが異なれば、実際に減少する発症者数や入院者数は変わりうる。適用可能性を判断するには、条件に違いがあるという事実だけでなく、その違いが効果の推定や意思決定へどのような影響を及ぼすかを調べる必要がある。

研究結果が信頼できるかを検討する作業と、その結果が現在の問いに合っているかを検討する作業には、異なる確認事項がある。前者では、測定方法、研究対象の選定、比較条件、研究上の偏り、推定値の不確実性などを確認する。後者では、対象集団、介入方法、比較対象、測定項目が、現在の判断で必要としている条件とどこまで一致するかを確認する。研究結果の信頼性が高くても、現在の主張より狭い条件で得られた結果なら、主張の適用範囲を限定するか、変更された条件に対応する根拠を追加する必要がある。

この区別は医療研究に限らない。ある資料が正しい事実を記載していることと、その事実から現在の主張を導けることは別の条件である。資料を判断の根拠として採用する際には、少なくとも次の五つの評価軸を確認できる。

評価軸 確認すること 不一致がある場合の判断
正確性 資料に記載された観測や測定が信頼できるかを確認する。 誤りのある情報を修正するか、採用対象から外す。
関連性 資料が変更後の主張で扱う対象に関係しているかを確認する。 関連する範囲を限定し、必要に応じて別の資料を選ぶ。
支持関係 資料に含まれる事実から、実際にその主張を導けるかを確認する。 根拠を追加するか、主張を資料が支持する範囲へ修正する。
適用範囲 対象、条件、時期、測定項目が現在の判断と一致するかを確認する。 適用条件を明示し、一致する条件での検証を追加する。
評価条件 現在の主張を、既存の指標や手順で検証できるかを確認する。 変更された対象に対応する評価方法を追加または変更する。

表の各項目は、根拠を選び直す際の異なる理由を表している。たとえば、ある治療法について症状の改善を報告した論文は、その治療法の効果を検討するという意味では関連性がある。しかし、入院率への影響を測定していなければ、入院率を減らすという主張を直接支持する根拠にはならない。この場合、資料との関連性が認められても、支持関係には不足が残る。反対に、同じ測定項目を使っていても、患者集団や治療条件が異なれば適用範囲を確認する必要がある。五つの評価軸は、資料を一律に採用または除外するための分類ではなく、どの条件が現在の判断を支えているかを確認するためのものである。

評価軸を分けることで、根拠が不足している場合の対応も変わる。資料の測定結果に誤りがあれば、その資料の信頼性を再評価する必要がある。資料は正確でも対象集団が異なる場合には、条件の違いが結果に与える影響を確認する。資料が現在の主張に関連していても、主張した効果を測定していなければ、測定結果に合う範囲へ主張を限定するか、別の研究を追加する。さらに、研究課題の変更によって測定すべき結果が変わった場合には、根拠の追加だけでなく、評価指標そのものの変更が必要になる。

研究計画の変更でも、同じ論文を異なる役割で利用する場合がある。既存手法の検出精度を報告した論文は、その手法の性能を示す根拠になる。一方、その論文だけでは、新しく設定した研究課題がどの程度重要なのか、提案する方法が従来手法より優れているのかまでは判断できない。新しい研究課題の重要性には、問題の発生頻度や影響を示す資料が必要になり、提案手法の優位性には、比較条件を揃えた評価が必要になる。引用する論文が同じでも、そこから導こうとする主張が変われば、根拠としての役割を確認し直す必要がある。

根拠の再評価で確認すべきなのは、資料の数よりも、個々の資料と主張の対応関係である。関連文献を増やしても、それらが同じ条件についての結果しか示していなければ、変更後の主張に必要な証拠が不足したままになる場合がある。反対に、既存の資料が変更後も必要な条件を満たしていれば、その資料を維持できる。資料の正確性、関連性、支持関係、適用範囲、評価条件を区別することで、何を追加し、何を修正し、何を維持できるかという判断が可能になる。

3. 一つの変更が、他の判断を変える

要求仕様を変更すると、その要求を満たす設計、実装、テスト、合格判定に影響が及ぶ場合がある。要求を整理するための ISO/IEC/IEEE 29148:2018 は、システムやソフトウェアのライフサイクルにおける要求の作成・管理に関する工程と情報を定めている[3]。また、NASA のソフトウェア要求変更管理に関するガイダンスは、要求の変更を追跡し、関係する成果物への影響を評価することを扱っている[4]。要求を変更した際には、変更箇所そのものに加えて、その要求を前提として作られた成果物が現在の要求に適合しているかを確認する必要がある。

たとえば、あるシステムで商品の注文数量を 1 個から 100 個まで受け付ける仕様があり、これを 1 個から 50 個までに変更するとする。変更前の実装では、数量が 1 以上かつ 100 以下であることを検査し、範囲外の入力を拒否していた。テストでも、0 個を拒否し、1 個と 100 個を受け付け、101 個を拒否することを確認していた。この状態で上限を 50 個へ変更すると、入力検査の条件だけでなく、テストに設定された期待結果も変更する必要が生じる。

変更前は正常な入力だった 100 個が、変更後は拒否すべき入力になる。一方、0 個を拒否し、1 個を受け付けるという条件は維持される。さらに、新しい上限である 50 個を受け付け、51 個を拒否することを確認しなければ、変更された境界条件を検証したことにはならない。既存テストをそのまま実行した場合、100 個を受け付けるという古い期待結果が残っていれば、正しい変更後の実装を不合格と判定する可能性がある。反対に、古いテストを削除するだけでは、新しい上限付近で正しく動作することを確認できない。

このような変更では、仕様に記載された許容範囲が変わることで、実装の分岐条件が変わり、その結果としてテストの入力値と期待結果も変わる。さらに、注文数量の上限を画面側とサーバー側の両方で検査している場合、一方だけを変更すると、画面では拒否される数量をサーバーが受け付けるなど、処理経路によって異なる結果が生じる可能性がある。要求仕様から実装、テストへと影響が伝わるだけでなく、同じ要求に依存する複数の実装箇所にも整合性の確認が必要になる。

ソフトウェアテストの工程を扱う ISO/IEC/IEEE 29119-2:2021 は、テスト活動を統治・管理・実施するための工程を規定している[5]。変更後の検証では、既存テストを再実行することと、変更された要求に対して必要なテストを特定することを区別する必要がある。前者は用意されたテスト条件での実行結果を確認する作業であり、後者は現在の要求に対して検証条件が十分かを判断する作業である。テストがすべて成功しても、変更後の上限値を検証する条件が含まれていなければ、要求全体の成立を確認したことにはならない。

この依存関係を研究計画に置き換えると、問題設定、提案する貢献、評価方法の三つが対応する。問題設定は、研究がどの現象や未解決課題を対象とするかを定める。貢献は、その問題に対して既存研究と何が異なる知識や方法を示すかを定める。評価方法は、提案した貢献が問題の解決に結び付いているかを、どのデータと指標によって確認するかを定める。それぞれ役割は異なるが、研究計画として成立するには相互に対応している必要がある。

たとえば、単一の医療文書に含まれる事実誤認の検出を目的としていた研究を、複数の受診記録間に生じる矛盾の検出へ変更したとする。研究が扱う対象は、個々の記述と正解データの一致から、異なる時点に記録された情報の関係へ移る。この変更に対応するには、提案手法が複数の文書を関連付け、受診日時や患者の状態変化を考慮できるかを確認する必要がある。単一文書内の誤記を検出する機能が優れていても、複数時点の記録を照合する機能がなければ、変更後の問題設定に対する貢献は十分に説明できない。

評価方法にも影響が及ぶ。単一文書における事実誤認の検出精度を測定した結果は、複数の受診記録間に生じる矛盾の検出精度を直接示すものではない。変更後の評価には、同一患者の異なる受診記録を対応付けたデータや、時間経過に伴う正当な状態変化と記録間の矛盾を区別する正解情報が必要になる。さらに、正常な状態変化を矛盾として検出する場合には誤検出が生じるため、矛盾を正しく検出できた割合だけでなく、矛盾と判定した結果の正確さも確認する必要がある。問題設定の変更によって提案手法に求められる機能が変わり、その機能を検証するためのデータと評価条件も変わるのである。

研究計画では、問題設定から貢献、評価方法へ一方向に変更が伝わるとは限らない。評価に必要なデータが取得できないことが判明した場合、評価方法を変更するだけでなく、研究対象や貢献の範囲を修正する必要が生じる場合もある。また、先行研究を調査した結果、提案していた方法がすでに実現されていると分かれば、貢献の内容を見直し、それに伴って問題設定や比較対象を変更することになる。三つの要素は、どこを起点として変更が生じても、他の要素との対応を再確認する関係にある。

変更箇所 直接変化するもの 依存関係に沿って確認するもの
要求仕様 必要とされるシステムの振る舞いが変わる。 設計、実装、テストの期待結果が変更後の要求に対応しているかを確認する。
研究上の問題設定 説明すべき現象や解決対象が変わる。 提案する貢献と評価方法が現在の問題に対応しているかを確認する。
研究上の貢献 新しく示そうとする知識や方法が変わる。 先行研究との差異と、提案の有効性を測る方法を確認する。
評価方法 何を証拠として採用するかが変わる。 測定値が問題設定と貢献についての主張を裏付けるかを確認する。

表の各行では、変更された箇所と、その変更によって確認が必要になる箇所を分けている。要求仕様の変更では、変更後の条件に対応する実装とテストを確認する。研究上の問題設定を変更した場合には、提案した貢献が現在の問題を解決するものになっているか、その貢献を評価する方法が適切かを確認する。研究上の貢献を変更した場合には、既存研究との差異を改めて確認し、変更された貢献を評価できる比較条件を設定する。評価方法を変更した場合には、新しい測定値が当初の問題設定や貢献について、何を裏付けられるかを確認する。

変更の波及は、文書上で隣り合っている項目だけに生じるわけではない。研究計画書の冒頭に記載された問題設定を変更した結果、離れた場所に記載された実験条件や評価指標が適合しなくなる場合もある。要求仕様書、設計書、ソースコード、テスト仕様書のように、異なる成果物へ分散している場合にも同じことが起こる。記述位置やファイルの違いは、変更の影響範囲を決める基準にはならない。影響を受けるのは、変更された条件を前提として成立している項目である。

このため、変更の影響範囲を判断するには、どの要求がどの設計やテストに対応しているか、どの研究課題がどの提案手法や評価方法に対応しているかを把握する必要がある。対応関係が分かれば、変更前の条件を引き続き満たす部分と、新たに検証すべき部分を区別できる。一方、対応関係が不明確な場合には、変更箇所を修正しても、それに依存する別の条件が古い前提のまま残る可能性がある。変更を反映した文書や実装が存在することと、それらが全体として整合していることは別の確認事項になる。

一つの変更によって再評価が必要になる範囲は、変更の大きさだけでは決まらない。注文数量の上限値を変えるという小さな変更でも、複数の入力検査やテストに影響する場合がある。研究課題の説明を一文変更しただけでも、提案手法と評価データの対応が失われる場合がある。変更の影響を決めるのは、修正した文字数や文書の位置ではなく、その条件に依存している判断の範囲である。根拠を見直す際にも、変更された主張から依存関係をたどり、どの資料や評価条件が引き続き適合するかを確認する必要がある。

4. 根拠は、変更後も適合しているか

判断の前提を変更したとき、既存の文献をすべて除外して検索からやり直すと、それまでに確認した事実や、資料と主張の対応関係を十分に引き継げなくなる可能性がある。一方、既存の文献をそのまま維持すれば、変更後の主張に適合しなくなった根拠まで使い続ける危険がある。必要なのは、変更前に何を根拠として判断していたかを残した上で、変更後の判断に対して各根拠がどのような役割を持つかを確認することである。根拠の再評価は、資料を一律に採用または除外する作業ではなく、資料と主張の対応関係を変更後の条件に合わせて検証する作業になる。

たとえば、ある研究計画で「単一の医療文書に含まれる事実誤認を検出する」という課題を設定し、先行研究を調査したとする。文献の中には、事実誤認の定義を整理したもの、医療文書の誤記の発生傾向を調べたもの、検出手法の性能を比較したものが含まれている。それぞれの文献は、問題の存在を示す根拠、提案手法の比較対象、評価方法を選定する根拠として利用される。この段階で研究計画が成立しているのは、資料が収集されているからというだけでなく、個々の資料が研究計画のどの主張を支えているかが対応付けられているためである。

研究課題を「複数回の受診記録にまたがる記載の矛盾を検出する」へ変更した場合、これらの文献が担う役割は変化する。単一文書における事実誤認の定義は、個々の記述の正確性を評価するために引き続き利用できる可能性がある。しかし、異なる受診時点の記録が矛盾しているかを判断するには、記録の時間的な関係や患者の状態変化を考慮する必要がある。また、単一文書の誤記の発生頻度は、複数の受診記録間に生じる矛盾の発生頻度を直接示すものではない。研究課題の変更によって、以前の文献が支えていた主張の一部は維持される一方、別の主張には新しい根拠が必要になる。

この対応関係を確認するためには、変更前の主張、変更後の主張、参照していた資料、評価方法を区別して記録することが役立つ。たとえば、研究計画の変更前後で同じ論文を引用していても、変更前には問題の発生頻度を示す根拠として利用し、変更後には関連する技術の背景資料として利用する場合がある。引用先の論文は同じでも、その論文から何を導こうとしているかが変わるため、資料の採用可否だけを記録しても判断の変化を十分に説明できない。どの主張に対して、どの資料の、どの結果を根拠として利用しているかを対応付ける必要がある。

情報がどの活動や資料から生じたかを記録する仕組みとして、W3C の PROV-DM は、対象となる情報、情報を生成・利用する活動、それらに関与する主体と相互の関係を記述するためのデータモデルを定義している[6]。たとえば、研究計画のある版が過去の計画を改訂して作成されたことや、分析結果が特定のデータと分析活動から生成されたことを記録する関係を表現できる。このように、情報の由来や生成過程を追跡できる状態を、来歴が記録された状態と呼ぶ。

ただし、来歴の記録と根拠の妥当性の判定は異なる。PROV-DM に従って、ある研究計画が特定の論文を参照して作成されたことを記録しても、その論文が計画の主張を正しく支持しているとは限らない。来歴から確認できるのは、情報がどこから来たか、どの活動を経て利用されたかという関係である。その関係が現在の判断に適切かどうかは、論文の内容、研究対象、測定条件、主張との対応を別途確認する必要がある。来歴の記録は、根拠の妥当性を自動的に保証する仕組みではなく、妥当性を検証する際に参照関係をたどれるようにする仕組みとして位置づけられる。

研究課題を変更した場合の再評価を、具体的な判断項目に分けると次のようになる。

確認対象 変更前に成立していたこと 変更後に確認すること 判断の方向
単一文書の事実誤認 個々の記述と参照情報の一致を評価するための定義や先行研究がある。 変更後の研究でも個々の記述の正確性を評価する必要があるかを確認する。 必要な範囲で既存の根拠を維持する。
記録間の矛盾 単一文書の事実誤認を対象としており、複数の記録間の関係は評価していない。 異なる記録の不一致をどの条件で矛盾と判定するかを確認する。 矛盾の定義と判定条件を支える根拠を追加する。
問題の発生頻度 単一文書における誤記や事実誤認の発生傾向を把握している。 複数の受診記録間に生じる矛盾の発生頻度を示す資料があるかを確認する。 既存の発生頻度を変更後の課題へ直接適用せず、必要な根拠を追加する。
評価データ 個々の文書と正解情報を照合できるデータを用意している。 同一患者の複数時点の記録を対応付け、状態変化と矛盾を区別できるかを確認する。 変更後の課題に対応するデータと正解情報を追加または再設計する。
評価指標 単一文書の事実誤認について検出精度を測定している。 記録間の矛盾を正しく検出できるか、正常な状態変化を誤検出していないかを確認する。 変更後の検出対象に対応する評価条件を設定する。

表では、変更前の根拠が引き続き利用できる場合と、追加の根拠や評価条件が必要になる場合を分けている。単一文書の事実誤認に関する知見は、変更後の研究でも個々の記述の正確性を確認するために利用できる可能性がある。一方、記録間の矛盾の定義や発生頻度については、従来の研究が直接測定していた対象と異なるため、新たな資料が必要になる。評価データと評価指標についても、研究対象が変化した結果、従来の測定方法では確認できない条件が生じる。変更の影響を各項目へ分解することで、既存の研究成果を維持しながら、新たに検証すべき範囲を特定できる。

再評価では、根拠を追加するだけで解決する場合と、主張そのものを修正する必要がある場合も区別しなければならない。たとえば、複数の受診記録間に生じる矛盾の発生頻度を示す信頼できる資料が見つからなかった場合、発生頻度が高いことを前提とした研究の必要性は十分に裏付けられない。その場合には、追加調査によって発生頻度を確認する方法が考えられる。一方、必要なデータを取得できない場合には、対象とする医療文書の種類や研究課題の範囲を限定する判断も必要になる。根拠が不足しているという事実は、資料の追加だけでなく、研究計画の修正につながる場合がある。

また、資料が現在の研究課題に関連していることと、その資料から得られる結果にどの程度の確信を置けるかという判断も区別する必要がある。Cochrane Handbook の証拠の確実性に関する整理では、偏りのリスク、研究間の不一致、間接性、推定の不精確さ、出版バイアスといった異なる要因を区別している[7]。偏りのリスクは、研究の設計や実施方法によって推定結果が系統的に偏る可能性に関係する。研究間の不一致は、複数の研究で得られた結果がどの程度一致しているかに関係する。間接性は、研究が実際に調べた対象や条件が、現在の判断で必要とする対象や条件とどの程度対応しているかに関係する。推定の不精確さは、結果の不確実性に関係し、出版バイアスは、研究結果の公表や利用可能性に偏りが生じる可能性に関係する。

これらの要因を区別するのは、証拠への確信を損なう理由によって、必要な対応が異なるためである。研究対象の違いによる間接性が問題であれば、現在の対象に近い条件で実施された研究を探すことが考えられる。推定の不精確さが問題であれば、標本数や推定区間を確認し、主張できる効果の範囲を検討する必要がある。研究の設計上の偏りが問題であれば、同じ対象を扱っていても、より適切な研究デザインで得られた結果との照合が必要になる。単に関連文献を増やすだけでは、これらの異なる問題が解消されるとは限らない。

Cochrane Handbook のこの整理は、主に医療研究における証拠の確実性を評価するための方法である。研究デザインや証拠の性質が異なる分野へ、同じ評価手順をそのまま適用できるとは限らない。ただし、資料が存在すること、資料が現在の問いに関連すること、その資料の結果にどの程度依拠できるかを分ける必要性は、研究計画の変更を検討する際にも理解できる。たとえば、複数の受診記録間の矛盾を扱う論文が見つかったとしても、少数の記録だけを調べた結果なのか、多様な患者集団を対象にした結果なのかによって、研究計画の根拠として利用できる範囲は変わる。

根拠の再評価には、維持、追加、置換、主張の限定、評価方法の変更という複数の選択肢がある。既存の根拠が変更後も同じ主張を支持している場合には、その根拠を維持できる。新しい条件についての証拠が不足している場合には、資料を追加する必要がある。従来の資料に方法上の問題がある場合には、別の根拠への置換を検討する。現在の主張が資料の支持する範囲を超えている場合には、主張の対象や条件を限定する。研究課題の変更によって測定すべき現象が変わった場合には、評価方法そのものを変更する必要がある。

この判断を繰り返す際には、変更前の主張と根拠の対応関係を残しておくことにも意味がある。たとえば、研究案の修正によって関連文献が入れ替わった場合、以前の資料がなぜ採用されていたのか、どの変更によって適合しなくなったのかを確認できれば、同じ論点を再検討するときにも判断の経緯を追跡できる。また、新たに得られた文献によって研究課題を再び修正する場合には、現在の研究案だけでなく、以前の修正理由との整合性も確認できる。変更履歴と根拠の対応関係を維持することは、過去の判断を固定するためではなく、判断が変わった理由を後から検証可能にするための条件となる。

研究計画の変更によって必要になる作業は、文献検索のやり直しだけで決まるものではない。研究課題、既存文献、提案する貢献、評価方法の間に成立していた関係を確認し、変更後も成り立つ部分と修正を必要とする部分を特定することが先に求められる。根拠が維持できる場合には、その適用条件を明確にした上で利用し、根拠が不足する場合には追加調査や主張の修正を行う。こうして研究案と根拠の対応関係を更新することで、変更前の判断に依存したまま新しい研究計画を評価することを避けられる。

5. 文献に応じて研究案を変更する仕組み

研究計画の変更と先行文献の選び直しを、一つの作業として支援しようとしたシステムが LitPivot である。Hita Kambhamettu らの研究では、研究者が文献を読んで研究案を修正すると、修正後の研究案に関係する文献も変わるという相互作用を「文献を契機とした研究方向の転換」として扱っている[8]。開発機関 Ai2 の解説でも、研究案を構成する部分に応じて関連論文を提示し、選択された文献に基づく批評と修正候補を示す仕組みが説明されている[9]。研究案を変更する作業と、その変更を評価するための文献を選び直す作業を結び付けることが、システムの中心的な設計である。

通常の文献検索では、研究者が検索語や研究課題を指定し、その条件に合う論文を探す。検索結果を読んで研究課題を変更した場合には、新しい課題に合わせて検索語を修正し、別の文献を探す必要が生じる。さらに、変更前に選定した論文のうち、どれが新しい課題にも関係するかを判断しなければならない。検索と研究案の編集を別々に進めると、研究案の変更が文献の選定条件へ反映されないまま、以前の資料を使い続ける可能性がある。

研究案と文献の関係には、二つの方向がある。一つは、研究案を起点として、その問題や貢献を評価するための文献を探す方向である。もう一つは、文献から得られた知識を起点として、研究案の問題設定や評価方法を変更する方向である。前者では現在の研究案によって検索対象が決まり、後者では検索結果によって研究案が変わる。LitPivot は、この往復を研究者が操作できる形にし、どの文献を根拠として研究案のどの部分を変更するのかを確認できるようにしている。

5.1. 研究案のどの部分を文献で評価するか

LitPivot は研究案を、解決しようとする問題、提案する貢献、評価方法という三つの部分に分ける。問題は、何を解決する必要があるのか、その課題が実際に存在するのかを説明する部分である。貢献は、その問題に対してどのような知識や方法を新たに示すのかを説明する部分である。評価方法は、提案する貢献が問題の解決につながるかを、どのような実験や測定によって確認するかを説明する部分である。研究計画はこれらを組み合わせて成立するが、それぞれを評価するために必要な文献は異なる。

たとえば、「複数回の受診記録にまたがる矛盾を検出する」という研究計画を考える。問題設定を評価する場合には、受診記録間の矛盾が実際に発生していることや、その矛盾によってどのような影響が生じるかを示す研究が必要になる。提案する貢献を評価する場合には、既存の矛盾検出手法がどのような情報を比較できるか、時間経過に伴う患者の状態変化を扱えるかを調べる必要がある。評価方法を検討する場合には、異なる受診時点の記録を対応付けたデータや、矛盾と正常な状態変化を区別する正解情報をどのように構築するかが関係する。同じ研究計画でも、どの部分を評価するかによって必要な文献の種類が変わるのである。

LitPivot では、研究者が研究案を文章として入力すると、システムが問題、貢献、評価方法に対応する部分を識別する。研究者がその一部分を選択すると、システムは選択された内容に関連する文献を整理し、内容に応じて分類する。たとえば、評価方法を選択した場合には、関連研究がどのような実験や測定指標を使用しているかに着目して文献をまとめる。研究者は提示された文献から評価に使用するものを選択し、その文献に基づく批評を要求できる。

この仕組みでは、研究案全体に似ている論文を探すことと、研究案の特定の主張を評価するために論文を探すことが区別される。研究案全体の主題が似ていても、ある論文が必要な評価方法を説明しているとは限らない。一方、研究対象が異なる論文でも、採用している測定方法が現在の研究案に利用できる場合がある。文献との関連性を研究案全体で一律に判断するのではなく、評価対象となる部分ごとに整理することで、どの文献が何を支持するのかを検討しやすくしている。

文献を読んだ結果、研究案を修正する方向には二種類ある。一つは、既存研究ですでに扱われている内容との差異を明確にする変更である。もう一つは、既存研究から得られた知識や方法を研究案へ取り込み、現在の研究案を既存の知見と整合させる変更である。LitPivot の事前調査では、四つの研究プロジェクトの会議記録から 21 件の文献起点の方向転換が抽出された。そのうち 9 件が既存研究との差別化、12 件が既存研究との整合を取る変更だった[8]。これらは研究プロジェクトの記録から抽出された事例数であり、LitPivot を使用した比較実験で発生した変更件数とは異なる。

方向転換 文献から判明すること 研究案の修正方向
差別化 提案する内容が既存研究ですでに扱われている。 未解決の条件や異なる貢献を特定する。
整合 既存研究に利用可能な知見や評価方法がある。 問題設定や評価方法を、確認された知識に対応させる。

差別化では、提案する貢献と既存研究の成果を比較する。たとえば、ある研究案が個々の文章間の矛盾を検出する方法を提案していたとする。しかし、先行研究を調べた結果、同様の矛盾検出がすでに扱われていることが判明すれば、同じ機能を実現するだけでは新しい貢献を説明しにくくなる。この場合、既存手法が扱っていない条件を調べ、文章の階層関係を考慮した矛盾検出など、未解決の問題へ研究対象を変更することが考えられる。実際に LitPivot の論文が分析した研究記録にも、個々の主張間の関係を扱う研究から、主張の階層構造を扱う研究へ方向転換した事例が報告されている。

整合では、先行研究がすでに確立した知見や方法を研究案に取り込む。たとえば、研究者が新しい文書解析手法を提案しているとき、関連研究が評価に使用しているデータセットや指標を見つけたとする。その評価方法が現在の研究課題にも適用できる場合には、独自の指標を新たに設定するよりも、既存研究と比較できる条件を採用することに合理性がある。ただし、既存研究が使用しているという事実だけで評価方法の適切さが決まるわけではない。現在の問題設定と提案する貢献を、その指標で測定できることが採用の条件になる。

差別化と整合では、文献を参照する目的が異なる。差別化では、既存研究がすでに解決した問題と、まだ解決していない問題を分ける。整合では、既存研究によって確認された方法や知識のうち、現在の研究案に適用できるものを選ぶ。前者では既存研究との違いが修正の根拠になり、後者では既存研究との共通性が修正の根拠になる。新規性を示すことと、既存知識に基づいて研究計画を成立させることが異なる判断であるため、同じ文献を参照しても研究案の修正方向が変わりうる。

LitPivot は、提案する貢献の差別化を検討するために、既存論文から抽出した貢献と、限界や今後の課題との対応関係を構築する。具体的には、既存研究が何を実現したかという情報と、何が未解決として残されているかという情報を分け、それらの関係をグラフとして表現する。新しく提案した貢献が、既存研究ですでに解決された課題だけに対応している場合には、既存研究との重複や追加的な改良の可能性を検討する。一方、未解決の課題に対応している場合には、既存研究との差異を説明する根拠となりうる。

この判定方法には、既存論文で明示された限界や今後の課題を利用するという前提がある。研究の新規性には、先行研究が未解決として列挙した問題を解決することに加え、従来とは異なる問題の設定や、既存の知識を別の関係から捉え直すことも含まれうる。LitPivot のグラフは、選択された文献に記載された貢献と未解決課題の関係を整理するものであり、あらゆる独創的な研究方向を判定する仕組みではない。それでも、提案した内容がどの既存研究と重複し、どの未解決課題に対応するかを明示することには、研究案を修正するための判断材料として意味がある。

5.2. 研究案が変わると、関連文献も変わる

研究案の一部が変更されれば、以前に選択した文献集合が現在の研究案を十分に代表しているとは限らない。たとえば、研究対象を AI が生成した音声に含まれる事実と異なる内容の検証から、AI が生成した文章の検証へ変更した場合、関連する既存研究は変化する。音声特有の生成処理や評価方法を扱う文献に加え、文章の事実検証に関する研究が必要になるためである。さらに、文章の事実検証について既存研究が多数存在することが判明すれば、研究案の貢献をどこに置くかを改めて検討する必要が生じる。

LitPivot の論文では、このような方向転換を説明する例として、AI が生成した音声の事実検証から、生成文章の検証へ研究案を変更し、さらに科学的な質問応答で引用文献をたどって回答を検証する方向へ修正する過程が示されている。最初の変更では、当初の問題設定を支える文献が十分に得られないことが修正理由になる。次の変更では、生成文章の事実検証が既存研究と重複することが修正理由になる。研究案を変更するたびに、それまで重要だった文献と、新たに重要になる文献の関係が変わる。これは、研究案の変更によって検索対象が変わり、新しい検索結果がさらに研究案の変更理由になるという循環を具体化している。

LitPivot では、研究者が研究案の一部分を変更すると、その内容に関連する文献を再評価できる。選択された部分について文献に基づく批評を行い、修正候補を生成した後、研究者は提案された文章を採用するか、編集して利用するか、却下するかを判断する。また、研究案の変更によって関連文献の順位が変化する場合には、研究者が操作して文献全体の関連性を再計算できる。文献の再整理は、研究案のあらゆる変更に対して無条件に自動実行されるのではなく、研究者が必要に応じて実行する操作として設計されている。

文献の再選択だけでは、研究計画全体の整合性を維持するには十分でない。問題設定を変更した結果、それまで提案していた方法が現在の問題に対応しなくなる場合がある。また、提案する貢献を修正した結果、従来の評価指標では変更後の貢献を測定できなくなる場合もある。LitPivot は、一部分が変更された際に、他の部分で修正が必要になる可能性を調べ、影響を受ける箇所を研究者に示す。たとえば、貢献を変更した後に評価方法が旧来の貢献を測定する条件のまま残っていれば、その不整合を確認する必要がある。

この機能は、研究案の変更を文章の置換としてだけ扱わず、問題設定、貢献、評価方法の間に成立していた関係の変更として扱う点に特徴がある。研究案の一部分について適切な修正が提案されても、その修正によって他の部分の説明が成立しなくなる可能性がある。部分ごとの批評に加えて、変更の影響を受ける部分を確認することで、個々の記述は妥当に見えても研究計画全体では矛盾しているという状態を発見しやすくする。

研究案の要素を分けて反復的に改良する支援は、先行する IdeaSynth でも取り組まれている。IdeaSynth は問題、解決方法、評価、貢献を個別の要素として扱い、それらを組み合わせながら研究案を発展させる仕組みを提案した[10]。研究者は各要素の異なる案を作成し、それらを組み合わせることで研究計画の複数の方向を検討できる。この仕組みは、研究案を一つの完成した文章として固定する代わりに、構成要素を変更しながら発展させることを支援するものである。

Scideator は、既存論文から研究の目的、方法、評価に相当する要素を抽出し、それらを組み合わせて研究案を生成する仕組みを提案している[11]。関連文献だけでなく、異なる研究分野の文献から得られた要素も組み合わせることで、新しい研究案の候補を探索する。また、関連する先行研究を検索して研究案の新規性を検討する機能も備えている。文献に含まれる要素を組み合わせて候補を生成することと、生成された候補が既存研究とどのように異なるかを評価することを支援している。

LitPivot が特に明示的に扱うのは、研究案と関連文献の関係を、研究案の変更に応じて繰り返し更新することである。IdeaSynth は研究案の構成要素の展開と組み合わせに、Scideator は文献の要素を再構成した研究案の生成と新規性の確認に、それぞれ重点を置いている。LitPivot では、研究者が現在の研究案のどの部分を評価したいかによって文献を整理し、その文献に基づく批評から研究案を修正する。修正後には、以前の文献が引き続き関係するかを見直し、研究案の他の部分との整合性も確認する。研究案を変更するために文献を利用することと、変更された研究案によって必要な文献を選び直すことが、一つの操作過程に結び付けられている。

この循環には、修正案の採否を決める主体が必要になる。既稿「AI に任せる前に、人間が残すべき判断」では、出力を作ることと、その出力を採用する判断を区別した[12]。LitPivot でも、文献を選び、批評の妥当性を確認し、研究方向の変更を決める役割は研究者に残されている。システムが関連文献を分類し、批評と修正候補を提示しても、その候補が研究者の目的に合うか、引用された文献が主張を十分に支持しているかについては、研究者が判断する必要がある。

この判断が必要になる理由は、先行文献との関係だけで研究の価値が決まるわけではないためである。ある研究案が既存研究の未解決課題に対応していても、その課題を解決する方法が実行可能とは限らない。また、既存研究との重複が見つかった場合でも、対象条件を変えて検証することや、従来の結果を再現することに研究上の意義がある場合も考えられる。LitPivot が提示する差別化や整合の候補は、文献との関係を基にした修正案であり、研究を進めるべきかどうかという判断を確定するものではない。

さらに、システムが利用する文献集合の範囲も、修正候補の内容に影響する。ある研究に関する重要な文献が検索結果に含まれていなければ、既存研究との重複を十分に検出できない可能性がある。反対に、特定の研究領域の文献だけを参照している場合には、その領域で一般的な問題設定や評価方法に研究案が近づく可能性がある。文献に基づく批評は、選択された資料から得られる知識に依存するため、研究者には提示された文献の範囲や不足している情報を確認する役割も残る。

LitPivot が具体化しているのは、研究案の修正と根拠の再評価を相互に結び付ける過程である。研究者が文献を選択すると、その文献に基づいて問題設定、貢献、評価方法を検討できる。研究案を変更すると、関連文献を再評価し、他の部分に生じた不整合を確認できる。この往復によって、研究案だけが新しい状態になり、根拠や評価方法が古い前提のまま残るという問題に対応しようとしている。文献との対応関係を確認しながら研究案を更新できることが、このシステムの中心的な機能である。

6. 研究で確認された効果と限界

LitPivot の効果を調べた比較実験には、計算機科学と情報科学を研究する 17 人が参加した。参加者の約 82% は博士課程の学生で、ほかに博士研究員と企業の研究者が含まれていた。研究分野は自然言語処理、人間とコンピューターの相互作用、ロボット工学、機械学習、医療分野の AI などである。参加者の研究経験は 2 年から 10 年の範囲にあり、研究の基礎的な知識を持ちながら、関連文献の整理や研究案の形成に支援を必要とする研究者が主な対象となっていた[8]。

各参加者は、LitPivot と、文献を選択して AI に質問できる比較対象の支援環境をそれぞれ使用し、二つの研究案を作成した。比較対象では、文章を編集しながら、選択した論文の本文について AI に質問できる。一方、LitPivot では、研究案を問題設定、貢献、評価方法に分け、それぞれに関連する文献を整理し、文献に基づく批評と修正候補を提示する。比較対象にも文献を利用した質問応答機能があるため、AI を利用できるかどうかという単純な違いではなく、研究案の変更と文献の再評価を結び付ける支援機能の違いを検討している。

実験では、参加者の専門分野に合わせて研究案の出発点となる課題が割り当てられ、各課題の作業時間は 30 分だった。両条件では共通する約 100 本の文献集合を使用し、参加者が自由に新しい論文を追加することは認められなかった。また、二つの環境を使用する順序を参加者間で調整し、先に使用した環境での経験が後の結果に影響する可能性を抑えている。こうした条件によって、参照できる文献の違いや操作順序による影響を抑えながら、研究案の編集と文献に基づく評価を支援する方法を比較した。

ただし、両条件で共通の文献集合を使用したことは、LitPivot の文献検索機能全体を評価したことを意味しない。通常の LitPivot では、研究案の変化に応じて新しい文献を追加したり、関連性を再評価したりできる。比較実験では文献集合を固定したため、主にその集合の中からどの論文を選択し、研究案の批評や修正に利用するかという違いが測定されている。研究案の変更によって必要になる新しい文献を、広範な学術文献からどの程度漏れなく発見できるかは、この実験とは別の評価対象になる。

最終的な研究案については、論文の共著者である二人の専門家が、どちらのシステムで作成されたかを知らされない状態で評価した。評価基準は、関連文献を利用して研究案がどの程度適切に論証されているかというものである。専門家は 7 点尺度で評価し、比較対象の平均は 2.59 点、LitPivot の平均は 5.18 点だった。平均差は 2.59 点であり、対応のある t 検定では p < 0.001、平均差の 95% 信頼区間は 1.56 点から 3.62 点だった。順位に基づく別の検定でも p < 0.001 が報告されている[8]。

この結果が示しているのは、同じ参加者集団が二つの支援環境を使用した条件で、LitPivot を用いて作成された研究案のほうが、関連文献による論拠について高い専門家評価を得たということである。平均差の 2.59 点は、7 点尺度で測定された二条件の評価点の差であり、研究成果の質が一定の割合で改善したことを表す数値ではない。95% 信頼区間も、比較実験における平均差の推定に伴う不確実性を表している。統計的な差が確認されたことと、その差がどのような研究成果につながるかは区別する必要がある。

参加者が文献を利用する行動にも違いが見られた。比較対象では、研究案について AI に質問するために選択した異なる論文数が平均 4.4 本だったのに対し、LitPivot では批評に使用するために選択した異なる論文数が平均 7.1 本だった。この差については p = 0.010 が報告されている。また、文献の理解度について参加者が 7 点尺度で回答した平均は、比較対象の 3.88 点に対して LitPivot が 5.71 点だった。この違いについても p < 0.001 が報告されている[8]。

選択した論文数の増加は、研究者が検討対象とした文献の範囲が広がったことを示している。ただし、論文数が増えること自体は、重要な先行研究を適切に選択できたことや、各論文の内容を正確に理解したことの直接的な証明にはならない。文献の理解度についても、参加者自身が認識した理解の程度を測定している。客観的な理解度試験によって、論文の内容をどの程度正確に説明できるようになったかを測定した結果とは区別する必要がある。

実験では、研究者が文献集合をどのように変更したかという操作行動も記録された。11 人の参加者は、最初に選択した文献群から不要な論文を除外し、必要に応じて別の文献を加えながら、研究案の同じ部分について繰り返し批評を求めていた[8]。たとえば、複数回の受診記録にまたがる矛盾の検出へ研究案を変更した参加者は、当初選択した 12 本の論文のうち、単一の受診記録を主に扱う 6 本を除外した。その上で残りの文献に基づく評価を行い、研究案の貢献をさらに修正している。この行動は、研究案の変更に合わせて関連文献の選択も変更する過程を具体的に示している。

反対に、研究案を修正する過程で参照する文献を増やした参加者も 6 人いた[8]。ある参加者は、連続する四回の評価で使用する論文数を 2 本、3 本、4 本、6 本と増やし、問題設定の根拠、技術的な貢献、評価方法をそれぞれ異なる論文から検討していた。文献を減らす場合も増やす場合も、目的は資料の数を一定の方向へ変えることではない。現在の研究案を評価するために必要な文献を選び直すという判断が共通している。文献の選択を研究案の変化に合わせて調整できることが、LitPivot の使用過程で観察された特徴である。

研究案の構成要素を修正する順序にも違いがあった。17 人のうち 13 人は、問題設定、貢献、評価方法を必ずしも順番に修正せず、変更によって不整合が生じた部分へ移動しながら研究案を編集していた[8]。たとえば、問題設定を変更した結果、評価方法が新しい問題設定に対応しなくなったことをシステムが示し、その後に貢献の内容も修正した事例がある。残る 4 人は、一つの部分について複数回の評価と修正を繰り返してから、別の部分へ進んでいた。これらの行動は、研究案の変更が一定の記述順序で進むとは限らず、構成要素間の依存関係や研究者の判断によって修正順序が変わることを示している。

専門家評価、文献選択の記録、参加者の自己評価は、それぞれ異なる対象を測定している。主な結果を整理すると次のようになる。

測定対象 比較対象 LitPivot 結果の意味
論拠の専門家評価 平均 2.59 点 平均 5.18 点 関連文献を用いた研究案の論証が、7 点尺度の専門家評価で高かった。
選択した異なる論文数 平均 4.4 本 平均 7.1 本 文献を選択して評価に利用した範囲が広がった。
文献理解度の自己評価 平均 3.88 点 平均 5.71 点 研究者が認識した文献理解の程度が高かった。
実行可能性の自己評価の変化 平均 -0.35 点 平均 +0.88 点 条件間の変化量の差は、補正後の検定で統計的に有意ではなかった。

表の最初の三つの指標は、作成された研究案への専門家評価、選択した文献数、参加者が認識した理解度をそれぞれ表している。一方、実行可能性の数値は、作業前後で参加者の自己評価がどの程度変化したかを示す。専門家評価の 5.18 点と、実行可能性の変化量である +0.88 点は測定対象が異なるため、数値を直接比較して研究案のどの性質が優れていたかを判断することはできない。また、選択した文献数が増えたことによって専門家評価が改善したのか、それとも文献の分類や批評の提示が改善に寄与したのかという個別の因果効果も、この比較だけでは切り分けられない。

研究案の新規性と有用性についても、参加者による作業前後の自己評価が行われた。新規性の評価変化量は比較対象が平均 +0.47 点、LitPivot が平均 +2.29 点であり、条件間の差は多重比較を考慮した検定で統計的に有意だった（補正後 p = 0.016）。有用性の評価変化量も比較対象の平均 -0.76 点に対して LitPivot は平均 +0.53 点であり、補正後 p = 0.037 だった[8]。これらの結果は、参加者が LitPivot によって修正した研究案を、作業前よりも新規性や有用性が高いと認識したことを示している。

ここでいう新規性は、参加者が自分の研究案について判断した新規性である。関連分野の先行研究を網羅的に比較し、専門家が独創性を客観的に確認した結果とは異なる。また、有用性の自己評価が改善しても、研究成果が実際の課題解決に役立つことが確認されたわけではない。研究者が既存研究との違いを説明できるようになることと、提案した研究が従来にはない科学的知見を生み出すことの間には、研究の実行と結果の検証という別の工程が存在する。

実行可能性については、作業前後の自己評価の変化量が比較対象で平均 -0.35 点、LitPivot で平均 +0.88 点だった。数値上は LitPivot のほうが改善しているものの、条件間の変化量の差について補正後の p 値は 0.152 であり、統計的に有意な差は確認されていない。差の 95% 信頼区間も -0.01 点から 2.47 点で、差がない場合を含んでいる。研究者が提案内容を実現できると認識する程度について、LitPivot が比較対象より確実に改善したとは判断できない。

実行可能性の評価には、研究案の文章だけから確認できる範囲という制約もある。たとえば、複数回の受診記録間の矛盾を検出する研究案が、先行研究の未解決課題と対応していても、必要な患者記録を取得できるとは限らない。患者の状態変化と記録の矛盾を区別する正解データを作成できるか、十分な標本数を確保できるか、提案手法を実装できるかによって、研究の実行可能性は変わる。LitPivot は文献に基づく研究案の検討を支援するシステムであり、提案したプログラムの実行や実験そのものは行わない。このため、実行可能性についての判断を実測結果によって確かめる機能は備えていない。

また、LitPivot の論文では、比較実験の後に 5 人の研究者を対象とした探索的な調査も行われている。参加者は自分が実際に進めている研究案を持ち込み、30 分間 LitPivot を使用した。二人は新しい研究案の妥当性を文献と照合するために利用し、三人はすでに進んでいる研究の位置づけを修正するために利用した。ある参加者は、特定の方法に限定して説明していた貢献について、別の研究分野にも共通する考え方が存在すると知り、より広い範囲に適用できる説明へ変更している。この観察は、研究案と文献の関係を見直す操作が、新規の研究案だけでなく、進行中の研究の説明を修正する場面でも利用されたことを示している。

ただし、この探索的な調査は 5 人を対象とした短時間の観察であり、長期間の研究活動における効果を測定したものではない。研究案の変更によって、その後の実験計画や論文の完成度、研究成果の重要性がどのように変化したかまでは追跡していない。また、主な比較実験は計算機科学と情報科学の研究者を対象としている。実験装置、臨床試験、長期観測などを必要とする分野では、問題設定、貢献、評価方法の関係や、文献によって確認できる事項が異なるため、同じ支援方法によって同程度の効果が得られるかは追加の検証が必要になる。

比較実験の結果を評価する際には、効果を測定した時間と、実際の研究が進む時間の違いも考慮する必要がある。30 分間の課題では、研究者が文献を確認し、問題設定や貢献を修正して、短い研究案をまとめるところまでを観察できる。一方、実際の研究では、データの収集、実装、実験、結果の解析、査読などを経て、当初の研究案の妥当性が改めて評価される。初期段階で文献による論証が改善しても、その後の実験で仮説が支持されるか、提案手法が既存手法を上回るかについては別の証拠が求められる。

研究の自動化を、作業の実行と成果の評価に分けて考える必要性は、既稿「AI の研究自動化には、評価できる範囲という境界がある」でも論じた[13]。LitPivot の比較実験で確認されたのは、対象とした参加者、課題、時間、比較条件において、文献による研究案の論証が専門家から高く評価され、参加者による文献理解度や新規性、有用性の自己評価にも違いが見られたことである。研究案が文献とどの程度対応しているかという評価と、研究を実行した結果として何が明らかになったかという評価は、それぞれ異なる証拠を必要とする。

LitPivot の結果は、研究案の変更に合わせて関連文献を選択し、文献による批評を研究案の修正へ反映する支援が、短時間の研究案作成における論証の改善と結び付いていたことを示している。特に、文献を追加するだけでなく不要になった文献を除外する行動や、問題設定の変更に合わせて評価方法を修正する行動が観察されたことは、研究案と根拠の対応関係を継続的に見直すという設計の特徴を具体化している。一方、論証の改善によって研究案の科学的な価値まで確定するわけではない。文献との対応を確認できた段階で成立する判断と、実験や研究成果によって初めて確認できる判断を区別することが、研究で報告された効果を適切に評価する条件になる。

7. 根拠との整合性は、新規性を保証しない

研究案を先行文献に結び付けると、何が既知で、どこに未解決の問題が残っているかを具体化しやすくなる。提案する方法と既存研究を比較すれば、同じ問題を扱った研究がすでに存在するか、従来の方法にはどのような制約があるかを確認できる。しかし、既存文献に書かれた未解決課題を選んだだけで、研究上の新規性や価値が確定するわけではない。未解決である理由には、利用可能なデータの不足、検証方法の欠如、技術的な実現の難しさなどがあり、課題が未解決であるという事実と、その課題を研究する意義や実行可能性は別々に評価する必要がある。

たとえば、複数回の受診記録にまたがる矛盾の検出について、既存研究が時間経過に伴う患者の状態変化を十分に扱えていないと報告していたとする。その未解決課題に対応する研究案を設定すれば、先行研究との違いを説明する根拠になる。しかし、その課題が未解決である理由が、同一患者の長期間の診療記録を十分に取得できないことにある場合、研究案を設定するだけでは実行可能性の問題は解消しない。患者の状態変化と記録の誤りを区別する正解データを作成できるか、診療記録を利用するための条件を満たせるかによって、研究を実施できる範囲が決まる。先行研究の限界を特定することは、研究課題を具体化するための根拠になる一方、その限界を克服できることの証明にはならない。

逆に、既存研究が明示していない問題から、新しい研究方向が生じる場合もある。たとえば、従来の研究が個々の医療文書の正確性を測定していたとしても、診療の継続性という観点から複数の受診記録を関連付けることで、別の問題設定が可能になる。個々の記述が正しい場合でも、異なる時点の記録を組み合わせたときに説明上の不整合が生じるという問題は、単一文書の誤記を検出する研究の延長だけでは捉えきれない。このような研究方向は、既存研究が列挙した未解決課題を選ぶことに加えて、研究対象を構成する関係や、評価すべき現象そのものを見直すことで生じる。

LitPivot の著者らも、研究案を問題、貢献、評価という三つの部分に分ける設計や、先行研究が列挙した未解決課題に基づいて新規性を評価する方法が、研究方向へ一定の前提を持ち込む可能性を論じている[8]。LitPivot は、既存研究が実現した貢献と、そこに残された未解決課題の関係を利用して、新しい研究案がどの部分で差別化されているかを判断する。この方法では、既存研究が未解決として明示した問題に対応する貢献を評価しやすい。一方、先行研究が限界として記述していない問題を新たに設定する場合や、従来の研究対象を異なる観点から捉え直す場合には、その新規性を同じ方法で十分に表現できるとは限らない。

この制約は、LitPivot が参照する文献集合の範囲とも関係している。システムが収集した文献に、ある研究方向と重複する先行研究が含まれていなければ、提案した内容が既存研究と異なると評価される可能性がある。反対に、特定の研究領域に属する文献が中心になっていれば、その領域で一般的な問題設定や評価方法を用いた修正候補が提示されやすくなる可能性がある。文献に基づく評価は、参照できる文献の範囲と、その文献から抽出した情報に依存するため、検索結果に存在しない研究まで含めて新規性を保証することはできない。

また、文献に基づく修正を繰り返すことが、研究案の形成に常に望ましい結果をもたらすとも限らない。既存研究の根拠を取り込むことで、問題設定や評価方法の妥当性を説明しやすくなる一方、まだ十分に整理されていない発想が、既存文献の分類や未解決課題へ収束する可能性もある。LitPivot の著者らは、研究案を先行文献へ適合させる仕組みが、研究者の意図よりも既存研究に近い方向へ研究案を導いたり、初期段階の未整理な発想を検討対象から外したりする可能性を指摘している。特に、従来の研究枠組みそのものを変更する発想は、既存論文が明示した限界の延長に位置づけられるとは限らない。

ただし、こうした可能性が実際にどの程度生じたかを、LitPivot の比較実験が定量的に示したわけではない。研究案が先行文献へ過度に近づいた割合や、システムを使用しなかった場合に生まれたはずの発想が失われた割合は測定されていない。システムの修正候補を研究者が編集または却下する操作は、提案内容を選別するための仕組みであるが、編集や却下という行動だけから創造性が維持されたかを判断することもできない。文献との整合性を高めることと、研究案の自由な探索を維持することの関係は、研究案の段階や研究者の目的によって評価すべき問題として残る。

研究案の新規性を評価する難しさは、別の研究でも報告されている。Chenglei Si らは、100 人を超える自然言語処理の研究者を参加者として、研究者が作成した研究案と、大規模言語モデルによって生成された研究案を比較した[14]。研究者による評価では、大規模言語モデルが生成した研究案のほうが、新規性について統計的に有意に高く評価された。一方、実行可能性については、人間の専門家が作成した研究案よりもやや低い評価を受けていた。新規性と実行可能性は、同じ研究案に対する評価であっても異なる結果になりうることが示されている。

この研究では、研究案を評価する専門家にとっても、新規性の判断には難しさがあると指摘されている。新規性を判断するには、提案された内容と既存研究の重複を確認する必要があるが、関連する研究をどこまで把握しているかによって判断が変わる可能性がある。また、研究案の説明からは独創的に見えても、実際に研究を実施すると、提案した方法が成立しない場合や、期待した結果が得られない場合がある。Si らの研究は、研究案に対する専門家の評価を比較したものであり、生成された研究案を実際に遂行して、得られた研究成果の新規性や価値まで比較した結果ではない。

研究案を先行文献と照合する際には、何を確認できたかによって判断の成立範囲を分ける必要がある。既存研究との差異が確認できたこと、研究課題の意義を説明できたこと、実験を実施できること、研究成果として新しい知見が得られたことは、互いに関連するものの、それぞれ異なる証拠を必要とする。これらの違いを整理すると次のようになる。

評価対象 確認できる根拠 追加で必要な確認 混同した場合の誤り
既存研究との差異 参照した先行研究と提案内容を比較し、扱う問題や方法の違いを確認できる。 関連文献の探索範囲を広げ、同等の研究が存在しないかを確認する。 検索した文献に重複が見つからないことを、研究上の新規性が確定した証拠と取り違える。
研究課題の意義 問題の発生状況、影響、既存手法の制約を示す資料から、研究の必要性を説明できる。 対象とする問題の重要性と、解決によって得られる知見や効果を確認する。 未解決の課題であることだけを、その課題に取り組む価値の証拠と取り違える。
研究の実行可能性 必要なデータ、手法、評価条件、利用できる資源から、研究計画の実施条件を検討できる。 データ取得、実装、実験環境の準備、測定方法の成立を実際に確認する。 研究案を論理的に説明できることを、計画どおりに実施できる証拠と取り違える。
研究案の論証 問題設定、提案する貢献、評価方法が、関連文献によってどの程度支持されるかを確認できる。 引用した文献の適用範囲と、研究案の各部分の整合性を確認する。 文献による説明が整っていることを、提案手法の有効性が実証されたことと取り違える。
研究成果の新規性と価値 研究を実施して得られた結果を、先行研究や既存手法と比較して評価できる。 実験結果、再現性、比較条件、得られた知見の適用範囲を検証する。 研究案の段階で高い評価を得たことを、実施後の研究成果が優れている証拠と取り違える。

この表では、研究案の段階で評価できる事項と、研究を実施して初めて確認できる事項を分けている。既存研究との差異は、関連する文献を比較することで検討できる。しかし、差異が存在することだけでは、その差異が研究上重要な問題に対応しているかは決まらない。研究課題の意義についても、問題の存在や影響を示す資料から検討できるが、それを解決する方法が実行可能かは別の条件に依存する。さらに、研究案が関連文献によって十分に論証されていても、提案手法の有効性や研究成果の新規性については、実験や結果の比較による確認が必要になる。

たとえば、複数回の受診記録間に生じる矛盾を検出する研究案について、既存研究が単一文書の検証を中心に扱っていると確認できたとする。この段階では、研究対象の違いを説明できる。しかし、同じ課題を扱う別の研究が存在する可能性は残るため、研究案の新規性を判断するには追加の文献調査が必要になる。また、受診記録間の矛盾が医療上の判断へ影響することを示せれば研究課題の意義を説明しやすくなるが、必要な診療記録を取得できなければ研究の実行には制約が生じる。データを取得できた場合でも、提案手法が従来手法より高い検出精度を実現するかは、比較実験によって確認することになる。

このように、研究案の評価では、一つの条件が成立しても、別の条件が自動的に成立するわけではない。先行研究との差異が確認されても実行可能性が低い研究案はありうる。実行可能な研究案でも、従来から知られている方法を繰り返すだけなら、新しい科学的知見への貢献は限定される場合がある。一方、既存研究との違いを十分に説明できていない研究案でも、追加調査や実験によって独自の貢献が明らかになる可能性がある。各条件を区別することで、研究案をどの段階まで評価できたのか、何を追加で確認する必要があるのかを明確にできる。

LitPivot の比較実験で改善が確認されたのは、主に研究案が文献によってどの程度論証されているかという評価である。参加者による新規性や有用性の自己評価にも改善が見られたが、研究案を実際に遂行して得られた成果の新規性や価値まで測定したものではない。この結果から、文献との対応を明確にする支援が研究案の説明を改善する可能性は認められる。一方、先行研究との差異を十分に発見できたか、実験を遂行できるか、実施後に新しい知見が得られるかという判断には、それぞれ追加の証拠が必要になる。

文献による研究案の修正を評価する際には、研究者がどの判断を行おうとしているかも関係する。既存研究との重複を避けることが目的であれば、関連文献の探索範囲と提案内容の差異を確認することが中心になる。研究の実施方法を決めることが目的であれば、既存の評価方法が現在の課題に適用できるかを確認する必要がある。研究成果の価値を判断する段階では、文献との整合性に加え、実際に得られた結果を評価することになる。目的が異なれば必要な根拠も変わり、研究案のどの性質を確認したのかを明示する必要がある。

根拠との整合性を維持することには、研究案の判断条件を明確にするという意義がある。ただし、その整合性によって確認できるのは、選択した文献と現在の研究案がどのような関係にあるかという範囲である。研究の新規性には、参照していない先行研究の存在が影響し、実行可能性にはデータや実験環境の制約が影響する。研究成果の価値は、実施後に得られた結果との比較によって評価される。これらの条件を分けることで、文献に基づく論証の改善という LitPivot の成果を、その実験で確認された範囲に位置づけられる。

研究案を変更したときに必要なのは、既存文献との一致を増やすことだけではなく、その変更によって何を判断できるようになり、何が未確認のまま残っているかを明らかにすることである。先行研究と重複しないことが分かっても、研究の実行可能性や成果の価値については別の証拠が必要になる。文献の追加や研究案の修正を繰り返す場合にも、根拠によって成立した判断と、まだ検証を必要とする判断を区別し続けることが、研究計画を適切に更新するための条件となる。

8. 判断を更新するとき、何を確認するべきか

考えを変更したとき、最初に必要なのは、変更前と変更後で何が変わったかを明確にすることである。ソフトウェアであれば要求と期待される振る舞い、研究案であれば問題設定、貢献、評価方法について、維持された条件と変更された条件を分ける。変更内容が明確になれば、以前の判断を支えていた根拠のうち、現在の判断にも対応するものを特定できる。反対に、変更前後の差が曖昧なままでは、従来の資料やテスト結果のどこまでを再利用できるかを判断しにくくなる。

たとえば、注文数量の上限を 100 個から 50 個へ変更した場合、変更されたのは上限値と、その値を超えた入力に対する期待結果である。0 個を拒否し、1 個を受け付けるという要求は維持される。一方、従来は受け付けていた 100 個を拒否し、新しい境界である 50 個を受け付け、51 個を拒否することを確認する必要が生じる。変更前後の差を明確にすれば、既存のテスト条件を再利用できる部分と、新しい入力値や期待結果が必要になる部分を区別できる。

ただし、既存のテスト条件を再利用できることと、過去のテスト結果を変更後の実装の合格根拠として利用できることは異なる。変更前に 1 個の注文が正常に処理されたという記録は、当時の実装について確認された事実である。変更後の実装でも同じ条件が成立するかは、変更が及んだ処理経路や依存関係に応じて確認する必要がある。上限値の変更が共通の入力検査処理に影響していれば、上限以外の条件についても再実行が必要になる場合がある。過去の結果が正しいことと、現在の実装を検証済みであることを区別しなければ、既存の証拠を再利用できる範囲を過大に判断する可能性がある。

研究案でも、問題設定の変更によって、先行研究が担う役割が変わる。単一の医療文書に含まれる事実誤認の検出から、複数回の受診記録間に生じる矛盾の検出へ研究課題を変更した場合、単一文書の正確性に関する研究は引き続き背景知識として利用できる可能性がある。しかし、時間経過に伴う患者の状態変化と記録間の矛盾を区別するには、別の根拠や評価データが必要になる。従来の文献を維持するかどうかは、資料の発行時点や引用実績によって決まるのではなく、その資料が変更後の研究課題のどの主張を支持するかによって決まる。

ここで、研究課題の変更によって先行文献の役割が変わる場合を考える。変更前には、単一文書に含まれる事実誤認の発生頻度を示す資料を、研究課題の重要性を説明する根拠として利用していたとする。変更後の研究では、複数の受診記録間に生じる矛盾がどの程度発生するかが問題になるため、従来の発生頻度をそのまま用いることは適切ではない。一方、事実誤認の定義や検出方法についての知見は、個々の記述を評価する部分に利用できる可能性がある。同じ論文であっても、研究課題の重要性を示す根拠としては不足し、検出方法の背景を説明する資料としては維持できる場合がある。根拠の採用可否は資料単位だけでなく、資料から導く主張との対応によって判断する必要がある。

変更による影響を確認するためには、変更された条件から、それに依存する主張、資料、評価方法をたどる必要がある。ソフトウェアでは、要求仕様と設計、実装、テストの対応関係を調べる。研究計画では、問題設定と貢献、評価方法、関連文献の対応関係を調べる。一つの条件を変更した結果、別の条件が古い前提のまま残っている場合には、個々の記述やテスト結果が正しくても、全体としての判断に不整合が生じる。変更の影響範囲を明確にすることは、必要な部分を再検証するための条件になる。

また、依存関係の確認は、変更された箇所から直接参照される項目だけで終了するとは限らない。研究の問題設定を変更した結果、提案する貢献を修正する必要が生じ、その修正によって評価方法も変更される場合がある。最初の変更が評価方法へ直接影響していなくても、途中にある貢献の変更を通じて、評価条件に影響が及ぶ可能性がある。このため、変更の影響を確認する際には、直接関係する項目を調べた後、その項目の変更がさらに別の条件へ波及するかを確認する必要がある。

一方、依存関係が存在するという理由だけで、関連するすべての項目を修正する必要はない。たとえば、研究の問題設定を変更しても、既存の評価指標が変更後の目的を適切に測定できる場合がある。その場合には、評価指標が引き続き適合する理由を確認し、既存の方法を維持できる。変更の影響を調べる目的は、修正箇所を増やすことではなく、現在の判断に対して何を維持でき、どの条件が再検証を必要とするかを特定することにある。

根拠と評価方法の再確認は、次の順序で整理できる。

確認順序 判断する内容 判断の結果
変更内容の特定 変更前後の主張、対象、条件の差を明らかにする。 再確認の起点となる変更箇所が決まる。
依存関係の確認 変更箇所を根拠とする他の主張や評価方法を調べる。 再確認すべき範囲が決まる。
根拠の適合性評価 資料の関連性、支持関係、適用範囲を確認する。 維持、追加、置換、主張の限定を判断できる。
評価条件の再確認 既存の測定やテストが変更後の主張を検証できるかを確かめる。 追加の検証と評価方法の修正が決まる。
未確定事項の記録 現在の資料では判断できない事項を区別する。 確認済みの範囲と、追加調査が必要な範囲を分離できる。

変更内容の特定では、修正された文章や数値だけでなく、その変更によって判断の対象がどう変わったかを明らかにする。たとえば、研究計画で「文書の正確性」を「記録間の整合性」へ変更した場合、単に評価対象の名称が変わっただけでなく、検出すべき現象と必要なデータの構造が変わる。変更前後の差を記録する際には、用語の変更と、実際に検証すべき条件の変更を区別する必要がある。変更された条件が特定できて初めて、その条件を前提としていた文献や評価方法への影響を調べられる。

依存関係の確認では、変更された条件を前提として成立している他の判断を調べる。研究上の問題設定を変更した場合、提案した方法が変更後の問題を解決するものになっているか、その方法を評価する指標が現在の目的に対応しているかを確認する。また、先行文献を根拠として問題の重要性を説明している場合には、その文献が変更後の問題にも関係しているかを確認する。変更の影響は、研究計画書の記述順序や文献の引用順序ではなく、条件間の依存関係に沿って生じる。ある主張を修正した結果、別の主張も変更された場合には、そこからさらに影響を受ける条件を確認することになる。

根拠の適合性評価では、資料が正しいことと、現在の主張を支持していることを分ける。資料の観測結果が正確であっても、対象集団や測定条件が異なれば、現在の判断へ適用できる範囲が変わる。研究課題に関連する論文であっても、その論文が測定していない効果を主張するためには、追加の根拠が必要になる。こうした違いを確認すれば、既存資料を維持する場合、別の資料を追加する場合、主張の適用範囲を限定する場合を区別できる。資料を入れ替える前に、現在の主張を支えられなくなった理由を特定することが、必要な修正を判断する根拠になる。

評価条件の再確認では、現在の主張をどのような実測結果によって検証できるかを明らかにする。たとえば、複数回の受診記録間に生じる矛盾を検出する研究であれば、単一文書の事実誤認を正しく検出できたという結果だけでは、変更後の研究目的を十分に評価できない。異なる受診時点の記録を照合し、正常な状態変化と記録間の矛盾を区別できることを確認する必要がある。既存の評価方法が引き続き適合している場合には、その理由を示した上で維持できる。一方、測定対象が変わった場合には、変更後の主張に対応するデータと評価指標を追加する必要がある。

未確定事項の記録は、再評価が終わった時点で判断できる範囲を明確にするために必要になる。たとえば、記録間の矛盾を検出する方法について関連文献が見つかっても、実際の診療記録を取得できるか、十分な正解データを作成できるかが確認されていなければ、研究の実行可能性には不確実性が残る。その場合、文献によって説明できる問題設定と、実験によって確認すべき実行可能性を区別しておく必要がある。根拠の不足を記録することによって、確認済みの事項を維持しながら、追加の調査や検証を行う対象を特定できる。

これらの確認は、一度実施すれば常に終了するという関係にはない。変更後の研究案に関連する文献を調査した結果、すでに同じ貢献を実現した研究が見つかれば、提案する貢献を修正する必要が生じる場合がある。その修正によって評価方法の適合性が失われれば、再び評価条件を確認することになる。反対に、文献を追加しても研究案の主張や評価方法を変更する必要がなければ、確認済みの条件を維持できる。再評価の繰り返しは、文献の追加や研究案の編集という操作の回数によって決めるのではなく、変更によって新しい不整合や未確認事項が生じたかによって判断することになる。

LitPivot の研究が具体的に示したのは、文献を読んだ結果として研究案を変え、その変更に応じて関連文献を再評価する循環を支援する方法である。研究者が問題設定、貢献、評価方法の一部分を変更すると、以前の文献が引き続き関係するかを検討し、他の部分との整合性を確認できる。比較実験では、文献に基づく研究案の論拠について専門家評価の改善が確認された。研究案の変更に合わせて文献を追加または除外する行動や、問題設定と評価方法を往復して修正する行動も観察された。これらは、研究案と根拠の対応関係を更新する仕組みが、短時間の研究案作成で実際に利用されたことを示している。

一方、LitPivot の実験結果が直接支えているのは、対象となった研究者と課題、時間、比較条件における文献による論証の改善である。研究案の実行可能性や、実際に得られる科学的成果の新規性まで確定した結果ではない。研究案と文献の対応が明確になっても、実験に必要なデータを取得できるか、提案手法を実装できるか、既存研究を上回る成果が得られるかは別途検証する必要がある。文献との整合性を確認した結果を、研究成果そのものの正しさや価値についての証拠として利用すれば、確認済みの範囲を超えた判断になる。

この境界は、判断を変更した際の根拠の扱いにも共通している。ある条件について確認された結果を、別の条件についての判断へ適用するときには、両者の対応関係を示す必要がある。以前のテストが成功したことは、その時点の実装と検証条件についての証拠になる。先行研究である現象が観測されたことは、その研究の対象と方法において得られた知見になる。これらの結果を変更後の判断へ利用するためには、現在の要求や研究課題との関係を確認しなければならない。根拠が正しいことを維持したまま、その根拠によって判断できる範囲だけを修正する場合もある。

また、変更後の根拠を確認する際には、過去の判断がどの条件で成立していたかを追跡できることにも意味がある。研究案を修正した後、以前に採用した文献を除外した理由が分かれば、その文献が変更後の研究案に適合しなくなった経緯を説明できる。ソフトウェアでも、要求とテストの対応関係が記録されていれば、あるテストを維持した理由や、追加の検証が必要になった理由を確認できる。変更履歴と根拠の対応を残すことは、過去の判断を現在も正しいものとして固定するためではなく、どの条件が変わったことで判断を更新したかを検証可能にするためである。

冒頭の問いに戻れば、考えを変えた後も同じ根拠を使える場合はある。ソフトウェアでは変更前のテスト結果が現在の実装の何を検証するかを確認し、研究計画では以前に参照した文献が現在の問題設定、貢献、評価方法のどれを支持するかを確認する。対応関係が保たれる部分は維持し、変更によって適合性を失った部分では根拠の追加、主張の限定、評価条件の修正を行う。考えを変えたときに見直すべきなのは、その考えを支える資料と検証結果が、変更後のどの条件について判断を成立させるかという対応関係である。

参考文献

  1. id774, 未整理の条件を、判断できる形に変える (2026-07-04). https://blog.id774.net/entry/2026/07/04/4935/
  2. Schünemann HJ et al., Chapter 15: Interpreting results and drawing conclusions (2024). https://www.cochrane.org/authors/handbooks-and-manuals/handbook/current/chapter-15
  3. ISO/IEC/IEEE 29148:2018, Systems and software engineering — Life cycle processes — Requirements engineering (2018-11). https://www.iso.org/standard/72089.html
  4. NASA, SWE-053 – Manage Requirements Changes. https://swehb.nasa.gov/spaces/SWEHBVD/pages/102695435/SWE-053%2B-%2BManage%2BRequirements%2BChanges
  5. ISO/IEC/IEEE 29119-2:2021, Software and systems engineering — Software testing — Part 2: Test processes (2021-10). https://www.iso.org/standard/79428.html
  6. W3C, PROV-DM: The PROV Data Model (2013-04-30). https://www.w3.org/TR/prov-dm/
  7. Schünemann HJ et al., Chapter 14: Completing ‘Summary of findings’ tables and grading the certainty of the evidence (2024). https://www.cochrane.org/authors/handbooks-and-manuals/handbook/current/chapter-14
  8. Hita Kambhamettu et al., LitPivot: Developing Well-Situated Research Ideas Through Dynamic Contextualization and Critique within the Literature Landscape (2026-04-03). https://arxiv.org/abs/2604.02600
  9. Kyle Wiggers, LitPivot: Developing research ideas through dynamic contextualization within the literature landscape (2026-10-23). https://huggingface.co/blog/allenai/litpivot
  10. Kevin Pu et al., IdeaSynth: Iterative Research Idea Development Through Evolving and Composing Idea Facets with Literature-Grounded Feedback (2024-10-05). https://arxiv.org/abs/2410.04025
  11. Marissa Radensky et al., Human-LLM Compound System for Scientific Ideation through Facet Recombination and Novelty Evaluation (2024-09-23). https://arxiv.org/abs/2409.14634
  12. id774, AI に任せる前に、人間が残すべき判断 (2026-06-21). https://blog.id774.net/entry/2026/06/21/4912/
  13. id774, AI の研究自動化には、評価できる範囲という境界がある (2026-09-15). https://blog.id774.net/entry/2026/09/15/5566/
  14. Chenglei Si et al., Can LLMs Generate Novel Research Ideas? A Large-Scale Human Study with 100+ NLP Researchers (2024-09-06). https://arxiv.org/abs/2409.04109