臨床における大規模言語モデルの知識と実践のパフォーマンスギャップ：39のベンチマークの系統的レビュー
カテゴリ：医学教育
公開日：2026年2月19日
タイトル：Knowledge-Practice Performance Gap in Clinical Large Language Models: Systematic Review of 39 Benchmarks
雑誌名：J Med Internet Res. 2025 Dec 01; 27: e84120. doi: 10.2196/84120. Epub 2025 Dec 01.
概 要：
この系統的レビューは、医療における大規模言語モデル（LLMs）のベンチマークを分類・分析し、評価パラダイム間のパフォーマンスパターンを検討し、現在の評価方法論のギャップを特定することを目的としています。LLMsは医療ライセンス試験で人間のパフォーマンスを超えることが多いですが、臨床実践への移行は十分に評価されていません。
方 法：
この研究は、PROSPEROに登録されたプロトコルに基づき、MEDLINE/PubMed、Embase/Ovid、Cochrane Library、arXivの4つのデータベースを2025年8月31日まで検索しました。英語で発表された医療に関するベンチマークを調査した研究を対象とし、方法論的質はMixed Methods Appraisal Toolを用いて評価しました。評価指標の異質性によりメタアナリシスは行わず、ナラティブ合成を実施しました。
結 果：
3917件の記録から39の医療LLMベンチマークが特定され、知識ベース（54%）、実践ベース（38%）、ハイブリッド（8%）に分類されました。知識ベースのベンチマークは84%-90%の精度を示し、医師の平均パフォーマンスに近づいていますが、実践ベースの評価では45%-69%の成功率と低いパフォーマンスが見られました。特に、診断タスクは45%-55%の成功率であり、安全性評価は40%-50%の精度に留まりました。
結 論：
このレビューは、医療AIにおける「知識と実践のギャップ」を定量的に示す初の包括的分析を提供します。知識ベースの試験での高パフォーマンス（84%-90%）が臨床能力（45%-69%）に結びつかないことを明らかにし、実践指向の検証と人間の監視が必要であることを強調しています。