大規模言語モデルを用いた電子健康記録における臨床推論文書の評価：開発と検証研究
カテゴリ：医学教育
公開日：2026年2月19日
タイトル：Large Language Model-Based Assessment of Clinical Reasoning Documentation in the Electronic Health Record Across Two Institutions: Development and Validation Study
雑誌名：J Med Internet Res. 2025 Mar 21; 27: e67967. doi: 10.2196/67967. Epub 2025 Mar 21.
概 要：
本研究は、2つの医療機関（ニューヨーク大学グロスマン医学部とシンシナティ大学医学部）における電子健康記録の臨床推論（CR）文書の評価に、大規模言語モデル（LLM）を用いた初の多施設研究です。臨床推論は重要なスキルですが、医師はしばしば限られたフィードバックしか受けられません。本研究では、命名エンティティ認識（NER）や論理ベースのモデルを用いて、CR文書の質を評価する手法を開発しました。
方 法：
この研究では、内科レジデントの入院ノートを対象に、700件（NYU）および450件（UC）の過去のデータと、155件（NYU）および92件（UC）の将来の検証データを使用しました。臨床医は、CR文書の質を3段階で評価しました。NYUでは、過去のデータセットに対して5つのエンティティのNERが注釈され、さまざまなAIアプローチを用いてモデルが開発されました。モデルの性能は、F1スコアや受信者動作特性曲線（AUROC）で評価されました。
結 果：
NYUでは、NYUTron LLMが最も良好な性能を示し、D0およびD2モデルはAUROC/AUPRCがそれぞれ0.87/0.79および0.89/0.86でした。UCでは、NERおよびD論理ベースモデルが最も良好なF1スコアを示しました。GatorTron LLMはEA2スコアでAUROC/AUPRCが0.75/0.69を達成しました。
結 論：
本研究は、電子健康記録におけるCR文書の評価にLLMを適用した初の多施設研究であり、これらのツールがCRに関するフィードバックを向上させる可能性を示しました。異なる機関でのモデル実装から得られた教訓は、このアプローチの一般化を支持します。