大規模言語モデル生成の救急医学引き継ぎノートの開発と評価
カテゴリ：災害・救急医療
公開日：2026年2月19日
タイトル：Developing and Evaluating Large Language Model-Generated Emergency Medicine Handoff Notes
雑誌名：JAMA Netw Open. 2024 Dec 02; 7(12): e2448723.
概 要：
本研究は、大規模言語モデル（LLM）によって生成された救急医学（EM）から入院患者（IP）への引き継ぎノートの開発と、その正確性および安全性を医師が作成したノートと比較して評価することを目的としています。LLM生成の引き継ぎノートは、医師の文書作成負担を軽減しつつ、引き継ぎの安全性を損なわない可能性があります。2023年にNewYork-Presbyterian/Weill Cornell Medical Centerで行われた急性入院患者の医療記録を用いて、LLMのパイプラインを訓練・評価し、医師作成ノートとの比較を行いました。
方 法：
このコホート研究では、2023年に急性入院した患者の医療記録を用い、LLMを訓練し、EMからIPへの引き継ぎノートを生成しました。生成されたノートは、ROUGE、BERTScore、SCALEなどの従来の自動評価手法と、新たに開発した患者安全に焦点を当てたフレームワークを用いて評価されました。データは2023年10月から2024年3月まで分析されました。
結 果：
1600件のEM患者記録を対象にした結果、LLM生成の引き継ぎノートは、医師作成ノートに比べてROUGE（0.322 vs 0.088）、BERTScore（0.859 vs 0.796）、SCALEスコア（0.691 vs 0.456）が高く、より高い類似性と詳細を示しました。3人の認定EM医師による評価では、50件のLLM生成ノートの有用性スコアは平均4.04（0.86）で、医師作成ノートの4.36（0.71）に対してわずかに劣りましたが、患者安全スコアは4.06（0.86）で医師作成の4.50（0.56）に近いものでした。LLM生成ノートは、いずれも重大な患者安全リスクには分類されませんでした。
結 論：
このコホート研究では、LLM生成のEMからIPへの引き継ぎノートが、従来の自動評価手法において医師作成の要約よりも優れていることが示されましたが、新たな評価フレームワークでは有用性と安全性でわずかに劣る結果となりました。この研究は、LLMモデルの実装設計における医師の関与の重要性を示し、LLMモデルの事前実装における患者安全を測定する効果的な戦略を示しています。