MEDICINE & AI

タイトル：Utilizing large language models for detecting hospital-acquired conditions: an empirical study on pulmonary embolism 雑誌名：J Am Med Inform Assoc. 2025 May 01; 32(5): 876-884. doi: 10.1093/jamia/ocaf048. 概　要： 本研究は、電子医療記録（EMR）からの有害事象検出の課題に対処するため、大規模言語モデル（LLM）を用いた肺塞栓症（PEAE）の検出フレームワークを開発・評価することを目的としています。カナダ・カルガリーの三次医療病院に入院した成人患者（18-100歳）を対象に、2017年から2022年までのチャートレビューを実施しました。キーワードベースと意味的類似性に基づくフィルタリングを用いた証拠抽出、退院情報抽出、PEAE検出の3つのモジュールからなるフレームワークを構築しました。 方　法： 本研究は、2017年から2022年にカルガリーの三次医療病院に入院した成人患者10,066人を対象にしたチャートレビューを行いました。4つのオープンソースLLM（Llama3、Mistral-7B、Gemma、Phi-3）を評価し、陽性的中率、感度、特異度、F1スコアを用いてモデルの性能を測定しました。人口レベルの監視におけるモデルの性能は、年次、四半期、月次の粒度で評価されました。 結　果： チャートレビューで40件のPEAEが確認され、全てのLLMは高い感度（87.5-100%）と特異度（94.9-98.9%）を示しました。Gemmaは、キーワードベースの検索を用いた場合に最も高いF1スコア（28.11%）を達成しました。キーワードベースのフィルタリングにより、患者あたりの中央値のチャンク数が789から310に減少し、意味的フィルタリングではさらに9チャンクに減少しました。全モデルは、年次のPEAEトレンドとの強い相関を示しました（r=0.92-0.99）。 結　論： 提案された方法は、LLMが高い感度と特異度でPEAEを検出できることを示していますが、陽性的中率が低いため、確定的なPEAEの特定にはさらなるチャートレビューが必要です。今後は、文脈理解や医療用語の解釈を改善し、精度向上のための高度なプロンプティング技術の探求が求められます。