MEDICINE & AI

タイトル：Automated auditing of emergency department documentation using large language models. DOI：10.1016/j.ajem.2026.03.007 概　要： 本研究は、救急部（ED）の文書におけるエラーが患者に害を及ぼし、法的リスクを引き起こす可能性があることを背景に、手動での文書監査がリソースを多く消費し、スケールしにくいことを指摘しています。大規模言語モデル（LLM）が自動化された代替手段を提供できる可能性があるものの、特定のタスクにおけるエラー検出の性能は不明でした。本研究では、ED文書の自動監査における4つの最先端LLMの性能を評価しました。 方　法： 600件のED退院ノートを評価しました。500件には5つの定義されたカテゴリー（患者/遭遇、薬剤/アレルギー、臨床所見、調査の失敗/矛盾、または処置/フォローアップ）にわたる単一の文書エラーが注入され、100件はエラーのない参照ノートでした。4つのLLM（Claude Sonnet 4.5、Gemini 2.5 Pro、GPT-5、Grok 4）が盲検条件下で各ノートを独立して監査しました。モデルの性能は、精度、適合率、再現率、F1スコアを用いて評価され、ペアワイズ比較にはMcNemarの検定が使用されました。 結　果： モデルの精度は93.2%から94.2%で、適合率は98%を超え、全モデルのF1スコアは0.95以上でした。Claude Sonnet 4.5が最高の全体精度（94.2%）とF1スコア（0.964）を達成しました。モデル間の全体的なエラー検出において統計的に有意な差は見られませんでした（p > 0.05）。カテゴリー別では、全モデルが患者/遭遇の不一致と薬剤/アレルギーエラーに対してほぼ完璧な性能を示し（F1スコア > 0.96）、調査の失敗/矛盾、処置/フォローアップエラー、臨床所見の不一致に対しては低い性能を示しました。 結　論： LLMはED文書の監査において強力な性能を示し、救急医療における品質保証ツールとしての潜在的な役割を支持します。今後の研究では、これらのシステムを実際の臨床ワークフローに統合する方法を探るべきです。