ユーザーがアラートをオーバーライドする理由:大規模言語モデルを用いたコメントの要約と臨床意思決定支援の最適化
カテゴリ:医学教育
公開日:2026年1月29日
タイトル:Why do users override alerts? Utilizing large language model to summarize comments and optimize clinical decision support.
雑誌名:J Am Med Inform Assoc. 2024 May 20; 31(6): 1388-1396. doi: 10.1093/jamia/ocae041.
概 要:
本研究は、生成的人工知能(AI)を用いてアラートに対するユーザーコメントを要約し、その要約が臨床意思決定支援(CDS)アラートの改善に寄与できるかを評価することを目的としています。2022年9月1日から2023年9月1日までにバンダービルト大学医療センターで生成されたアラートに対するユーザーコメントを抽出し、8つのアラートについて2人の医師とGPT-4によって独立に要約を生成しました。5人のCDS専門家に対して、人間生成とAI生成の要約を明瞭さ、完全性、正確性、有用性の4つの指標で評価してもらいました。
方 法:
本研究は、バンダービルト大学医療センターでのアラートに対するユーザーコメントを対象とした調査研究です。2022年9月1日から2023年9月1日までのデータを用い、8つのアラートについて2人の医師とGPT-4が独立して要約を生成しました。5人のCDS専門家が人間生成とAI生成の要約を評価し、各指標について1(強く不同意)から5(強く同意)のスケールで評価しました。
結 果:
5人のCDS専門家が調査に参加し、16件の人間生成要約と8件のAI生成要約が評価されました。評価の高い8件の要約のうち5件はGPT-4によって生成されました。AI生成要約は、人間生成要約と同様に高い明瞭さ、正確性、有用性を示しましたが、完全性と有用性においてはAI生成要約が有意に高い結果を示しました(AI: 3.4±1.2, 人間: 2.7±1.2, P=.001)。
結 論:
エンドユーザーのコメントは、CDSアラートに対する臨床医の即時フィードバックを提供し、CDSの提供を改善するための貴重なデータリソースとなります。本研究は、GPT-4がこれらのコメントを高い明瞭さ、正確性、完全性を持つ要約に凝縮できることを示しました。AI生成の要約は人間生成の要約と同等かそれ以上の可能性があり、CDS専門家がユーザーコメントを迅速にレビューし、CDSアラートを最適化する新たな手段を提供する可能性があります。