大規模言語モデルによる引用文献スクリーニングの性能
カテゴリ：災害・救急医療
公開日：2026年2月19日
タイトル：Performance of a Large Language Model in Screening Citations
雑誌名：JAMA Netw Open. 2024 Jul 01; 7(7): e2420496.
概 要：
本研究は、大規模言語モデル（LLM）が系統的レビューにおける引用文献スクリーニングにおいて有用であるかを評価することを目的としています。日本の敗血症および敗血症ショック管理に関する臨床ガイドラインの開発におけるタイトルと要旨のスクリーニングデータを用いて、LLMの精度と効率を評価しました。LLMは、選択された臨床質問に基づく包括的および除外基準に従って引用文献を選定し、従来のスクリーニング方法と比較しました。
方 法：
この前向き診断研究では、2024年1月7日から15日までの期間に、敗血症および敗血症ショック管理に関する5つの臨床質問のタイトルと要旨スクリーニングプロセスから得られたデータを使用しました。LLM（GPT-4 Turbo）を用いた引用文献スクリーニングと従来の方法を比較し、感度と特異度を算出しました。従来の方法によるフルテキストスクリーニング結果を基準としました。
結 果：
従来の引用文献スクリーニングでは、CQ 1で5634件中8件、CQ 2で3418件中4件、CQ 3で1038件中4件、CQ 4で4326件中17件、CQ 5で2253件中8件が選定されました。LLMを用いたスクリーニングの感度は0.75（95% CI, 0.43-0.92）、特異度は0.99（95% CI, 0.99-0.99）でした。コマンドプロンプトの修正により、感度は0.91（95% CI, 0.77-0.97）に改善され、特異度は0.98（95% CI, 0.96-0.99）を維持しました。また、100件の研究を処理する時間は、LLMを用いた場合が1.3分で、従来の方法では17.2分かかり、平均差は-15.25分（95% CI, -17.70から-12.79分）でした。
結 論：
この前向き診断研究では、LLMを用いた引用文献スクリーニングが許容範囲の感度と高い特異度を示し、処理時間が短縮されることが確認されました。この新しい方法は、系統的レビューの効率を向上させ、作業負担を軽減する可能性があります。