胸部外科における文献スクリーニングのための大規模言語モデルの精度：診断研究
カテゴリ：医療現場の業務効率化
公開日：2026年2月19日
タイトル：Accuracy of Large Language Models for Literature Screening in Thoracic Surgery: Diagnostic Study
雑誌名：J Med Internet Res. 2025 Mar 11; 27: e67488. doi: 10.2196/67488. Epub 2025 Mar 11.
概 要：
本研究は、胸部外科における文献スクリーニングの精度を評価するために、大規模言語モデル（LLM）を用いたスクリーニングと手動スクリーニングの比較を行いました。手動スクリーニングは2人の研究者によって実施され、LLMはChatGPT-4oとClaude-3.5を使用しました。結果として、LLMは高い感度と特異度を示し、従来の機械学習ツールよりも優れた性能を発揮しました。これにより、LLMは文献スクリーニングの効率化に寄与する可能性が示されました。
方 法：
本研究は、胸部外科に関する6つのメタアナリシスにおけるLLM支援スクリーニングと手動スクリーニングの精度を比較する診断研究です。手動スクリーニングを基準とし、LLMによるスクリーニングを実施しました。感度、特異度、受信者動作特性曲線（SROC）を計算し、タイトル・要約および全文スクリーニングの結果を評価しました。
結 果：
LLMによる全文スクリーニングは、感度0.87（95% CI 0.77-0.99）、特異度0.96（95% CI 0.91-0.98）を示し、AUCは0.96（95% CI 0.94-0.97）でした。タイトル・要約スクリーニングでは、感度0.73（95% CI 0.57-0.85）、特異度0.99（95% CI 0.97-0.99）、AUCは0.97（95% CI 0.96-0.99）でした。ASReviewおよびAbstrackrツールの感度はそれぞれ0.58（95% CI 0.53-0.64）、0.48（95% CI 0.35-0.62）であり、LLMはこれらのツールよりも優れた性能を示しました。
結 論：
LLMは文献スクリーニングを効率化し、作業負担を軽減しつつ質を維持する可能性があります。特に、LLMは従来の機械学習ツールよりも感度とAUC値で優れており、文献スクリーニングにおいてより正確で効率的なアプローチを提供することが示されました。