MEDICINE & AI

タイトル：Evaluating the accuracy of a state-of-the-art large language model for prediction of admissions from the emergency room. 雑誌名：J Am Med Inform Assoc. 2024 Sep 01; 31(9): 1921-1928. doi: 10.1093/jamia/ocae103. 概　要： 本研究は、救急室における患者の入院予測における大規模言語モデル（LLM）であるGPT-4の性能を評価しました。従来の機械学習（ML）モデルと比較し、実世界のデータを用いた研究はこれまで存在しませんでした。7つのニューヨーク市の病院からの電子健康記録を使用し、Bio-Clinical-BERTおよびXGBoostモデルを訓練し、GPT-4の性能をゼロショット、少数ショット、MLの数値的確率を用いた場合など、さまざまなシナリオで評価しました。 方　法： 本研究は、7つのニューヨーク市の病院からの電子健康記録を用いた後ろ向き研究です。非構造化データに対してBio-Clinical-BERT、構造化データに対してXGBoostモデルを訓練し、MLの性能を反映したアンサンブルモデルを作成しました。その後、GPT-4の能力をさまざまなシナリオで評価しました。 結　果： アンサンブルMLモデルは、受信者動作特性曲線（AUC）で0.88、精度-再現率曲線（AUPRC）で0.72、精度82.9%を達成しました。ナイーブなGPT-4の性能は、AUCが0.79、AUPRCが0.48、精度77.5%でしたが、限られた関連データを与えた場合（RAG）やMLの数値的確率を用いた場合には、AUCが0.87、AUPRCが0.71、精度83.1%と大幅に改善しました。興味深いことに、RAG単独でも性能が向上し、AUCが0.82、AUPRCが0.56、精度81.3%に達しました。 結　論： ナイーブなLLMは限られた性能を示しましたが、実世界の例を用いることで入院予測の精度が大幅に向上しました。特にRAGや従来のMLモデルからの数値的確率を補完することで、性能が向上しました。最良の性能は純粋なMLモデルにはわずかに劣るものの、予測の背後にある理由を提供する可能性がある点は注目に値します。LLMを実世界のデータでさらに洗練させることが、ケア環境での意思決定支援ツールとしての統合に必要です。