大規模言語モデル、ChatGPT、および未訓練医師の緊急医療におけるトリアージ性能：比較研究
カテゴリ：災害・救急医療
公開日：2026年2月19日
タイトル：Triage Performance Across Large Language Models, ChatGPT, and Untrained Doctors in Emergency Medicine: Comparative Study
雑誌名：J Med Internet Res. 2024 Jun 14; 26: e53297. doi: 10.2196/53297. Epub 2024 Jun 14.
概 要：
本研究は、大規模言語モデル（LLMs）とChatGPTが緊急医療のトリアージにおいてどの程度の性能を発揮するかを評価し、専門的な訓練を受けた医療スタッフや未訓練の医師と比較しました。また、LLMの応答が未訓練のスタッフのトリアージ能力を向上させるかどうかも検討しました。124件の匿名化されたケースを用いて、トリアージの合意レベルを測定しました。
方 法：
本研究では、124件のケースビネットを未訓練医師、異なるLLM、ChatGPT、専門的な評価者によってトリアージしました。評価者はマンチェスター・トリアージ・システム（MTS）に基づいて合意セットを決定しました。主要評価指標は、評価者間のMTSレベルの一致度であり、二次的には過剰トリアージと過少トリアージの程度も評価しました。
結 果：
GPT-4ベースのChatGPTと未訓練医師は、専門的な評価者の合意トリアージと高い一致を示しました（それぞれのCohenのκ値は0.67および0.68）。GPT-3.5ベースのChatGPTは0.54であり、統計的に有意な差がありました（P<.001）。未訓練医師がLLMを使用した場合、わずかながらも統計的に有意ではない性能向上が見られました（κ=0.70）。LLMsは過剰トリアージ傾向があり、未訓練医師は過少トリアージ傾向がありました。
結 論：
LLMsおよびChatGPTは、専門的な評価者には及ばないものの、未訓練医師と同等のトリアージ能力を示しました。現状では、LLMsやChatGPTは緊急医療のトリアージにおいてゴールドスタンダードの性能を示さず、未訓練医師のトリアージ能力を有意に向上させることはできませんでした。新しいLLMバージョンの性能向上は、今後の技術開発と特定の訓練による改善の可能性を示唆しています。