MEDICINE & AI

医療教育における大規模言語モデル:組織学的質問への回答に関するプラットフォーム間比較評価

カテゴリ:医学教育

公開日:2026年2月19日

タイトル:Large language models in medical education: a comparative cross-platform evaluation in answering histological questions. 雑誌名:Med Educ Online. 2025 Dec; 30(1): 2534065. 概 要: 本研究は、医療分野における大規模言語モデル(LLMs)の性能を評価し、特に基本医学の分野での能力を明らかにすることを目的としています。医療組織学は、事実知識と解釈スキルを必要とし、AIの能力を評価するためのユニークな領域です。GPT-4.1、Claude 3.7 Sonnet、Gemini 2.0 Flash、Copilot、DeepSeek R1の5つのLLMsが、200のUSMLEスタイルの組織学的多肢選択問題(MCQs)に対する正答率を比較しました。全てのLLMsは高い正確性を示し、特にGeminiが最も優れた性能を発揮しました。 方 法: この横断的比較研究では、20のトピックにわたる200のUSMLEスタイルの組織学的MCQsを使用しました。各LLMは、3回の別々の試行で全ての質問に回答しました。性能指標には、正確性、再テスト信頼性(ICC)、トピック別分析が含まれ、統計解析にはANOVAとポストホックのTukeyテスト、二元混合ANOVAが用いられました。 結 果: 全てのLLMsは非常に高い正確性(平均91.1%、標準偏差7.2)を達成しました。Geminiが最も高い正確性(92.0%)を示し、次いでClaude(91.5%)、Copilot(91.0%)、GPT-4(90.8%)、DeepSeek(90.3%)の順でした。Claudeは最も高い信頼性(ICC=0.931)を示しました。完全な正確性と再現性は、組織学的手法、血液と造血、循環器系で確認されましたが、筋肉組織(76.0%)とリンパ系(84.7%)が最も難しいトピックでした。 結 論: LLMsは組織学的MCQsに対して優れた正確性と信頼性を示し、他の医療分野を大きく上回る性能を発揮しました。システム間の変動は最小限であり、技術の成熟を示していますが、トピック特有の課題と信頼性の懸念から、人間の専門知識の必要性が依然として示唆されます。これらの結果は、AIの急速な進展を反映し、組織学がAI支援の医療教育に特に適していることを示しています。