MEDICINE & AI

タイトル：A bi-linguistic comparative analysis of ChatGPT-4, Gemini, and Claude performance on Polish medical-dental final examinations 雑誌名：Sci Rep. 2025 Sep 26; 15(1): 33083. 概　要： 本研究は、医療教育におけるチャットボットの有用性を探求し、ポーランドの医療・歯科学生が受けるLDEK（医療・歯科最終試験）およびLEK（医療最終試験）におけるチャットボットの性能を比較分析することを目的としています。ChatGPT-4、Gemini、Claudeの3つのチャットボットの正確性を、英語とポーランド語の両方の質問に対して評価しました。一般化線形混合効果モデルの分析により、Claudeが他のチャットボットと比較して、すべての質問グループで最も高い正確性を示しましたが、義歯の分野では例外でした。また、統合医療の分野では、すべてのチャットボットが歯科の分野よりも高い正答率を示しました。この結果は、Claudeが医療教育において重要な役割を果たす可能性を示唆しています。 方　法： 本研究は、ポーランドの医療・歯科最終試験に関連する質問に対する3つのチャットボット（ChatGPT-4、Gemini、Claude）の性能を比較するために、一般化線形混合効果モデルを用いました。質問は英語とポーランド語の両方で行われ、各チャットボットの正確性が評価されました。 結　果： Claudeは、義歯の分野を除くすべての質問グループで最も高い正確性を示し、他のチャットボットを上回りました。また、統合医療の分野における正答率は、歯科の分野よりも高いことが確認されました。これにより、Claudeが医療教育において有用であることが示されました。 結　論： Claudeは、医療・歯科教育において他のチャットボットよりも優れた性能を示し、特に言語や専門分野によって性能が異なることが明らかになりました。このことは、教育目的でチャットボットを選択する際に言語と専門性を考慮する重要性を強調しています。