国家試験におけるマルチモーダルLLMのパフォーマンスが作業療法教育に与える示唆
カテゴリ：医学教育
公開日：2026年2月19日
タイトル：What the performance of multimodal LLMs on a national licensing exam teaches us about occupational therapy education
雑誌名：BMC Med Educ. 2026 Jan 02; 26(1): 180. doi: 10.1186/s12909-025-08542-4. Epub 2026 Jan 02.
概 要：
本研究は、作業療法（OT）教育におけるマルチモーダル大規模言語モデル（LLM）の性能を、日本の作業療法士国家試験（JNEOT）において分析し、特に視覚に基づく質問に焦点を当てています。LLMはOT教育に新たな学習と評価の機会を提供しますが、国家試験におけるその能力は未探索でした。研究結果は、OT教育者に対する教育的示唆を提供します。
方 法：
2025年のJNEOT（199項目、177のテキストのみの質問と22の視覚に基づく質問）をOpenAI o3、Gemini 2.5、GPT-4.5、Claude 3.7にゼロショット方式で提示しました。公式の解答キーを基準として、テキストのみの質問と視覚に基づく質問、一般的な項目と実践的な項目の正答率を計算しました。CochranのQを用いて差異を検討し、有意な結果にはBonferroni補正を施したMcNemar検定を行いました。
結 果：
全モデルはテキストベースの質問で合格レベル（82.4-91.0%）を達成しましたが、視覚に基づく項目では著しい低下（50.0-68.2%）を示しました。視覚タスクにおいてモデル間の有意差は見られませんでした。OT特有の10問は全モデルが不正解でした。
結 論：
LLMはOTの基礎知識を強化するのに効果的ですが、視覚的解釈や文脈的推論には限界があります。教育者にとって、LLMを理論的学習の強化に活用しつつ、反省的かつ体験的な能力開発のためにはOT教育者の指導が必要であることを示唆しています。