ChatGPTの誤りに関する警告は効果を発揮しない:ランダム化比較試験
カテゴリ:医学教育
公開日:2026年2月19日
タイトル:ChatGPT can make mistakes' warnings fail: A randomized controlled trial.
雑誌名:Med Educ. 2026 Feb; 60(2): 138-142. doi: 10.1111/medu.70056. Epub 2025 Sep 25.
概 要:
本研究は、AIシステムであるChatGPTの誤りに関する警告が医学生の診断行動に与える影響を調査しました。186人の4年生医学生が、曖昧な臨床事例を評価し、警告あり(警告群)または警告なし(非警告群)でフィードバックを受けました。診断変更率やアドバイスの重みを分析した結果、警告は診断変更に影響を与えず、AIの診断アドバイスが過小評価されていることが示されました。
方 法:
186人の4年生医学生を対象にしたランダム化比較試験を実施しました。学生は3つの臨床事例を評価し、警告の有無でフィードバックを受けました。診断変更の有無を測定し、混合効果モデルを用いて介入効果を評価しました。
結 果:
警告は診断変更に影響を与えず(15.3% vs. 15.9%)、アドバイスの重みは0.15で、以前の研究の平均0.30よりも有意に低い結果となりました。元の診断を維持した学生の中で、警告群はAIのアドバイザーに対する異議の理由を説明する傾向が見られました(60% vs. 51%)。
結 論:
学生はAIの診断アドバイスを過小評価しており、警告はAIの利用に影響を与えませんでした。この結果は、AIに対する信頼の閾値が存在することを示唆しており、単純な警告ではAI支援学習における適切な信頼を確保するには不十分であることを示しています。