MEDICINE & AI

タイトル：Secure AI-assisted angoff standard-setting for single best answer questions: A non-inferiority validation study. 雑誌名：Med Teach. 2026 Jun 11; 1-11. doi: 10.1080/0142159X.2026.2681212. 概　要： 本研究は、Angoff法を用いて試験の合格基準を設定する際に、AIによる推定が人間の判断に劣らないかを評価しました。Angoff法は専門家の見積もりに基づくため、時間がかかり変動が大きいです。AIを用いた推定が、従来の人間の判断と同等であるかを検証することを目的としました。 方　法： イギリスの医師助手プログラムにおいて方法論的研究を実施しました。教員調査に基づき、境界線上の学生の記述を作成しました。ExamFeatsという安全なオフラインツールを用いて、1,003の過去問題と100の新しい問題から特徴を抽出しました。3つのAIモデル（大規模言語モデル、機械学習モデル、ハイブリッドモデル）を評価し、100の新問題に対する人間のAngoff評価を平均しました。主要評価指標は、AIと人間のAngoffスコアの平均差で、事前に設定した10%の非劣性マージンに対して評価しました。 結　果： 100の新しい問題に対して、人間のAngoff推定とすべてのAIモデルの分布は密接に一致し、系統的な差は最小限でした。人間の平均Angoffスコアは60.3%で、モデルA、B、Cはそれぞれ60.8%、60.0%、60.3%の推定を示しました。モデル間に有意差はなく（p=0.41）、95%信頼区間は非劣性マージン内に収まりました。人間とモデルの予測の不一致は33%の問題で見られましたが、抽出された特徴の違いによるものではありませんでした。 結　論： AIによるAngoff推定は、事前に設定された誤差範囲内でパネルレベルのAngoff行動を再現し、基準設定の時間と認知的負担を軽減できる可能性があります。安全な特徴抽出ツールにより、問題文を共有せずにAI支援の基準設定が可能となりました。しかし、問題レベルでの不一致が示されたため、AIは専門家パネルを補完する形で活用すべきです。