自然言語処理を用いた能力ベースの医学教育における指導者のナarrativeコメントの質の評価
カテゴリ：医学教育
公開日：2026年2月19日
タイトル：Using Natural Language Processing to Evaluate the Quality of Supervisor Narrative Comments in Competency-Based Medical Education
雑誌名：Acad Med. 2024 May 01; 99(5): 534-540.
概 要：
本研究は、医学教育におけるナarrative評価コメントの質を評価するために、自然言語処理（NLP）モデルを開発しました。ナarrative評価は学習者の発展と昇進に重要ですが、その質はあまり評価されていません。従来の評価ツールであるQuality of Assessment for Learning（QuAL）を用いて、指導者のコメントを評価することは時間がかかります。本研究では、QuALスコアをナarrativeコメントに適用するNLPモデルを提案しました。
方 法：
2019-2020年度のマクマスター大学とサスカチュワン大学の救急医学レジデンシープログラムから、2,500件のEntrustable Professional Activities評価を無作為に抽出し、匿名化しました。25人の救急医学教員と25人のレジデントがQuALスコアを用いてコメントを評価しました。この結果を基に、NLPモデルを開発し、全体のQuALスコアとサブスコアを予測しました。
結 果：
全50人の評価者が評価を完了しました。約50%のコメントはQuALスコアにおいて完全一致し、残りは研究者によって解決されました。改善のための具体的な提案を作成することが、高品質と中品質のフィードバックを区別する重要な要素でした。全体のQuALモデルは、87%のケースで人間の評価スコアと一致するか、1ポイントの誤差で予測しました。特に改善提案に関するサブタスクでは85%、居住者のパフォーマンスと改善提案の関連性では82%のバランス精度を達成しました。
結 論：
このモデルは、指導者のコメントの質を評価したいプログラムにとって、 considerableな時間を節約する可能性があり、大量のコメントを自動的にスコアリングすることができます。また、教員にリアルタイムでフィードバックを提供したり、教員、ローテーション、プログラム、または機関レベルで評価コメントの質を定量化し追跡するツールとして活用できる可能性があります。