ナラティブ評価による学生の層別化における自然言語処理の課題
カテゴリ：災害・救急医療
公開日：2026年2月19日
タイトル：Challenges in using natural language processing to stratify students by narrative assessments in undergraduate medical education
雑誌名：Acad Med. 2025 Dec 03; doi: 10.1093/acamed/wvaf065. Epub 2025 Dec 03.
概 要：
医療教育者は、評価におけるナラティブデータの潜在的な有用性に注目していますが、データ解釈の効率的かつ標準化された方法が不足しているため、その利用は制限されています。本研究では、ナラティブデータを用いてリスクのある学生や低成績の学生を特定するために、自然言語処理（NLP）アルゴリズムの活用を目指しました。シンシナティ大学医学部の16のコホートからの評価データをレビューし、ナラティブデータを分析に利用しました。
方 法：
シンシナティ大学医学部の2006年から2022年の卒業生からの16のコホートの評価データをレビューしました。各学生のTスコア平均（TSA）を計算し、コアクリニック評価の「改善の機会」に関するナラティブデータを分析に使用しました。このナラティブデータと計算されたTSAを用いて、リスクのある学生を特定するために4つのNLPモデルを訓練・テストしました。
結 果：
開発したNLPモデルは、全体的な精度0.8で学生のパフォーマンスを特定するのに適切に機能しましたが、下位10%の学生を特定することはできませんでした。評価内での「コピー/ペースト」行動が発見され、これはナラティブデータ内での未文書の現象です。「コピー/ペースト」コメントを含めることで、NLPモデルの下位および上位10%の学生を特定する能力が向上しました。
結 論：
NLPモデルはリスクのある学生を正確に特定できませんでしたが、「コピー/ペースト」コメントを含めることでモデルの精度が向上しました。ナラティブデータの他の側面がパフォーマンスとどのように関連するかを探求し、より高度な大規模言語モデルの分析を利用する今後の研究が期待されます。