自然言語処理を用いた職場ベースの評価における反省とフィードバックの質の自動評価
カテゴリ：医学教育
公開日：2026年2月19日
タイトル：Automated Evaluation of Reflection and Feedback Quality in Workplace-Based Assessments by Using Natural Language Processing: Cross-Sectional Competency-Based Medical Education Study
雑誌名：JMIR Med Educ. 2025 Oct 22; 11: e81718. doi: 10.2196/81718. Epub 2025 Oct 22.
概 要：
本研究は、職場ベースの評価における住民の反省と教員のフィードバックの質を評価するために自然言語処理（NLP）モデルを開発し、適用することを目的としています。台湾の全国的なEmywayプラットフォームでの耳鼻咽喉科レジデンシートレーニングにおけるEntrustable Professional Activities（EPAs）の評価を対象に、300件の評価を分析しました。医療教育の専門家が独立してナラティブを評価し、最も性能の良いモデルを用いて質のトレンドを追跡しました。
方 法：
この4年間の横断研究では、2021年から2025年までの300件のEPA評価を無作為にサンプリングし、ナラティブを関連性、特異性、反省または改善に焦点を当てた言語の有無に基づいて評価しました。ナラティブは効果的、中程度、効果がない、または無関係の4つの質レベルに分類され、高品質と低品質に二分化されました。ロジスティック回帰、サポートベクターマシン、BERTモデルの性能を比較しました。
結 果：
BERTモデルは他のアプローチを上回り、住民の反省と教員のフィードバックにおいてそれぞれ85%と92%の精度を達成しました。4レベル分類の精度は67%でした。長期的な分析では、高品質の反省が70.3%から99.5%に、フィードバックが50.6%から88.9%に有意に増加しました。
結 論：
BERTベースのNLPは、EPA評価におけるナラティブの質を評価する際に中程度から高い精度を示しました。専門家のレビューの代替にはならないものの、NLPモデルはナラティブのトレンドを監視し、能力に基づく医療教育における形成的フィードバックを向上させるための貴重なツールを提供します。