MEDICINE & AI

タイトル：Ambiguity Detection in Medical Exams via Large Language Models: Retrospective Cross-Sectional Pilot Study 雑誌名：JMIR Med Educ. 2026 May 26; 12: e82702. doi: 10.2196/82702. 概　要： 本研究は、大規模言語モデル（LLMs）が医療教育において、自然言語を理解し生成する能力を活かして、評価設計の品質管理を支援する可能性を探ることを目的としています。特に、集中治療に関する学術試験において、曖昧または不適切に構成された試験項目を特定するためのLLMsの使用を評価しました。自動化された曖昧さおよび品質スコアを開発し、個々の質問や試験全体を客観的に評価することを目指しました。 方　法： 2023年から2025年にかけて、フランスのコートダジュール大学医学部で実施された264の試験問題を分析しました。問題は、進行的臨床ケース（PCC）、ミニPCC、主要特徴問題、孤立した質問系列（IQS）の4つの形式から抽出されました。各要素は、プロンプトエンジニアリングなしで4つのLLMs（ChatGPT、Gemini Pro、Le Chat、DeepSeek）に提出され、公式の採点基準を用いてパフォーマンスを評価しました。モデルの合意と自己報告された曖昧さに基づいて、曖昧さ、低パフォーマンス、一貫性の欠如、主観的曖昧さの4つのバイナリ診断タグを適用しました。 結　果： LLMsは学生と同程度の平均スコアを達成し、学年間に有意差は見られませんでしたが、ミニPCCおよびIQS形式でのパフォーマンスは有意に高かったです（P=.049およびP=.04）。IQS項目は最も高い曖昧さスコアを示し、特に2023年と2024年に54項目がスコア2を受けました。タグパターンからは、曖昧さや一貫性の欠如に関する問題が頻繁に見られました。品質スコアは学年によって異なりましたが、著者の専門性や経験年数に基づく有意差はありませんでした（P=.08およびP=.44）。 結　論： このパイロット研究では、LLMsが曖昧な試験問題を積極的に検出し、試験全体の品質を推定するための初期的なフレームワークを提供する可能性が示されました。これらのツールを評価設計プロセスに統合することで、試験後の修正の必要性を減少させ、公平性と明確性の向上に寄与する可能性があります。