MEDICINE & AI

タイトル：Evaluating the value of AI-generated questions for USMLE step 1 preparation: A study using ChatGPT-3.5. 雑誌名：Med Teach. 2025 Oct; 47(10): 1645-1653. 概　要： 本研究は、医学生がUSMLEステップ1試験の準備においてAIを利用する際のAI生成の試験問題の正確性と内容分布を評価することを目的としています。ChatGPT-3.5を用いて、USMLEステップ1の試験スタイルに合った選択肢問題を生成し、その出力の事実の正確性や内容の多様性を手動で検証しました。結果として、生成された問題の83%に事実の誤りはなく、15%には1～2の誤りが含まれていました。 方　法： 本研究では、USMLEステップ1試験スタイルに合った選択肢問題を生成するために、キュレーションされたプロンプトを作成しました。ChatGPT-3.5を使用して、各プロンプトスタイルに基づいて50の質問と回答を生成し、出力を事実の正確性、ブルームのタキソノミー、USMLEステップ1の内容アウトライン内のカテゴリに基づいて手動で検証しました。 結　果： ChatGPT-3.5は150の選択肢問題を生成し、全体の83%が事実の誤りを含まず、15%が1～2の誤りを含んでいました。簡単なプロンプトを使用することで、深部静脈血栓症、心筋梗塞、甲状腺疾患などの共通テーマが浮かび上がりました。問題生成と内容トピック生成を分けることでトピックの多様性が向上し、「治療」に関する質問を望まないと明示することでステップ1への特異性が増しました。 結　論： ChatGPT-3.5は、USMLEステップ1スタイルの質問を合理的な事実の正確性で生成できることを示しました。この方法は、USMLE試験の準備を行う医学生にとって有用である可能性があります。ただし、AI生成の質問は特定の医療条件に対するバイアスを克服するために、ターゲットを絞ったプロンプティング技術を使用する必要があります。