GPT-3.5のUSMLEスタイルの医療計算および臨床シナリオにおけるパフォーマンスに対するプロンプトエンジニアリングの評価
カテゴリ：医学教育
公開日：2026年2月19日
タイトル：Evaluating prompt engineering on GPT-3.5's performance in USMLE-style medical calculations and clinical scenarios generated by GPT-4.
雑誌名：Sci Rep. 2024 Jul 28; 14(1): 17341.
概 要：
本研究は、異なるプロンプトエンジニアリング技術（直接プロンプト、思考の連鎖（CoT）、修正CoT）が、GPT-3.5のUSMLE Step 1試験スタイルの臨床および計算ベースの医療質問への回答能力に与える影響を評価することを目的としています。GPT-4によって生成された1000の質問と、実際のUSMLE Step 1質問95件の2つのセットに対するGPT-3.5の応答を分析しました。結果として、プロンプトの種類による正確性に有意な差は見られませんでした。USMLEサンプルでは、成功率は直接プロンプトで61.7%、CoTで62.8%、修正CoTで57.4%であり、p値は0.734でした。この結果は、医療教育におけるAIツールの統合を簡素化する可能性を示唆しています。
方 法：
本研究は、GPT-3.5の応答を評価するために、GPT-4が生成した1000の質問と95の実際のUSMLE Step 1質問を使用した分析を行いました。各プロンプトエンジニアリング技術（直接プロンプト、CoT、修正CoT）の効果を比較し、正確性をp値で評価しました。
結 果：
GPT-3.5のUSMLEサンプルに対する成功率は、直接プロンプトで61.7%、CoTで62.8%、修正CoTで57.4%でした。GPT-4生成の質問に対しても同様の傾向が見られ、全てのプロンプトタイプ間でp値は0.05以上であり、有意差はありませんでした。
結 論：
CoTプロンプトエンジニアリングは、GPT-3.5の医療計算やUSMLEスタイルの臨床シナリオへの対応能力に有意な影響を与えないことが示されました。この結果は、複雑なプロンプトエンジニアリングを必要とせずに、医療教育にAIツールを統合する際の利便性を高める可能性があります。