MEDICINE & AI

タイトル：Enhancing responses from large language models with role-playing prompts: a comparative study on answering frequently asked questions about total knee arthroplasty. 雑誌名：BMC Med Inform Decis Mak. 2025 May 23; 25(1): 196. doi: 10.1186/s12911-025-03024-5. Epub 2025 May 23. 概　要： 本研究は、人工知能（AI）が医療教育や患者との対話において急速に成長している中、大規模言語モデル（LLM）であるGPT-3.5、GPT-4、Google Gemini、Claude 3 Opusが人工膝関節置換術（TKA）に関するよくある質問に対する応答性能を評価・比較することを目的としています。特に、ロールプレイプロンプトの影響に焦点を当てています。 方　法： GPT-3.5、GPT-4、Google Gemini、Claude 3 Opusの4つの主要LLMを用いて、TKAに関連する10の標準化された患者からの質問に対して評価を行いました。各モデルは、ゼロショットプロンプト（質問のみ）とロールプレイプロンプト（経験豊富な整形外科医を模擬するよう指示）に基づいて2つの異なる応答を生成しました。4人の整形外科医が、応答の正確性と包括性を5段階のリッカート尺度で評価し、受容性についても二項評価を行いました。モデルの性能を比較するために、統計解析（ウィルコクソン順位和検定およびカイ二乗検定；P < 0.05）が実施されました。 結　果： ロールプレイプロンプトを用いたChatGPT-4は、正確性（3.73）、包括性（4.05）、受容性（77.5%）のスコアで最も高い評価を得ました。次いでChatGPT-3.5がそれぞれ3.70、3.85、72.5%のスコアを示しました。Google GeminiとClaude 3 Opusは全ての指標で低い性能を示しました。ゼロショットプロンプトに基づくモデル間比較では、ChatGPT-4がGoogle GeminiおよびClaude 3 Opusに対して有意に高いスコアを示しました（P = 0.031、P = 0.009、P = 0.019、P = 0.002）。モデル内比較では、ロールプレイがChatGPT-3.5の全ての指標を有意に改善し（P < 0.05）、ChatGPT-4の受容性も改善しました（P = 0.033）。GeminiやClaudeには有意なプロンプト効果は見られませんでした。 結　論： 本研究は、ロールプレイプロンプトが特にChatGPT-3.5およびChatGPT-4の性能を向上させることを示しました。ChatGPT-4は、正確性、包括性、受容性の面で優れた性能を示しました。LLMは時折不正確な情報を提供するものの、整形外科の実践における患者教育や臨床意思決定の改善に寄与する可能性があります。