MEDICINE & AI

タイトル：ChatGPT versus UpToDate in Preclinical Medical Education: Cross-Sectional Analysis Using Term Frequency-Inverse Document Frequency Cosine Similarity DOI：10.2196/82885 概　要： 本研究は、医学生が自己学習に利用する生成型人工知能ツールであるChatGPTと、証拠に基づくリソースであるUpToDateとの類似性を評価しました。特に、前臨床教育におけるChatGPTの補助的な学習ツールとしての可能性を探ることを目的としています。150の質問を用いて、ChatGPTとUpToDateの応答を比較し、ChatGPTの信頼性を検証しました。 方　法： 単一の全科医療機関から得た前臨床質問バンクに基づく150の一次質問を用いた横断的比較研究を実施しました。各質問はChatGPTに10回入力し、UpToDateから関連する記事の応答を取得しました。応答は前処理され、TF-IDFコサイン類似度を用いて類似性を定量化しました。観察された類似性が偶然を超えるかどうかを確認するために、ChatGPTの出力をランダム化テキストから生成された無作為分布と比較しました。 結　果： ChatGPTの応答は、150の質問のうち59.3%（89/150）でUpToDateと統計的に有意な類似性を示しました。分野別では、薬理学が最も高い一致率（平均コサイン類似度0.338、SD 0.134）を示し、次いで病理学（平均0.321、SD 0.142）、生化学（平均0.296、SD 0.120）、微生物学（平均0.297、SD 0.108）、免疫学（平均0.275、SD 0.102）が続きました。すべての分野の類似性スコアは無作為テキストから生成されたものを上回り、観察された重複が非ランダムであることを確認しました。 結　論： ChatGPTは、前臨床トピックにおいてUpToDateと中程度の意味のある一致を示し、特に薬理学のような事実に基づく分野でのパフォーマンスが良好でした。証拠に基づくリソースの代替にはなりませんが、医学生にとってアクセスしやすい補助ツールとして機能する可能性があります。前臨床学習への統合は、責任ある使用と批判的評価を促進するための人工知能リテラシー教育と併せて行うべきです。