人工知能生成と人間執筆の医学生エッセイの識別：準ランダム化対照研究
カテゴリ：公衆衛生・予防医療
公開日：2026年2月19日
タイトル：Detecting Artificial Intelligence-Generated Versus Human-Written Medical Student Essays: Semirandomized Controlled Study
雑誌名：JMIR Med Educ. 2025 Mar 03; 11: e62779. doi: 10.2196/62779. Epub 2025 Mar 03.
概 要：
本研究は、医療分野における人間と人工知能（AI）によって生成されたテキストの識別能力を評価することを目的としています。特に、医療専門家と人文学者の2つの専門家グループが、医学生によって書かれたドイツ語の科学的テキストとChatGPTによって生成されたテキストを区別できるかを検討しました。識別の理由を分析し、内容の親しみや言語的特徴の役割を探りました。
方 法：
2023年5月から8月にかけて、35人の専門家（医療分野22人、人文学分野13人）が異なる医療トピックに関するテキストのペアを提示されました。各ペアは、医学生が書いたテキストとChatGPTによって生成されたテキストで構成され、専門家はAI生成のテキストを特定し、その理由を説明しました。理由は質的分析を通じて評価され、テキストの特徴が特定されました。
結 果：
全体で69回の判断ラウンドのうち48回（70%）で、参加者はAI生成のテキストを正確に特定しました。医療専門家は72%、人文学者は65%の正確性を示しました。内容の誤りは識別精度にほとんど影響を与えませんでしたが、冗長性や繰り返し、テキストの一貫性といったスタイル的特徴が重要な役割を果たしました。
結 論：
医療と人文学の専門家は、医療文脈においてChatGPT生成のテキストを識別できることが示され、識別は主に言語的属性に基づいています。識別の精度は、専門家の内容への親しみとは独立しているようです。今後は、他の学問分野のテキストを用いた準実験的研究が必要です。