学術執筆における引用と参考文献に対する大規模言語モデルの性能と信頼性の評価：学際的研究
カテゴリ：手術支援
公開日：2026年2月19日
タイトル：Evaluation of Large Language Model Performance and Reliability for Citations and References in Scholarly Writing: Cross-Disciplinary Study
雑誌名：J Med Internet Res. 2024 Apr 05; 26: e52935.
概 要：
本研究は、ChatGPT（GPT-3.5）が生成する引用と参考文献の正確性を、自然科学と人文学という2つの異なる学術分野で評価することを目的としています。研究者2名が独立してChatGPTに原稿の導入部分を作成させ、引用を含めるよう指示し、その正確性を評価しました。結果は両分野間で比較されました。
方 法：
研究者2名がChatGPTに対して、原稿の導入部分を作成し、引用を含めるように促しました。その後、生成された引用とデジタルオブジェクト識別子（DOI）の正確性を評価しました。自然科学と人文学の2つの分野で結果を比較しました。
結 果：
自然科学から55件、人文学から47件の合計102件の引用が生成されました。自然科学では40件（72.7%）、人文学では36件（76.6%）の引用が確認されました（P=.42）。自然科学ではDOIの存在が39/55（70.9%）であったのに対し、人文学では18/47（38.3%）であり、正確性にも有意な差が見られました（自然科学：18/55、32.7% vs 人文学：4/47、8.5%）。DOIの幻覚は人文学でより多く見られました（42/55、89.4%）。Levenshtein距離は人文学で自然科学よりも有意に高く、DOIの正確性が低いことを反映しています。
結 論：
ChatGPTの引用と参考文献生成における性能は分野によって異なります。DOI基準や学問分野のニュアンスの違いが性能のばらつきに寄与しています。研究者は、引用の正確性に関して人工知能執筆ツールの強みと限界を考慮すべきです。分野特化型モデルの使用が正確性を向上させる可能性があります。