MEDICINE & AI

タイトル：Expert evaluation of large language models for clinical dialogue summarization 雑誌名：Sci Rep. 2025 Jan 07; 15(1): 1195. 概　要： 本研究では、大規模言語モデルによる臨床対話の要約性能を計算指標と人間の評価を用いて評価しました。自動生成された要約と人間が作成した要約を比較し、一般的な要約モデル、一般対話用に微調整されたモデル、匿名化された臨床対話用に微調整された2つのモデル、そしてChatGPTを含む5つの言語モデルを探索的に評価しました。ROUGEやUniEval指標を用いて評価し、臨床医による専門的な評価も行いました。微調整されたトランスフォーマーモデルがROUGE評価で最高得点を獲得した一方、ChatGPTは全体で最低得点でした。しかし、UniEvalではChatGPTが全評価ドメインで最高得点を記録しました。臨床医による評価でも、ChatGPTは4つのドメインで最高得点を得ました。これらの結果は、ChatGPTの臨床対話要約における性能が人間の要約に近づいていることを示唆しています。 方　法： 本研究は、5つの言語モデル（一般要約モデル、一般対話用微調整モデル、匿名化された臨床対話用微調整モデル2つ、ChatGPT）を対象にした探索的評価です。評価にはROUGE、UniEval指標を使用し、臨床医による専門的な評価も行いました。主要評価指標は、要約の一貫性、整合性、流暢さ、関連性などです。 結　果： 微調整されたトランスフォーマーモデルはROUGE評価で最高得点を獲得しましたが、ChatGPTはUniEvalで全ドメインで最高得点を記録しました。臨床医による評価でも、ChatGPTは一貫性、整合性、流暢さ、全体的な臨床使用において最高得点を得ました。統計分析により、ChatGPTと人間の要約との間に有意差が見られました。 結　論： ChatGPTの臨床対話要約における性能は人間の要約に近づいていることが示されました。ROUGE指標は臨床要約生成の評価には信頼性が低い可能性があり、UniEvalは人間の評価と良好に相関していました。大規模言語モデルは臨床対話要約の自動化に成功する可能性がありますが、プライバシーの懸念や健康記録の制約が統合の課題となっています。多様な臨床対話を用いたさらなる評価が必要です。