医療タスクおよび臨床推論におけるDeepSeek大規模言語モデルの比較ベンチマーキング
カテゴリ：診断支援・画像解析
公開日：2026年2月19日
タイトル：Comparative benchmarking of the DeepSeek large language model on medical tasks and clinical reasoning.
雑誌名：Nat Med. 2025 Aug;31(8):2550-2555.
概 要：
本研究では、医療分野における新たな大規模言語モデル（LLM）であるDeepSeekの能力を評価しました。具体的には、DeepSeek-R1、ChatGPT-o1、Llama 3.1-405Bの3つのLLMが、米国医師免許試験（USMLE）からの質問への回答、テキストベースの診断および管理ケースの解釈、RECIST 1.1基準に基づく腫瘍分類、複数のモダリティにわたる診断画像報告の要約といった4つの医療タスクを実施しました。DeepSeek-R1は、USMLEテストでの精度が0.92で、ChatGPT-o1の0.95にはわずかに劣るものの、Llama 3.1-405Bの0.83よりは優れていました。診断推論においては、DeepSeekの提供するステップが他のモデルよりも正確であると評価されましたが、要約された画像報告の質はChatGPT-o1に劣る結果となりました。
方 法：
この研究では、DeepSeek-R1、ChatGPT-o1、Llama 3.1-405Bの3つの大規模言語モデルを用いて、4つの医療タスクを評価しました。対象としたタスクは、USMLEからの質問への回答、テキストベースのケースの解釈、RECIST 1.1基準に基づく腫瘍分類、診断画像報告の要約です。各モデルの精度を比較し、統計的有意性を評価するためにP値を算出しました。
結 果：
DeepSeek-R1はUSMLEテストで精度0.92を達成し、ChatGPT-o1の0.95には及ばないものの、Llama 3.1-405Bの0.83を上回りました。テキストベースのケースでは、DeepSeek-R1の精度は0.57で、ChatGPT-o1の0.55と同等でした。RECIST分類では、DeepSeek-R1が0.74、ChatGPT-o1が0.81でした。診断推論の正確性はDeepSeekが最も高く評価されましたが、要約された画像報告の質はChatGPT-o1に劣りました。
結 論：
DeepSeek-R1は医療アプリケーションにおいて有望な能力を示しましたが、特定の領域では改善が必要であることも明らかになりました。この研究は、医療分野における大規模言語モデルの可能性と課題を示しています。