多様なテストスイートを用いた大規模言語モデルのファストヘルスケア相互運用性リソース知識の評価：比較分析
カテゴリ：診断支援・画像解析
公開日：2026年2月19日
タイトル：Using a Diverse Test Suite to Assess Large Language Models on Fast Health Care Interoperability Resources Knowledge: Comparative Analysis
雑誌名：J Med Internet Res. 2025 Aug 12; 27: e73540. doi: 10.2196/73540. Epub 2025 Aug 12.
概 要：
本研究は、ファストヘルスケア相互運用性リソース（FHIR）標準に関する大規模言語モデル（LLMs）の理解と性能を評価するためのFHIR Workbenchを提案します。LLMsは一般的な知識ベンチマークでは優れた能力を示していますが、FHIRの複雑さと専門性により、ドメイン特有のタスクに対する理解が限られる可能性があります。健康データの相互運用性を向上させることは、臨床データの利用や電子健康記録との相互作用に大きな利益をもたらします。
方 法：
4つの評価データセットを作成し、LLMsのFHIR知識と能力を評価しました。これには、一般的なFHIR概念やFHIR REST APIに関する選択問題、リソースタイプの特定、非構造化臨床患者ノートからのFHIRリソース生成が含まれます。オープンソースモデル（Qwen 2.5 Coder、DeepSeek-V3）と商業モデル（GPT-4o、Gemini 2）をゼロショット設定で評価しました。評価の文脈を提供するために、6人のFHIR専門家による人間評価も行いました。
結 果：
商業モデルは優れた能力を示し、GPT-4oはFHIR-ResourceIDタスクで0.9990のF1スコア、FHIR-QAタスクで0.9400、FHIR-RESTQAタスクで0.9267を達成しました。オープンソースモデルも強力な性能を示し、DeepSeek-v3はFHIR-QAで0.9400、FHIR-RESTQAで0.9400、FHIR-ResourceIDで0.9142を達成しました。しかし、全モデルがNote2FHIRタスクで苦戦し、性能は0.0382（OLMo）から0.3633（GPT-4.5-preview）までの範囲でした。人間参加者は最初の3つのタスクで0.50から1.0の精度を達成しました。
結 論：
本研究は、オープンソースモデル（Qwen、DeepSeek）と商業モデル（GPT-4o、Gemini）の両方がFHIR関連タスクで競争力のある性能を示すことを強調します。オープンソースモデルは急速に進化していますが、特定の複雑なタスクでは商業モデルが依然として優位です。FHIR Workbenchは、これらのモデルの能力を評価し、健康データの相互運用性の改善を促進するための貴重なプラットフォームを提供します。