MEDICINE & AI

タイトル：Improving Retrieval Augmented Generation for Health Care by Fine-Tuning Clinical Embedding Models: Development and Evaluation Study DOI：10.2196/82997 概　要：本研究は、医療情報検索（IR）とリトリーバル拡張生成（RAG）システムの性能を向上させるために、実際の臨床文書に基づいて特化した埋め込みモデルを開発・検証することを目的としています。既存のモデルは主に英語の公開データセットで訓練されており、非英語の医療環境での効果が制限されています。特に、専門的な医療文書における用語や略語、微妙な臨床言語に対する訓練が不足しているため、RAGシステムに統合した際に不正確なコンテキスト取得が生じます。 方　法：本研究では、マルチリンガルe5-largeアーキテクチャを基にした文埋め込みモデルをファインチューニングしました。訓練データは、2018年から2023年の間に、ドイツの大規模な三次医療機関から収集した40万件の多様な臨床文書から合成生成された約1100万の質問-回答ペアで構成されています。モデルは、IRとRAGシステムの性能を評価するために、異なるシナリオで検証されました。 結　果：IR評価では、ファインチューニングされたモデルがmAP@100で0.27を達成し、マルチリンガルe5-largeのベースライン（0.14）や最先端モデル（bge-m3: 0.11）を上回りました。RAG評価では、制約のある患者中心のシナリオでベースラインと同等の性能を示し（BERTScore F1 0.781 vs 0.778）、制約のないクロス患者設定で中程度の改善を示しました（BLEURT 0.56 vs 0.53）。 結　論：実際のデータセットを活用し、合成質問生成のための大規模言語モデルを使用することで、特化した埋め込みモデルを成功裏に作成・検証しました。これにより、医療情報検索の改善が期待され、他の医療機関がこれらのモデルを統合または適応できる可能性があります。この研究は、医療環境におけるデータ取得の改善に向けた再現可能なフレームワークを確立しました。