MEDICINE & AI

タイトル：An in-depth evaluation of federated learning on biomedical natural language processing for information extraction 雑誌名：NPJ Digit Med. 2024 May 15; 7(1): 127. 概　要： 本研究は、バイオメディカル自然言語処理（NLP）におけるフェデレーテッドラーニング（FL）の評価を行い、情報抽出タスクにおけるその有効性を探求しました。医療分野では、データアクセスの制限やプライバシー規制（HIPAAやGDPR）により、言語モデル（LM）のトレーニングが困難です。FLは、データプライバシーを確保しながら協調学習を可能にする分散型の解決策です。8つのコーパスを用いた2つのバイオメディカルNLPタスクでの評価を行い、FLモデルの性能を分析しました。 方　法： 本研究では、6つの言語モデルを用いて、8つのコーパスにわたる2つのバイオメディカルNLPタスクにおけるFLの効果を評価しました。FLモデルは、個別のクライアントデータでトレーニングされたモデルと比較され、またポーリングデータでトレーニングされたモデルとも比較されました。 結　果： FLモデルは、個別クライアントのデータでトレーニングされたモデルを一貫して上回り、時にはポーリングデータでトレーニングされたモデルと同等の性能を示しました。データ量が固定された場合、より多くのクライアントでトレーニングされたFLモデルは性能が劣る傾向がありましたが、事前学習されたトランスフォーマーベースのモデルは高い耐性を示しました。また、FLモデルは少数ショットプロンプティングを用いた事前学習された大規模言語モデル（LLM）よりも有意に優れた性能を示しました。 結　論： フェデレーテッドラーニングは、医療データのプライバシーを保護しつつ、バイオメディカルNLPタスクにおいて高い性能を発揮する可能性があることが示されました。FLは、医療分野における言語モデルのトレーニングにおいて有望なアプローチであると考えられます。