MEDICINE & AI

タイトル：Developing healthcare language model embedding spaces 雑誌名：Artif Intell Med. 2024 Dec; 158: 103009. 概　要： 本研究は、医療分野に特化したデータセットやタスクに適応するための小型の事前学習済み大規模言語モデル（LLM）の効率的な適応方法を開発・評価することを目的としています。医療環境ではデータプライバシーや計算資源の制約があり、従来の大規模データセットに基づく事前学習とタスク特化型のファインチューニングはリソースを多く消費します。本研究では、医療特有の能力を小型LLMに効果的に組み込むための事前学習アプローチを特定し、3つの専門的な事前学習手法を探求しました。 方　法： 本研究では、医療データセットに適応するための小型LLMの事前学習において、従来のマスク言語モデル（MLM）、深層対照学習（DeCLUTR）、および医療環境からのメタデータカテゴリを利用した新しいアプローチを評価しました。これらの手法は、複数の医療データセットにわたる文書分類タスクに焦点を当てて評価され、分類精度と埋め込み空間の分析を通じて性能が評価されました。 結　果： 対照的に訓練されたモデルは、限られたラベル付きデータと少ないモデルパラメータの更新で強力な性能を発揮し、他のアプローチを常に上回りました。新しいメタデータベースの事前学習は分類精度を向上させませんでしたが、埋め込みクラスタの分離性に興味深い結果をもたらしました。すべてのドメイン適応型LLMは、一般的なベースモデルを上回る性能を示し、ドメイン特化の重要性を裏付けました。 結　論： 本研究は、リソース制約の下でも小型LLMを医療タスクに適応させるための専門的な事前学習手法の有効性を示しました。医療用LLMの事前学習に関するガイドラインを提供し、対照的な目的へのさらなる探求を促進します。これらのアプローチは、プライバシーに敏感な医療タスクに小型LLMを整合させる可能性を示し、医療環境における効率的かつ責任あるNLPの展開への道を提供します。