MEDICINE & AI

タイトル：From BERT to generative AI - Comparing encoder-only vs. large language models in a cohort of lung cancer patients for named entity recognition in unstructured medical reports. 雑誌名：Comput Biol Med. 2025 Sep; 195: 110665. 概　要： この研究は、非構造化医療文書からの臨床エンティティ抽出が臨床意思決定支援や文書ワークフローの改善に重要であることを背景に、固有表現認識（NER）のために訓練されたさまざまなエンコーダおよびデコーダモデルの性能を評価しています。特に、大規模言語モデル（LLM）の適用可能性に焦点を当てています。 方　法： 本研究では、3つのNER手法を評価しました：(1) トランスフォーマーベースのモデルを用いたフラットNER、(2) マルチタスク学習設定によるネストされたNER、(3) LLMを利用した指示ベースのNERです。2013件の病理報告と413件の放射線報告からなるデータセットを使用し、医学生によって注釈が付けられました。 結　果： エンコーダベースのNERモデル（フラットおよびネスト）の性能は、LLMベースのアプローチよりも優れていました。最も性能が良いフラットNERモデルは、病理報告でF1スコア0.87-0.88、放射線報告で最大0.78を達成しましたが、ネストされたNERモデルはわずかに劣りました。一方、複数のLLMは高い精度を達成したものの、リコールが低いためF1スコアは0.18から0.30と大幅に低下しました。これは、LLMが出力生成時に過度に保守的になるためと考えられます。 結　論： 現在の形のLLMは、特に文書あたりのエンティティタイプが多い場合、臨床領域での包括的なエンティティ抽出タスクには不適切です。ただし、次回の修正でより多くのエンティティを返すよう指示することでリコールが改善される可能性があります。また、LLMの計算オーバーヘッドは、性能向上に対して比例した利点を提供しません。バイオメディカルデータで事前訓練されたエンコーダベースのNERモデルが、非構造化医療文書からの情報抽出において依然として好ましい選択肢です。