大規模言語モデルを用いた表現型検証のための信頼性連動型および不確実性ベースの段階的フレームワーク
カテゴリ：診断支援・画像解析
公開日：2026年2月19日
タイトル：Confidence-linked and uncertainty-based staged framework for phenotype validation using large language models.
雑誌名：J Am Med Inform Assoc. 2025 Aug 01; 32(8): 1320-1327. doi: 10.1093/jamia/ocaf099.
概 要：
本研究は、大規模言語モデル（LLMs）と不確実性定量化を統合した信頼性連動型および不確実性ベースの段階的（CLUES）フレームワークを開発・検証し、手動チャートレビューを支援しつつ信頼性を確保することを目的としています。1739人の患者の脳卒中関連入院を対象に、24の韓国の病院での画像報告を使用して評価を行いました。フレームワークは3段階で運用され、高不確実性のケースは次の段階に進む仕組みです。
方 法：
CLUESフレームワークは、2011年から2022年の間に24の韓国の病院で1739人の患者を対象に脳卒中関連入院を評価しました。LLMから得られた信頼性値のエントロピーを用いて不確実性を定量化しました。フレームワークは、（1）アンサンブル平均を用いたゼロショットプロンプティング、（2）低不確実性ケースを用いたフューショットプロンプティング、（3）最終的な不確実なケースの手動チャートレビューの3段階で構成されています。性能はF1スコアとコーエンのカッパを用いて医師ラベルデータと比較して評価されました。
結 果：
1072件のテストケースのうち、ステージ1では507件が低不確実性、565件が高不確実性と分類されました。ステージ2では280件が低不確実性に再分類され、285件が手動レビューに進みました。低不確実性ケースは両ステージで高不確実性ケースを一貫して上回り、全体のフレームワーク性能はF1スコアが0.840（ステージ1）から0.878（ステージ2）、0.955（ステージ3）へと進展しました。
結 論：
CLUESフレームワークは、手動レビューの負担を75%削減しつつ高い精度を維持しました。不確実性定量化と選択的な人間の監視を統合することで、表現型検証に対する効率的かつ信頼性の高いアプローチを提供します。このフレームワークは、臨床ワークフローにおけるLLMsの効果的な統合を示し、精度と効率の向上に寄与します。