MEDICINE & AI

タイトル：Large language models are poor clinical administrators: An evaluation of structured queries in real-world electronic health records. 雑誌名：PLOS Digit Health. 2026 May; 5(5): e0001326. doi: 10.1371/journal.pdig.0001326. 概　要： 本研究は、大規模言語モデル（LLM）が臨床の自由記述テキストの解釈において有望である一方、構造化された電子健康記録（EHR）タスクにおける性能が限られていることを示しています。LLMの精度を評価するために、50,000件の救急科訪問からランダムにサンプリングしたデータセットを用い、直接プロンプト、連鎖的思考（CoT）推論、ツールを用いたコード生成の3つの手法で評価しました。25種類のテーブルサイズ（行と列の数）でタスクをテストし、モデルの出力が検証済みの参照と一致する割合を精度として定義しました。 方　法： 本研究は、50,000件の救急科訪問からのデータを用いた評価で、9つのLLMを対象にしました。タスクは、5-25行および列の25の組み合わせでテストされ、モデルは直接プロンプトまたはCoT推論を用いて数値的な回答を返すように促されました。ツール設定では、モデルが生成したPythonコードを実行して回答を取得しました。精度は、モデル出力が検証済み参照と一致する割合として定義されました。 結　果： 32,950件のモデルクエリにおいて、性能はモデル、タスクタイプ、プロンプト戦略によって異なりました。直接プロンプトは一貫して低い精度を示しましたが、CoTプロンプトは特に論理フィルタリングにおいて中程度の改善をもたらしました。しかし、テーブルサイズが増加するにつれて結果は著しく悪化しました。ツールベースの戦略は精度を大幅に向上させましたが、小型モデルや蒸留推論バリアントはフォーマットや実行エラーが頻発しました。 結　論： 構造化されたEHRのタブularデータ抽出において、直接およびCoTプロンプト戦略は限られた精度とスケーラビリティを示しましたが、ツールベースのプロンプトは高い精度と有効な出力フォーマットを達成しました。臨床ワークフローにおける構造化データタスクは、LLMとコード実行を組み合わせたハイブリッドアプローチを必要とする可能性があります。