MEDICINE & AI

タイトル：A clinical environment simulator for dynamic AI evaluation DOI：10.1038/s41591-026-04252-6 概　要： 本研究では、臨床における大規模言語モデル（LLM）の評価が静的データセットや孤立したシナリオに依存している現状を踏まえ、医療決定の連鎖的影響を捉える「臨床環境シミュレーター（CES）」を提案します。CESは、デジタル病院環境内でLLMを評価するフレームワークであり、すべての決定が将来の状態を動的に変化させることを特徴としています。CESは、リアルタイムで病床の空き状況、スタッフの負荷、機器の状態を追跡する「病院エンジン」と、LLMの介入に基づいて病気の進行や治療反応をシミュレーションする「患者エンジン」を使用します。このフレームワークは、現行のベンチマークとは異なり、LLMが現実的な電子健康記録インターフェースを通じて決定を実行し、個々の患者最適化とシステム全体の効率のトレードオフを管理することを求めます。 方　法： CESは、臨床LLMを評価するための新たなフレームワークであり、リアルタイムでの病院の状況をシミュレーションする「病院エンジン」と、病気の進行をシミュレーションする「患者エンジン」を組み合わせています。これにより、LLMの決定が患者の状態や医療資源に与える影響を動的に評価します。 結　果： CESは、現在のベンチマークにはない3つの重要な評価を可能にします。1つ目は、変化する制約下での時間的推論、2つ目は、リソースを考慮した意思決定、3つ目は、同時発生する緊急事態やシステム障害に対する運用のレジリエンスです。これにより、LLMのパフォーマンスを臨床結果と運用指標の両方でスコアリングします。 結　論： CESは、臨床LLMを医療提供システムの動的かつ統合された要素として評価する新たなアプローチを示しており、医療の質向上に寄与する可能性があります。