展開された臨床予測モデルの継続的評価のためのモニタリング戦略
カテゴリ：医学教育
公開日：2025年6月8日
タイトル：Monitoring strategies for continuous evaluation of deployed clinical prediction models.
雑誌名：J Biomed Inform. 2025 Aug; 168: 104854.
概 要：
本研究は、臨床実践における機械学習の採用が進む中で、展開された分類器を継続的に監視し、更新する必要性を強調しています。データの変動に対処するためには、フィードバックループを考慮したモニタリング戦略が必要です。具体的には、介入によって「高リスク」とされたケースが「低リスク」と再評価されることがあるため、従来の監視システムではモデルの性能が過小評価される可能性があります。本研究では、フィードバックループの影響をシミュレーションし、Adherence WeightedおよびSampling Weightedという2つの新しい監視戦略を提案し、その性能を評価しました。
方 法：
本研究では、Adherence WeightedおよびSampling Weightedというフィードバックループに配慮した監視戦略を提案しました。シミュレーションを通じて、これらの戦略が展開後のモデル性能を正確に評価し、安全かつ正確な分類器の再訓練を開始する能力を評価しました。
結 果：
フィードバックループが存在する場合、Adherence WeightedおよびSampling Weighted戦略は、標準的なアプローチに比べて真の分類器性能に最も忠実な評価を提供しました。標準的な無加重アプローチでは、データの変動によりAUROCスコアが0.52に低下しましたが、提案した戦略を用いることで性能は0.67に回復しました。この結果は、新たに訓練されたモデルと同等の性能を示しています。
結 論：
Adherence WeightedおよびSampling Weighted戦略は、標準的なアプローチに比べてより正確な分類器性能の推定を提供し、データの変動やフィードバックループに対して強い性能回復をもたらすことが示されました。