ゲーミフィケーションを用いたクラウドソーシングによる肺超音波データセットのラベリング:前向き分析
カテゴリ:災害・救急医療
公開日:2026年2月19日
タイトル:Gamified Crowdsourcing as a Novel Approach to Lung Ultrasound Data Set Labeling: Prospective Analysis
雑誌名:J Med Internet Res. 2024 Jul 04; 26: e51397.
概 要:
本研究は、ゲーミフィケーションを取り入れたクラウドソーシングプラットフォームが、医療画像データに対して専門家レベルのラベルを生成できるかを検討しました。機械学習モデルの開発には高品質なラベル付きトレーニングデータが必要ですが、クラウドソーシングによるラベリングは品質の懸念が伴います。本研究では、2384件の肺超音波クリップを用いて、ユーザーのパフォーマンス評価とフィードバックを通じてラベルの一致度を評価しました。
方 法:
この診断比較研究では、203人の救急患者から2384件の肺超音波クリップを収集しました。6人の専門家が393件のクリップを分類し、2つの参照データセットを作成しました。クラウドソーシングプラットフォームでのユーザー訓練と、専門家の参照基準との一致度を比較しました。主要評価指標は、クラウドの意見と専門家の意見の一致度です。
結 果:
患者の平均年齢は60.0歳で、女性は51.7%、白人は56.1%でした。195件のトレーニングクリップでは、専門家の合意ラベルは58%がBラインなし、29%が単一のBライン、13%が融合Bラインでした。198件のテストクリップでは、専門家の合意ラベルは70%がBラインなしでした。426人のユーザーから99,238件の意見が集まり、クラウドソーシングによるラベルの一致度は87.9%で、専門家の一致度85.0%と比較して有意差はありませんでしたが、専門家の意見を除いた場合はクラウドの一致度が高くなりました。
結 論:
ゲーミフィケーションを用いたクラウドソーシングによる肺超音波クリップのBライン分類は、専門家レベルの精度を達成しました。この結果は、機械学習システムのトレーニング用ラベル付き画像データセットを効率的に生成するための戦略的役割を示唆しています。