大規模事前学習言語モデルを用いたオンライン健康情報の特定：混合方法研究
カテゴリ：公衆衛生・予防医療
公開日：2026年2月19日
タイトル：Identification of Online Health Information Using Large Pretrained Language Models: Mixed Methods Study
雑誌名：J Med Internet Res. 2025 May 14; 27: e70733. doi: 10.2196/70733. Epub 2025 May 14.
概 要：
オンライン健康情報は広く利用されていますが、その多くは不正確または誤解を招くものであり、公共の健康決定に影響を与える可能性があります。本研究は、ChatGPT-3.5、ChatGPT-4、Ernie Bot、iFLYTEK Sparkの4つの主流な大規模言語モデル（LLM）のオンライン健康情報の特定能力を評価し、実用的な応用に関する実証的証拠を提供することを目的としました。
方 法：
ウェブスクレイピングを用いて、2708件のオンライン健康情報（真実と虚偽の主張を含む）を収集しました。4つのLLMのAPIを使用して真偽を検証し、専門家の結果を基準としました。モデルの性能は、意味的類似性、精度、再現率、F1スコア、コンテンツ分析、信頼性を用いて評価されました。
結 果：
4つのモデルはオンライン健康情報の特定において良好な性能を示しました。中でもChatGPT-4は87.27%の精度を達成し、次いでErnie Botが87.25%、iFLYTEK Sparkが87%、ChatGPT-3.5が81.82%でした。テキストの長さと意味的類似性の分析では、Ernie Botが専門家のテキストに最も高い類似性を示し、ChatGPT-4は説明の一貫性が良好でした。信頼性評価では、ChatGPT-4が最も信頼できる評価を提供しました。
結 論：
これらのモデルはオンライン健康情報の特定において潜在能力を示していますが、精度や文化的適応性において大きなばらつきがあります。特に専門的な医療知識や最新のデータが必要な分野では限界があり、今後の研究では、モデルの信頼性と適応性を向上させるためのトレーニング手法の改善が求められます。