大規模言語モデル研究におけるベストプラクティスの確立：繰り返しプロンプトの適用
カテゴリ：公衆衛生・予防医療
公開日：2026年1月29日
タイトル：Establishing best practices in large language model research: an application to repeat prompting.
雑誌名：J Am Med Inform Assoc. 2025 Feb 01; 32(2): 386-390. doi: 10.1093/jamia/ocae294.
概 要：
本研究は、大規模言語モデル（LLM）研究におけるベストプラクティスの確立の重要性を示すことを目的としており、繰り返しプロンプトを例に挙げています。以前の研究データを用いて、医療要約のピアレビューにおけるモデルバイアスの可能性を調査し、繰り返しプロンプトによるモデル出力の相関を無視した方法と、相関を考慮したランダム効果モデルを比較しました。
方 法：
以前の研究から得られたデータを使用し、繰り返しプロンプトによるモデル出力の相関を無視した方法と、相関を考慮したランダム効果モデルを比較しました。具体的には、モデル出力の相関を考慮することが、分析結果に与える影響を評価しました。
結 果：
繰り返しプロンプトを行った際にグループ内で高い相関が見られ、クラス内相関係数は0.69でした。データの相関を無視した場合、実効サンプルサイズが100倍以上に膨れ上がることが確認されました。この問題を適切に考慮した結果、著者の結果は小さくても有意な発見から、モデルバイアスの証拠がないという結論に逆転しました。
結 論：
LLM研究におけるベストプラクティスの確立が急務であることが示されました。特に、分析において繰り返しプロンプトを考慮することが、正確な研究結論を導くために重要であることが確認されました。