困惑度と近接性：大規模言語モデルの困惑度が意味的距離指標を補完し、不整合なスピーチの検出に寄与する
カテゴリ：医学教育
公開日：2026年2月19日
タイトル：Perplexity and proximity: Large language model perplexity complements semantic distance metrics for the detection of incoherent speech
雑誌名：J Biomed Inform. 2025 Oct; 170: 104899.
概 要：
この研究は、スピーチにおける意味的な一貫性を評価するための新しい手法を開発し、特に統合失調症スペクトラム障害（SSD）の早期発見と症状のモニタリングを支援することを目的としています。大規模言語モデル（LLM）の困惑度を用いた意味的コヒーレンスの測定と、従来のベクトル距離に基づくコヒーレンス指標との比較を行いました。困惑度は、言語の不整合なナラティブの予測不可能な展開を捉えるのに適しており、これにより自動評価ツールの開発が期待されます。
方 法：
LLMの困惑度に基づく「バッグ」および「チェーン」モデルを評価し、これらの特徴を用いて人間の意味的コヒーレンス評価を予測する回帰モデルを訓練しました。訓練セットには、精神的症状を抱える個人のスピーチと、SSDと診断された患者の臨床インタビューが含まれ、両者には人間による評価が付与されました。
結 果：
困惑度と近接性の特徴を組み合わせたモデルが最良のパフォーマンスを示し、訓練セットでの人間評価とのスピアマン相関は0.61（近接性特徴のみで0.56）、テストセットでは0.54（近接性特徴のみで0.52）でした。
結 論：
LLMの困惑度を用いた意味的コヒーレンス評価の新しい手法を開発し、近接性に基づく手法と補完的であることを確認しました。これらの手法を組み合わせることで、2つのデータセットにおいてパフォーマンスが向上し、SSDの自動診断とモニタリングの強化におけるLLMの可能性が示されました。