音声、言語、視覚を用いた軽度認知障害予測のためのマルチモーダルクロストランスフォーマーベースモデル
カテゴリ：高齢者医療・介護
公開日：2026年2月19日
タイトル：A multimodal cross-transformer-based model to predict mild cognitive impairment using speech, language and vision.
雑誌名：Comput Biol Med. 2024 Nov; 182: 109199.
概 要：
軽度認知障害（MCI）は、日常生活のほとんどの活動を独立して行う能力を維持しながら、記憶やその他の認知能力の喪失が見られる初期段階です。MCIは正常な認知段階と認知症やアルツハイマー病のようなより重度の認知低下との間の移行段階と考えられています。本研究では、音声、言語、視覚のマルチモーダルデータを用いてMCIを予測するための強力な融合アーキテクチャを提案します。このアプローチは、異なるモダリティ間の相互関係を保持することができ、予測精度を向上させることを目的としています。
方 法：
本研究は、75歳以上の参加者とインタビュアーとの間で行われた半構造化会話を記録したI-CONECTデータセットを使用したコホート研究です。提案するモデルは、音声（音声データ）、言語（転写されたスピーチ）、視覚（顔の動画）の3つの異なるモダリティを融合するために、クロストランスフォーマー層内でコアテンションブロックを用いています。主要評価指標は、MCIと正常認知（NC）の識別におけるAUCで、85.3%を達成しました。
結 果：
提案した融合手法は、MCIを正常認知から検出する際に平均AUC 85.3%を達成し、単一モダリティ（60.9%）や二重モダリティ（76.3%）のベースラインモデルを大きく上回りました。この結果は、複数のモダリティからの補完的情報を効果的に活用するモデルの有効性を示しています。
結 論：
提案したマルチモーダルモデルは、軽度認知障害の予測において高い精度を示し、異なるモダリティ間の相互作用を効果的に捉えることができるため、MCIの早期発見に寄与する可能性があります。