MEDICINE & AI

タイトル：Interpretable medical image Visual Question Answering via multi-modal relationship graph learning 雑誌名：Med Image Anal. 2024 Oct; 97: 103279. 概　要： 本研究は、医療画像に関する臨床的な質問に答える医療視覚質問応答（VQA）の手法を提案します。この技術は、特に資源の乏しい国において医療専門家の効率を向上させ、公衆衛生システムの負担を軽減する可能性があります。既存の医療VQAデータセットは小規模で、単純な質問しか含まれておらず、意味的推論や臨床知識が不足しています。私たちの前の研究では、ルールベースのアプローチを用いた臨床知識駆動の画像差異VQAベンチマークを提案しましたが、抽出されたラベルに対して85%のエラー率が見られました。そこで、LLM（大規模言語モデル）を用いて62%の精度向上を達成しました。新たに提案する大規模医療VQAデータセット「Medical-CXR-VQA」は、胸部X線画像に焦点を当て、異常、位置、レベル、タイプに関する詳細な情報を含む質問を提供します。 方　法： 本研究では、胸部X線画像に基づく大規模医療VQAデータセット「Medical-CXR-VQA」を提案し、医療画像の異常に関する詳細な質問を含めました。異なる関係グラフ（空間関係、意味関係、暗黙の関係グラフ）を構築し、画像領域、質問、意味ラベルに対する論理的推論経路を学習するためにグラフ注意機構を活用しました。これにより、LLMのプロンプトエンジニアリングや思考の連鎖に役立つ推論経路を得ることができます。 結　果： 提案した手法は、臨床分野において重要な証拠性と信頼性を備えていることを示しました。新たに構築したデータセットと手法は、医療VQAの精度向上に寄与し、臨床専門家による評価も行いました。 結　論： 本研究は、医療画像に対する視覚質問応答の解釈可能性を向上させる新たなアプローチを示し、医療分野におけるLLMのさらなる訓練と微調整に貢献する可能性があります。