MIST: Multimodal Survival Prediction with Genomic-Guided Histology Attention· MIST：基因引导的多模态生存预测
Multimodal survival models can combine complementary prognostic information from whole-slide images and genomic profiles, but effective fusion remains challenging amid external cohort shift and computational complexity. To address these challenges, we propose MIST, multimodal survival prediction with genomic-guided histology attention. MIST represents genomic features as tokens and allows them to query compact foundation-model-derived histology context tokens before survival prediction. This design enriches molecular information with histology context rather than merging separately encoded modalities only at the final stage. Training combines discrete-time survival prediction with genomic feature masking, WSI dropout, and paired WSI-genomics contrastive alignment. Across four external eval
基因引导的多模态生存预测模型MIST，结合病理图像和基因组特征。
- 核心方法
- MIST将基因组特征作为tokens，与从基础模型中提取的病理图像context tokens进行查询和结合，通过基因特征引导的注意力机制，使模型在预测生存期时融合更多分子信息。训练过程中采用离散时间生存预测、基因组特征掩码、WSI dropout以及配对的WSI-基因组对比对齐。
- 适合谁读
- 研究者、工程师
- 要解决的问题
- 如何有效整合多模态数据（如病理图像和基因组信息）以提高生存预测的准确性，特别是在外部队列变化和计算复杂度高的情况下。
- 关键实验
- 在四个外部评估数据集上进行了验证，但具体结果未提供。
- 主要贡献
- 提出了基因引导的注意力机制，有效融合了病理图像和基因组信息，提高了生存预测模型的鲁棒性和准确性。
- 意义与局限
- MIST模型为多模态数据在医学领域的应用提供了新的思路，特别是在生存预测方面。然而，其外部泛化能力和计算效率仍需进一步研究。