这篇文章介绍了 OmiCLIP 模型的开发，这是一个视觉-组学基础模型，旨在通过对比学习连接组织病理学图像（如苏木精和伊红染色图像）与空间转录组学数据。作者利用一个包含来自32个器官的220万对配对组织图像和转录组数据的 ST-bank数据集 对OmiCLIP进行了训练。基于OmiCLIP，他们构建了 Loki平台，该平台提供五项核心功能：组织对齐、基于批量RNA测序或标记基因的组织注释、细胞类型分解、图像-转录组检索以及从苏木精和伊红染色图像预测空间转录组基因表达。基准测试结果表明，Loki平台在各种模拟和实验数据集上表现出 一致的准确性和鲁棒性，超越了现有的先进模型。
References:
