BrainG3N:双用途分词器实现可控3D脑部MRI生成

arXiv·31 天前

三维脑部MRI在临床神经学和神经肿瘤学中至关重要,生成模型可增强代表性不足的队列、模拟疾病轨迹并支持隐私保护的数据共享。潜在扩散模型是处理成像数据的常用方案,但对分词器提出了两个相互竞争的要求:编码器嵌入必须保留下游任务所需的临床信息,而解码器必须重建解剖学精确的体积。现有基于重建的分词器往往牺牲前者来满足后者。

为解决这一问题,研究团队提出了一种基于全体积掩码自编码器的分词器,用于3D脑部MRI潜在扩散,将编码器和解码器解耦:冻结的3D MAE编码器生成具有临床信息的嵌入,而专用的CNN解码器从这些嵌入的线性投影中重建体素。编码器在来自18个公共队列的35,309个体积上进行预训练,涵盖四种模态、十种疾病类别和200多个采集站点。

实验表明该模型具有双重效用:在包含23个任务的线性探测基准测试中,编码器在21个任务上优于或匹配最先进模型;基于这些临床信息嵌入训练的条件扩散变换器支持跨六个变量的条件生成和患者特定的纵向预测。这些结果共同证明,单个3D脑部MRI嵌入空间既能支持下游临床任务,又能实现可控生成。

医学影像生成模型脑部MRI人工智能医疗扩散模型

原文来源:https://arxiv.org/abs/2606.19651

相关阅读

AI_LectureNote:英语医学术语还原与语义保真度研究
大模型生成文本的“文学无风格”现象
大语言模型中的问题顺序效应:QQ等式审计揭示机制特性与饱和陷阱
首个吉尔吉斯语大模型基准发布:揭示低资源语言评估挑战
Scope3Trace:基于证据的Scope 3温室气体排放识别与提取框架

← 返回