买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：南京邮电大学

摘要：本发明涉及视觉重建技术领域，公开了基于人脑fMRI重建视觉刺激图像的方法及系统，方法包括获取fMRI数据集，从fMRI数据集中提取fMRI体素数据进行patch遮罩，对fMRI体素数据的空间冗余进行稀疏编码处理，得到体素小块；体素小块通过一维卷积层转化成嵌入token，并随机遮罩至编码器中，在编码器的末端添加掩码符号、位置嵌入、patch编码，线性投影转化为解码器的嵌入空间，得到fMRI的潜在特征；获取fMRI对应的图像和文本数据集，在fMRI图像和文本数据集中利用训练好的CLIP模型提取CLIP的视觉和文本特征，对CLIP的视觉特征进行解码，得到初步图像；通过自编码器进行编码，利用fMRI的潜在特征和CLIP的文本特征通过线性插值混合，得到像素重建，实现了结构清晰的初步重建图像的快速生成。

主权项：1.一种基于人脑fMRI重建视觉刺激图像的方法，其特征在于，包括：获取fMRI数据集，对所述fMRI数据集进行预处理，从所述fMRI数据集中提取fMRI体素数据，通过进行patch遮罩后，对所述fMRI体素数据的空间冗余进行稀疏编码处理，以得到体素小块；将所述体素小块通过一维卷积层转化成嵌入token，将嵌入token随机遮罩至编码器中，在编码器的末端添加掩码符号和位置嵌入以及patch编码，并通过线性投影转化为解码器的嵌入空间，得到fMRI的潜在特征；获取fMRI对应的图像和文本数据集，在所述fMRI对应的图像和文本数据集中利用训练好的CLIP模型提取CLIP的视觉特征和文本特征，对CLIP的视觉特征进行解码，得到初步图像；通过自编码器对所述初步图像进行编码，利用所述fMRI的潜在特征和CLIP的文本特征根据交叉注意矩阵通过线性插值混合，得到像素重建；将矢量化的体素分成小块，使用步长等于小块大小的一维卷积层将小块转换为嵌入token，将得到的嵌入token以预设的概率随机选择将嵌入token遮罩或者屏蔽掉；随机遮罩后送入编码器中，在编码器的末端嵌入掩码符号和位置嵌入以及patch编码，将掩码符号和位置嵌入以及patch编码转换为同一维度，得到嵌入空间的特征矩阵；将嵌入空间的特征矩阵与投影矩阵相乘实现线性投影，得到fMRI的潜在特征；将fMRI对应的图像和文本数据集输入到CLIP网络中，分别提取fMRI对应的文本特征和视觉特征；通过向训练好的CLIP模型输入训练图像和文本，提取CLIP视觉特征和CLIP文本特征，将CLIP视觉特征和CLIP文本特征作为预测目标，把fMRI通过文本回归器和视觉回归器预测出的文本特征和视觉特征作为预测值，最小化预测值与预测目标之间的差距来训练CLIP回归器建立fMRI与CLIP视觉特征和CLIP文本特征之间的映射；使用自编码器对CLIP图像解码器重建的图像，即初步图像进行编码，在潜在向量上添加噪声，进行设定步数的向前扩散，将有噪声的潜在向量作为扩散模型的初始化，并进行去噪，在反向扩散的每一步中，通过扩散模型的双导扩散管道利用提取的fMRI的潜在特征和CLIP文本特征对反向扩散过程进行调节；混合注意力矩阵为α乘以CLIP的视觉注意力矩阵加1-α乘以CLIP的文本注意力矩阵，其中α为超参数；使用自解码器将扩散结果重建成设定像素图片。

全文数据：

权利要求：

百度查询： 南京邮电大学 一种基于人脑fMRI重建视觉刺激图像的方法及系统