买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：合肥综合性国家科学中心人工智能研究院(安徽省人工智能实验室)

摘要：本发明公开了基于生成先验的大尺度电子显微镜超分辨率方法。本发明中，不仅探索了相邻切片的电镜图像的关系，还探索和整合了生成的高分辨率电镜图像的特定先验，从一系列连续的低分辨率电镜图像中恢复高分辨率图像，使得所得到的超分辨率图像在空间尺寸上是原图像的r倍。得到的超分辨率图像应该尽可能地接近直接成像得到的高分辨率图像，即保持图像的真实性和准确性。本发明提出了第一个基于生成先验的大尺度电镜超分辨框架，实现高质量的大尺度电镜超分辨率，从而为电镜图像获取提供了更快速、更高效的解决方案，推动了电镜成像技术的发展，在感知指标和图像分割下游任务上均取得最佳结果。

主权项：1.基于生成先验的大尺度电子显微镜超分辨率方法，其特征在于：所述方法包括以下步骤：A.通过电镜成像设备获得高分辨率电镜图像；B.使用双三次插值下采样得到对应低分辨率图像，其中下采样因子是大尺度因子，由此可得低分辨率－高分辨率电镜图像对；C.通过VQGAN模型探索生成细胞特定的先验，构建高分辨率电镜图像的离散隐空间，即VQGAN码本，并利用隐空间通过VQGAN解码器生成高分辨率电镜图像；D.固定步骤C得到的VQGAN码本和VQGAN解码器，通过与VQGAN码本和VQGAN解码器连接起来，训练一个隐向量索引器；E.固定步骤C得到的VQGAN码本和VQGAN解码器，固定步骤D得到的隐向量索引器，当输入低分辨率电镜图像时可得到对应的参考特征和高分辨率电镜图像；F.当输入低分辨率图像时，通过MPF模块融合步骤E得到的参考特征和高分辨率电镜图像，通过POD模块在轴向上对齐相邻图像特征，通过3DA模块融合相邻图像特征，最后使用亚像素卷积重构高分辨率图像输出；所述步骤C中，具体包括以下步骤：a.构建高分辨率电镜图像的离散隐空间；利用编码器来参数化高分辨率电镜图像的离散后验分布；编码器由多个残差卷积网络块和用于下采样的卷积块组成；具体来说，通过将VQGAN编码器的输出特征Ze映射到VQGAN码本中最接近的隐向量来量化它，并获得每个映射的量化特征Zd和高分辨率电镜图像块对应的0-1索引，表示为sm,n： 其中，Zq[j]表示存储在VQGAN码本中的第j个隐向量；表示图像位置m.n处的编码器输出特征元素，而表示图像位置m.n处处的量化特征元素，sm,n[k]表示sm,n中的第k个元素；b.生成高分辨率电镜图像；给定量化特征Zd，通过VQGAN解码器生成高分辨率电镜图像IHRRef；通过解码器参数化高分辨率电镜图像的先验分布；解码器由多个残差卷积网络块和用于上采样的反卷积块组成；编码器和解码器都利用自注意力机制来提高生成质量；所述步骤F中，重建高分辨率电镜图像；通过4个模块实现高分辨率电镜图像的重建：MPF模块、POD模块、3DA模块和Rec模块；MPF模块用于融合步骤E中索引到的生成先验；MPF模块包括掩模学习过程和多尺度融合过程；MPF模块中的掩模学习过程作用是识别生成的IRef与真实电镜图像相比的差异，掩模差异较大区域中的多尺度生成特征；对于每对单图像，首先将插值上采样的低分辨率电镜图像和生成图像IRef通过预训练的VGG19网络映射到特征空间，再从二者的特征图中提取16×16大小的块，没有重叠；然后，计算低分辨率图像特征块和生成图像特征块之间的余弦相似度向量；然后，通过使用三个2D卷积和sigmoid函数获得与低分辨率特征具有相同空间分辨率的掩模M；为了有效地融合级别的解码器不同层的特征，MPF模块采用了多尺度融合过程；融合策略为： 其中，表示逐元素乘法，·表示连接运算，[·]↑表示上采样；表示第l层下采样卷积的输出特征，分别表示下采样卷积、融合卷积和输出卷积；表示最后一次融合卷积的输出特征；FOut表示最终的多尺度融合特征，分别表示第l级的下采样卷积、融合卷积和输出卷积，和分别表示第l级的低分辨率图像特征和其对应的参考特征，l∈{0,1,...,L-1}共L个级别；所述步骤F中，POD模块用于相邻电镜切片对齐从而使用相邻电镜切片的信息；POD模块的输入是相邻的低分辨率电镜图像和MPF模块的输出FOut,z，其中z∈{-N,-N+1,…,0,…,N-1,N}；为了对齐图像特征，采用光流法和可变形卷积；考虑到可变形卷积中偏移量和光流之间的关系，将光流纳入可变形卷积偏移量的计算中；按照这种方法，利用SpyNet来计算光流；SPyNet网络中的参数是固定的；与MPF模块类似，采用多尺度融合方案；然后，将融合后特征以FOut,0和融合后特征自身作为参考使用另一个可变形卷积得到最终的对齐结果；POD模块的输出是对齐后电镜图像特征FAlign,z。

全文数据：

权利要求：

百度查询： 合肥综合性国家科学中心人工智能研究院(安徽省人工智能实验室) 基于生成先验的大尺度电子显微镜超分辨率方法