买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：南京理工大学

摘要：本发明公开了一种基于SwinTransformer和CNN双分支耦合的图像配准方法。该方法包括以下步骤：1、对原始数据中所有图像进行执行灰度值归一化、中心裁剪和重采样等标准的预处理步骤；2、将浮动图像和固定图像拼接后送入配准网络，并行经过SwinTransformer和CNN两个编码器分支；3、在SwinTransformer的每一个阶段，通过双分支特征耦合模块将SwinTransformer特征映射与对应分辨率的CNN特征映射进行特征交互与融合；4、解码器自适应调整来自编码器的深层特征与来自上层的特征，最后输出浮动图像和固定图像之间的形变场；5、将浮动图像和形变场输入空间变换网络，得到配准图像。6、计算配准图像与固定图像之间的相似性损失以及形变场的正则化损失，经反向传播训练网络。本发明使用SwinTransformer与CNN双分支进行特征提取，充分利用两种分支的优点，实现了特征互补。

主权项：1.一种基于SwinTransformer和CNN双分支耦合的图像配准方法，其特征在于，包括以下步骤：第一步：对原始数据中所有图像进行执行灰度值归一化、中心裁剪、重采样和仿射变换这些标准的预处理；第二步：将浮动图像和固定图像拼接后送入配准网络，并行经过SwinTransformer和CNN两个编码器分支；第二步将浮动图像和固定图像拼接后送入配准网络，并行经过SwinTransformer和CNN两个编码器分支的实现方法为：在处理后的数据中，随机挑选浮动图像和固定图像，并将两者拼接后送入配准网络，并行经过SwinTransformer和CNN两个编码器分支；其中浮动图像和固定图像分别设为M和F；在SwinTransformer分支中，首先将输入的图像分割成不重叠的3D图像块Patch，每个图像块的大小为2×P×P×P；以表示第i个图像块，其中i∈{1，...，N}，为图像块总数；每个图像块被展平并视为一个Token，然后使用线性映射层将每个Token投影到维度为C的特征表示： 其中，表示线性映射，输出z0的维度为N×C；在线性映射层之后，该分支拥有4个连续的阶段；第1个阶段由一个线性映射层和多个SwinTransformer块组成；而其余3个阶段的每个阶段都由一个PatchMerging层和多个SwinTransformer块组成；SwinTransformer块输出与输入相同数量的Token，而PatchMerging层将每组2×2×2相邻Token的特征连接起来，从而产生8C维特征嵌入；随后使用线性层将表示的特征大小减小到2C；在该分支中，两个连续的SwinTransformer块的输出计算如下： 其中W-MSA和SW-MSA分别是常规和窗口分块的多头自注意力模块；和zl表示W-MSA和SW-MSA的输出；MLP和LN分别表示多层感知机和正则化层；计算移位窗口机制，采用3D循环移位计算自注意力，其计算公式为： 其中Q、K、V分别表示Query，Key，Value矩阵，d表示Query和Key的维度；CNN分支采用特征金字塔结构，其中特征映射的分辨率随着网络深度而降低，但通道数逐层增加；统一采用3D卷积，卷积核大小为3×3×3，在每一个卷积后都跟随一个LeakyReLU层，并通过最大池化层进行下采样操作；第三步：在SwinTransformer的每一个阶段，通过双分支特征耦合模块将SwinTransformer特征映射与对应分辨率的CNN特征映射进行特征交互与融合；第三步在SwinTransformer的每一个阶段，通过双分支特征耦合模块将SwinTransformer特征映射与对应分辨率的CNN特征映射进行特征交互与融合；CNN分支首先使用3×3×3卷积提取上层经下采样后的特征映射，然后通过1×1×1卷积自适应将该特征映射与SwinTransformer特征映射进行对齐，同时，使用LayerNorm模块对其实施正则化，并将其添加到SwinTransformer特征映射中；随后，SwinTransformer分支将融合后的特征送入SwinTransformerBlocks，得到新的特征表示；通过1×1×1卷积与BatchNorm模块对齐CNN特征映射后将其添加至CNN特征映射中；最后，使用一个3×3×3卷积自适应调整聚合特征；第四步：解码器自适应调整来自编码器的深层特征与来自上层的特征，最后输出浮动图像和固定图像之间的形变场；第五步：将浮动图像和形变场输入空间变换网络，得到配准图像；第六步：计算配准图像与固定图像之间的相似性损失以及形变场的正则化损失，经反向传播训练网络。

全文数据：

权利要求：

百度查询： 南京理工大学 一种基于Swin Transformer和CNN双分支耦合的图像配准方法