申请/专利权人：齐鲁工业大学(山东省科学院);山东省人工智能研究院

申请日：2024-04-12

公开（公告）日：2024-06-21

公开（公告）号：CN118037728B

主分类号：G06T7/00

分类号：G06T7/00;G06V10/52;G06V10/774;G06V10/80;G06V10/82;G06N3/0455;G06N3/0464;G06N3/084

优先权：

专利状态码：有效-授权

法律状态：2024.06.21#授权;2024.05.31#实质审查的生效;2024.05.14#公开

摘要：本发明涉及计算机视觉与医学图像处理技术领域，具体涉及基于多尺度信息融合和注意力的威利斯环血管提取方法，具体如下：创建数据集；对数据集中的图像数据进行裁剪、翻转、旋转和缩放操作得到增强后的数据集D，将D按照比例划分为训练集和测试集；构建网络结构，将训练集中的图像数据输入到网络结构中进行训练，输出得到血管提取结果图；将D输入至网络结构并进行归一化处理，然后对网络结构进行优化；对网络结构进行更新和优化，并保存训练过程中的最优参数；将最优参数加载入网络结构中，读取测试集数据，完成血管提取并保存结果。本发明网络结构可以自动化的处理复杂的图像数据，提取出连续且完整的威利斯环血管结构。

主权项：1.基于多尺度信息融合和注意力的威利斯环血管提取方法，其特征是包括如下步骤：S1.选用公开的数据集OASIS-3中的图像数据作为数据集，将数据集记作；S2.通过AHE算法对数据集中的图像数据进行裁剪、翻转、旋转和缩放操作来增强图像数据，得到增强后的数据集D，将增强后的数据集D按照比例划分为训练集和测试集；S3.构建网络结构，对增强后的数据集D进行归一化处理，再将训练集中的图像数据输入到网络结构中进行训练，输出得到血管提取结果图；将增强后的数据集D中的数据图像进行归一化处理使得图像特征的数值范围相近，加快网络结构训练的收敛速度，并将均值设置为0，方差设置为1；网络结构由编码器、中间结构层、多注意力特征增强和解码器模块、多尺度融合四个部分构成，具体如下：S3.1编码器作为特征提取部分，编码器由第一特征提取单元、第一下采样层、第二特征提取单元、第二下采样层、第三特征提取单元、第三下采样层、第四特征提取单元、第四下采样层构成，其中特征提取单元由两个卷积块和一个残差连接块组成，每个卷积块由一个[3×3×3]的卷积层、BN归一化层、Relu激活函数组成，编码器中特征提取单元的计算公式为： ，其中表示卷积核大小为[3×3×3]，步幅为1，填充为1的卷积操作，表示BN归一化、Relu激活函数连续操作，下采样层的池化窗口设置为2，表示第i层的输入特征图，表示第i层的输出特征图；编码器部分的具体过程为：将训练集中的第个图像数据输入到第一特征提取单元，输出得到特征图；将特征图输入到第一下采样层，输出得到特征图；将特征图输入到第二特征提取单元，输出得到特征图；将特征图输入到第二下采样层，输出得到特征图；将特征图输入到第三特征提取单元，输出得到特征图；将特征图输入到第三下采样层，输出得到特征图；将特征图输入到第四特征提取单元，输出得到特征图；将特征图输入到第四下采样层，输出得到特征图；S3.2中间结构层由特征提取单元和多尺度特征增强模块AGFE构成，其中特征提取单元由一个[3×3×3]的卷积层、BN归一化层、Relu激活函数组成；中间结构层中特征提取单元的计算公式为：，其中表示卷积核大小为[3×3×3]，步幅为1，填充为1的卷积操作，表示BN归一化、Relu激活函数连续操作；AGFE模块由多尺度特征提取模块、特征融合模块、特征增强模块和残差链接模块构成，其中多尺度特征提取模块由第一膨胀卷积块、第二膨胀卷积块、第三膨胀卷积块、第四膨胀卷积块构成，特征增强模块由第一特征增强层、第二特征增强层、第三特征增强层构成；中间结构层的具体过程为：将特征图输入到第一卷积单元，输出得到特征图；将特征图平均划分为四个特征组，，使得每个特征组的特征尺寸与特征图的尺寸相同，通道数为特征图通道数的四分之一，将四个特征组，输入到多尺度特征提取模块，通过多尺度特征提取模块提取不同图像之间的尺度变化的特征信息，具体过程为：将特征组输入到第一膨胀卷积块，输出得到特征组；将特征组输入到第二膨胀卷积块，输出得到特征组；将特征组输入到第三膨胀卷积块，输出得到特征组；将特征组输入到第四膨胀卷积块，输出得到特征组，计算公式为： ， ， ， ，其中，表示卷积核大小为[3×3×3]，膨胀率为1的卷积操作，表示卷积核大小为[3×3×3]，膨胀率为2的卷积操作，表示卷积核大小为[3×3×3]，膨胀率为3的卷积操作，其中表示卷积核大小为[3×3×3]，膨胀率为5的卷积操作，表示sigmoid激活函数操作，表示乘积操作;然后将特征组，输入至特征融合层，输出得到特征图，特征图的图像尺寸大小和通道数与特征图相同，计算公式为： ，其中，表示特征融合操作；再将特征图输入到特征增强模块的三个特征增强块中来提取三个维度的有用特征，具体过程为：将特征图输入到第一特征增强块中，输出得到特征图；将特征图输入到第二特征增强块中，输出得到特征图；将特征图和特征图进行乘积操作，并经过sigmoid激活函数得到；将特征图输入到第三特征增强块中，输出得到特征图；将特征图和特征图进行乘积操作得到特征图；将特征图和步特征图输入到残差链接模块，输出得到特征图F，计算公式为： ， ， ， ， ，其中，表示第一特征增强块中卷积核大小为[1×3×1]的卷积操作，表示第二特征增强块中卷积核大小为[3×1×1]的卷积操作，表示第三特征增强块中卷积核大小为[1×1×3]的卷积操作，表示sigmoid函数，表示乘积操作；S3.3多注意力特征增强和解码器模块由第一MAFE模块、第一解码器模块、第二MAFE模块、第二解码器模块、第三MAFE模块、第三解码器模块、第四MAFE模块、第四解码器模块依次构成，多注意力特征增强层模块MAFE由上采样层、特征融合层、全局最大池化层、全局平均池化层、sigmoid激活函数、SEBloack、卷积层、残差连接层构成，计算公式为： ， ， ，其中，表示第i层输入的特征图，表示第i+1层输入的特征图，表示特征融合操作，表示卷积核大小为[1×1×1]的卷积操作，SE表示SEBlock，表示sigmoid激活函数，表示全局最大池化操作，表示全局平均池化操作；解码器模块均由两个卷积块和一个残差连接块构成，计算公式为： ，其中，表示卷积核大小为[3×3×3]，步幅为1，填充为1的卷积操作，表示BN归一化、Relu激活函数连续操作；多注意力特征增强和解码器模块具体过程如下：将特征图F和特征图输入到第一MAFE模块中，输出得到特征图；将特征图输入到第一解码器模块，输出得到特征图；将特征图和特征图输入到第二MAFE模块中，输出得到特征图；将特征图输入到第二解码器模块，输出得到特征图；将特征图和特征图输入到第三MAFE模块中，输出得到特征图；将特征图输入到第三解码器模块，输出得到特征图；将特征图和特征图输入到第四MAFE模块中，输出得到特征图；将特征图输入到第四解码器模块，输出得到特征图；S3.4多尺度融合部分由第一多尺度融合层、第二多尺度融合层、第三多尺度融合层、第四多尺度融合层依次构成，通过多尺度融合部分将小尺度特征图的高级语义信息转移到大尺度特征图，进而自适应的融合大小尺度的特征，细化提取结果，具体过程为：（1）第一多尺度融合层包含一个卷积块和上采样层，将特征图输入到第一多尺度融合层，输出得到特征图，计算公式为： ，其中表示卷积核大小为[3×3×3]的卷积操作；然后将特征图输入到上采样层得到特征图；（2）第二多尺度融合层包含两个卷积块、一个特征融合层、sigmoid激活函数、上采样层，将特征图和特征图输入到第二多尺度融合层，输出得到特征图，计算公式为： ，其中，表示卷积核大小为[1×1×1]的卷积操作，表示卷积核大小为[3×3×3]的卷积操作，表示sigmoid激活函数，ct表示特征融合操作，表示乘积操作；然后将特征图输入到上采样层得到特征图；第三多尺度融合层包含两个卷积块、一个特征融合层、sigmoid激活函数、上采样层，将特征图和特征图输入到第三多尺度融合层，输出得到特征图，计算公式为： ，其中，表示卷积核大小为[1×1×1]的卷积操作，表示卷积核大小为[3×3×3]的卷积操作，表示sigmoid激活函数，ct表示特征融合操作，表示乘积操作；然后将特征图输入到上采样层得到特征图；（4）第四多尺度融合层包含两个卷积块、一个特征融合层、sigmoid激活函数，将特征图和特征图输入到第四多尺度融合层，输出得到特征图，计算公式为： ，其中，表示卷积核大小为[1×1×1]的卷积操作，表示卷积核大小为[3×3×3]的卷积操作，表示sigmoid激活函数，ct表示特征融合操作，表示乘积操作；S4.通过组合损失函数和优化器对网络结构进行优化；S5.通过损失函数计算出损失值，然后使用反向传播计算损失函数对网络的梯度，优化器通过利用梯度的均值和方差的移动平均值计算自适应学习率，来对网络结构进行更新和优化，并保存训练过程得到参数；S6.将步骤S5中保存的参数加载入网络结构中对网络结构进行优化，将测试集数据载入优化后的网络结构中完成血管提取，并将结果保存。

全文数据：

权利要求：

百度查询： 齐鲁工业大学(山东省科学院);山东省人工智能研究院 基于多尺度信息融合和注意力的威利斯环血管提取方法

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。

阅读全文 双屏查看 官方信息 专利公告 收藏专利 下载PDF 下载WORD