申请/专利权人：济南大学

申请日：2024-03-26

公开（公告）日：2024-06-21

公开（公告）号：CN117952969B

主分类号：G06T7/00

分类号：G06T7/00;G06V10/25;G06V10/26;G06V10/762;G06V10/764;G06V10/82;G06N3/045;G06N3/08

优先权：

专利状态码：有效-授权

法律状态：2024.06.21#授权;2024.05.17#实质审查的生效;2024.04.30#公开

摘要：本发明提出了一种基于选择注意力的子宫内膜癌分析方法及系统，涉及计算机视觉领域。本发明提出了选择注意力模块，通过采样学习token和K_token之间的稀疏关联来预测更新K_token，降低了传统自注意力的计算量，且K_token能够提供视觉内容上更有意义的信息，从而提高了捕获全局依赖的效率。对大尺寸病理切片进行标注、预处理后，使用滑动窗口进行切割，得到N张小的补丁图像，使用基于选择注意力的主干网络对补丁图像进行检测，得到组织细胞的良恶性结果，从而提高了子宫内膜癌病理切片的识别效果。

主权项：1.一种基于选择注意力的子宫内膜癌分析方法，其特征在于，包括：S1、获取子宫内膜癌数字病理切片，根据病理良恶性对切片进行标注，再基于标注文档对数字病理切片进行预处理，使用滑动窗口方式对子宫内膜癌病理切片进行不重叠分割，分割后得到N张补丁图像，并对补丁图像进行数据增强；S2、构建基于选择注意力模块的主干网络，主干网络采用金字塔结构，输入图像到该网络，图像尺寸为3×H×W，其中输入图像的通道数为3；首先设计了一个包含4×4卷积层的stem，卷积的步长为4，以重塑尺寸为3×H×W的输入图像；根据金字塔设计规则，主干网络由四个阶段组成，每个阶段由多个选择注意力模块堆叠而成，两个阶段之间部署下采样模块，下采样模块包含一个MBConv和一个3×3卷积，MBConv表示具有深度可分离卷积的倒置线性瓶颈层，下采样模块用于降低图像分辨率同时增加图像的通道数；输入图像到该主干网络进行分层特征的提取，根据图像获取token序列，然后输入token序列到选择注意力模块，先使用动态位置嵌入DPE为所有token添加位置信息，然后使用K-means聚类算法应用于token空间选取一组K_token，再使用迭代算法多次更新这组token，然后进行多头自注意力操作，然后将自注意力的结果映射回原始图像token序列进行输出，输出的token与动态位置嵌入的输出进行相加，并将结果输送到MLP，MLP由两个线性层组成，在两个线性层之前添加GELU函数，使用MLP建立全局感知；S21、给定输入图像tokenXin，维度为N×C，其中N＝H×W，且N为token的数量，H和W分别为输入图像的高和宽，C为输入图像的通道数，将Xin输入到选择注意力模块，首先进行动态位置嵌入DynamicPositionEmbedding，DPE，DPE是一种使用深度可分离卷积的位置嵌入方法，DPEXin＝DWConvXin，DWConv全称为DepthwiseSeparableConvolution，即深度可分离卷积；且动态位置嵌入后的结果与Xin进行相加：X＝Xin+DPEXin，将X向后输出用于采样；S22、使用K-means聚类算法应用于token空间选取具有代表性的一组token：K_token，用K表示，K的维度为m×C，其中m为K_token的数量，通过多次迭代生成最终的K；首先对K0进行采样，K0表示未进行迭代时的K_token的初始值，K0用于生成Q1，Q1表示第一轮迭代产生的token与K_token之间的关联图；图像特征X为步骤S21输出的结果，使用h×w的网格对X进行均匀切分，在每个网格里对网格内的token取平均值并加入K0中，则K_token的数量为m即为Xin中网格的数量；假设图像特征x中的每个tokenXi都属于m个K_token中的一个，Xi的维度为1×C，然后计算X与K之间的关联图Q，Q的维度为N×m，则迭代t轮时的token与K_token之间的关联图Qt为：Softmax为激活函数，Kt-1表示迭代t-1轮时K_token的值，表示对Kt-1进行矩阵转置，为了控制X与Kt-1之间点积操作的数值范围，避免结果过大或过小导致梯度消失或梯度爆炸的问题，使用对点积结果进行缩放处理，d为所处理图像序列的通道数；每次迭代之后更新K_token：其中为Qt的列归一化；S23、对迭代完成的K_token进行多头自注意力操作，实现对token空间中的全局信息进行建模：qK＝KWq，kK＝KWk，vK＝KWv，其中qK、kK、vK分别表示由迭代完成的K生成的用于自注意力操作的Query、Key和Value，Wq、Wk、Wv分别为用于生成qK、kK、vK的权重矩阵，Softmax为激活函数，AttenK为自注意力的输出；S24、对多头自注意力的结果使用关联映射Q迭代t次映射回原始token序列中：Xout＝QAttenK，Xout为token上采样的输出；S25、将Xout与经动态位置嵌入后的输出相加并馈送到MLP中，MLP由两个线性层组成，在两个线性层之前添加GELU函数，使用MLP建立全局感知；S3、构建检测模型，检测模型由基于选择注意力的主干网络、平均池化层和全连接分类器构成；S4、将获取的待检测的N张补丁图像输入到该检测模型，获得补丁图像的良恶性检测结果。

全文数据：

权利要求：

百度查询： 济南大学 一种基于选择注意力的子宫内膜癌分析方法及系统

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。

阅读全文 双屏查看 官方信息 专利公告 收藏专利 下载PDF 下载WORD