申请/专利权人：上海大学

申请日：2021-08-04

公开（公告）日：2024-06-18

公开（公告）号：CN113808075B

主分类号：G06T7/00

分类号：G06T7/00;G06V10/40;G06V10/82;G06N3/0464;G06N3/08;G06T7/10

优先权：

专利状态码：有效-授权

法律状态：2024.06.18#授权;2022.06.17#实质审查的生效;2021.12.17#公开

摘要：本发明公开了一种基于深度学习的两阶段舌象识别方法，分为两个阶段：基于Transformer模型与交叉注意力机制网络模型的舌体分割与基于SwinTransformer的舌象识别网络模型的舌象特征检测。在第一阶段是基于Transformer模型与交叉注意力机制网络模型的舌体分割，包括深度残差网络提取特征、Transformer模块全局信息建模、跳过连接模块特征融合；第二阶段是基于SwinTransformer的舌象识别网络模型的舌象特征检测，包括主干网络模块提取特征、Transformer模块全局信息建模、预测模块得出特征类别与边界框。本发明能实现对舌象特征的识别，本发明设计的网络模型为中医舌象特征识别提供了有效的技术手段。

主权项：1.一种基于深度学习的两阶段舌象识别方法，其特征在于，分为两个阶段来实现舌象特征的识别；第一阶段为基于Transformer模型与交叉注意力机制网络模型的舌体分割，第二阶段为基于SwinTransformer的舌象识别网络模型的舌象特征检测，包括如下步骤：第一阶段：步骤1，深度残差网络提取特征：使用跳过连接结构构建深层残差网络模块，使得网络不会出现梯度消失，使张量数据传入网络的深处，进行高效地提取高级语义特征；步骤2，Transformer模块全局信息建模：使用多头自注意力、多层感知机、残差连接和层归一化计算单元构建Transformer模块，将经过深层残差网络模块提取的高级语义特征进行1*1卷积压缩，然后reshape操作转化为序列化数据，将序列数据送入Transformer模块关注全局信息，对提取的高级特征进行全局信息建模；步骤3，跳过连接模块特征融合：将多头注意力嵌入跳过连接结构中构建跳过连接模块，将在所述步骤1中深层残差网络模块生成的低级细节特征通过跳过连接传入多头注意力MHA模块中，同时将在所述步骤2产生的高级语义特征通过上采样也传入MHA模块，通过对高级语义特征的关注对低级细节特征施加权重，去除非舌体干扰信息，然后与上采样特征进行特征融合，重建特征图，获得精细舌体分割图像；第二阶段：步骤4，主干网络模块提取特征：如步骤1中构建深层残差网络模块，在所述步骤2中所述计算单元构建Transformerblock模块，将Transformerblock模块以金字塔结构嵌入到深层残差网络模块中构成骨干网络模块，将在所述步骤3获得的分割后的舌体图像送入主干网络提取高级语义特征，多尺度的关注每一层残差网络提取的特征的全局信息；以金字塔结构嵌入到深度残差模块中的Transformerblock模块计算前进数据维度变化，划分窗口分割张量数据，以降低Transformerblock模块计算复杂度；同时，划分的窗口交替采用规则窗口和移动窗口，实现跨窗口连接，进行跨窗口的特征交互；步骤5，Transformer模块全局信息建模：对于在所述步骤2中构建的Transformer模块，将在步骤4中输出的张量数据送入Transformer模块关注全局信息，对提取的高级特征进行全局信息建模；步骤6，预测模块得出特征类别与边界框：使用多个线性层构建预测模块，将在所述步骤5输出的张量数据送入预测模块输出类别预测与边界框坐标预测，得出最终的舌象检测特征信息。

全文数据：

权利要求：

百度查询： 上海大学 一种基于深度学习的两阶段舌象识别方法

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。

阅读全文 双屏查看 官方信息 专利公告 收藏专利 下载PDF 下载WORD