买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：苏州鑫康成医疗科技有限公司

摘要：本发明公开了基于GLNet和自注意力的心脏超声图像识别方法，包括以下步骤：在GLNet基础上引入Transformer来帮助局部块捕获全局依赖关系，包括多个GL层，每个GL层包括一个GLblock和1个RepConv，GLblock包括多个RepConv和1个Transformer，对输入特征中的全局和局部信息进行建模，给定一个输入张量，局部空间信息由n×n卷积进行编码，然后使用逐点卷积扩展特征维度；训练后，冻结投影头，并仅使用编码器GLNet和表示对不同的超声心动图进行分类。本发明设计了混合CNN‑Transformer架构GLNet，通过从局部到全局的扩散机制解决了CNN的全局表示弱和Transformer缺乏局部信息的问题。

主权项：1.基于GLNet和自注意力的心脏超声图像识别方法，其特征在于，包括以下步骤：建立一个视觉表示对比学习框架；所述对比学习框架在GLNet基础上引入Transformer来帮助局部块捕获全局依赖关系，包括多个GL层，每个GL层包括一个GLblock和1个RepConv，所述GLblock包括多个RepConv和1个Transformer，对输入特征中的全局和局部信息进行建模，给定一个输入张量X∈RW×H×C，局部空间信息由n×n卷积进行编码，然后使用逐点卷积扩展特征维度X1∈RW×H×d；训练中，通过减少正对样本之间的距离来进行对比学习；训练后，冻结投影头，并仅使用编码器GLNet和表示对不同的超声心动图进行分类；对同一图像进行数据增强无法提供如下情况：同一图像的不同视图、或同一对象的变体、或同一类别中的其他相似实体之一时，使用两个数据增强嵌入作为正对，负样本来自同一批次中的其他图像，z是在编码器和投影头之后获得的表示；图片X首先通过不同的数据增强转换为X1和X2，然后使用GLNet和投影头对X1和X2进行编码成表示z1和z2，GLNet的编码器和投影头共享参数；为了用有效感受野W×H对长距离依赖进行建模，并让网络学习具有空间归纳偏置的全局表示，将X1扩展为N个展平的图块XU∈RP×N×d，其中P＝w×h，N＝W×H是图块的数量，h和w分别是图块的高度和宽度；对于每个p∈{1，…，P}，通过Transformer对图块之间的关系进行编码，得到XG∈RP×N×d，GLblock捕获每个图块内的局部信息和不同图块之间的全局信息；因此，折叠XG∈RP×N×d以获得Xf∈RW×H×d；然后使用逐点卷积将Xf通道投影到较低的C维空间，并通过级联操作与输入特征X堆叠；使用另一个n×n卷积层来融合堆叠的特征；由于XU使用卷积编码n×n区域内的局部信息，XG编码图块的全局信息，XG中的每个像素都使用全局感受野对X中的所有像素信息进行编码；考虑到需要匹配的通道数量，网络结构包含两个分支，即3×3卷积和残差映射；通过以下方程式使样本z1和z2之间的相似度靠近，并使z1与N-1个负样本之间的相似度远离，引导模型的训练方向： 其中，t表示温度系数，正样本来自查询集，因此损失函数优化为： 其中，Q+为查询集中的正样本，Q-为查询集中的负样本，Q为查询集，zi是输入图像经过主干网络后得到的特征，是找到与当前图像最接近的图像。

全文数据：

权利要求：

百度查询： 苏州鑫康成医疗科技有限公司 基于GLNET和自注意力的心脏超声图像识别方法