买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：平安科技(深圳)有限公司

摘要：本申请涉及人工智能中的神经网络技术领域，具体公开了一种基于多模态数据的病灶分类方法及相关产品，包括：获取第一医学图像和第二医学图像，第一医学图像和第二医学图像为同一部位在不同成像模式下得到的医学图像，且第一医学图像的空间复杂度大于第二医学图像；通过第一网络对第一医学图像进行特征提取，得到第一特征图；通过第二网络对所述第一医学图像进行特征提取，得到第二特征图；通过第三网络对第二医学图像进行特征提取，得到第三特征图；根据第一特征图、第二特征图以及第三特征图进行分类，得到该部位对应的病灶。本申请实施例有利于提高分类精度。本申请还涉及区块链技术，本申请还可应用于智慧医疗领域中，从而推动智慧城市的建设。

主权项：1.一种基于多模态数据的病灶分类方法，其特征在于，所述方法通过神经网络执行，所述神经网络包括第一网络、第二网络和第三网络，其中，所述第一网络的深度大于所述第二网络和所述第三网络，所述方法包括：获取图像样本对，其中，所述图像样本对包括第一图像样本和第二图像样本，所述第一图像样本与所述第二图像样本为同一部位在不同成像模式下得到的图像，且所述第一图像样本的空间复杂度大于所述第二图像样本；通过所述第一网络对所述第一图像样本进行特征提取，得到第四特征图；通过所述第二网络对所述第一图像样本进行特征提取，得到第五特征图；通过所述第二网络对所述第二图像样本进行特征提取，得到第六特征图；对所述第四特征图、所述第五特征图以及所述第六特征图进行拼接，得到第七特征图；根据所述第四特征图得到第一损失，根据所述第六特征图得到第二损失，根据所述第七特征图得到第三损失；根据所述第一损失、所述第二损失和所述第三损失，调整所述神经网络的网络参数的参数值；获取第一医学图像和第二医学图像，所述第一医学图像和所述第二医学图像为同一部位在不同成像模式下得到的医学图像，且所述第一医学图像的空间复杂度大于所述第二医学图像；通过所述第一网络对所述第一医学图像进行特征提取，得到第一特征图，所述第一网络包括两个第一子网络，所述第二网络包括两个第二子网络，包括：通过第一个第一子网络对所述第一医学图像进行特征提取，得到第一子特征图；通过第一个第二子网络对所述第一医学图像进行特征提取，得到第二子特征图；对所述第一子特征图和所述第二子特征图进行拼接，得到目标子特征图；将所述目标子特征图输入到第二个第一子网络，得到第一特征图；通过所述第二网络对所述第一医学图像进行特征提取，得到第二特征图；通过所述第三网络对所述第二医学图像进行特征提取，得到第三特征图；根据所述第一特征图、所述第二特征图以及所述第三特征图进行分类，得到所述部位对应的病灶，包括：对所述第一特征图、所述第二特征图以及所述第三特征图进行拼接，得到目标特征图；根据所述目标特征图进行分类，得到所述部位对应的病灶，或者，对所述第一特征图进行分类，得到第一分类概率；对所述第二特征图进行分类，得到第二分类概率；对所述第三特征图进行分类，得到第三分类概率；根据所述第一分类概率、所述第二分类概率以及所述第三分类概率，得到平均分类概率；根据所述平均分类概率，得到所述部位对应的病灶。

全文数据：

权利要求：

百度查询： 平安科技(深圳)有限公司 基于多模态数据的病灶分类方法及相关产品