买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

龙图腾网恭喜杭州电子科技大学申请的专利基于双向可切分深度自注意力网络的轻量化视觉问答方法获国家发明授权专利权，本发明授权专利权由国家知识产权局授予，授权公告号为：CN114647752B 。

龙图腾网通过国家知识产权局官网在2025-04-25发布的发明授权授权公告中获悉：该发明授权的专利申请号/专利号为：202210369535.0，技术领域涉及：G06F16/532；该发明授权基于双向可切分深度自注意力网络的轻量化视觉问答方法是由余宙;金子添;俞俊设计研发完成，并于2022-04-08向国家知识产权局提交的专利申请。

本基于双向可切分深度自注意力网络的轻量化视觉问答方法在说明书摘要公布了：本发明公开了一种基于双向可切分深度自注意力网络的轻量化视觉问答方法，提出了一种双向可切分深度自注意力网络，基于设计的宽度、深度均可切分的双向策略，并采用“深而窄”的过滤原则进一步挑选合理的子模型，配合提出的自蒸馏算法，使得网络中的各个子模型都具备视觉问答任务的应用能力。此双向可切分的深度自注意力模型可以根据当下的计算资源动态选择合适的子模型预测答案，取得精度和时延之间的平衡，在预测答案的准确率得到保证的同时使得用户拥有良好的体验感。

本发明授权基于双向可切分深度自注意力网络的轻量化视觉问答方法在权利要求书中公布了：1.基于双向可切分深度自注意力网络的轻量化视觉问答方法，其特征在于，包括如下步骤：步骤1：对数据集进行划分；步骤2：构建图像的视觉特征；对于一张给定图像，使用现有训练好的目标检测网络检测出图像中的候选框个数m以及其位置；针对每个候选框，将候选框区域对应的图像再输入到该目标检测网络中，并提取输入到该网络分类层前的特征作为该候选框的特征；随后将每个候选框提取出的特征拼接，形成给定图像的视觉特征；为了使得图像特征维度匹配深度自注意力网络，最后使用一个可学习的线性变换对图像特征做进一步处理，并映射到D维空间；步骤3：构建问题的语义特征；对于给定的一个问题，使用训练好的词向量模型对问题中的每个单词提取出语义特征，随后将提取出的单词语义特征做拼接，形成问题语义特征；为了使得问题语义特征维度匹配深度自注意力网络，最后使用一个可学习的线性变换对问题特征做进一步处理，映射到D维空间；步骤4：构建深度自注意力网络；深度自注意力网络由多个自注意力层堆叠而成，每个自注意力层分为两部分：多头注意力模块和前馈层；利用该深度自注意力网络构建出引导训练的教师网络和最终的双向可切分深度自注意力网络；为了使输入特征能够匹配双向可切分深度自注意力网络中的各个子模型维度，该网络接受维度为D的特征作为输入，并通过一个线性投影变换，将输入特征映射到d维；步骤5：设计宽度切分策略；深度自注意力网络中的每个自注意力层是由多个参数矩阵组成的，为了适应不同维度的输入特征，需要对每个参数矩阵做切分，以匹配不同维度的输入并输出合适维度的输出特征；针对维度为d的输入特征，为了保持自注意力层的原始结构比例，通过宽度切分策略使得输出特征维度仍然为d；值得注意的是，对于拥有不同维度输入特征的不同子模型，均共享自注意力层中的参数矩阵，当d越小，共享的参数量便越小；当d等于原始输入维度D时，参数矩阵不做切分；步骤6：设计深度切分策略；深度自注意力网络由多个自注意力层堆叠，记层数为L，当子模型的层数lL时，根据深度切分策略选择该深度自注意力网络中的l层，并归属为子模型自身所拥有；步骤7：结合两种切分策略、设计过滤原则；通过步骤56设计，每个子模型拥有宽度d和深度l；在相同的参数量、计算下，深而窄的子模型会比浅而宽的子模型更高效、结构更合理，提出了一种“深而窄”的过滤原则，在模型训练前就先挑选出一些层数多、宽度低的子模型，而直接丢弃掉那些层数少、宽度高的子模型；通过此项过滤原则，得到筛选后的子模型结构候选集步骤8：设计自蒸馏训练算法并训练模型；针对步骤7得到的子模型结构候选集提出一种自蒸馏训练策略，使得各个子模型能够得到充分训练；首先利用步骤4的深度自注意力网络训练一个教师网络，并构建出一个双向可切分深度自注意力网络，在训练双向可切分深度自注意力网络中的子模型时，先将图像和问题输入到教师网络中得到其预测向量，称为软标签，并通过子模型采样策略，在训练时采样出候选集中的子模型，将这个软标签作为采样出的子模型的监督标签进行训练；步骤9：模型部署及应用。

如需购买、转让、实施、许可或投资类似专利技术，可联系本专利的申请人或专利权人杭州电子科技大学，其通讯地址为：310018 浙江省杭州市下沙高教园区2号大街；或者联系龙图腾网官方客服，联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。