买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：西北工业大学

摘要：本发明公开了一种基于数据生成调优与权重自主进化的指代表达理解方法，第一部分为初始指代表达数据生成模块，第二部分为带有负例的上下文构建模块，第三部分为上下文指代表达数据生成模块。第四部分为语言主干网络，第五部分为语言自适应权重生成器，第六部分为视觉主干网络，第七部分为指代表达理解预测模块。

主权项：1.一种基于数据生成调优与权重自主进化的指代表达理解方法，其特征在于，包括如下步骤：步骤1：给定图像数据集D,取其中的一张图片利用指代表达生成模版Tk生成一条初始表达式xik；遍历数据集D，得到初始表达式数据集X1；步骤2：对于给定图片Ii，给模型送入提示：“请描述这张图片”，让模型产生对应的描述Ci；将X1中关于图片Ii的表达式xik显式添加到上下文中，当作负例样本上下文信息，同时给模型送入提示：“请避免生成该类问题”，得到负例可知的上下文信息为：Ii,Ci,xik；步骤3：利用步骤2得到的负例可知的上下文信息，重复步骤1，产生调优后的表达式数据xi1，该过程表示为：Ii2＝FθXi,Ci,Tk,xi11步骤4：给定指代表达xi1，使用N层语言主干网络对表达式进行分词，并在开头添加一个[CLS]标记，提取出语言特征其中L和dl分别表示标记数量和语言特征的维度；然后，将语言特征Fl输入到语言自适应权重生成器中，以便为视觉主干网络生成权重；接下来，给定一张图像其中W×H×3表示图片的尺寸，表达感知的视觉特征通过视觉主干网络被提取，其中C和s分别表示视觉特征的通道数量和步长；最后，将由[CLS]标记表示的语言特征和视觉特征传递给指代表达理解预测模块，预测指代表达理解所指对象的边界框；步骤5：引入了一个可学习的层特定嵌入作用于视觉主干网络的每一层，以动态提取层相关的语言特征；对于每个组g，将注意力分配给和Fig的归一化点积，表示为： 随后，主动感知的语言特征通过聚合得到：最后，使用一个全连接层降低视觉主干网络第i层的聚合语言特征的维度，表示为： 其中用于将维度降低到dh＝dlr，其中r是降维比率；δ表示eLU激活函数；步骤6：根据指代表达生成语言自适应权重，用于在视觉主干网络中生成查询Xq、键Xk和值Xv，表示为：Xq＝θX；Wq,Xk＝θX；Wk,Xv＝θX；Wv3其中，θ·；W表示参数为W的线性映射操作，X表示输入的视觉特征；是用于生成查询、键、值的动态映射权重，din和dout分别是特征X及查询键值的特征维度；按照矩阵分解范式生成动态权重，对于第i个ViT块，该过程表示为： 其中，是层特定的静态可学习权重；和是静态可学习权重；是一个全连接层，它以聚合的语言特征作为输入，生成一个形状为dw×dw的动态矩阵；步骤7：应用直接坐标回归预测所指对象的边界框；首先，将视觉特征和语言特征投影到较低维度的空间然后通过点积相似度计算注意力权重再进行Softmax归一化；然后，通过使用注意力权重A进行加权求和聚合视觉特征；最后，将聚合的视觉特征输入到一个全连接层，并使用Sigmoid函数来预测所指边界框步骤8：给定预测的边界框和真实边界框b＝x,y,w,h，检测损失函数定义如下： 其中，和分别表示L1损失和通用IoU损失，λL1和λgiou表示用于平衡损失的相关系数。

全文数据：

权利要求：

百度查询： 西北工业大学 基于数据生成调优与权重自主进化的指代表达理解方法