买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：浙江博观瑞思科技有限公司

摘要：公开了一种电商店铺描述视频处理系统及方法。其首先获取电商店铺描述视频，接着，对所述电商店铺描述视频进行稀疏化采样以得到电商店铺描述关键帧的序列，然后，将所述电商店铺描述关键帧的序列中的各个电商店铺描述关键帧进行模态转换以得到关键帧文本描述的序列，接着，分别对所述关键帧文本描述的序列进行语义理解以得到电商店铺描述视频文本模态全域编码特征，最后，基于所述电商店铺描述视频文本模态全域编码特征生成电商店铺描述概述文本。这样，可以提高电商店铺视频的吸引力和可信度，并提高用户的购买意愿和满意度。

主权项：1.一种电商店铺描述视频处理系统，其特征在于，包括：描述视频采集模块，用于获取电商店铺描述视频；视频稀疏化采样模块，用于对所述电商店铺描述视频进行稀疏化采样以得到电商店铺描述关键帧的序列；关键帧模态转换模块，用于将所述电商店铺描述关键帧的序列中的各个电商店铺描述关键帧进行模态转换以得到关键帧文本描述的序列；电商店铺描述视频文本语义理解模块，用于分别对所述关键帧文本描述的序列进行语义理解以得到电商店铺描述视频文本模态全域编码特征；以及电商店铺描述概述文本生成模块，用于基于所述电商店铺描述视频文本模态全域编码特征生成电商店铺描述概述文本；其中，还包括用于对基于编码器-解码器结构的模态转换器、包含词嵌入层的语义编码器和基于AIGC模型的电商店铺描述概括生成器进行训练的训练模块；其中，所述训练模块，包括：训练数据获取单元，用于获取训练数据，所述训练数据包括训练电商店铺描述视频；训练视频稀疏化采样单元，用于对所述训练电商店铺描述视频进行稀疏化采样以得到训练电商店铺描述关键帧的序列；训练关键帧模态转换单元，用于将所述训练电商店铺描述关键帧的序列中的各个训练电商店铺描述关键帧输入所述基于编码器-解码器结构的模态转换器以得到训练关键帧文本描述的序列；训练电商店铺描述视频文本语义理解单元，用于将所述训练关键帧文本描述的序列输入所述包含词嵌入层的语义编码器以得到训练电商店铺描述视频文本模态全域编码特征向量；损失值生成单元，用于将所述训练电商店铺描述视频文本模态全域编码特征向量输入所述基于AIGC模型的电商店铺描述概括生成器以得到特定损失函数值；以及损失训练单元，用于基于所述特定损失函数值并通过梯度下降的方向传播来对所述基于编码器-解码器结构的模态转换器、所述包含词嵌入层的语义编码器和所述基于AIGC模型的电商店铺描述概括生成器进行训练，其中，在每次迭代时对所述训练电商店铺描述视频文本模态全域编码特征向量进行优化；其中，在每次迭代时对所述训练电商店铺描述视频文本模态全域编码特征向量进行优化，包括：在每次迭代时以如下优化公式对所述训练电商店铺描述视频文本模态全域编码特征向量进行优化以得到优化训练电商店铺描述视频文本模态全域编码特征向量；其中，所述优化公式为： 其中，V是所述训练电商店铺描述视频文本模态全域编码特征向量，vi是所述训练电商店铺描述视频文本模态全域编码特征向量V的第i个特征值，||V||1和||V||2是所述训练电商店铺描述视频文本模态全域编码特征向量V的1范数和2范数，L是所述训练电商店铺描述视频文本模态全域编码特征向量V的向量长度，且α是与vi相关的权重超参数，exp·表示数值的指数运算，所述数值的指数运算表示计算以所述数值为幂的自然指数函数值，v'i是所述优化训练电商店铺描述视频文本模态全域编码特征向量的第i个特征值。

全文数据：

权利要求：

百度查询： 浙江博观瑞思科技有限公司 电商店铺描述视频处理系统及方法