龙图腾网&IPTOP
- 微信扫码登录
- 账号密码登录
- 短信登录/注册
买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！
申请/专利权人：湖北省珍岛数字智能科技有限公司
摘要：本发明公开了一种基于场景生成数字人的方法，属于数据处理技术领域，具体包括：对图像特征以及文本特征进行提取，采用注意力机制进行跨模态检索，分别学习基于图像的区域特征和基于文本的词汇特征；采用改进的门控机制加强图像－文本的语义匹配，过滤掉不相关的信息，生成新的图像和文本；分别计算图像和文本的相似度，采用计算局部的相似性，求和平均得到图像和文本的相似度；采用最大硬度的排序损失函数对设定批量的图像－文本匹配进行训练；本发明通过采用深度学习算法、注意力机制、改进的门控机制和最大硬度的排序损失函数等技术手段，实现了基于场景生成数字人的方法，从而提高了数字人生成的质量和效率。
主权项：1.一种基于场景生成数字人的方法，其特征在于，包括以下步骤：采集图像样本，通过深度学习算法FasterR-CNN提取出图像样本的m个区域，使用预训练残差网络提取每个区域的特征fi，通过全连接学习fi特征，生成区域特征表示vi，则图像样本的特征表示为V={vi|i=1,...,m,vi∈Rd}其中，m表示图像的区域个数，Rd表示特征维度；采集文本样本并过滤，采用词袋模型和TF-IDF结合的方法，将文本中的任一语句标记为一个词袋，将文本表示为词袋模型，并转换为向量，向量的每个维度代表一个词汇，值为该词汇在文本中出现的频率，使用词袋模型向量计算TF和IDF，然后将它们相乘得到TF-IDF表示文本特征；采用注意力机制进行跨模态检索，分别学习基于图像的区域特征和基于文本的词汇特征：使用改进的门控机制加强图像－文本的语义匹配，并过滤掉与设定不相关的信息，生成新图像和新文本，保留与设定相关的信息；分别计算新图像和新文本的相似度，采用计算局部的相似性，将局部相似度求和平均得到新图像和新文本的相似度；使用最大硬度的排序损失函数L对批量的设定图像－文本匹配进行训练。
全文数据：
权利要求：
百度查询： 湖北省珍岛数字智能科技有限公司 一种基于场景生成数字人的方法
免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。
主营中国专利交易买卖与专利转让许可,高校科技成果推广与科技成果转化,知识产权运营管理与平台开发,科技人才专家库与科技猎头等科技服务
开放平台
担保交易
惠及多方
会员特惠
专属平台
适合多方
数据共享
功能齐全
皖公网安备 34010402703815号