申请/专利权人：华中师范大学

申请日：2023-10-24

公开（公告）日：2024-06-25

公开（公告）号：CN117557755B

主分类号：G06F7/544

分类号：G06F7/544

优先权：

专利状态码：有效-授权

法律状态：2024.06.25#授权;2024.03.01#实质审查的生效;2024.02.13#公开

摘要：本发明属于元宇宙的教学应用领域，提供一种虚拟场景中师生化身服饰可视化方法及系统，该方法包括：1师生数据采集；2教学对象生成；3模型骨架构建；4师生化身驱动；5师生化身服装映射；6服饰匹配；7动态切换。本发明引入AIGC技术，采用深度学习和计算机视觉技术建模教学主体的骨架模型，采用链式结构生成与模型相同尺寸的铰链对象，根据教学场景和化身模型的尺寸、动作姿态定制化服装，并优化服装纹理细节，支持依据手势动作的识别结果来动态切换虚拟服饰，提高教育教学的趣味性、有效性和互动性。

主权项：1.虚拟场景中师生化身服饰可视化方法，其特征在于该方法包括以下步骤：1师生数据采集，按照师生分布情况，使用深度摄像机分段采集教学场景的深度、纹理、动态范围和色彩信息；对齐相邻图像帧中师生同名特征点对，将相邻图像拼接成整幅图像；运用立体视觉算法计算不同视角之间的视差像素信息，采用增强学习算法提取师生的密集点云数据；2教学对象生成，采用卷积神经网络层和全连接随机场算法提取、定位教学场景中对象的边界框，使用语义分割算法获得师生的语义对象；使用曲面拟合算法将体素数据转换成表面模型，构建成师生3D模型；采用隐式表面重建算法重构师生3D模型的头发、皮肤、衣服和面部细节以及纹理、法线和漫反射贴图；3模型骨架构建，使用逆投影算法，计算关节点在三维全局坐标系中的位置，将其映射到师生的表面模型，得到师生骨架模型；运用迭代最近点算法调整和优化链式关节点的位置，得到师生3D模型的链式骨架；采用最小二乘算法最小化损失函数，获取师生3D模型匹配的链式骨架，将骨架绑定到师生3D模型上；4师生化身驱动，运用曲线差值算法获取每个关节点的铰链对象，生成与师生骨架模型形状相同的铰链模型；按照控制策略使用基于无监督学习算法推断师生化身模型的位置和姿态变化指令；采用强化学习算法计算身体模型铰链对象的位置和旋转方向，根据铰链对象的前后变化值，推断关节的变化；5师生化身服装映射，运用基于深度学习的三维建模算法构建适合不同身材的虚拟服装模型；使用形状描述符号表示虚拟服装的几何轮廓和纹理材质特征，采用卷积神经网络分类描述虚拟服装形状；运用有限元算法模拟服装的形变和褶皱，当关节点发生变化时，采用网格变形算法呈现骨架模型上服装的形变和褶皱；具体包括：5-1师生服装模型生成，根据不同学科的教学需求，收集与课程相关的服装类型、外观风格、廓形和材质数据，采用参数化径向基神经网络映射方法，拟合柔性面料的表面模型，运用基于深度学习的三维建模算法构建适合不同身材的虚拟服装模型；5-2服装描述，使用形状描述符号表示虚拟服装的几何轮廓和纹理材质特征，采用卷积神经网络分类描述虚拟服装形状，以所属学科类别和几何形状描述作为数据字典中虚拟服装的索引和值，构造服装对象的键值对，并存储在云端数据库中，提供查询、下载服务；5-3师生化身服装贴图，根据教学场景中光源的位置和方向，使用Phong光照模型计算光源和服装表面法线的光照值，根据光照值着色服装光照和阴影遮罩，运用有限元算法模拟服装的形变和褶皱，当关节点发生变化时，采用网格变形算法呈现骨架模型上服装的形变和褶皱；6服饰匹配，使用等距变换算法计算各个服饰部分的新形状，匹配对应尺寸的师生化身骨架模型；依据匹配条件，构建师生化身各个服饰部分的组合规则，使用基于规则的前向推理算法推荐适合教学场景的服装；运用生成对抗网络算法调整服装纹理细节、方向性、尺度、均匀性、对比度和亮度；7动态切换，使用基于区域的卷积神经网络定位师生手部区域的铰链对象，使用长短时记忆神经网络推测手部动作的时长、幅度和速度特征；采用时序卷积神经网络算法分类数据变化值，确定手势铰链对象的动作手势；使用差值过渡算法为服饰更新操作添加淡入淡出和平滑过渡效果。

全文数据：

权利要求：

百度查询： 华中师范大学 虚拟场景中师生化身服饰可视化方法及系统

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。

阅读全文 双屏查看 官方信息 专利公告 收藏专利 下载PDF 下载WORD