申请/专利权人：深圳市前海手绘科技文化有限公司

申请日：2024-03-15

公开（公告）日：2024-06-28

公开（公告）号：CN117893649B

主分类号：G06T13/20

分类号：G06T13/20;G06F9/451;G06T13/40;G06V40/16;G06V40/20;G09F27/00;G10L15/22;G10L15/18

优先权：

专利状态码：有效-授权

法律状态：2024.06.28#授权;2024.05.03#实质审查的生效;2024.04.16#公开

摘要：本发明公开了一种相框、基于相框的展览方法，其中，所述相框的框体包括显示模块、语音采集模块、处理模块，所述相框在被启动后，所述语音采集模块拾取观看者的语音信息；所述处理模块基于所述语音信息对当前显示的画像中的人物进行处理，以使画像中的人物与观看者进行交互；所述显示模块对交互过程中的画像进行显示。通过语音技术，赋予照片和画作更生动、沉浸式的展示体验。该相框能识别展示的图片内容并自动生成相应的语音描述，使观众通过听觉和视觉更深入地了解作品。与传统相框相比，本发明为艺术作品展示带来新的交互层面，丰富了观赏体验。克服了相关技术中仅通过视觉呈现作品，限制了艺术作品的传达和沉浸式体验。

主权项：1.一种相框，其特征在于，所述相框的框体包括显示模块、语音采集模块、处理模块，所述相框在被启动后，所述语音采集模块拾取观看者的语音信息；所述处理模块基于所述语音信息对当前显示的画像中的人物进行处理，以使画像中的人物与观看者进行交互；所述显示模块对交互过程中的画像进行显示，其中，所述相框在被启动后时，启动方式包括：如果所述显示模块的人机交互界面中画像上传组件被触发，接收被上传的画像并对所述画像进行显示；如果所述显示模块的人机交互界面检测到画像中的人物被触发唤醒操作，唤醒所述人物，所述语音采集模块在拾取观看者的语音信息后，所述处理模块基于所述语音信息对所述人物进行处理，使所述人物与观看者进行交互；在画像被显示后，参观画像的用户通过人机交互界面浏览和选择希望进行语音对话的数字人物以唤醒数字人物，唤醒数字人物处于激活状态，一旦被赋予驱动指令则驱动数字人物的口型和肢体进行动作其中，所述处理模块基于所述语音信息对当前显示的画像中的人物进行处理，以使所述画像中的人物与观看者进行交互包括：在交互过程中，对拾取的所述语音信息进行处理，确定与所述语音信息对应的对话答复信息；基于所述对话答复信息，对所述人物进行处理以驱动所述人物的口进行语音答复、和或在伴随语言答复的同时驱动所述人物的肢体运动；对所述人物进行处理以驱动所述人物的口进行语音答复、和或在伴随语言答复的同时驱动所述人物的肢体运动包括：将所述对话答复信息对应的音频、所述人物输入至训练完成的模型中，输出人物口型与音频相符、且头部动作与音频相符的人物，其中，所述训练完成的模型包括生成头部动作的子网络、生成人物口型的子网络，两个子网络的输出结果基于图像翻译模型生成多个图像帧，其中，图像翻译模块采用二次处理的方式，将头部的处理区域进行拓展，将处理区域拓展后的推理结果与原始推理结果进行结合，实现完整的头部区域驱动；采用边缘渐变融合的方式消除了图像的视觉错位问题；在训练生成头部动作的子网络时包括：提取包含人物头部的视频样本的音频特征、以及人头部姿态特征；将所述视频样本的音频特征、头部姿态特征、以及预设头部系数至编码器，经编码器后输入至解码器输出多个头部姿态图像帧，其中，将多个头部姿态图像与输入的头部姿态特征之间的差异最小为训练目标进行训练；所述预设头部系数基于预设的线性调整系数确定，其中，头部运动幅度以及运动方向都是随机且不可控的，导致容易出现一些过渡扭曲且不自然的头部摆动，因此根据3DMM系数的头部运动系数，设计了相对自然的头部摆动动作，每一帧的运动系数对应的公式如下： ，其中（i=1,2,3,...,n）是3DMM系数，（i=1,2,3,...,n）是的线性调整系数。

全文数据：

权利要求：

百度查询： 深圳市前海手绘科技文化有限公司 一种相框、基于相框的展览方法

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。

阅读全文 双屏查看 官方信息 专利公告 收藏专利 下载PDF 下载WORD