买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

龙图腾网恭喜杭州电子科技大学申请的专利一种基于图像和雷达数据的舞台交互系统获国家发明授权专利权，本发明授权专利权由国家知识产权局授予，授权公告号为：CN112598742B 。

龙图腾网通过国家知识产权局官网在2025-05-13发布的发明授权授权公告中获悉：该发明授权的专利申请号/专利号为：202011609683.2，技术领域涉及：G06T7/73；该发明授权一种基于图像和雷达数据的舞台交互系统是由吴子朝;陈豪;张成设计研发完成，并于2020-12-30向国家知识产权局提交的专利申请。

本一种基于图像和雷达数据的舞台交互系统在说明书摘要公布了：本发明公开了一种基于图像和雷达数据的舞台交互系统，包括信息采集模块、处理模块和控制模块。所述信息采集模块包括安装在舞台正前方的一台RGB摄影机和一台LiDAR激光雷达，实时探测舞台上表演者的姿态信息，作为生产姿态的训练数据或现场数据；处理模块包括姿态生成和姿态识别，姿态生成单元利用双流深度学习网络学习训练数据，产生表演者的姿态模型；姿态识别根据表演者的姿态模型识别匹配对应的预设姿态，将结果发送到控制模块。控制单元模块根据接收到的识别结果，控制舞台屏幕的显示内容随表演者姿态变化。通过上述方式，本发明能够在较高精度下使表演者可以通过动作姿态与舞台场景实时交互。

本发明授权一种基于图像和雷达数据的舞台交互系统在权利要求书中公布了：1.一种基于图像和雷达数据的舞台交互系统，其特征在于：包括信息采集模块、处理模块和控制模块；所述信息采集模块，使用一台RGB摄影机和一台LiDAR激光雷达，分别对舞台进行图像拍摄和雷达探测，实时获取舞台上的表演者信息，将雷达探测得到的数据以与RGB图像相同的频率生成雷达点云图后，将RGB图像和雷达云点图作为现场数据，一同传输到处理模块中；所述处理模块包括姿态生成单元和姿态识别单元，姿态生成单元通过双流网络学习信息采集模块采集的数据，生成姿态集；姿态识别单元找到姿态集中的现场姿态对应的预设姿态，将识别结果发送给控制模块；所述双流网络包括特征提取、特征聚合与姿态生成模块；其中特征提取模块首先单独处理雷达点云图得到鸟瞰图，然后利用VGG-16网络提取鸟瞰图与RGB图像特征，得到特征图；特征聚合模块根据特征图中的特征信息框选出表演者在图像中的位置；姿态生成模块根据表演者在图像中的位置信息，将锚定姿态拟合到目标区域中，生成姿态集；使用RPN损失LRPN、锚定姿态损失Lcls、2D姿态细化损失L2D和3D姿态细化损失L3D四项损失的和作为优化指标Ltotal对双流网络进行优化； 其中pi表示第i个预测框是前景的概率，为标签，当第i个预测框为前景时为1，反之为0；ti表示预测框的4个位置参数，为标定框的参数，Ncls和Nreg为一次训练的小批量中的大小，Lcls是锚定姿态损失函数，Lreg是回归损失函数；锚定姿态损失Lcls用于优化锚定姿态的选择，包括前景和后景的区分以及使用相似性分数分配最佳锚定姿态两个步骤，其中锚定姿态的相似度计算公式为： 其中ak,j表示第k个锚定姿势的关节j的位置，gj表示真实标注的关节节点j，J为关节节点的总数量，K为锚定字数的总数量；2D姿态细化损失L2D用于优化最终的2D锚定姿态，将双流网络预测的2D回归增量加到锚定姿态上，获得一组最终的2D姿态锚定预测P2D： 其中p2D为最终预测的预测框为前景的概率，Nfg为前景的数量，T2D为每个前景的目标区域对应的真实标注；li是参数因子，smooth_ll为平滑函数；3D姿态细化损失L3D将回归增量加入3D锚定姿态来获得最终的3D姿态P3D： Nfg为前景的数量，T3D为每个前景的目标区域对应的真实标注，pr函数为投影函数,将P3D投影到2D空间；所述控制模块，接收到处理模块的姿态识别结果后，根据识别结果判断表演者的意图，控制舞台随表演者的姿态进行变化。

如需购买、转让、实施、许可或投资类似专利技术，可联系本专利的申请人或专利权人杭州电子科技大学，其通讯地址为：310018 浙江省杭州市下沙高教园区2号大街；或者联系龙图腾网官方客服，联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。