买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：浙江大丰数艺科技有限公司

摘要：本申请涉及智能控制领域，其具体地公开了一种应用于沉浸展演的便携式空间定位遥感交互控制系统，其通过获取由用户通过交互设备绘制的交互图案和由摄像头录制的用户绘制动作过程视频，并采用基于人工智能的图像视频帧处理分析算法来对所述交互图案和所述用户绘制动作过程视频中的各个关键帧进行语义分析和理解，以此基于所述交互图案和用户绘制动作时序关键帧的交互表征特征来自动地得到交互意图类型标签的识别结果，并返回与所述交互意图类型标签匹配的交互内容。通过该方式，系统能够高精度地识别用户的交互意图，以此提高交互的准确性，从而提供更加个性化和便携的沉浸式体验，以丰富用户体验。

主权项：1.一种应用于沉浸展演的便携式空间定位遥感交互控制系统，其特征在于，包括：交互图案采集模块，用于获取由用户通过交互设备绘制的交互图案；用户绘制动作视频获取模块，用于获取由摄像头录制的用户绘制动作过程视频；关键帧采样模块，用于对所述用户绘制动作过程视频进行关键帧采样以得到用户绘制动作关键帧的时间序列；动作语义特征提取模块，用于对所述用户绘制动作关键帧的时间序列中的各个用户绘制动作关键帧分别进行动作语义特征提取以得到用户绘制动作语义表示向量的时间序列；特征聚合模块，用于将所述用户绘制动作语义表示向量的时间序列通过用户绘制动作语义消息时序传递聚合网络以得到用户绘制动作时序关联聚合表示向量；图案特征提取模块，用于对所述交互图案进行图案特征提取以得到交互图案语义特征向量；特征交互模块，用于使用投影层融合所述交互图案语义特征向量和所述用户绘制动作时序关联聚合表示向量以得到交互意图多模态表征向量作为交互意图多模态表征特征；识别结果生成模块，用于基于所述交互意图多模态表征特征，得到识别结果，并基于所述识别结果返回交互内容；所述动作语义特征提取模块，用于：将所述用户绘制动作关键帧的时间序列中的各个用户绘制动作关键帧分别通过基于MobileNetV3的动作语义特征提取器以得到所述用户绘制动作语义表示向量的时间序列；所述特征聚合模块，包括：特征加和单元，用于计算所述用户绘制动作语义表示向量的时间序列中前个用户绘制动作语义表示向量的加权和，以得到用户绘制动作语义加和表示向量；特征加权单元，用于以可训练预设超参数与一的加和作为加权系数对第个所述用户绘制动作语义表示向量中的各个位置特征值进行加权处理以得到加权用户绘制动作语义表示向量；多层感知单元，用于将所述用户绘制动作语义加和表示向量和所述加权用户绘制动作语义表示向量进行按位置加和后通过多层感知机进行处理以得到第个所述用户绘制动作语义表示向量对应的用户绘制动作语义聚合特征向量；特征聚合单元，用于计算所述用户绘制动作语义表示向量的时间序列中的各个用户绘制动作语义表示向量对应的所述用户绘制动作语义聚合特征向量之间的按位置加和，以得到所述用户绘制动作时序关联聚合表示向量；所述图案特征提取模块，用于：将所述交互图案通过基于DenseNet模型的图案特征提取器以得到所述交互图案语义特征向量；所述特征交互模块，包括：表征特征构造单元，用于基于所述交互图案语义特征向量和所述用户绘制动作时序关联聚合表示向量分别构造交互图案语义表征特征向量和用户绘制动作时序关联聚合表征向量；图案用户交互单元，用于将所述交互图案语义表征特征向量和所述用户绘制动作时序关联聚合表征向量进行按位置相加以得到所述交互意图多模态表征向量；所述表征特征构造单元，用于：对所述交互图案语义特征向量进行点卷积编码以得到卷积交互图案语义特征向量后，计算所述卷积交互图案语义特征向量与第一超参数的按位置相乘以得到所述交互图案语义表征特征向量；对所述用户绘制动作时序关联聚合表示向量进行点卷积编码以得到卷积用户绘制动作时序关联聚合表示向量后，计算所述卷积用户绘制动作时序关联聚合表示向量与第二超参数的按位置相乘以得到所述用户绘制动作时序关联聚合表征向量；所述识别结果生成模块，包括：交互意图类型标签确定单元，用于将所述交互意图多模态表征向量通过基于分类器的交互意图识别器以得到识别结果，所述识别结果用于表示交互意图类型标签；交互内容返回单元，用于返回与所述交互意图类型标签匹配的交互内容。

全文数据：

权利要求：

百度查询： 浙江大丰数艺科技有限公司 应用于沉浸展演的便携式空间定位遥感交互控制系统