龙图腾网&IPTOP
- 微信扫码登录
- 账号密码登录
- 短信登录/注册
申请/专利权人：行至智能(北京)技术有限公司
申请日：2024-04-01
公开（公告）日：2024-06-28
公开（公告）号：CN118262114A
主分类号：G06V10/26
分类号：G06V10/26;G06V10/25;G06V10/80;G06V10/82;G06N3/0464;G10L15/26;G10L17/02;G10L21/0208;G10L25/24;G10L25/30
优先权：
专利状态码：在审-公开
法律状态：2024.06.28#公开
摘要：本发明公开一种多模态实时交互决策的方法，属于互联网技术领域；该方法包括：获取视频数据和语音信号对视频数据进行预处理，得到预处理后视频数据；对预处理后视频数据进行目标识别，得到目标物体；使用语义分割网络模型对预处理后视频数据进行语义分割，得到分割结果；通过视觉显著性检测技术，从预处理后视频数据中提取出重要区域；通过光流估计方法分析重要区域，得到异常运动行为；将目标物体、分割结果和异常运动行为进行融合，得到视频挖掘结果；本发明还公开一种多模态实时交互决策的系统。本发明提供实时决策支持，根据大模型补充推演的多模态数据，使指挥员能够更迅速地获取、分析和理解关键信息，加强对战场的实时感知。
主权项：1.一种多模态实时交互决策的方法，其特征在于，包括以下步骤：获取视频数据和语音信号；对视频数据进行预处理，得到预处理后视频数据；对预处理后视频数据分别进行目标识别、语义分割和视频检测，得到目标物体、分割结果和异常运动行为；将目标物体、分割结果和异常运动行为进行融合，得到视频挖掘结果；对语音信号进行预处理，得到预处理后语音信号；对预处理后语音信号进行特征提取，得到语音特征；对于语音特征进行声纹识别和语音识别，得到问题文本；根据问题文本，生成答案文本；对答案文本进行语音信号转化，得到答案语音信号；将视频挖掘结果和答案语音信号发送给用户。
全文数据：
权利要求：
百度查询： 行至智能(北京)技术有限公司 一种多模态实时交互决策的方法及系统
免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。
主营中国专利交易买卖与专利转让许可,高校科技成果推广与科技成果转化,知识产权运营管理与平台开发,科技人才专家库与科技猎头等科技服务
开放平台
担保交易
惠及多方
会员特惠
专属平台
适合多方
数据共享
功能齐全
皖公网安备 34010402703815号