申请/专利权人：南京林业大学

申请日：2024-02-05

公开（公告）日：2024-05-28

公开（公告）号：CN118098228A

主分类号：G10L15/22

分类号：G10L15/22;G10L21/0208;G10L21/0224;G10L21/0232;G10L21/0264

优先权：

专利状态码：在审-实质审查的生效

法律状态：2024.06.14#实质审查的生效;2024.05.28#公开

摘要：本发明公开了一种基于听觉感知的人机交互系统和方法，包括采集声源信息模块、声源位置计算分析模块和人机交互模块；人机交互模块包括交互机器人和旋转平台；采集声源信息模块采集音频信号并对音频信号进行预处理；声源位置计算分析模块对预处理后的音频信号进行计算分析进而得到声源位置并将声源位置和声源信息发送给交互机器人；交互机器人发送声源位置至旋转平台，旋转平台根据接收的声源位置驱动交互机器人转动，面向声源；交互机器人根据声源信息通过本体API执行交互内容文件。本发明可以识别空间中的声源位置，从而更准确地识别出用户当前位置，同时，交互机器人根据用户当前位置做出针对性地反应，更好地与用户进行人机交互。

主权项：1.一种基于听觉感知的人机交互方法，其特征在于，包括声源采集步骤、声源定位步骤和人机交互步骤；其中声源采集步骤包括：S101、麦克风阵列采集声源的音频信号；S102、对采集的音频信号进行放大；S103、对放大后的音频信号，进行滤波；S104、通过USB数据采集卡对放大滤波后的音频信号进行采集；S105、将USB数据采集卡采集的音频信号实时传输到PC端；其中声源定位步骤在PC端执行，声源定位步骤包括：S201、加载USB数据采集卡采集的音频信号；S202、对采集的音频信号，进行消除趋势项和归一化预处理，对预处理后的音频信号，进行去噪处理，得到多路去噪后的音频信号；S203、对多路去噪后的音频信号，进行加窗分帧处理，得到多路短时平稳的信号；S204、通过端点检测判断多路短时平稳的信号，是否为语音信号；是，则执行步骤S205；否，则执行步骤S210；S205、对多路短时平稳的信号进行快速傅里叶变换，确定多路短时平稳信号的互功率谱密度函数；S206、对多路的短时平稳信号的频域信号，进行加权互相关运算；S207、对互相关运算结果继续逆傅里叶逆变换，从频域变换到时域；S208、在逆傅里叶变换中，搜索峰值的最大值，获得声源到达麦克风阵列中其他麦克风与参考麦克风的时延差；S209、根据求得的时延差、麦克风阵列中麦克风之间的距离，计算声源相对于麦克风阵列的位置；S210、舍弃多路短时平稳的信号；其中人机交互步骤包括：S301、PC将当前计算出的声源相对于麦克风阵列的位置和声源信息编码后传送至交互机器人；S302、交互机器人接收编码的信号，解码并转换坐标系，计算出声源相对于交互机器人的位置；S303、交互机器人根据解码后得到的声源信息，确定对应的交互内容；S304、交互机器人根据确定的交互内容，采用人机交互方式输出交互内容；交互机器人根据声源相对于交互机器人的位置完成转身动作，面向声源。

全文数据：

权利要求：

百度查询： 南京林业大学 一种基于听觉感知的人机交互系统和方法

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。

阅读全文 双屏查看 官方信息 专利公告 收藏专利 下载PDF 下载WORD