买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：南京大学

摘要：本发明属于气象学、计算机听觉、深度学习技术领域，公开了一种基于监控相机音频数据的风速测量深度学习方法及系统，包括：监控音频数据的分离与获取；提取监控风声的均方根能量和MEL频谱图作为风声的时、频域特征；引入双注意力机制，建立SA‑CNN风声频域特征提取深度学习模型和CA‑CNN风声时域特征提取深度学习模型，进而形成风速测量深度学习模型。本发明从监控相机这一崭新视角，将监控风声的时频域特征进行融合实现风速的精准计算。本发明易于部署和实施，无需对已安装的监控相机进行拆卸和标定，便于气象、交通、城市管理等部门的引入和应用。

主权项：1.一种基于监控相机音频数据的风速测量深度学习方法，其特征在于，包括：步骤一，监控音频数据的分离与获取；步骤二，提取监控风声的均方根能量和MEL频谱图作为风声的时、频域特征；步骤三，引入双注意力机制，建立SA-CNN风声频域特征提取深度学习模型和CA-CNN风声时域特征提取深度学习模型，进而形成风速测量深度学习模型；所述步骤三中的建立SA-CNN风声频域特征提取深度学习模型，具体包括如下步骤：（3-1）引入空间注意力机制，注意力机制与CNN层相结合形成频域注意力模块；（3-2）将5个频域注意力模块相连接形成SA-CNN网络，实现网络的加深，从而提取高维度的频域特征；（3-3）将步骤（2-4）获取的风声频域MEL特征输入SA-CNN网络，输出的特征向量记为：；所述步骤三中的构建CA-CNN风声时域特征提取深度学习模型，包括如下步骤：（4-1）引入自注意力机制，注意力机制与CNN层相结合形成时域注意力模块；（4-2）将5个时间注意力模块相连接形成CA-CNN网络，实现网络的加深，从而提取高维度的时域特征；（4-3）将步骤（2-5）获取的风声时域MEL特征输入CA-CNN网络，输出的特征向量记为：；所述步骤二提取监控风声的均方根能量作为风声的时域特征，具体包括如下步骤：（2-1）对监控音频进行分帧处理，并对分帧结果使用汉明窗进行加窗处理，平滑信号的同时减少信息的损失及邻帧之间的连续性；（2-2）对每一帧进行离散傅里叶变换操作，将时域波形信号转换到频域，获取短时能量谱，延频率，单位HZ；（2-3）将能量谱通过一组Mel尺度的三角形滤波器组，将原始声音信号产生的线性频谱映射到基于听觉感知的Mel非线性频谱中，并对取log获取获取Log-Mel特征： 1 为结果特征的维度，实现监控风声频域特征的提取，时间对应的风声频域特征记为；（2-4）以时间为横轴，以声音的振幅为纵轴，绘制声音均方根能量的幅度包络对声音在时间维度的变化进行可视化，以此作为风声的RMS时域特征，时间对应的风声时域特征记为；所述步骤三中的形成风速测量深度学习模型，包括：（5-1）使用全连接神经网络层将步骤（3-3）与（4-3）所提取的监控风声时频特征相融合，获取风速描述的特征向量；（5-2）使用线性回归层，计算对应风速值，实现完整深度学习模型的搭建。

全文数据：

权利要求：

百度查询： 南京大学 基于监控相机音频数据的风速测量深度学习方法及系统