申请/专利权人：北京科技大学

申请日：2023-11-03

公开（公告）日：2024-06-04

公开（公告）号：CN117288294B

主分类号：G01F23/22

分类号：G01F23/22;G01F23/80;G06V20/40;G06N3/0442;G06N3/08;G06V10/774;G06V10/82;G10L25/30;G10L25/51

优先权：

专利状态码：有效-授权

法律状态：2024.06.04#授权;2024.01.12#实质审查的生效;2023.12.26#公开

摘要：本发明公开了一种基于听觉与触觉的水杯水位检测方法及装置，涉及检测水位技术领域。包括：将听觉数据输入到构建好的听觉特征提取模型进行特征提取得到听觉信息；将触觉数据输入到构建好的触觉特征提取模型进行特征提取得到触觉信息；对听觉信息以及触觉信息进行拼接得到多模态特征；根据多模态特征以及长短期记忆递归神经网络LSTM进行水位回归预测，得到水杯的水位检测结果。本发明引入触觉传感器，通过容器所含液体的增加使触觉传感器变形程度增加判断液体所含多少，结合倒水时的音频，采用神经网络预测液体含量具体的百分比，通过多模态的数据更细致地确定液体含量，提高预测的准确性及在各个环境中的普适性。

主权项：1.一种基于听觉与触觉的水杯水位检测方法，其特征在于，所述方法包括：S1、获取待检测的水杯的听觉数据以及触觉数据；其中，所述听觉数据为倒水时的音频；S2、将所述听觉数据输入到构建好的听觉特征提取模型进行特征提取，得到听觉信息；S3、将所述触觉数据输入到构建好的触觉特征提取模型进行特征提取，得到触觉信息；S4、对所述听觉信息以及触觉信息进行拼接，得到多模态特征；S5、根据所述多模态特征以及长短期记忆递归神经网络LSTM进行水位回归预测，得到水杯的水位检测结果；所述S1中的触觉数据的获取过程，包括：根据触觉传感器获取触觉数据；其中，所述触觉传感器包括微处理器、相机以及柔性体模块；所述相机，用于记录所述柔性体模块的形变，获取柔性体模块的表面接触信息，进而得到触觉数据；所述柔性体模块上设有标记点；所述S2中的听觉特征提取模型的构建过程，包括：S21、获取训练视频数据；S22、根据所述训练视频数据，得到视频样本以及视频样本对应的标签；S23、根据所述视频样本、视频样本对应的标签以及预训练的音频神经网络PANNS，得到构建好的听觉特征提取模型；所述S3中的触觉特征提取模型的构建过程，包括：S31、获取倒水实验中触觉传感器的标记点的位移数据；S32、获取标记点的位移数据的平均值，根据所述位移数据的平均值，得到触觉样本以及触觉样本对应的标签；S33、根据所述触觉样本以及触觉样本对应的标签，得到构建好的触觉特征提取模型；所述S3中的将所述触觉数据输入到构建好的触觉特征提取模型进行特征提取，得到触觉信息，如下式1所示： 其中，Fti，k，l，j表示第i条视频数据中第k个触觉样本中第l个预设时间步长中第j帧的触觉信息特征值，Fti，k，l，j的维度是1,12，对于每一个触觉样本，得到8,12的特征向量来表征一个样本中的触觉信息，t表示视频数据时长，i表示视频数个数，k表示每个视频数据所裁剪的触觉样本个数，l表示预设时间步长，j表示每个裁剪的视频的帧数，1≤m≤9，1≤n≤4，xm，n，i，k，l，j表示第i条视频数据中第k个触觉样本中第l个预设时间步长中第j帧中第m行第n列标记点的横坐标，xm，n，i，0表示第i条视频数据中初始帧中第m行第n列标记点的横坐标，ym，n，i，k，l，j表示第i条视频数据中第k个样本中第l个预设时间步长中第j帧中第m行第n列标记点的纵坐标，ym，n，i，0表示第i条视频数据中初始帧中第m行第n列标记点的纵坐标。

全文数据：

权利要求：

百度查询： 北京科技大学 一种基于听觉与触觉的水杯水位检测方法及装置

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。

阅读全文 双屏查看 官方信息 专利公告 收藏专利 下载PDF 下载WORD