申请/专利权人：中南大学;北京全路通信信号研究设计院集团有限公司

申请日：2023-06-15

公开（公告）日：2024-06-25

公开（公告）号：CN116831581B

主分类号：A61B5/18

分类号：A61B5/18;A61B5/0205;A61B5/00

优先权：

专利状态码：有效-授权

法律状态：2024.06.25#授权;2023.10.24#实质审查的生效;2023.10.03#公开

摘要：本发明公开了一种基于远程生理体征提取的驾驶员状态监测方法，包括以下步骤：S1、设计双径神经网络，训练得到驾驶员rPPG信号提取模型；S2、采集驾驶员面部图像序列信息，进行预处理，将预处理得到的局部信息和全局信息发送至远程生理体征提取装置；S3、远程生理体征提取装置将局部信息和全局信息输入驾驶员rPPG信号提取模型，得到驾驶员rPPG信号，对驾驶员rPPG信号进行去噪、变换处理得到驾驶员生理特征参数后，发送至驾驶员状态警示装置；S4、驾驶员状态警示装置根据驾驶员生理特征参数，计算驾驶员实时驾驶状态，判定驾驶风险程度。本发明还提供了一种基于远程生理体征提取的驾驶员状态监测装置。

主权项：1.一种基于远程生理体征提取的驾驶员状态监测方法，用于驾驶员感知装置1、远程生理体征提取装置2和驾驶员状态警示装置3互相协作的系统中，其特征在于，包括以下步骤：S1、训练驾驶员rPPG信号提取模型：设计基于Transformer架构的包含快速径和慢速径的双径神经网络，通过对驾驶员进行数据采集和模型训练得到驾驶员rPPG信号提取模型；在S1中，包括以下步骤：S11、采集驾驶员数据：通过模拟以及实车试验，采集驾驶员在驾驶状态下的面部图像序列和同步对应的生理信号；S12、进行数据预处理：对采集到的驾驶员数据进行预处理，通过面部特征点获取人脸的皮肤区域，作为局部信息特征输入；通过人脸检测器获取人脸图像框并扩大两倍作为采样框，作为全局信息特征输入；S13、设计包含快速径和慢速径的Transformer网络架构：设计包含快速径和慢速径的Transformer网络架构，网络主体结构为多个Transformer块堆叠；快速径输入信息为人脸皮肤区域的局部信息，输入帧率与原始采样率保持一致，特征图尺寸为Xfast∈PH×W×3×F；慢速径输入信息为以人脸检测框中心为中心点，人脸检测框尺寸2倍的全局信息，并采样到局部特征图的2倍大小，输入帧率为原始采样率的14，特征图尺寸为Xslow∈P2H×2W×3×14F；其中快速径和慢速径均从空间维度和时间维度计算注意力；通过将快速径和慢速径的输出拼接后，添加一个多层感知机层，输出驾驶员的估计生理信号；在S13中慢速径计算时，前Lspace层Transformer从空间维度进行注意力机制计算：将全局信息划分为不重叠的块，每个块的维度为xp，t∈PP×P×3，p∈{1，...，N}和t∈{1，...，F}分别是块和帧的索引，所有块被展平为向量，并线性投影到式11的嵌入向量： 嵌入向量zp，t∈PD与输入向量之间通过可学习的位置嵌入向量和矩阵E联系起来；在每一帧的第一个块前加上一个可学习的分类这个分类token会被用来编码每一帧的信息，用于后续计算时间维度的注意力；在第l层Transformerl∈{1，...，Lspace}和第a头自注意力a∈{1，...，A}下，每个块被表示为查询q、键k和值v向量，前一层Transformer产生的表示作为输入，LayerNorm表示层归一化，W表示权重矩阵，每个注意力头的维度为Dh＝DA，q、k、v向量分别用公式表示为： 第t帧的第p个块的空间自注意力权重用公式表示为： 自注意力权重被用作每个注意力头值的加权和的系数，得到多头自注意力的输出： 将来自注意力机制的输出拼接，并通过多层感知器，多头自注意力层和多层感知机层通过添加跳跃连接作为残差运算符操作： S14、将预处理后的数据分为训练集和验证集，在训练集上对模型输出的信号与采集的真实生理信号计算损失函数，并进行反向传播不断更新模型参数，训练到损失函数不再降低为止，选择验证集上皮尔森相关系数最大的作为最后的模型参数；S2、采集和预处理驾驶员数据：通过驾驶员感知装置1采集驾驶员的面部图像序列信息，并对所述面部图像序列信息进行预处理，将预处理得到的局部信息和全局信息发送至远程生理体征提取装置2；S3、提取驾驶员生理特征参数：远程生理体征提取装置2将所述局部信息特征作为快速径输入，全局信息特征作为慢速径输入，输入所述驾驶员rPPG信号提取模型，得到驾驶员rPPG信号，远程生理体征提取装置2对所述驾驶员rPPG信号进行去噪、变换处理得到驾驶员生理特征参数后，将所述驾驶员生理特征参数发送至驾驶员状态警示装置3；S4、判定驾驶风险程度：驾驶员状态警示装置3根据接收到的驾驶员生理特征参数，计算驾驶员的实时驾驶状态，根据所述实时驾驶状态判定驾驶风险程度。

全文数据：

权利要求：

百度查询： 中南大学;北京全路通信信号研究设计院集团有限公司 一种基于远程生理体征提取的驾驶员状态监测方法及系统

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。

阅读全文 双屏查看 官方信息 专利公告 收藏专利 下载PDF 下载WORD