申请/专利权人：首都医科大学附属北京天坛医院

申请日：2023-11-23

公开（公告）日：2024-06-14

公开（公告）号：CN117608399B

主分类号：G06F3/01

分类号：G06F3/01;G06F3/04812;G06F18/10;G06F18/213;G06F18/214;G06F18/241;G06F18/2415;G06F18/27

优先权：

专利状态码：有效-授权

法律状态：2024.06.14#授权;2024.03.15#实质审查的生效;2024.02.27#公开

摘要：本申请公开了一种基于汉字笔画的轨迹拟合方法以及装置。涉及脑机接口领域。其中方法包括：获取用户执行与书写汉字笔画的笔画行进轨迹同步的实际书写所产生的第一神经信号；获取用户实际书写目标汉字对应的每一个汉字笔画所产生的第二神经信号；利用第一神经信号和第二神经信号对第一实际书写轨迹拟合模型进行训练；获取用户执行与书写汉字笔画的笔画行进轨迹同步的想象手部书写所产生的第三神经信号；获取用户想象书写目标汉字对应的每一个汉字笔画所产生的第四神经信号；以及利用第三神经信号和第四神经信号对第二想象书写轨迹拟合模型进行训练。

主权项：1.一种基于汉字笔画的轨迹拟合方法，其特征在于，包括：预先设定书写汉字笔画的笔画行进轨迹，根据预设速度显示所述笔画行进轨迹，并获取用户执行与书写所述汉字笔画的笔画行进轨迹同步的实际书写所产生的第一神经信号；预先设定目标汉字，并且依照汉字书写的笔顺规则形成所述目标汉字所对应的包含多个汉字笔画的有序组合；根据所述有序组合中的笔画书写次序和根据所述预设速度连续的、依次显示每一汉字笔画的笔画行进轨迹，所述笔画行进轨迹为带有成人手部书写特征的笔画线条样式而不是标准印刷字体形式的字形轨迹，所述字形轨迹为单一的一笔连贯过程，中间无断笔；在所述用户根据所述目标汉字进行构型拆解形成有序笔画单元之后，获取所述用户连续的、依次实际书写所述目标汉字对应的有序组合中的每一个汉字笔画所产生的第二神经信号，其中所述用户是执行与书写所述每一汉字笔画的笔画行进轨迹同步的实际手部书写；创建用于对所述用户实际手部书写所述汉字笔画时的神经信号进行识别的第一实际书写轨迹拟合模型，并利用所述第一神经信号和所述第二神经信号对所述第一实际书写轨迹拟合模型进行训练；预先设定书写所述汉字笔画的笔画行进轨迹，根据所述预设速度显示所述笔画行进轨迹，并获取所述用户执行与书写所述汉字笔画的笔画行进轨迹同步的想象手部书写所产生的第三神经信号；预先设定所述目标汉字，并依汉字书写的笔顺规则形成所述目标汉字所对应的包含多个汉字笔画的有序组合；根据所述有序组合中的笔画书写次序和根据所述预设速度连续的、依次显示每一汉字笔画的行进轨迹，所述笔画行进轨迹为带有成人手部书写特征的笔画线条样式而不是标准印刷字体形式的字形轨迹，所述字形轨迹为单一的一笔连贯过程，中间无断笔；所述用户根据所述目标汉字进行构型拆解形成有序笔画单元之后，获取所述用户连续的、依次想象书写所述目标汉字对应的有序组合中的每一个汉字笔画所产生的第四神经信号，其中所述用户是执行与书写所述每一汉字笔画的笔画行进轨迹同步的想象手部书写；以及创建用于对所述用户想象书写汉字笔画时的神经信号进行识别的第二想象书写轨迹拟合模型，并利用所述第三神经信号和所述第四神经信号对所述第二想象书写轨迹拟合模型进行训练，其中利用所述第一神经信号和所述第二神经信号对所述第一实际书写轨迹拟合模型进行训练的操作，包括：在第一训练阶段，利用所述第一神经信号构建第一样本集，并利用所述第一样本集对所述第一实际书写轨迹拟合模型进行训练；在第二训练阶段，利用所述第二神经信号构建第二样本集，并利用所述第一样本集和所述第二样本集对所述第一实际书写轨迹拟合模型进行再训练；以及所述第二神经信号为通过所述用户连续实际书写多个一笔的汉字笔画以组成所述目标汉字的过程中获取的，所述用户执行的是连续地、依次有序实际书写多个汉字笔画中的每一笔画，获取所述用户跟随虚拟光标移动执行当前汉字笔画实际书写结束至所述用户跟随下一虚拟光标执行下一汉字笔画实际书写开始前的时间段内的书写中断的非书写神经信号，利用所述非书写神经信号形成第一实际书写轨迹拟合的第一状态监测模型，其中所述第一状态监测模型是利用所述非书写神经信号确定是否对实际书写期间的书写状态神经信号进行轨迹拟合，其中方法还包括：实际书写第一测试阶段，在屏幕显示所述汉字笔画，所述汉字笔画提示2秒，随后于所述屏幕消失，提示所述用户开始自主实际书写，其中所述自主实际书写是指所述用户无需视觉追随任何移动目标进行与之同步的书写；在所述用户根据所述汉字笔画提示进行对应的自主实际书写的过程中，获取所述用户的神经信号作为第一实际书写测试集；利用所述第一实际书写轨迹拟合模型对所述第一实际书写测试集进行信号识别并显示轨迹识别结果，在与所述第一实际书写测试集对应的轨迹识别结果准确率小于第一预设阈值的情况下，对所述第一实际书写轨迹拟合模型重新进行训练；在与所述第一实际书写测试集对应的轨迹识别结果的准确率大于或者等于所述第一预设阈值的情况下，进入实际书写第二测试阶段，在所述屏幕显示所述目标汉字，所述目标汉字提示2秒，随后于所述屏幕消失，提示所述用户开始自主依汉字书写的笔顺规则进行连续的、依次实际书写多个汉字笔画以组成所述目标汉字；在所述实际书写第二测试阶段，在所述用户根据所述目标汉字提示进行对应的自主实际书写的过程中，获取所述用户的神经信号作为第二实际书写测试集；以及利用所述第一实际书写轨迹拟合模型和所述第一实际书写轨迹拟合的第一状态监测模型对所述第二实际书写测试集进行信号识别，所述第一状态监测模型将对所述第二实际书写测试集中连续的、依次书写多个汉字笔画之间的书写中断的非书写神经状态进行信号识别，所述第一实际书写轨迹拟合模型将在所述第一状态监测模型识别当前神经信号为书写状态下的时间段内的神经信号进行信号识别并显示所述汉字笔画的轨迹识别结果，在与所述第二实际书写测试集对应的轨迹识别结果准确率小于第二预设阈值的情况下，对所述第一实际书写轨迹拟合模型重新进行训练，并且方法还包括：在与所述第二实际书写测试集的对应的轨迹识别结果的准确率大于或者等于所述第二预设阈值的情况下，完成对第一实际书写模型优化，其中所述第一实际书写模型包括所述第一实际书写轨迹拟合模型和所述第一状态监测模型，在所述用户根据自主书写意图进行连续时间段内多个汉字笔画实际书写以组成符合自主书写意图的汉字的过程中，获取所述用户执行汉字笔画实际书写过程中的第五神经信号，通过已优化的第一实际书写模型进行信号识别，得到相应的多个汉字笔画书写轨迹再现；以及根据笔画组合规律将所述多个汉字笔画组合为自主书写意图汉字，其中方法还包括：对所述第五神经信号进行处理，并确定与所述第五神经信号对应的神经信号类别，其中对所述第五神经信号进行处理，并确定与所述第五神经信号对应的神经信号类别的操作，包括：对所采集的所述第五神经信号进行预处理；对预处理后的所述第五神经信号进行特征提取，生成相应的神经信号特征；以及根据所述神经信号特征确定相应的神经信号类别，其中根据所述神经信号特征确定相应的神经信号类别的操作，包括：根据所述神经信号特征确定与所述神经信号类别相关的弱分类信息；以及根据所述弱分类信息确定所述神经信号类别，其中所述第五神经信号为采用滑动窗所提取的相应时隙的神经信号，其中所述神经信号类别与汉字书写相关的汉字实际书写任务对应，并且其中所述汉字实际书写任务包括针对所述汉字笔画的汉字实际书写，其中根据所述神经信号特征确定与所述神经信号类别相关的弱分类信息的操作，包括：通过多个二分类器根据所述神经信号特征确定与所述神经信号类别相关的弱分类信息，其中所述二分类器的类别对应于不同的所述神经信号类别，并且对预处理后的所述第五神经信号进行特征提取的操作，包括：针对不同的二分类器，分别提取相应的特征，生成相应的所述神经信号特征并传输至相应的所述二分类器；以及所述多个二分类器根据所接收的所述神经信号特征，基于一对一分类法，确定与所述第五神经信号对应的所述弱分类信息，并且其中对所采集的所述第五神经信号进行预处理的操作，包括：对于采集到的第五神经信号的神经信号矩阵利用与所述用户的响应频带匹配的滤波器，进行个体特异化频带滤波，得到预处理后的神经信号矩阵X{B}，其中C和T为所述神经信号矩阵的维度，并且其中，所述滤波器通过以下操作构建：获取所述用户的与不同的汉字实际书写任务对应的样本神经信号矩阵X'1～X'K；分别生成与各个样本神经信号矩阵X'1～X'K对应的频谱信息；根据所述频谱信息，针对预先设定的各个频带，确定所述各个样本神经信号与每个频带对应幅值信息；针对所述每个频带，计算所述各个样本神经信号的幅值信息的方差；基于所计算的方差，确定所述用户的响应频带；以及基于所述用户的响应频带构建所述滤波器，其中所述滤波器用于通过与所述用户的响应频带对应的神经信号且滤除其他频带的神经信号，并且针对不同的二分类器，分别提取相应的特征的操作，包括，通过第j个特征提取单元执行以下操作：确定预处理后的所述神经信号矩阵X{B}的协方差矩阵P： 根据所述第j个特征提取单元的信号投影矩阵和协方差矩阵P，提取所述神经信号矩阵的特征： 其中xj表示所述第j个特征提取单元所提取的所述神经信号特征，M表示神经信号特征xj的特征的对数，以及diagA表示返回矩阵A的对角线元素并构成向量，并且所述多个二分类器为预先训练的基于LASSO回归模型的二分类器，并且确定与所述神经信号类别相关的弱分类信息的操作，包括：利用第j个二分类器对所述第j个特征提取单元提取的所述神经信号特征xj进行二分类，确定与所述第j个二分类器对应的二分类信息，作为所述弱分类信息的一部分，并且其中根据所述弱分类信息确定所述神经信号类别的操作，包括：将所述弱分类信息进行融合，生成融合分类信息；以及根据所述融合分类信息，利用softmax回归模型确定所述神经信号类别。

全文数据：

权利要求：

百度查询： 首都医科大学附属北京天坛医院 基于汉字笔画的轨迹拟合方法以及装置

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。

阅读全文 双屏查看 官方信息 专利公告 收藏专利 下载PDF 下载WORD