申请/专利权人：平安科技(深圳)有限公司

申请日：2019-04-19

公开（公告）日：2024-06-28

公开（公告）号：CN110210289B

主分类号：G06V40/16

分类号：G06V40/16;G06V10/774;G06V10/764;G06V10/82;G06N3/0464;G06N3/044;G06N3/045

优先权：

专利状态码：有效-授权

法律状态：2024.06.28#授权;2021.04.09#实质审查的生效;2019.09.06#公开

摘要：公开了情绪识别方法、装置、计算机可读存储介质及电子设备，属于计算机程序技术领域。该方法包括：获取待测样本面部多个关键位置在预设时间段内多个时刻的图像；以待测样本面部关键位置开始发生变化的时刻为第一时刻，得到待测样本面部多个关键位置在第一时刻的图像；在距离第一时刻125秒的第二时刻，获取待测样本面部多个关键位置在第二时刻的图像；通过比较，得到的面部关键位置在第一时刻与第二时刻之间的时间段内多个面部关键位置的位移值；根据该位移值，判断待测样本在第一时刻与第二时刻之间的时间段内的情绪。该装置、介质及设备能够用于实现该方法。其能够实时判断待测样本的情绪，进而为心理治疗师的决策提供帮助。

主权项：1.一种情绪识别方法，其特征在于，包括以下步骤：获取待测样本面部多个关键位置在预设时间段内多个时刻的图像；根据所述预设时间段内多个时刻的图像，以所述待测样本面部关键位置开始发生变化的时刻为第一时刻，得到所述待测样本面部多个关键位置在所述第一时刻的图像；在距离所述第一时刻125秒的第二时刻，获取所述待测样本面部多个关键位置在所述第二时刻的图像；比较在所述第二时刻面部多个关键位置的图像与在所述第一时刻面部多个关键位置的图像，得到面部关键位置在所述第一时刻与所述第二时刻之间的时间段内多个面部关键位置的位移值；根据所述待测样本在所述第一时刻与所述第二时刻之间的时间段内多个面部关键位置的位移值，判断所述待测样本在所述第一时刻与所述第二时刻之间的时间段内的情绪；比较在所述第二时刻面部多个关键位置的图像与在所述第一时刻面部多个关键位置的图像，得到面部关键位置在所述第一时刻与所述第二时刻之间的时间段内多个面部关键位置的位移值具体包括以下步骤：选取面部关键位置的参照点；以所述参照点在所述第一时刻与所述第二时刻之间的坐标变化为基准，得到面部关键位置的位移值；或者，选取面部关键位置的参照点；对所述第一时刻的图像或者所述第二时刻的图像进行般透明化处理；将经过般透明化处理的图像覆盖于另一图像的上方，得到一具有部分重影图像；在所述具有部分重影图像中，通过测量所述参照点的变化距离，得到面部关键位置的位移值；比较在所述第二时刻面部多个关键位置的图像与在所述第一时刻面部多个关键位置的图像，得到面部关键位置在所述第一时刻与所述第二时刻之间的时间段内多个面部关键位置的位移值具体包括以下步骤：将所述第二时刻的图像覆盖于所述第一时刻的图像上方，或者，将所述第一时刻的图像覆盖于所述第二时刻的图像上方；提取多个面部关键位置处的图片；在基于递归注意力模型的卷积神经网络的卷积层，利用平移不变性的原理对所述多个面部关键位置处的图片进行融合，得到融合后的图像；在基于递归注意力模型的卷积神经网络的池化层，针对所述融合后的图像，在保全所述多个面部关键位置处的图片所包含的体征点的情况下，对所述多个面部关键位置处的图片进行降噪处理，得到降噪后的图像；多次重复卷积层和池化层的操作；所述降噪后的图像经过基于递归注意力模型的分类器，得到所述面部关键位置在所述第一时刻与所述第二时刻之间的时间段内多个面部关键位置的位移值；其中，对多个面部关键位置处的图片进行融合过程中，当颜面整体发生移动时，利用平移不变性的原理剔除由于颜面整体发生移动而造成的误差。

全文数据：情绪识别方法、装置、计算机可读存储介质及电子设备技术领域本发明涉及计算机程序技术领域，特别是涉及一种情绪识别方法、装置、计算机可读存储介质及电子设备。背景技术随着经济的发展，现代人来自于社会、训练、生活等方面的压力也越来越大，导致患心理疾病的人群快速增多，抑郁症、自闭症、自杀等字眼出现得愈加频繁。在心理治疗过程中，缺少准确有效的实时患者情绪识别方法辅助心理治疗师的决策。发明内容有鉴于此，本发明提供了一种情绪识别方法、装置、计算机可读存储介质及电子设备，其能够根据对待测样本进行情绪识别，从而根据对待测样本情绪的识别结果，实时判断待测样本的情绪，进而为心理治疗师的决策提供帮助，从而更加适于实用。为了达到上述第一个目的，本发明提供的情绪识别方法的技术方案如下：本发明提供的情绪识别方法包括以下步骤：获取待测样本面部多个关键位置在预设时间段内多个时刻的图像；根据所述预设时间段内多个时刻的图像，以所述待测样本面部关键位置开始发生变化的时刻为第一时刻，得到所述待测样本面部多个关键位置在所述第一时刻的图像；在距离所述第一时刻125秒的第二时刻，获取所述待测样本面部多个关键位置在所述第二时刻的图像；比较所述在所述第二时刻面部多个关键位置的图像与所述在所述第一时刻面部多个关键位置的图像，得到所述的面部关键位置在所述第一时刻与所述第二时刻之间的时间段内多个面部关键位置的位移值；根据所述待测样本在所述第一时刻与所述第二时刻之间的时间段内多个面部关键位置的位移值，判断所述待测样本在所述第一时刻与所述第二时刻之间的时间段内的情绪。本发明提供的情绪识别方法还可采用以下技术措施进一步实现。作为优选，所述面部关键位置包括眼睛、眼角、眉间、眉毛、嘴唇、嘴角和下颚；所述比较所述在所述第二时刻面部多个关键位置的图像与所述在所述第一时刻面部多个关键位置的图像，得到所述的面部关键位置在所述第一时刻与所述第二时刻之间的时间段内多个面部关键位置的位移值具体包括以下步骤：选取面部关键位置的参照点；以所述参照点在所述第一时刻与所述第二时刻之间的坐标变化为基准，得到面部关键位置的位移值；或者，选取面部关键位置的参照点；对所述第一时刻的图像或者所述第二时刻的图像进行般透明化处理；将经过般透明化处理的图像覆盖于另一图像的上方，得到一具有部分重影图像；在所述具有部分重影的图像中，通过测量所述参照点的变化距离，得到面部关键位置的位移值。作为优选，根据所述待测样本在所述第一时刻与所述第二时刻之间的时间段内多个面部关键位置的位移值，判断所述待测样本在所述第一时刻与所述第二时刻之间的时间段内的微表情所指代的情绪具体包括以下步骤：比较所述待测样本在所述第一时刻与所述第二时刻之间的时间段内多个面部关键位置的位移值，当所述多个面部关键位置的位移值完全落入一已知情绪对应的面部多个关键位置的位移值范围内时，判断所述待测样本在所述第一时刻与所述第二时刻之间的时间段内的微表情所指代的情绪为所述已知情绪。作为优选，所述已知情绪对应的面部多个关键位置的位移值范围的获取方法包括以下步骤：获取训练样本面部多个关键位置在预设时间段内多个时刻的图像，其中，所述训练样本为已知情绪的样本；以所述训练样本面部关键位置开始发生变化的时刻为第一时刻，得到所述训练本面部多个关键位置在所述第一时刻的图像；在距离所述第一时刻125秒的第二时刻，获取所述训练样本面部多个关键位置在所述第二时刻的图像；比较所述在所述第二时刻面部多个关键位置的图像与所述在所述第一时刻面部多个关键位置的图像，得到所述的面部关键位置在所述第一时刻与所述第二时刻之间的时间段内多个面部关键位置的位移值；根据所述已知情绪与面部关键位置在所述第一时刻与所述第二时刻之间的时间段内多个面部关键位置的位移值的对应关系，得到数据组对，每个所述数据组对包括已知情绪以及与所述已知情绪相对应的面部多个关键位置的位移值；根据多个所述数据组对，得到已知情绪对应的面部多个关键位置的位移值范围。作为优选，比较所述在所述第二时刻面部多个关键位置的图像与所述在所述第一时刻面部多个关键位置的图像，得到所述的面部关键位置在所述第一时刻与所述第二时刻之间的时间段内多个面部关键位置的位移值具体包括以下步骤：将所述第二时刻的图像覆盖于所述第一时刻的图像上方，或者，将所述第一时刻的图像覆盖于所述第二时刻的图像上方；提取所述多个面部关键位置处的图片；在基于递归注意力模型的卷积神经网络的卷积层，利用平移不变性的原理对所述多个面部关键位置处的图片进行融合，得到融合后的图像；在基于递归注意力模型的卷积神经网络的池化层，针对所述融合后的图像，在保全所述多个面部关键位置处的图片所包含的体征点的情况下，对所述多个面部关键位置处的图片进行降噪处理，得到降噪后的图像；多次重复所述卷积层和所述池化层的操作；所述降噪后的图像经过基于递归注意力模型的分类器，得到所述面部关键位置在所述第一时刻与所述第二时刻之间的时间段内多个面部关键位置的位移值。作为优选，将所述第二时刻的图像覆盖于所述第一时刻的图像上方，或者，将所述第一时刻的图像覆盖于所述第二时刻的图像上方时，处于上方的图像为进行过半透明化处理的图像。作为优选，在提取所述多个面部关键位置处的图片的步骤之后，还需要针对所述多个面部关键位置处的图片执行多次裁剪和放大操作，以细化和放大所述多个面部关键位置处的图片。为了达到上述第二个目的，本发明提供的情绪识别装置的技术方案如下：本发明提供的情绪识别装置包括：第一图像获取单元，用于获取待测样本面部多个关键位置在预设时间段内多个时刻的图像；第二图像获取单元，用于根据所述预设时间段内多个时刻的图像，以所述待测样本面部关键位置开始发生变化的时刻为第一时刻，得到所述待测样本面部多个关键位置在所述第一时刻的图像；第三图像获取单元，用于在距离所述第一时刻125秒的第二时刻，获取所述待测样本面部多个关键位置在所述第二时刻的图像；比较单元，用于比较所述在所述第二时刻面部多个关键位置的图像与所述在所述第一时刻面部多个关键位置的图像，得到所述的面部关键位置在所述第一时刻与所述第二时刻之间的时间段内多个面部关键位置的位移值；情绪判断单元，用于根据所述待测样本在所述第一时刻与所述第二时刻之间的时间段内多个面部关键位置的位移值，判断所述待测样本在所述第一时刻与所述第二时刻之间的时间段内的情绪。为了达到上述第三个目的，本发明提供的计算机可读存储介质的技术方案如下：本发明提供的计算机可读存储介质上存储有情绪识别程序，所述情绪识别程序被处理器执行时实现本发明提供的情绪识别方法的步骤。为了达到上述第四个目的，本发明提供的电子设备的技术方案如下：本发明提供的电子设备包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的情绪识别程序，所述情绪识别程序被处理器执行时实现本发明提供的情绪识别方法的步骤。本发明提供的情绪识别方法、装置、计算机可读存储介质及电子设备在获取到待测样本面部多个关键位置开始变化的第一时刻的图像、距离该第一时刻125秒的第二时刻待测样本的图像后，通过比较该第一时刻待测样本的图像与该第二时刻待测样本的图像，得到面部多个关键位置的位移值，然后根据该面部多个关键位置在该第一时刻与第二时刻之间的位移值，通过反向工程，即可得到待测样本在第一时刻与第二时刻之间的情绪。其不以待测样本口述的内容为依据，而是以待测样本面部的微表情为依据，在这种情况下，由于该情绪判断的依据较为客观，因此，基于该依据判断得到的待测样本的情绪也较为客观。因此，其能够为心理治疗师的决策提供更为客观的帮助。附图说明通过阅读下文优选实施方式的详细描述，各种其他的优点和益处对于本领域普通技术人员将变得清楚明了。附图仅用于示出优选实施方式的目的，而并不认为是对本发明的限制。而且在整个附图中，用相同的参考符号表示相同的部件。在附图中：图1为本发明实施例方案涉及的硬件运行环境的情绪识别设备结构示意图；图2为本发明实施例一提供的情绪识别方法的步骤流程图；图3为本发明实施例一提供的情绪识别方法中涉及的面部多个关键位置的分布示意图；图4为本发明实施例一提供的情绪识别方法涉及的已知情绪对应的面部多个关键位置的位移值范围的获取方法的步骤流程图；图5为本发明实施例一提供的情绪识别方法涉及的面部关键位置在所述第一时刻与所述第二时刻之间的时间段内多个面部关键位置的位移值的获取方法的步骤流程图；图6为本发明实施例一提供的情绪识别方法涉及的基于递归注意力模型的卷积神经网络的示意图；图7为本发明实施例一提供的情绪识别方法涉及的将所述第二时刻的图像覆盖于所述第一时刻的图像上方，或者，将所述第一时刻的图像覆盖于所述第二时刻的图像上方的叠放关系示意图；图8为本发明实施例二提供的情绪识别装置中各功能模块之间的信号流向关系示意图。具体实施方式本发明为解决现有技术存在的问题，提供一种情绪识别方法、装置、计算机可读存储介质及电子设备，其能够根据对待测样本进行情绪识别，从而根据对待测样本情绪的识别结果，实时判断待测样本的情绪，进而为心理治疗师的决策提供帮助，从而更加适于实用。为更进一步阐述本发明为达成预定发明目的所采取的技术手段及功效,以下结合附图及较佳实施例，对依据本发明提出的情绪识别方法、装置、计算机可读存储介质及电子设备，其具体实施方式、结构、特征及其功效，详细说明如后。在下述说明中，不同的“一实施例”或“实施例”指的不一定是同一实施例。此外，一或多个实施例中的特征、结构、或特点可由任何合适形式组合。本文中术语“和或”，仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，A和或B，具体的理解为：可以同时包含有A与B，可以单独存在A，也可以单独存在B，能够具备上述三种任一种情况。参照图1，图1为本发明实施例方案涉及的硬件运行环境的情绪识别设备结构示意图。如图1所示，该情绪识别设备可以包括：处理器1001，例如中央处理器CentralProcessingUnit，CPU，通信总线1002、用户接口1003，网络接口1004，存储器1005。其中，通信总线1002用于实现这些组件之间的连接通信。用户接口1003可以包括显示屏Display、输入单元比如键盘Keyboard，可选用户接口1003还可以包括标准的有线接口、无线接口。网络接口1004可选的可以包括标准的有线接口、无线接口如无线保真WIreless-FIdelity，WI-FI接口。存储器1005可以是高速的随机存取存储器RandomAccessMemory，RAM存储器，也可以是稳定的非易失性存储器Non-VolatileMemory，NVM，例如磁盘存储器。存储器1005可选的还可以是独立于前述处理器1001的存储装置。本领域技术人员可以理解，图1中示出的结构并不构成对情绪识别设备的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。如图1所示，作为一种存储介质的存储器1005中可以包括操作系统、数据存储模块、网络通信模块、用户接口模块以及情绪识别程序。在图1所示的情绪识别设备中，网络接口1004主要用于与网络服务器进行数据通信；用户接口1003主要用于与用户进行数据交互；本发明情绪识别设备中的处理器1001、存储器1005可以设置在情绪识别设备中，情绪识别设备通过处理器1001调用存储器1005中存储的情绪识别程序，并执行本发明实施例提供的情绪识别方法。实施例一参见附图2，本发明实施例一提供的情绪识别方法包括以下步骤：步骤S101：获取待测样本面部多个关键位置在预设时间段内多个时刻的图像。此处需要解释的是，触发待测样本面部多个关键位置在第一时刻的图像的动作是当待测样本面部关键位置至少其中之一发生变化。具体而言，由于单一图像是无法判断图像是否发生变化，因此，此时，需要通过获取在预设时间段内多个时刻的多张图像才能够检测到图像变化。步骤S102：根据预设时间段内多个时刻的图像，以待测样本面部关键位置开始发生变化的时刻为第一时刻，得到待测样本面部多个关键位置在第一时刻的图像。具体而言，在获取到的预设时间段内多个时刻的图像过程中，各时刻之间的间隔越密集，采集到的待测样本面部关键位置开始发生变化的时刻越准确，例如，假设T1时刻待测样本面部图像为P1，T2时刻待测样本面部图像为P2，…，Tn时刻待测样本面部图像为Pn，其中，n为≥2的正整数，若T1与T2之间的间隔为1秒，则待测样本很有可能在T1+0.1秒时面部开始发生变化，而在T1+0.3秒时，待测样本面部又恢复原状，在这种状况下，就有可能导致在T2时刻采集到的待测样本面部图像P2与在T1时刻采集到的待测样本面部图像P1完全相同或者基本相同，而错过了待测样本在T1+0.1秒～T1+0.3秒之间的面部变化。因此，就需要T1、T2、…、Tn相邻两个时刻之间的间隔越小越好，由于根据心理学研究，微表情最短可以持续125秒，因此，最好是使得T1、T2、…、Tn相邻两个时刻之间的间隔＜125秒，其中，优选为T1、T2、…、Tn相邻两个时刻之间的间隔＜150秒，在这种情况下，能够捕捉到的待测样本面部关键位置开始发生变化的时刻的图像更加准确，更加有利于后续应用。步骤S103：在距离第一时刻125秒的第二时刻，获取待测样本面部多个关键位置在第二时刻的图像。此处需要解释的是，此处之所以第二时刻距离第一时刻125秒，是因为微表情最短可以持续125秒，在这种情况下，确定了待测样本面部关键位置开始发生变化的第一时刻的图像后，再采集距离该第一时刻125秒的第二时刻待测样本的面部图像，即可通过待测样本在该第一时刻和第二时刻之间的时间段内的面部变化。其中，在有些情况下，可能由于待测样本面部变化持续的时长会＞125秒，由此而导致在第二时刻待测样本的面部图像之后，待测样本的面部仍然在继续产生变化，以至于面部多个关键位置的位移数据不至于125秒内面部多个关键位置的位移数据，也就是说，会产生误差，为了解决这一问题，本发明实施例的解决办法是使得所有训练样本第一时刻与第二时刻之间的时间间隔均为125秒，在这种情况下，在训练样本足够大的情况下，误差可以忽略不计。步骤S104：比较在第二时刻面部多个关键位置的图像与在第一时刻面部多个关键位置的图像，得到的面部关键位置在第一时刻与第二时刻之间的时间段内多个面部关键位置的位移值。此处需要解释的是，当待测样本的情绪发生变化时，待测样本面部多个关键位置会随着情绪变化而发生变化，比较直观的可测量数据即待测样本多个关键位置的位移值，因此，通过该第一时刻和第二时刻之间待测样本面部多个关键位置的位移值，能够通过反向工程得知待测样本在该第一适和第二时刻之间的时间段内的情绪。步骤S105：根据待测样本在第一时刻与第二时刻之间的时间段内多个面部关键位置的位移值，判断待测样本在第一时刻与第二时刻之间的时间段内的情绪。此处需要解释的是，为了能够利用待测样本面部多个关键位置的位移值，通过反向工程判断出待测样本在第一时刻与第二时刻之间的时间段内的情绪，需要预先知道各已知情绪对应的面部多个关键位置的位移值的取值范围，当待测样本面部多个关键位置在第一时刻与第二时刻之间的时间段内的位移值全部落入到其中一已知情绪对应的面部关键位置的位移值的取值范围时，判断待测样本在该第一时刻与第二时刻之间的时间段内的情绪为该已知情绪。本发明实施例一提供的情绪识别方法在获取到待测样本面部多个关键位置开始变化的第一时刻的图像、距离该第一时刻125秒的第二时刻待测样本的图像后，通过比较该第一时刻待测样本的图像与该第二时刻待测样本的图像，得到面部多个关键位置的位移值，然后根据该面部多个关键位置在该第一时刻与第二时刻之间的位移值，通过反向工程，即可得到待测样本在第一时刻与第二时刻之间的情绪。其不以待测样本口述的内容为依据，而是以待测样本面部的微表情为依据，在这种情况下，由于该情绪判断的依据较为客观，因此，基于该依据判断得到的待测样本的情绪也较为客观。因此，其能够为心理治疗师的决策提供更为客观的帮助。其中，面部关键位置包括眼睛、眼角、眉间、眉毛、嘴唇、嘴角和下颚。此处需要解释的是，根据心里学研究，人类拥有至少7种微表情，例如，第一种表情：高兴，当人们高兴时，面部动作包括嘴角翘起、面额上抬起皱，眼睑收缩，眼睛尾部会形成鱼尾纹；第二种表情：伤心，当人们伤心时，面部动作包括眯眼、眉毛收紧，嘴角下拉，下巴抬起或收紧；第三种表情：害怕，当人们害怕时，嘴巴和眼睛张开，眉毛上扬，壁孔张大；第四种表情：愤怒，当人们愤怒时，眉毛下垂，前额紧皱，眼睑和嘴唇微张；第五种表情：厌恶，当人们厌恶时，嗤鼻，上嘴唇上抬，眉毛下垂，眯眼；第六种表情：惊讶，当人们惊讶时，下颚下垂，嘴唇和嘴巴放松，眼睛张大，眼睑和眉毛微抬；第七种表情，轻蔑，当人们轻蔑时，嘴角一侧抬起，作讥笑或者得意笑状。针对上述七种表情进行总结，可以概括得到面部关键位置包括眼睛、眼角、眉间、眉毛、嘴唇、嘴角和下颚。参见附图3，眼睛的位置包括M1a、M1b，眼角的位置包括M2a、M2b，眉间的位置包括M3，眉毛的位置包括M4a、M4b，嘴唇的位置包括M5，嘴角的位置包括M6a、M6b，下颚的位置包括M7。也就是说，通过对M1a、M1b，M2a、M2b，M3，M4a、M4b，M5，M6a、M6b，M7这些面部关键位置的位移值进行监测，即可通过反向工程得知待测样本在该第一时刻与第二时刻之间的时间段内的情绪。其中，监测面部关键位置的位移值的具体方法可采用两种方法。其中：第一种方法包括以下步骤：选取面部关键位置的参照点；以参照点在该第一时刻与第二时刻之间的坐标变化为基准，得到面部关键位置的位移值。例如，在监测嘴角在该第一时刻与第二时刻之间的坐标变化量的过程中，选取嘴角的最右侧边缘点为参照点；首先记录嘴角的最右侧边缘点在第一时刻时的坐标为Z1p1、q1，然后再记录嘴角的最右侧边缘点在第二时刻时的坐标Z2p2、q2，则在这种情况下，通过计算点Z1与Z2之间的距离作为嘴角在第一时刻与第二时刻之间的位移值。第二种方法包括以下步骤：选取面部关键位置的参照点；对第一时刻的图像或者第二时刻的图像进行般透明化处理；将经过般透明化处理的图像覆盖于另一图像的上方，得到一具有部分重影图像；在该具有部分重影的图像中，通过测量参照点的变化距离，得到面部关键位置的位移值。例如，在监测嘴角在该第一时刻与第二时刻之间的坐标变化量的过程中，选取嘴角的最右侧边缘点为参照点，在该具有部分重影的图像中，测量嘴角的最右边缘在该具有部分重影的图像中的距离，得到嘴角在第一时刻与第二时刻之间的位移值。其中，根据待测样本在第一时刻与第二时刻之间的时间段内多个面部关键位置的位移值，判断待测样本在第一时刻与第二时刻之间的时间段内的微表情所指代的情绪具体包括以下步骤：比较待测样本在第一时刻与第二时刻之间的时间段内多个面部关键位置的位移值，当多个面部关键位置的位移值完全落入一已知情绪对应的面部多个关键位置的位移值范围内时，判断待测样本在第一时刻与第二时刻之间的时间段内的微表情所指代的情绪为已知情绪。此处需要解释的是，根据上述心里学研究的结论，可知，人类的各微表情对应的关键位置的种类不会完全相同，因此，只要待测样本多个面部关键位置的位移值完全落入一多个面部关键位置的位移值完全落入一已知情绪对应的面部多个关键位置的位移值范围内时，判断待测样本在第一时刻与第二时刻之间的时间段内的微表情所指代的情绪为已知情绪。下面介绍获得已知情绪对应的面部多个关键位置的位移值范围的具体步骤：参见附图4，已知情绪对应的面部多个关键位置的位移值范围的获取方法包括以下步骤：步骤S201：获取训练样本面部多个关键位置在预设时间段内多个时刻的图像，其中，训练样本为已知情绪的样本。此处需要解释的是，触发训练样本面部多个关键位置在第一时刻的图像的动作是当训练样本面部关键位置至少其中之一发生变化。具体而言，由于单一图像是无法判断图像是否发生变化，因此，此时，需要通过获取在预设时间段内多个时刻的多张图像才能够检测到图像变化。步骤S202：以训练样本面部关键位置开始发生变化的时刻为第一时刻，得到训练本面部多个关键位置在第一时刻的图像。具体而言，在获取到的预设时间段内多个时刻的图像过程中，各时刻之间的间隔越密集，采集到的训练样本面部关键位置开始发生变化的时刻越准确，例如，假设T1时刻训练样本面部图像为P1，T2时刻训练样本面部图像为P2，…，Tn时刻训练样本面部图像为Pn，其中，n为≥2的正整数，若T1与T2之间的间隔为1秒，则训练样本很有可能在T1+0.1秒时面部开始发生变化，而在T1+0.3秒时，训练样本面部又恢复原状，在这种状况下，就有可能导致在T2时刻采集到的训练样本面部图像P2与在T1时刻采集到的训练样本面部图像P1完全相同或者基本相同，而错过了训练样本在T1+0.1秒～T1+0.3秒之间的面部变化。因此，就需要T1、T2、…、Tn相邻两个时刻之间的间隔越小越好，由于根据心理学研究，微表情最短可以持续125秒，因此，最好是使得T1、T2、…、Tn相邻两个时刻之间的间隔＜125秒，其中，优选为T1、T2、…、Tn相邻两个时刻之间的间隔＜150秒，在这种情况下，能够捕捉到的训练样本面部关键位置开始发生变化的时刻的图像更加准确，更加有利于后续应用。步骤S203：在距离第一时刻125秒的第二时刻，获取训练样本面部多个关键位置在第二时刻的图像。此处需要解释的是，此处之所以第二时刻距离第一时刻125秒，是因为微表情最短可以持续125秒，在这种情况下，确定了训练样本面部关键位置开始发生变化的第一时刻的图像后，再采集距离该第一时刻125秒的第二时刻训练样本的面部图像，即可通过训练样本在该第一时刻和第二时刻之间的时间段内的面部变化。其中，在有些情况下，可能由于训练样本面部变化持续的时长会＞125秒，由此而导致在第二时刻训练样本的面部图像之后，训练样本的面部仍然在继续产生变化，以至于面部多个关键位置的位移数据不至于125秒内面部多个关键位置的位移数据，也就是说，会产生误差，为了解决这一问题，本发明实施例的解决办法是使得所有训练样本第一时刻与第二时刻之间的时间间隔均为125秒，在这种情况下，在训练样本足够大的情况下，误差可以忽略不计。步骤S204：比较在第二时刻面部多个关键位置的图像与在第一时刻面部多个关键位置的图像，得到的面部关键位置在第一时刻与第二时刻之间的时间段内多个面部关键位置的位移值。此处需要解释的是，当待测样本的情绪发生变化时，待测样本面部多个关键位置会随着情绪变化而发生变化，比较直观的可测量数据即待测样本多个关键位置的位移值，因此，通过该第一时刻和第二时刻之间待测样本面部多个关键位置的位移值，能够通过反向工程得知待测样本在该第一适和第二时刻之间的时间段内的情绪。步骤S205：根据已知情绪与面部关键位置在第一时刻与第二时刻之间的时间段内多个面部关键位置的位移值的对应关系，得到数据组对{已知情绪，面部多个关键位置的位移值}。具体而言，假设训练样本张三，情绪为高兴，嘴角翘起位移值x1＝1mm，面额上抬位移值x2＝1.25mm，眼睑收缩位移值x3＝0.85mm，眼角位置移值x4＝2.16mm，此时，将该情绪与各位移值作为一个数据组对，得到{高兴，x1＝1mm，x2＝1.25mm，x3＝0.85mm，x4＝2.16mm}，其他训练样本以及其他表情以此类推。步骤S206：根据多个数据组对{已知情绪，面部多个关键位置的位移值}，得到已知情绪对应的面部多个关键位置的位移值范围。此处需要解释的是，由于每个人的面部五官各有区别，又，训练样本是作为对训练样本的比较基础，因此，训练样本的数量越多，训练样本的比较池越大，训练样本中，从训练样本中寻找到与训练样本完全相同的训练样本的可能性就越大，换句话说，训练样本的数量越多，对训练样本的检测准确性就越有帮助。在这种情况下，可以针对每一情绪得到各关键位置位移的取值范围，还是以上面高兴的情绪为例，即{高兴，0.7mm＜x1＜1.2mm，0.6mm＜x2＜1.5mm，0.3mm＜x3＜1.0mm，1.8mm＜x4＜2.5mm}，在这种情况下，若训练样本的每一位移特征值均落入x1、x2、x3、x4的取值范围，则可以判断训练样本当前的微表情对应的情绪为高兴，其他情绪以此类推。参见附图5和附图6，比较在第二时刻面部多个关键位置的图像与在第一时刻面部多个关键位置的图像，得到的面部关键位置在第一时刻与第二时刻之间的时间段内多个面部关键位置的位移值具体包括以下步骤：步骤S301：将第二时刻的图像覆盖于第一时刻的图像上方，或者，将第一时刻的图像覆盖于第二时刻的图像上方。此处需要解释的是，由于在微表情发生的过程中，面部多个关键位置的位移值相对较小，通过将第二时刻的图像覆盖于第一时刻的图像上方，或者，将第一时刻的图像覆盖于第二时刻的图像上方的方式，能够更加方便地比较出面部多个关键位置的变化，从而更加方便地得到面部多个关键位置的位移值。步骤S302：提取多个面部关键位置处的图片。具体而言，在提取多个面部关键位置处的图片时，按照附图2所示，眼睛的位置包括M1a、M1b，眼角的位置包括M2a、M2b，眉间的位置包括M3，眉毛的位置包括M4a、M4b，嘴唇的位置包括M5，嘴角的位置包括M6a、M6b，下颚的位置包括M7。也就是说，需要提取附图3中M1a、M1b，M2a、M2b，M3，M4a、M4b，M5，M6a、M6b，M7所指代的区域的图片。步骤S303：在基于递归注意力模型的卷积神经网络的卷积层，利用平移不变性的原理对多个面部关键位置处的图片进行融合，得到融合后的图像。具体而言，此处所指的对多个面部关键位置处的图片进行融合的方式为，在每一情绪出现的过程中，面部除发生位移的关键位置外，其余位置并不发生改变，但有些情况下，颜面会整体发生移动，如在相应的情绪发生时，发生转头、低头、仰头等情况时，就需要利用平移不变性的原理剔除由于颜面整体发生移动而造成的误差，在这种情况下，为剔除由于颜面整体发生移动而造成的误差时，对图片进行整体平移的过程即为对图片进行融合的过程。步骤S304：在基于递归注意力模型的卷积神经网络的池化层，针对融合后的图像，在保全多个面部关键位置处的图片所包含的体征点的情况下，对多个面部关键位置处的图片进行降噪处理，得到降噪后的图像。多次重复卷积层和池化层的操作。此处需要解释的是，通过多次重复卷积层和池化层的操作后，能够使得面部关键位置的图像更加清晰，更有利于最终获得面部多个关键位置的位移值。步骤S305：降噪后的图像经过基于递归注意力模型的分类器，得到面部关键位置在第一时刻与第二时刻之间的时间段内多个面部关键位置的位移值。此处需要解释的是，基于递归注意力模型的卷积神经网络可以更精准地找到图像中有判别力的子区域，然后采用高分辨率、精细化特征描述这些区域，进而大大提高精细化物体分类的精度。基于递归注意力模型的卷积神经网络通过将不同尺度图像的重要区域特征融合，以确保重要信息充分发挥作用：有用的信息不丢失，同时噪声得到抑制。应用时只需输入一张图片，基于递归注意力模型的卷积神经网络便可自动找到不同尺度下的有判别力区域，它们将多个尺度的图片用相应的卷积层提取出特征后送入softmax分类器，再以类别标签作为监督对卷积层和分类器参数进行优化，当最终分类时，将各个尺度的特征拼接起来，用全连接层将信息充分融合后进行分类。由于基于递归注意力模型的卷积神经网络的上述技术效果，应用其能够使得获得的在第一时刻与第二时刻之间的时间段内多个面部关键位置的位移值更加准确。在这种情况下，能够使得得到的已知情绪对应的多个面部关键位置的位移值的取值范围更加确切，在这种情况下，本发明实施例提供的情绪识别方法在通过反向工程，由待测样本多个面部关键位置的位移值得到的该待测样本在在第一时刻与第二时刻之间的情绪也更加准确。参见附图7，将第二时刻的图像覆盖于第一时刻的图像上方，或者，将第一时刻的图像覆盖于第二时刻的图像上方时，处于上方A1的图像为进行过半透明化处理的图像。此处需要解释的是，在将处于上方的图像A1当将第二时刻的图像覆盖于第一时刻的图像上方时，处于上方的图像为第二时刻的图像；当将第一时刻的图像覆盖于第二时刻的图像上方时，处于上方的图像是第一时刻的图像进行过半透明化处理后，透过处于上方的图像仍可以看到处于下方的图像，由于微表情在发生的过程中，面部多个关键位置的位移值相对较小，因此，通过这种方式，能够更加方便地测量或者计算面部多个关键位置的位移值。其中，在提取多个面部关键位置处的图片的步骤之后，还需要针对多个面部关键位置处的图片执行多次裁剪和放大操作，以细化和放大多个面部关键位置处的图片。此处需要解释的是，由于微表情在发生的过程中，面部多个关键位置的位移值相对较小，为了能够更加准确地测量或者计算得到面部多个关键位置的位移值，若不进行信号放大，则有可能漏判其中已经发生了位移的面部多个关键位置的位移值，导致最终的判断失误。因此，需要进行信号放大，经过信号放大后的图片，能够使得面部多个关键位置的位移值得以放大，假设放大的倍数是i倍，则在经过放大处理后得到的面部多个关键位置的位移值获取到之后，还要还原为测量或者计算值的1i，才能得到面部多个关键位置的位移实际值。实施例二参见附图4，本发明实施例二提供的情绪识别装置包括：第一图像获取单元401，用于获取待测样本面部多个关键位置在预设时间段内多个时刻的图像。此处需要解释的是，触发待测样本面部多个关键位置在第一时刻的图像的动作是当待测样本面部关键位置至少其中之一发生变化。具体而言，由于单一图像是无法判断图像是否发生变化，因此，此时，需要通过获取在预设时间段内多个时刻的多张图像才能够检测到图像变化。第二图像获取单元402，用于根据预设时间段内多个时刻的图像，以待测样本面部关键位置开始发生变化的时刻为第一时刻，得到待测样本面部多个关键位置在第一时刻的图像。具体而言，在获取到的预设时间段内多个时刻的图像过程中，各时刻之间的间隔越密集，采集到的待测样本面部关键位置开始发生变化的时刻越准确，例如，假设T1时刻待测样本面部图像为P1，T2时刻待测样本面部图像为P2，…，Tn时刻待测样本面部图像为Pn，其中，n为≥2的正整数，若T1与T2之间的间隔为1秒，则待测样本很有可能在T1+0.1秒时面部开始发生变化，而在T1+0.3秒时，待测样本面部又恢复原状，在这种状况下，就有可能导致在T2时刻采集到的待测样本面部图像P2与在T1时刻采集到的待测样本面部图像P1完全相同或者基本相同，而错过了待测样本在T1+0.1秒～T1+0.3秒之间的面部变化。因此，就需要T1、T2、…、Tn相邻两个时刻之间的间隔越小越好，由于根据心理学研究，微表情最短可以持续125秒，因此，最好是使得T1、T2、…、Tn相邻两个时刻之间的间隔＜125秒，其中，优选为T1、T2、…、Tn相邻两个时刻之间的间隔＜150秒，在这种情况下，能够捕捉到的待测样本面部关键位置开始发生变化的时刻的图像更加准确，更加有利于后续应用。第三图像获取单元403，用于在距离第一时刻125秒的第二时刻，获取待测样本面部多个关键位置在第二时刻的图像。此处需要解释的是，此处之所以第二时刻距离第一时刻125秒，是因为微表情最短可以持续125秒，在这种情况下，确定了待测样本面部关键位置开始发生变化的第一时刻的图像后，再采集距离该第一时刻125秒的第二时刻待测样本的面部图像，即可通过待测样本在该第一时刻和第二时刻之间的时间段内的面部变化。其中，在有些情况下，可能由于待测样本面部变化持续的时长会＞125秒，由此而导致在第二时刻待测样本的面部图像之后，待测样本的面部仍然在继续产生变化，以至于面部多个关键位置的位移数据不至于125秒内面部多个关键位置的位移数据，也就是说，会产生误差，为了解决这一问题，本发明实施例的解决办法是使得所有训练样本第一时刻与第二时刻之间的时间间隔均为125秒，在这种情况下，在训练样本足够大的情况下，误差可以忽略不计。比较单元404，用于比较在第二时刻面部多个关键位置的图像与在第一时刻面部多个关键位置的图像，得到的面部关键位置在第一时刻与第二时刻之间的时间段内多个面部关键位置的位移值。此处需要解释的是，当待测样本的情绪发生变化时，待测样本面部多个关键位置会随着情绪变化而发生变化，比较直观的可测量数据即待测样本多个关键位置的位移值，因此，通过该第一时刻和第二时刻之间待测样本面部多个关键位置的位移值，能够通过反向工程得知待测样本在该第一适和第二时刻之间的时间段内的情绪。情绪判断单元405，用于根据待测样本在第一时刻与第二时刻之间的时间段内多个面部关键位置的位移值，判断待测样本在第一时刻与第二时刻之间的时间段内的情绪所指代的情绪。此处需要解释的是，为了能够利用待测样本面部多个关键位置的位移值，通过反向工程判断出待测样本在第一时刻与第二时刻之间的时间段内的情绪，需要预先知道各已知情绪对应的面部多个关键位置的位移值的取值范围，当待测样本面部多个关键位置在第一时刻与第二时刻之间的时间段内的位移值全部落入到其中一已知情绪对应的面部关键位置的位移值的取值范围时，判断待测样本在该第一时刻与第二时刻之间的时间段内的情绪为该已知情绪。本发明实施例二提供的情绪识别装置在获取到待测样本面部多个关键位置开始变化的第一时刻的图像、距离该第一时刻125秒的第二时刻待测样本的图像后，通过比较该第一时刻待测样本的图像与该第二时刻待测样本的图像，得到面部多个关键位置的位移值，然后根据该面部多个关键位置在该第一时刻与第二时刻之间的位移值，通过反向工程，即可得到待测样本在第一时刻与第二时刻之间的情绪。其不以待测样本口述的内容为依据，而是以待测样本面部的微表情为依据，在这种情况下，由于该情绪判断的依据较为客观，因此，基于该依据判断得到的待测样本的情绪也较为客观。因此，其能够为心理治疗师的决策提供更为客观的帮助。实施例三本发明实施例三提供的计算机可读存储介质上存储有情绪识别程序，情绪识别程序被处理器执行时实现本发明提供的情绪识别方法的步骤。本发明实施例三提供的计算机可读存储介质在获取到待测样本面部多个关键位置开始变化的第一时刻的图像、距离该第一时刻125秒的第二时刻待测样本的图像后，通过比较该第一时刻待测样本的图像与该第二时刻待测样本的图像，得到面部多个关键位置的位移值，然后根据该面部多个关键位置在该第一时刻与第二时刻之间的位移值，通过反向工程，即可得到待测样本在第一时刻与第二时刻之间的情绪。其不以待测样本口述的内容为依据，而是以待测样本面部的微表情为依据，在这种情况下，由于该情绪判断的依据较为客观，因此，基于该依据判断得到的待测样本的情绪也较为客观。因此，其能够为心理治疗师的决策提供更为客观的帮助。实施例四本发明实施例四提供的电子设备包括存储器、处理器及存储在存储器上并可在处理器上运行的情绪识别程序，情绪识别程序被处理器执行时实现本发明提供的情绪识别方法的步骤。本发明实施例四提供的电子设备在获取到待测样本面部多个关键位置开始变化的第一时刻的图像、距离该第一时刻125秒的第二时刻待测样本的图像后，通过比较该第一时刻待测样本的图像与该第二时刻待测样本的图像，得到面部多个关键位置的位移值，然后根据该面部多个关键位置在该第一时刻与第二时刻之间的位移值，通过反向工程，即可得到待测样本在第一时刻与第二时刻之间的情绪。其不以待测样本口述的内容为依据，而是以待测样本面部的微表情为依据，在这种情况下，由于该情绪判断的依据较为客观，因此，基于该依据判断得到的待测样本的情绪也较为客观。因此，其能够为心理治疗师的决策提供更为客观的帮助。尽管已描述了本发明的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例作出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本发明范围的所有变更和修改。显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。

权利要求：1.一种情绪识别方法，其特征在于，包括以下步骤：获取待测样本面部多个关键位置在预设时间段内多个时刻的图像；根据所述预设时间段内多个时刻的图像，以所述待测样本面部关键位置开始发生变化的时刻为第一时刻，得到所述待测样本面部多个关键位置在所述第一时刻的图像；在距离所述第一时刻125秒的第二时刻，获取所述待测样本面部多个关键位置在所述第二时刻的图像；比较所述在所述第二时刻面部多个关键位置的图像与所述在所述第一时刻面部多个关键位置的图像，得到所述的面部关键位置在所述第一时刻与所述第二时刻之间的时间段内多个面部关键位置的位移值；根据所述待测样本在所述第一时刻与所述第二时刻之间的时间段内多个面部关键位置的位移值，判断所述待测样本在所述第一时刻与所述第二时刻之间的时间段内的情绪。2.根据权利要求1所述的情绪识别方法，其特征在于，所述面部关键位置包括眼睛、眼角、眉间、眉毛、嘴唇、嘴角和下颚；所述比较所述在所述第二时刻面部多个关键位置的图像与所述在所述第一时刻面部多个关键位置的图像，得到所述的面部关键位置在所述第一时刻与所述第二时刻之间的时间段内多个面部关键位置的位移值具体包括以下步骤：选取面部关键位置的参照点；以所述参照点在所述第一时刻与所述第二时刻之间的坐标变化为基准，得到面部关键位置的位移值；或者，选取面部关键位置的参照点；对所述第一时刻的图像或者所述第二时刻的图像进行般透明化处理；将经过般透明化处理的图像覆盖于另一图像的上方，得到一具有部分重影图像；在所述具有部分重影的图像中，通过测量所述参照点的变化距离，得到面部关键位置的位移值。3.根据权利要求1所述的情绪识别方法，其特征在于，根据所述待测样本在所述第一时刻与所述第二时刻之间的时间段内多个面部关键位置的位移值，判断所述待测样本在所述第一时刻与所述第二时刻之间的时间段内的微表情所指代的情绪具体包括以下步骤：比较所述待测样本在所述第一时刻与所述第二时刻之间的时间段内多个面部关键位置的位移值，当所述多个面部关键位置的位移值完全落入一已知情绪对应的面部多个关键位置的位移值范围内时，判断所述待测样本在所述第一时刻与所述第二时刻之间的时间段内的微表情所指代的情绪为所述已知情绪。4.根据权利要求3所述的情绪识别方法，其特征在于，所述已知情绪对应的面部多个关键位置的位移值范围的获取方法包括以下步骤：获取训练样本面部多个关键位置在预设时间段内多个时刻的图像，其中，所述训练样本为已知情绪的样本；以所述训练样本面部关键位置开始发生变化的时刻为第一时刻，得到所述训练本面部多个关键位置在所述第一时刻的图像；在距离所述第一时刻125秒的第二时刻，获取所述训练样本面部多个关键位置在所述第二时刻的图像；比较所述在所述第二时刻面部多个关键位置的图像与所述在所述第一时刻面部多个关键位置的图像，得到所述的面部关键位置在所述第一时刻与所述第二时刻之间的时间段内多个面部关键位置的位移值；根据所述已知情绪与面部关键位置在所述第一时刻与所述第二时刻之间的时间段内多个面部关键位置的位移值的对应关系，得到数据组对，每个所述数据组对包括已知情绪以及与所述已知情绪相对应的面部多个关键位置的位移值；根据多个所述数据组对，得到已知情绪对应的面部多个关键位置的位移值范围。5.根据权利要求1或4所述的情绪识别方法，其特征在于，比较所述在所述第二时刻面部多个关键位置的图像与所述在所述第一时刻面部多个关键位置的图像，得到所述的面部关键位置在所述第一时刻与所述第二时刻之间的时间段内多个面部关键位置的位移值具体包括以下步骤：将所述第二时刻的图像覆盖于所述第一时刻的图像上方，或者，将所述第一时刻的图像覆盖于所述第二时刻的图像上方；提取所述多个面部关键位置处的图片；在基于递归注意力模型的卷积神经网络的卷积层，利用平移不变性的原理对所述多个面部关键位置处的图片进行融合，得到融合后的图像；在基于递归注意力模型的卷积神经网络的池化层，针对所述融合后的图像，在保全所述多个面部关键位置处的图片所包含的体征点的情况下，对所述多个面部关键位置处的图片进行降噪处理，得到降噪后的图像；多次重复所述卷积层和所述池化层的操作；所述降噪后的图像经过基于递归注意力模型的分类器，得到所述面部关键位置在所述第一时刻与所述第二时刻之间的时间段内多个面部关键位置的位移值。6.根据权利要求5所述的情绪识别方法，其特征在于，将所述第二时刻的图像覆盖于所述第一时刻的图像上方，或者，将所述第一时刻的图像覆盖于所述第二时刻的图像上方时，处于上方的图像为进行过半透明化处理的图像。7.根据权利要求5所述的情绪识别方法，其特征在于，在提取所述多个面部关键位置处的图片的步骤之后，还需要针对所述多个面部关键位置处的图片执行多次裁剪和放大操作，以细化和放大所述多个面部关键位置处的图片。8.一种情绪识别装置，其特征在于，包括：第一图像获取单元，用于获取待测样本面部多个关键位置在预设时间段内多个时刻的图像；第二图像获取单元，用于根据所述预设时间段内多个时刻的图像，以所述待测样本面部关键位置开始发生变化的时刻为第一时刻，得到所述待测样本面部多个关键位置在所述第一时刻的图像；第三图像获取单元，用于在距离所述第一时刻125秒的第二时刻，获取所述待测样本面部多个关键位置在所述第二时刻的图像；比较单元，用于比较所述在所述第二时刻面部多个关键位置的图像与所述在所述第一时刻面部多个关键位置的图像，得到所述的面部关键位置在所述第一时刻与所述第二时刻之间的时间段内多个面部关键位置的位移值；情绪判断单元，用于根据所述待测样本在所述第一时刻与所述第二时刻之间的时间段内多个面部关键位置的位移值，判断所述待测样本在所述第一时刻与所述第二时刻之间的时间段内的情绪。9.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有情绪识别程序，所述情绪识别程序被处理器执行时实现权利要求1～7中任一所述的情绪识别方法的步骤。10.一种电子设备，其特征在于，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的情绪识别程序，所述情绪识别程序被处理器执行时实现权利要求1～7中任一所述的情绪识别方法的步骤。

百度查询： 平安科技(深圳)有限公司 情绪识别方法、装置、计算机可读存储介质及电子设备

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。

阅读全文 双屏查看 官方信息 专利公告 收藏专利 下载PDF 下载WORD