买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：天津光电通信技术有限公司

摘要：本发明涉及一种基于X86板卡的网络数据平台及数据采集过滤分析方法，是基于X86板卡的网络数据平台X86板卡的计算刀片上进行网络数据包的高速采集，并进行采集数据包的字符串或正则表达式的规则过滤，同时对命中或采集数据进行包结构分析处理，该平台实现了网络数据包的接入采集规则命中分析处理多重功能，能针对光纤接入的10G以太网信号或从机箱背板接入的40G以太网信号进行处理，在实际生产应用中接入PTN网络信号作为专门分析处理平台，处理输出命中数据集和分析处理结果集，该处理平台部署在x86计算刀片上可作为ATCA机箱的处理单元，与其他接入处理板卡形成一整套针对光纤PTN以太网信号的接入过滤分析处理设备，灵活性强；满足用户需求。

主权项：1.一种基于X86板卡的网络数据平台的数据采集过滤分析方法，采用X86板卡的操作系统为centos7.4的linux平台，其特征在于：利用X86计算刀片的多核大内存高主频处理性能、基于DPDK高速采集Hyperscan高性能过滤引擎和nDPI深度包检测分析的功能，数据采集过滤分析方法，包括：一、数据采集，二、规则命中处理，三、数据分析；一、数据采集，1、DPDK框架初始化，将需要使用的核id和网卡端口号作为输入启动参数，并配置一个网卡端口进行分支判断处理：数据接收由哪个核来入队，数据处理由哪个核来出队，配置分析处理核id，配置网卡端口的底数轮询使能位，配置混杂模式收包；2、核参数解析，应用程序初始化DPDK框架并解析核id的分配情况，分别启动每个核线程，为每个核线程分配rx队列、无锁ring环空间，申请足够的大页进行缓存；3、五个数据接收核线程启动，并分别接收来自背板40GE和前面板10GE的数据，进行入队操作；4、五个数据处理核线程启动，并准备数据出队操作，出队读取到要处理的数据时，会根据核线程的角色来走不同的处理流程，若为采集核线程，则进入数据采集模块进行处理，若不是，则进入规则命中处理模块进行处理；二、规则命中处理，由新建规则、删除规则、规则过滤命中组成，㈠、新建规则，1、来自主控的规则新建下发控制；2、用户下发新建规则，用户通过BS控制网管下发相应的关键字或正则表达式规则，该规则根据OSI的7层协议栈定义为L4层规则，而用户同时可针对需要过滤的目标数据设定L2层和L3层规则，即L2层为链路层规则，L3层为IP层规则，用户根据应用场景设定好规则下发给主控，主控按规则层级下发给各个板卡；3、规则解析，按照命中原理，将一条完整的规则分为三部分配置进行入hyperscan的规则数据库database中；4、第一部分将L2层和L3层规则ID组合成固定位置字符串规则写入hyperscan规则数据库，获取一个规则id号；5、第二部分将具体L4层的关键字或正则表达式规则写入hyperscan规则数据库中并获取第二个规则id；6、第三部分需要将前两个规则的规则id做一个“与”操作，并设置命中返回，新建规则结束；㈡、删除规则，1、用户在设备的BS网管控制界面进行相应删除规则操作；2、控制指令下发到主控后，主控下发到X86板卡，X86板卡应用程序解析删除规则内容，比对本地内存中规则列表；3、扫描需要删除的规则ID，将对应的规则进行删除；4、同时将删除之后的规则库重新编译到hyperscan的规则数据库database中，达到删除规则效果；㈢、规则过滤命中，1、数据流送入hyperscan的匹配搜索接口hs_scan中，进行规则过滤命中匹配，若该数据流符合规则数据库中的规则，则会命中调用回调函数，返回命中包内容；2、命中规则id，根据命中规则id和数据流中携带的L2层和L3层规则ID来查询该数据流的落盘处理模式，3、将数据dump存储到指定的文件目录和文件中；三、数据分析，1、依托于DPDK框架下的核线程机制，指定分析核线程id；2、启用分析线程来对分析处理数据目录进行扫描，目录扫描支持多级嵌套目录扫描，扫描目录下获取当前未分析的pcap包文件，调用包读取接口进行每个以太网包的内容读取操作，3、进入包处理的回调函数，首先进行包结构的分析，针对ptn信号的结构特征，分析外层mac头和type类型，根据type类型识别下一层是否包含Vlan结构，若包含则解析Vlan的4个字节，并获取外层VlanID，若没有则直接是mpls标签结构，该mpls标签结构以4个字节为一个单元，可能有多层4字节结构，因此通过mpls标签的栈顶和栈底bit位来识别最后一个mpls标签结构，每个mpls标签中都解析对应的标签值，最后一个mpls标签结构如果携带的标签值是14，则是OAM的控制帧，则按照OAM控制帧结构解析lsrid和lspid对应的字段值，若不是OAM控制帧则mpls标签之后携带的是内层的mac头，进行解析srcMac源mac和dstMac目的Mac之后，依然通过type值来判定是否有Vlan这一层，若有则解析内层VlanID，根据type类型值再判断携带的以太网数据是ARP包还是CDP包还是IP包，区分具体包类型之后，ARP包则会根据ARP相关协议标准解析出其内部携带的发送者接收者的IP和Mac，CDP包则会根据CDP相关协议标准解析TLV变长格式来获取每个类型的值，包括设备ID、地址、端口ID、平台信息，而IP包则会携带IP五元组信息，即源IP、目的IP、源端口、目的端口，根据IP包的结构特征将这些信息解析出来；4、以太网数据包若为OAM、CDP、ARP、IP包中的一种，则进行相应解析操作，并将解析内容入库到关系数据库中进行存储并方便查询展示；5、使用nDPI深度包检测进行数据中业务协议识别和统计，获取应用层协议信息以及关键负载信息获取用户行为，并将分析结果插入数据库中进行存储。

全文数据：

权利要求：

百度查询： 天津光电通信技术有限公司 基于X86板卡的网络数据平台及数据采集过滤分析方法