买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

龙图腾网恭喜四川大学申请的专利一种基于强化学习的未知协议文本聚类方法获国家发明授权专利权，本发明授权专利权由国家知识产权局授予，授权公告号为：CN115309896B 。

龙图腾网通过国家知识产权局官网在2025-05-13发布的发明授权授权公告中获悉：该发明授权的专利申请号/专利号为：202210848560.7，技术领域涉及：G06F16/35；该发明授权一种基于强化学习的未知协议文本聚类方法是由李晓慧;吴沛颖;王俊峰设计研发完成，并于2022-07-19向国家知识产权局提交的专利申请。

本一种基于强化学习的未知协议文本聚类方法在说明书摘要公布了：本发明公开了一种基于强化学习的未知协议文本聚类方法，以协议逆向工程中的基于网络跟踪的静态解析技术路线为基础，采用强化学习算法DQN对十六进制网络流量文本进行分类的自学习，使用CNN进行特征提取，结合一维动作向量共同作为输入进行Q值计算，同时结合流量文本的离散性和随机性对强化学习框架中的经验回放步骤进行了简化，兼顾了运算量缩小和结构简化。本发明实现了对多种不同应用程序来源的使用未知协议的网络流量文本的来源分类，具有较高的分类准确率和较好的稳定性。

本发明授权一种基于强化学习的未知协议文本聚类方法在权利要求书中公布了：1.一种基于强化学习的未知协议文本聚类方法，其特征在于，包括以下步骤：步骤1：在主机上启动需要捕获流量的应用程序，启动抓包工具或代码进行流量抓取，对得到的流量文本进行预处理；步骤2：设定动作编码为类别对应的数字0-4，将每一条流量文本视作一个环境状态，将输入的流量文本先通过CNN处理成特征向量，然后输入到全连接层，输出为5个Q值；对于每个环境状态s下采用的动作A，使动作A的编号对应的位置为1，其他4位置为0，构成一维动作向量，将一维动作向量与5个Q值做点乘并计算出和，得到每个环境状态s下采用动作A的Qs,A，Qs,A为某状态s中遵循某策略采取动作A的累计回报；以流量文本和一维动作向量为输入，所有Qs,A为输出建立两个完全相同的模型，分别用于决策的model1和用于训练的model2；步骤3：决策过程使用ε-greedy策略，ε的概率选择未知的动作，1-ε的概率选择经验中回报最大的动作，保证每个状态-动作对都有概率被访问到；步骤4：设置一个函数作为系统环境，在每一轮循环中从输入的待分类样本中随机选择一个文本并抛给负责做决策的model1，该文本即为当前状态；结合步骤3所述的ε-greedy策略，ε的概率随机选择动作，返回Q值为0；1-ε的概率使model1对该文本类别进行预测并计算Q值，将其预测结果与真实结果进行对比并给出奖惩反馈，正确则加分，错误则减分；系统环境随机抛出下一条文本作为下一个状态；将返回的Q值和对应的状态s、动作A、得到的分数、下一个状态记录到经验记忆中；步骤5：从经验记忆中随机采样一批数据，输入到贝尔曼方程计算新的Q值，将新的Q值更新给model2；每隔一定的轮次，将model1的参数复制给model2；步骤6：重复训练步骤直到完成指定的训练次数，或者总分数达到了指定的阈值，则训练完成；所训练出的模型需能够对新输入的流量文本进行准确的来源或种类区分；所述步骤5中将model1的参数复制给model2，先在model1中找出最大Q值对应的动作，再使用该动作到model2的网络中计算目标Q值，计算公式如下：yj＝Rj+γQ`ΦS`j,argmaxQΦS`j,a,ω,ω`2其中，yj为当前目标Q值；Q表示model1当前Q网络，Q`表示model2目标Q网络；Rj为当前状态-动作对应的奖励；γ为衰减度，表示对未来的依赖程度，取值范围在0到1之间；S`j为当前状态Sj执行动作A之后的新状态，ΦS`j为状态S`j的特征向量；a为学习率；ω为当前Q网络的网络参数；ω`为目标Q网络的网络参数。

如需购买、转让、实施、许可或投资类似专利技术，可联系本专利的申请人或专利权人四川大学，其通讯地址为：610065 四川省成都市武侯区一环路南一段24号；或者联系龙图腾网官方客服，联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。