买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：南京工业大学;南京慕测信息科技有限公司

摘要：本发明涉及一种面向神经元特性的AI系统软件模型变异技术。首先，计算出测试集中每个类别的数据子集的距离熵，即每个类子集的多样性程度，根据整个测试集的平均距离熵，量化测试集的整体多样性程度，自动选择相应的变异级别；在此基础上，选择相应级别的变异算子，变异得到多个变异模型；最后，筛选掉查准率较低的变异模型，计算剩余变异模型的变异得分，有效地评估测试集质量。本发明目的在于解决深度学习系统测试集质量评估难题。利用变异得分指标，可以帮助软件研发人员准确地评价测试集，保障深度学习系统的质量。

主权项：1.一种面向神经元特性的AI系统软件模型变异方法，其特征在于，首先计算出测试集中每个类别的数据子集的距离熵distance_entropy，即每个类子集的多样性程度，根据整个测试集的平均距离熵，量化测试集的整体多样性程度div_value，自动选择相应的变异级别mutation_level；在此基础上，选择相应级别的变异算子source_operator或model_operator，变异得到多个变异模型mutation_model；最后，筛选掉查准率较低的变异模型，计算剩余变异模型的变异得分mutation_score，有效地评估测试集质量；该方法包括下列步骤：1变异级别自动选择，给定测试集TS＝{TS1，TS2，…，TSn}；其中，每个类的子集TSk＝{tk，1，tk，2，…，tk，m}；利用欧式距离distancetk，i，tk，j计算并用距离矩阵matrix保存TSk中两两数据的距离；欧式距离的计算公式如下： n表示数据x和y的维数，计算出距离矩阵matrix的最小生成树tree，并将tree的权重边加入到集合W中，其中W＝{w1，w2，……，wm-1}；基于W计算出TSk的距离熵dis_entropy，其计算公式如下： 其中，对于n个测试子集，计算出dis_ehtropy的平均值div_value与div_threshold比较，得到相应的变异级别mutation_level；其计算公式如下： 本步骤的目的是根据测试集的多样性，自动选择适合测试集的变异级别；具体地对于多样性程度高的测试集，适合用模型级变异测试；相反，对于测试集多样性程度低的测试集，适合用源级变异测试；2变异模型生成，根据变异级别mutation_level选择相应的流程生成多个变异模型mutation_model；对于源级变异级别source，利用源级变异算子source_operator变异原始训练程序OP，再把OP与训练集TT进行训练，训练出的变异模型mutation_model加入到变异模型集合VM中；对于模型级变异级别model，利用OP与TT训练出原始模型origin_model，再用模型级变异算子model_operator变异origin_model，将mutation_model加入到VM中；3变异得分计算，给定查准率阈值pre_threshold、变异模型集合VM和测试集TS＝{TS1，TS2，…，TSn}；首先，如果VM中存在变异模型mutation_model，查准率pre_radio低于pre_threshold，就将mutation_model从VM中删除，目的在于排除了除了引入变异算子的其他原因而导致模型产生的差异性；接着，如果TSk中存在数据tk，i在原始模型origin_model上被判断为TSk类，而在mutation_model上并没有被判断为TSk类，那么将检测类的个数加1；最后，计算出mutation_model的检测类与所有类的个数的比例，并进行累加得到总得分total_score，利用size函数计算VM中变异模型的总个数sizeVM，求出total_score平均值，即为TS的最终的变异得分mutation_score。

全文数据：

权利要求：

百度查询： 南京工业大学 南京慕测信息科技有限公司 一种面向神经元特性的AI系统软件模型变异方法