申请/专利权人：安徽理工大学

申请日：2022-04-07

公开（公告）日：2024-06-21

公开（公告）号：CN114781603B

主分类号：G06N3/048

分类号：G06N3/048;G06N3/0464;G06N3/084;G06V10/82;G06V10/774;G06V10/764

优先权：

专利状态码：有效-授权

法律状态：2024.06.21#授权;2022.08.09#实质审查的生效;2022.07.22#公开

摘要：本发明公开了一种用于CNN模型图像分类任务的高精度激活函数：右移线性修正单元RsReLU，包括RsReLU函数数学模型、RsReLU函数梯度函数数学模型、RsReLU函数图像、及RsReLU函数梯度函数图像；RsReLU函数通过引入注意力机制的思想，将原本被ReLU强制转化为零的负值数据变为较小的正值参与到卷积神经网络的特征提取当中，不仅有效解决了传统ReLU存在的神经元坏死以及在图像分类时分类精确度较低的问题。本发明用于卷积神经网络图像分类模型中，有效实现了提高模型分类精度的效果。

主权项：1.一种用于CNN模型图像分类任务的高精度激活函数的方法，其特征在于，RsReLU函数是通过对ReLU函数引入注意力机制的思想，将原本被ReLU强制转化为零的负半轴转变为较小的正数参与到卷积神经网络的特征提取当中，对正半轴设置一个自适应参数后将ReLU整体右移，其值域为其中为均值，使得较小的正数变为与负数相同重要程度后参与卷积神经网络的特征提取，其作用主要是激活输入图像中的负值特征信息并淡化较小的正值特征信息，使得特征在网络传递过程中保持良好的完整性，RsReLU的梯度函数为以为界限的，以左为零，以右为常函数的分段函数所构成；其数学模型为其中fRsReLUx表示RsReLU函数映射关系；其梯度函数数学模型为其中fRsReLU′x表示RsReLU梯度函数映射关系；RsReLU在网络训练时的前向传播过程中的计算过程为和l表示第1层网络，i表示第l-1层网络中的第i个神经元，为第l-1层的输入，为第l层的卷积核，为第l层的偏置项，为上层输入经过第l层卷积计算的输出，fRsReLU表示RsReLU激活函数表示第l层输出经过激活函数作用得到的最终输出；所述的高精度激活函数RsReLU在网络训练时的反向传播过程如下：计算误差E，由前向传播过程得到最终输出为而网络的真实输出为它与之间的误差就是模型要求的计算误差E，计算过程为：计算第l层的灵敏度，灵敏度是用来表现误差E随的变化情况，计算方式为：其中为第l层的灵敏度，j表示第l层网络中的第j个神经元，E为误差损失，为第l+1层里下采样层的权值参数，f′RsReLU为RsReLU激活函数的梯度函数，表示对每个元素作乘法操作，up表示上采样操作；对灵敏度求偏导，求导过程为：其中k为卷积核参数，b为偏置项，u，v表示偏导过程，为计算的过程中与对应相乘后的结果；更新卷积层参数k和b，过程为：式中η为学习率，为新卷积核参数，为新偏置项，至此反向传播过程结束。

全文数据：

权利要求：

百度查询： 安徽理工大学 一种用于CNN模型图像分类任务的高精度激活函数

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。

阅读全文 双屏查看 官方信息 专利公告 收藏专利 下载PDF 下载WORD