买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：扬州大学

摘要：本发明公开了在线图像处理技术领域内的一种将在线课堂中的图像和视频卡通化的方法，包括以下步骤，（1）从网上爬取若干真实图像和若干卡通图像作为训练数据集；（2）构建生成对抗网络，将训练好的网络区别提取图像的高级特征的内容，设计损失函数来调整每个组件的权重；设计三个分别独立的图像处理模块，指导基于生成对抗网络的图像卡通化框架，平衡生成对抗网络中每个表示的权重，调整损失函数，获得卡通图像输出的最优样式；（3）对于在线课堂中的输入图像自主选择卡通化模式；（4）在训练完成后的生成对抗网络的生成器中，输入将要处理的在线课堂图像，输出相对应的卡通图；使用本发明实现课堂画面的卡通化。

主权项：1.一种将在线课堂中的图像和视频卡通化的方法，其特征在于，包括以下步骤，（1）从网上爬取若干真实图像和若干卡通图像作为训练数据集；（2）构建生成对抗网络，将训练好的网络区别提取图像的高级特征的内容，设计损失函数来调整每个组件的权重；设计三个分别独立的图像处理模块，用来提取相应的三种卡通表示，并指导基于生成对抗网络的图像卡通化框架，平衡生成对抗网络中每个表示的权重，调整损失函数，获得卡通图像输出的最优样式；（3）对于在线课堂中的输入图像自主选择卡通化模式；（4）在训练完成后的生成对抗网络的生成器中，输入将要处理的在线课堂图像，输出相对应的卡通图；其中，卡通化模式包括人像卡通化和整体卡通化,对抗网络由一个生成器G和两个鉴别器Dx、Dy组成；所述步骤（2）具体为，将步骤（1）所述真实图像I作为引导图，输入生成器G转化成卡通图像，I1表示输入图片，I11表示参考卡通图像，图像处理模块指导优化生成对抗网络图像卡通化的框架，包括以下步骤，（201）图像处理模块Fd为了平滑图像，同时保持全局语义结构，边缘检测采用可区分的引导滤波器保留过滤，输出只提取保留颜色组成和表面特征的卡通图像；鉴别器Dx判断模型是否输出，并且是否和参考卡通图像具有相似的表面，并引导生成器G学习存储在提取的表面表示中的信息，表面损失函数设计为：Lsur（G，Dx）=log（Dx（Fd（I11，I11）））+log（1-Dx（Fd（G（I1），G（I1））））（1）；（202）图像处理模块Fs根据输入的图像，提取一个不可分割图，在每个分割区域使用标准超像素算法用像素值的平均值着色生成结构表示；用预先训练的VGGn网络来实施空间约束，结构损失函数设计为：Lstr=||VGGn（G（I1））-VGGn（Fs（G（I1）））||（2）；（203）图像处理模块Ft减少颜色和亮度的影响并保留高频特征，然后让网络自主学习纹理细节，在学习纹理特征时，RGB三个颜色通道利用单通道纹理算法分开分析处理，RGB图转化的灰度图表示为U，Ft公式为：Ft（Irgb）=（1-α）（β1*Ir+β2*Ig+β3*Ib）+α*U（3）；所述公式（3）中，设α在0~1之间取值，β1、β2、β3在-1~1之间取值；鉴别器Dy鉴别输出图像和参考卡通图像提取的纹理表示，并引导生成器G学习存储在纹理表示中的清晰图像和精细纹理，纹理损失函数设计为：Ltex（G，Dy）=log（Dy（Ft（I11）））+log（1-Dy（Ft（G（I1））））（4）；（204）通过调整λ1、λ2、λ3、λ4以获得损失函数最优化，总得损失函数设计为：L=λ1*Lsur+λ2*Lstr+λ3*Ltex+λ4*Ltv（5）；所述公式（5）中，为了减少高频噪声，设计损失函数Ltv，图像的空间维度用H、W、C代表，公式为：Ltv=1H*W*C*||（▽xGI1+▽yGI1）||（6）；其中，Ft（Irgb）为提取颜色图像，去除亮度和颜色信息；Fd为表面表示提取，Fs为结构表示提取，Ft为纹理表示提取，G（I1）为图像I1通过生成器G生成的卡通图像，VGGn（G（I1））为对G（I1）实施空间约束；Fs（G（I1））为提取G（I1）的结构表示，VGGn（Fs（G（I1）））为对Fs（G（I1））实施空间约束；Fd（I11，I11）为输入图像I11，返回被移除纹理和细节的表面表示；Fd（G（I1），G（I1））为输入图像G（I1），返回被移除纹理和细节的表面表示；Ir、Ig和Ib为三个颜色通道，Ft（I11）为提取I11颜色图像，去除亮度和颜色信息，Ft（G（I1））为提取G（I1）颜色图像，去除亮度和颜色信息，λ1为表面损失函数的参数，λ2为结构损失函数的参数，λ3为纹理损失函数的参数，λ4为噪声损失函数的参数，Dy（Ft（I11））为判定特征Ft（I11）来自训练样本I11的概率，Dy（Ft（G（I1）））为判定特征Ft（G（I1））来自训练样本I1的概率，▽xGI1、▽yGI1使用梯度下降算法对G（I1）进行平滑处理且降低图像失真度；所述步骤（2）中，通过防近视识别模块对用户上课的姿势进行判断，平衡生成对抗网络中每个表示的权重，调整损失函数，防近视识别模块用于识别检测接收端用户闭合眼睛次数和看书学习的头部与桌面的距离，判断用户上课姿势是否正确和注意力集中；所述步骤（203）和步骤（204）之间还包括以下步骤：（204a）防近视识别模块每5分钟以双眼眼轴中心两点之间的中心点为起始点，通过摄像头确认眼睛阅读的画面位置，利用霍夫变换检测直线找到起始点与阅读的画面的最短距离点；每2分钟通过摄像头检测眼睛张开闭合的次数和用户在线学习的姿势；（204b）比较最短距离与设计的阈值大小，若最短距离小于阈值，通过减小表面表示的参数来提醒用户距离画面较近；比较眼睛闭合次数与设计阈值的大小，如小于阈值，则通过增大结构表示的参数来预警用户现在处于疲倦状态；识别用户此时的学习姿势，若姿势不正确，则通过增大纹理表示的参数来提醒用户现在的学习姿势是错误的，若姿势不正确或最短距离小于阈值或眼睛闭合次数小于阈值，转至步骤（204c）；若姿势正确、最短距离不小于阈值且眼睛闭合次数不小于阈值，转至步骤（204）；（204c）预设数值x1作为表面表示减小的变化范围，预设数值x2作为结构表示增大的变化范围，预设数值x3作为纹理表示增大的变化范围，损失函数L’设计为，L′=（λ1–x1）Lsur+（λ2+x2）Lstr+（λ3+x3）Ltex+λ4Ltv（7）；其中，最短距离小于距离阈值，0＜x1＜λ1，否则x1=0；比较眼睛闭合次数小于设计的次数阈值，0＜x2＜λ2，否则x2=0；姿势不正确，0＜x3＜λ3，否则x3=0。

全文数据：

权利要求：

百度查询： 扬州大学 一种将在线课堂中的图像和视频卡通化的方法