申请/专利权人：福州大学

申请日：2024-04-28

公开（公告）日：2024-06-18

公开（公告）号：CN118212642A

主分类号：G06V30/19

分类号：G06V30/19;G06V10/82;G06N3/0475;G06N3/094;G06N3/0455

优先权：

专利状态码：在审-公开

法律状态：2024.06.18#公开

摘要：本发明提出基于向量量化与IDS融合建模自回归网络的字体生成方法，选定汉字集生成对应字形图片，用微调后的VQGAN模型对目标字形图片进行量化处理获得字形量化序列；并补全所选汉字集的IDS序列；利用IDS异变模块生成困难样本，并使用编码器为其生成相应的IDS特征与IDS对比特征；风格字形量化序列利用微调后的VQGAN模型转换为向量特征，并二次编码得到对应风格特征和风格对比特征；将目标字形量化序列、对应风格特征以及IDS特征一起输入自回归IDS预测网络进行训练；给最终模型输入风格字形量化序列以及目标字形的IDS序列，利用VQGAN解码器进行解码获得期望目标字形图片。本发明可以通过建模字形量化序列的方式来绕开内容风格解耦的限制。

主权项：1.基于向量量化与IDS融合建模自回归网络的字体生成方法，其特征在于，包括以下步骤：步骤S1：构建数据集并进行预处理；从网络搜集字体文件，选定汉字集生成对应字形图片，加载VQGAN模型的预训练权重进行微调，然后用微调后的VQGAN模型对字形图片进行量化处理，得到字形对应的量化序列；在模型的每次训练迭代中随机取一张字形图片作为生成目标，其所对应的量化序列即目标字形量化序列；再随机取少数张与所选字形图片风格一致的字形图片作为风格字形图片，其所对应的量化序列即风格字形量化序列；另一方面补全所选汉字集的IDS序列，使用13种表意文字描述字符与29种笔画来表示每个汉字，每个字形图片都有一个对应的IDS序列；步骤S2：利用IDS异变模块生成与步骤S1中的IDS序列接近的困难样本，并使用IDS编码器为其生成相应的IDS特征与IDS对比特征；风格字形量化序列则利用微调后的VQGAN模型还原为特征矩阵，并二次编码得到对应风格特征和风格对比特征；将步骤S1的目标字形量化序列、步骤S2的对应风格特征以及IDS特征一起输入自回归IDS预测网络进行训练，其中风格以交叉注意力的形式进行融合；步骤S3：风格对比特征根据所属字体计算监督对比损失；自回归IDS预测网络输出logits与目标字形量化序列计算交叉熵损失，对预测网络输出logits进行加权编码，在编码logits时使用冻结参数的量化编码器encvq，编码结果与IDS对比特征计算第一IDS对比损失；使用未冻结参数的量化编码器encvq对目标字形量化序列进行编码，其结果与IDS对比特征计算得到第二IDS对比损失；步骤S4：按照指定训练参数进行迭代训练，通过优化组合损失更新模型参数，综合验证集指标来筛选并记录最优模型权重；通过为训练好的模型输入风格字形量化序列以及目标字形的IDS，以自回归的方式预测目标字形的量化序列，然后利用VQGAN解码器对其进行解码，以得到期望的目标字形图片。

全文数据：

权利要求：

百度查询： 福州大学 基于向量量化与IDS融合建模自回归网络的字体生成方法

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。

阅读全文 双屏查看 官方信息 专利公告 收藏专利 下载PDF 下载WORD