申请/专利权人：北京大学

申请日：2021-12-17

公开（公告）日：2024-06-21

公开（公告）号：CN114298181B

主分类号：G06V10/82

分类号：G06V10/82;G06N3/0464;G06N3/0455;G06N3/08;G06V10/764;G06V10/80

优先权：

专利状态码：有效-授权

法律状态：2024.06.21#授权;2022.04.26#实质审查的生效;2022.04.08#公开

摘要：本发明公布了一种基于双模态学习的矢量字体生成方法，构建双模态学习的矢量字体生成模型DeepVecFont，包括图像编码器、序列编码器、图像解码器、序列解码器；通过学习少量参考字符的字形矢量图和字形位图两个模态的风格特征并进行模态融合，得到融合后统一的字体风格特征；再将融合后的字体风格特征输送到序列解码器和图像解码器中生成目标字符的矢量图和位图；进一步可通过可微分栅格化方法修正矢量字形，对生成的目标字符的字形矢量图进行修正，即得到矢量字体。本发明方法利用了字形位图和矢量图两种模态信息，并可修正生成的矢量字形中存在位置偏移问题，提升矢量字体生成的性能和精度。

主权项：1.一种基于双模态学习的矢量字体生成方法，其特征是，构建双模态学习的矢量字体生成模型DeepVecFont，包括图像编码器、序列编码器、图像解码器、序列解码器；通过学习少量参考字符的字形矢量图和字形位图两个模态的风格特征并进行模态融合，得到融合后统一的字体风格特征；再将融合后的字体风格特征输送到序列解码器和图像解码器中生成目标字符的矢量图和位图；通过可微分栅格化方法修正矢量字形，对生成的目标字符的字形矢量图进行修正，即得到矢量字体；包括如下步骤：1将参考字符的字形图像送至图像编码器，用于学习字形图像层面的字体风格特征，记为fimg；2将这些参考字符的绘制序列送至序列编码器中，用于学习字形绘制序列层面的字体风格特征，记为fseq；3通过模态融合策略融合fimg和fseq，学习得到字形图像和字形绘制序列两种模态联合表示的特征，记为f；所述模态融合策略采用拼接+多层感知机；所述两种模态联合表示的特征f所在的空间为被KL损失项约束的隐空间；4将学习到的两种模态联合表示的特征f送到图像解码器中，重建目标字形的图像，重建得到的图像记为5将学习到的两种模态联合表示的特征f送至序列解码器中，预测目标矢量字形的每条绘制指令参数潜在的分布Γt；6再使用可微分栅格化方法修正从Γt采样得到的矢量字形；在DeepVecFont模型的训练阶段，输入的参考字形的字符种类和目标字形的字符种类均从字符集随机采样得到；DeepVecFont模型训练的损失函数包括目标字形图像的重建损失、目标字形绘制序列的类别和坐标重建损失，生成字形绘制序列栅格化后的图像重建损失，以及双模态融合后的特征空间的规范性损失；所述可微分栅格化方法具体使用神经可微分栅格化器NDR，将生成的绘制序列栅格化得到的图像，向真实的字形图像进行对齐，对生成的绘制序列进行修正；执行上述步骤1～6，即得到训练好的DeepVecFont模型；在DeepVecFont模型的推理阶段，利用训练好的DeepVecFont模型，遍历字符集，得到目标字形的矢量字体；所述可微分栅格化方法具体采用diffvg方法，将生成的绘制序列栅格化得到的图像，向步骤4生成的字形图像进行对齐，即对生成的绘制序列进行修正；通过上述步骤，即实现基于双模态学习的矢量字体的生成。

全文数据：

权利要求：

百度查询： 北京大学 一种基于双模态学习的矢量字体生成方法

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。

阅读全文 双屏查看 官方信息 专利公告 收藏专利 下载PDF 下载WORD