买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：广东工业大学

摘要：本发明公开了一种潮州垫高绣数字化工艺制作过程的交互系统设计方法及系统，系统根据用户上传的图像和系统已训练好的数据库判断图像类型，生成分解步骤图，通过投影仪投映至绣布上，用户根据投映的图像开始绣制。将自动截取摄像机拍摄到的画面，将其与系统生成的对应步骤分解图进行路径比对，重合度达到系统要求的70％即可进行至下一步。当进行到垫高时，内置投影仪将投影立体图像剖面图至对面的移动杆，用户可通过投影遮挡来判断垫高高度是否合适，系统也将对左侧摄像机拍摄的画面进行截取对比，来对用户的垫高高度进行分析检测。摄像机将记录用户从初始绣制到最终成品完成的操作包括系统的检测反馈，并同步上传至云端系统供用户进行复盘整理。

主权项：1.一种潮州垫高绣数字化工艺制作过程的交互系统设计方法，其特征在于，包括以下步骤：S1、按照题材对潮绣进行分类，建立潮绣作品图片和绣制过程视频的潮绣数据库；在步骤S1中，包括以下步骤：S11、按照潮绣分类的结果采集潮绣作品图片和绣制过程视频；S12、拍摄得到的潮绣制作过程视频需通过关键帧检测算法自动识别出绣制关键环节的帧，使在绣制过程视频中，操作者每完成一个步骤，都能够自动截图一张图片作为步骤图输入系统用于训练模型库，具体包括：首先利用帧差分法比较连续视频帧之间的像素差异，识别出画面变化显著的时刻；对于复杂的场景变换，系统采用基于机器学习的算法进一步分析帧之间的内容变化，识别绣制过程中的关键步骤得到关键帧的图片；自动截图后，对自动截取关键帧的图片流进行标注，记录每个步骤的关键动作描述；S13、输入三个不同题材的潮绣作品的主视图、俯视图、左视图，将每件潮绣作品的垫高高度设定了四个层级：最高层、第二高层、第三高层、平面层，依次对其进行了垫高高度测量，再整合各层级数据，计算出各层级的平均值，最终制定一个高度层级颜色划分表；S14、对不同题材的潮绣对关键帧的图片和潮绣作品的图片进行特征提取得到潮绣数据库；S2、基于步骤S1建立的潮绣模型库结合改进的图生图模型对用户输入的图片分解得到潮绣风格迁移效果图和立体图像，潮绣数据库结合对抗生成网络生成潮绣制作步骤图；在步骤S2中，包括以下步骤：S21、根据先前生成的立体图像自动将图像各部分划分图层并通过Canny边缘检测转化为图样线稿；S22、再通过潮绣数据库，训练循环对抗神经网络，用户上传图像后，读取图像并根据前文预设的潮绣数据库拆分为连续的绣制动作，每个动作生成动态图像，通过循环对抗生成神经网络与风格迁移技术，为每个步骤自动生成对应的逐帧图片序列，按照图片序列进行播放，形成直观动画，具体包括：（1）建立生成器，生成器是一个多层神经网络解码器，输入为，生成为，且输入与输出的维度大小相同；（2）建立判别器，判别器也是一个多层神经网络解码器，输入为实例或者，输出是一个预测概率值；（3）建立生成器，生成器是一个多层神经网络解码器，输入为，生成为，且输入与输出的维度大小相同；（4）建立判别器，判别器也是一个多层神经网络解码器，输入为实例或者，输出是一个预测概率值；（5）获取和两个潮绣的绣制过程数据集，建立Dataloader，设置迭代轮数和批次大小；（6）选择优化方法进行梯度下降优化；（7）将数据集输入到生成器与判别器中，生成，与数据集，计算损失与，并反向传播，更新梯度；（8）将数据集输入到生成器与判别器中，生成，与数据集，计算损失与，并反向传播，更新梯度；（9）当所有轮次都迭代完成后，即获得使得生成器和效果最好的模型参数;（10）使用训练好的循环对抗生成网络，输入用户上传的图片，生成绣制过程中每个步骤绣样图片序列；S3、用户根据步骤S2的潮绣制作步骤图进行草图的绘制，在草图上将在指定垫高区域投放彩色色块，提醒用户需在此处补充棉絮实现垫高效果，不同颜色代表不同的棉絮用量；S4、对用户填充棉絮的高度进行检测；S5、提取绣制路径并进行检测；在步骤S5中，包括以下步骤：S51、绣制路径提取，具体步骤包括：S511、获取用户输入图像：首先，获取用户提供的绣制图像作为输入；S512、灰度化：将用户输入图像转换为灰度图像；S513、高斯滤波：对灰度图像应用高斯滤波器进行平滑处理；S514、应用Canny边缘检测：对经过高斯滤波的图像应用Canny边缘检测算法，具体包括：计算高斯滤波的图像的梯度幅值和方向，对梯度幅值图像应用非极大值抑制，使用双阈值处理，根据梯度幅值将像素分为强边缘、弱边缘和非边缘三类，进行边缘连接，通过连接强边缘像素与其周围的弱边缘像素，形成完整的边缘路径；S515、后处理：根据实际需要对提取的边缘路径进行后处理，去除不相关边缘、填充断裂的边缘；S516、提取绣制路径：根据边缘路径，提取用户绣制路径；S52、通过SIFT进行图像特征提取和匹配，与之前系统提供给用户的对应步骤分解图进行比对，具体步骤包括：S521、加载图像：首先，加载绣制路径图像，以及给用户的对应步骤分解图；S522、检测关键点：使用SIFT算法检测绣制路径图像，以及给用户的对应步骤分解图中的关键点；S523、计算描述符：对于每个检测到的关键点，计算描述符；S524、特征匹配：对于绣制路径图像和给用户的对应步骤分解图，将其中绣制路径图像的特征描述符与系统提供的步骤分解图像的特征描述符进行匹配；S525、筛选匹配点：对于特征匹配的结果，使用筛选方法排除错误的匹配点；根据用户绣制的图像与对应步骤分解图重合度判断，重合度不超过70%则向用户发出提示音反馈，用户可通过系统发出的提示音进行修改更正；重合度超过70%则判定为操作正确，进行到下一步骤继续操作；S6、通过记录用户从初始起绣到最终成品的绣制过程以及用户在绣制过程中需要修改的反馈记录，上传至云端系统供用户查看复盘。

全文数据：

权利要求：

百度查询： 广东工业大学 一种潮州垫高绣数字化工艺制作过程的交互系统设计方法及系统