买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：苏州元瞰科技有限公司

摘要：本发明公开的一种基于多模态教师与学生框架的玻璃缺陷检测算法，包括从玻璃生产线上收集大量无缺陷的样本和少量带有各类缺陷的样本，并进行清洗处理，得到不同模态信息，不同模态信息包括玻璃样本图像与文本描述样本；基于玻璃样本图像与文本描述样本生成训练集与测试集，基于训练集对模型进行训练，得到多模态教师与学生网络训练模型；基于测试集对多模态教师与学生网络训练模型进行测试，基于测试结果动态调整模型参数，得到最终的多模态教师与学生网络训练模型；基于最终的多模态教师与学生网络训练模型生成玻璃缺陷检测结果；本申请多模态无监督框架具有更强的泛化性。

主权项：1.一种基于多模态教师与学生框架的玻璃缺陷检测方法，其特征在于，包括如下步骤：从玻璃生产线上收集大量无缺陷的样本和少量带有各类缺陷的样本，并进行清洗处理，得到不同模态信息，不同模态信息包括玻璃样本图像与文本描述样本；基于玻璃样本图像与文本描述样本生成训练集与测试集；基于训练集对模型进行训练，得到多模态教师与学生网络训练模型；基于测试集对多模态教师与学生网络训练模型进行测试，基于测试结果动态调整模型参数，得到最终的多模态教师与学生网络训练模型；基于最终的多模态教师与学生网络训练模型生成玻璃缺陷检测结果；从玻璃生产线上收集大量无缺陷的样本和少量带有各类缺陷的样本，并进行清洗处理，得到不同模态信息，不同模态信息包括玻璃样本图像与文本描述样本；具体包括：获取玻璃样本，对玻璃样本进行清洗，去除玻璃表面的灰尘，基于光学技术对收集的样本进行打光，拍照，二次校准后得到高质量的玻璃样本图像；将玻璃样本图像进行分类，得到正常样本图像与缺陷样本图像；将正常样本图像与缺陷样本图像分别进行模板设计，生成正常文本与缺陷文本，得到文本描述样本；基于训练集对模型进行训练，得到多模态教师与学生网络训练模型，具体包括：获取正常样本图像与文本描述样本，基于正常样本图像制作伪异常样本图像，将伪异常样本图像进行预处理；提取图像特征，基于编码器对图像特征进行特征编码，基于学生编码器对编码后的图像特征进行解码，得到补丁特征与全局特征，基于补丁特征进行多层特征重构训练；提取文本描述样本特征，基于编码器对文本描述样本特征进行编码，得到正常文本编码与异常文本编码；基于全局特征、正常文本编码与异常文本编码对多模态信息进行对齐训练，得到多模态教师与学生网络训练模型；多模态教师与学生网络包括教师网络与学生网络，教师网络采用在海量数据上预训练的多模态模型CLIP-ViT-16B，该模型的主干网络采用拥有12层多头注意力模块的ViT模型，学生网络采用三层多头注意力模块；在训练阶段，大小为256×256×3的训练样本图像输入教师网络，分别提取其3，6，9层网络的特征，记为，，，尺寸为，将三层特征拼接后，经过一层线性网络进行聚合，再将聚合后的特征输入学生网络，学生网络每层输出的特征记为，，，尺寸为。

全文数据：

权利要求：

百度查询： 苏州元瞰科技有限公司 一种基于多模态教师与学生框架的玻璃缺陷检测算法