申请/专利权人：浙江大学

申请日：2024-03-18

公开（公告）日：2024-06-07

公开（公告）号：CN118154781A

主分类号：G06T17/00

分类号：G06T17/00;G06N3/0455;G06T7/80;G06N3/084;G06N3/0464;G06N3/048;G06T1/00

优先权：

专利状态码：在审-实质审查的生效

法律状态：2024.06.25#实质审查的生效;2024.06.07#公开

摘要：本发明公开了一种基于神经结构光照的实时采集与重建方法。本发明的核心是一个由编码器、解码器和聚合模块组成的深度神经网络，其编码器在采集期间直接应用到结构光照明，解码器从单像素测量预测一维密度分布并插值到三维体积密度，聚合模块将预测的多个三维体积密度组合成最终的三维体积密度。该网络可以实现实际采集方式和重构算法的自动联合优化，通过使用训练优化的结构光图案和网络，该方法能够实时重建高质量的体积密度，解决了对三维现象的实时重建问题。该方法可以灵活适应不同的低成本硬件配置，解决了高质量实时三维现象的采集依赖专用设备导致的成本高昂问题。

主权项：1.一种基于神经结构光照的实时采集与重建方法，其特征在于，包括：投影设备和摄像设备指向采集对象中心，对投影设备和摄像设备进行时间同步，在进行采集前对投影设备和摄像设备的内参、外参和伽马曲线进行校准；构建由编码器、解码器和聚合模块组成的深度神经网络；所述编码器的输入为三维体积密度信息，编码器中以可训练参数的形式储存若干结构光图案，编码器利用事先校准的摄像设备和投影设备内外参，对投影和拍摄过程进行仿真；所述解码器的输入为编码器输出的像素仿真值，将每个像素位置的所有仿真值和局部入射光强度连接为输入向量，预测出各像素对应的相机射线上的密度向量，将各像素对应相机射线上的密度向量插值到采集对象有效体积中，得到摄像设备下预测的三维体积密度；所述聚合模块用于在摄像设备为多个时，将不同摄像设备视角的所有三维体积密度进行聚合，得到最终的三维体积密度；在训练阶段，以仿真数据为输入，网络输出和仿真数据进行损失函数计算，通过损失函数值的反向梯度求导优化网络参数和结构光图案；在采集重建阶段，将编码器中训练得到的结构光图案进行亮度校准后，送给投影设备进行物理投影；对于实际三维现象，用投影设备投影预优化的结构光图案，并用摄像设备同步拍摄相片；每个摄像设备处理一组连续相片，对相片进行亮度校准，通过解码器得到三维体积密度；当使用多个摄像设备时，通过聚合模块得到最终的三维体积密度。

全文数据：

权利要求：

百度查询： 浙江大学 基于神经结构光照的实时采集与重建方法

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。

阅读全文 双屏查看 官方信息 专利公告 收藏专利 下载PDF 下载WORD