买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：上海交通大学

摘要：本发明提供一种基于全卷积图神经网络的全景图片显著性预测方法及设备，包括：将平面全景图像映射成为球面的图数据；将所述球面的图数据输入到全卷积图神经网络进行显著性预测，得到球面显著性图数据；将所述球面显著性图数据变换到平面上，得到平面的全景显著性图像。进一步的，本发明全卷积图神经网络基于残差U形网络结构，在底部采用了膨胀图卷积和注意力机制。此外，本发明使用了一种新的全卷积层，用于球面图空间中的图池化和反池化操作，以保留节点到节点的特征。本发明提出的方法在大规模数据集上优于其他较为先进的显著性预测模型。

主权项：1.一种基于全卷积图神经网络的全景图片显著性预测方法，其特征在于，包括：将平面全景图像映射成为球面的图数据；将所述球面的图数据输入到全卷积图神经网络进行显著性预测，得到球面显著性图数据；将所述球面显著性图数据变换到平面上，得到平面的全景显著性图像；所述全卷积图神经网络结构，为一个U形图神经网络结构，该U形图神经网络结构包括：在底部设置膨胀图卷积和注意力机制；和或，全卷积层，用于球面图空间中的图池化和反池化操作，以保留顶点到顶点的特征；所述U形图神经网络结构，包括编码部、底部和解码部，其中：所述编码部，包括第一TAG卷积层、第二TAG卷积层、第三TAG卷积层、第四TAG卷积层、第一全卷积图池化层、第二全卷积图池化层和第三全卷积图池化层，其中：第一TAG卷积层输入为所述球面的图数据，第二TAG卷积层：输入为第一TAG卷积层的输出；第一全卷积图池化层：输入为第一TAG卷积层的输出与第二TAG卷积层的输出之和；第三TAG卷积层：输入为第一全卷积图池化层的输出；第二全卷积图池化层：输入为第一全卷积图池化层的输出与第三TAG卷积层的输出之和；第四TAG卷积层：输入为第二全卷积图池化层的输出；第三全卷积图池化层：输入为第二全卷积图池化层的输出与第四TAG卷积层的输出之和；所述底部，包含依次串联的第一膨胀注意力块、第二膨胀注意力块和第三膨胀注意力块，其中：第一膨胀注意力块输入为所述编码部的输出，所述底部的输出为第三膨胀注意力块的输出；所述解码部，包括第五TAG卷积层、第六TAG卷积层、第七TAG卷积层、第八TAG卷积层、第九TAG卷积层、第一全卷积图反池化层、第二全卷积图反池化层，第三全卷积反池化层，其中：第一全卷积图反池化层：输入为所述底部的输出；第五TAG卷积层：输入为第一全卷积图反池化层的输出与第三全卷积图池化层的输入的特征拼接；第二全卷积图反池化层：输入为第五TAG卷积层的输入与第五TAG卷积层的输出之和；第六TAG卷积层：输入为第二全卷积图反池化层的输出与第二全卷积图池化层的输入的特征拼接；第三全卷积图反池化层：输入为第六TAG卷积层的输入与第六TAG卷积层的输出之和；第七TAG卷积层：输入为第三全卷积图反池化层的输出与第一全卷积图池化层的输入的特征拼接；第八TAG卷积层：输入为第七TAG卷积层的输入与第七TAG卷积层的输出之和；第九TAG卷积层：输入为第八TAG卷积层的输出。

全文数据：

权利要求：

百度查询： 上海交通大学 基于全卷积图神经网络的全景图片显著性预测方法及设备