买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：北京建筑大学

摘要：本发明公开了一种支撑历史文化街区场景的场景图生成方法和系统，包括：分析历史文化地理要素与相关关系，构建历史文化街区场景图生成数据集；训练景观语义识别模型，提取目标对象的视觉特征、语义特征、空间特征；以目标关系共现频率为先验知识，基于注意力机制和特征融合方法实现对目标关系的预测；以时空上连续的街景影像为输入，基于景观语义识别模型和目标关系预测模型，生成每幅街景影像所对应的场景图，并作为输入，利用场景图融合模型，实现场景图的融合。本发明的优点是：可生成历史文化街区特色的场景图，有效地表达历史文化街区内景观要素属性和要素空间分布关系特点，辅助完成资源和政策的优化、提高城市效率、推动发展可持续性。

主权项：1.一种支撑历史文化街区场景的场景图生成方法，其特征在于，包括以下步骤：S1、参考已有数据集，包括ImageNet数据集和coco数据集，采集相关历史文化街区街景影像，顾及历史文化街区街景影像的数据特性，通过图像标注工具，构建历史文化街区场景图生成数据集；S2、以历史文化街区场景图数据集为训练数据，训练景观语义识别模型，并提取目标对象的视觉特征、语义特征和空间特征；S3、关系预测模型设计，以目标关系共现频率为先验知识，将其融入特征层面以加强对目标关系的特征表征效果，使用注意力机制和特征融合方法进行目标关系的预测；S4、以连续的时空街景影像作为输入，使用训练好的景观语义识别模型和目标关系预测模型对目标区域内时空连续的街景影像进行处理，得到与每张街景影像对应的时空连续场景图；S5、基于场景图融合模型对生成的时空连续场景图进行融合；场景图融合模型包括：谓词对齐模块、嵌入学习模块、实体对齐模块和场景图融合模块；S5的子步骤如下：S51、谓词对齐模块：使用S4中训练好的模型处理街景影像，保证生成的一系列场景图拥有相同的命名方案，找到相同的谓词并为关系嵌入提供统一的向量空间；将相邻的场景图融合为一个，并进行关系三元组和属性三元组的嵌入学习；S52、嵌入学习模块：使用TransE模型学习场景图之间实体对齐的结构嵌入，最小化目标函数；通过加权参数控制模型关注于目标谓词关系；损坏的三元组通过将头部实体替换为随机实体或将其特征属性替换为随机特征属性来作为负样本；联合学习结构嵌入和属性特征嵌入，使得它们转换至同一向量空间，基于余弦相似度获取实体之间的相似性，利用相似度阈值剔除掉无法对齐的实体对；S53、实体对齐模块：利用学习到的嵌入特征对相邻场景图中的实体进行对齐，计算实体之间的相似性；使用相似度阈值剔除不相似的实体对，得到预期可对齐的实体对；S54、更新大场景图初始化一个空的场景图，遍历之前匹配确定为同一实体的实体对，并将实体对合并为一个实体；根据实体旧场景图之间的连接关系确定新场景图中的关系连接，重复执行直到完成所有匹配的实体对。

全文数据：

权利要求：

百度查询： 北京建筑大学 支撑历史文化街区场景的场景图生成方法和系统