买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

龙图腾网恭喜北京工业大学申请的专利基于语言视觉大模型与知识图谱的任务序列智能规划方法获国家发明授权专利权，本发明授权专利权由国家知识产权局授予，授权公告号为：CN117874258B 。

龙图腾网通过国家知识产权局官网在2025-05-13发布的发明授权授权公告中获悉：该发明授权的专利申请号/专利号为：202410113790.8，技术领域涉及：G06F16/36；该发明授权基于语言视觉大模型与知识图谱的任务序列智能规划方法是由刘春芳;高亦彤;付涵宇;郭云帆;庞瑞田;鱼天鸿设计研发完成，并于2024-01-26向国家知识产权局提交的专利申请。

本基于语言视觉大模型与知识图谱的任务序列智能规划方法在说明书摘要公布了：本发明公开了基于语言视觉大模型与知识图谱的任务序列智能规划方法，包括层次化知识图谱构建、基于语言视觉大模型的场景关系感知与预测模型训练以及PDDL自主动作序列规划。从层次化知识图谱构建的知识图谱中查询并提取相关的物体与动作属性，用于自动生成PDDL规划器的域文件，同时基于语言视觉大模型的场景关系感知与预测模型训练，并输出相关物体的初始与目标状态，自动生成PDDL规划器的问题文件；所述域文件与问题文件驱动PDDL自主动作序列规划动作基元序列。本发明可以应用于机器人智能规划领域，只需要输入人的语言任务指令与感知当前场景的视觉图片，机器人就可以根据内置的知识图谱进行相关信息联想与智能规划，获取可行的操作层动作基元序列。

本发明授权基于语言视觉大模型与知识图谱的任务序列智能规划方法在权利要求书中公布了：1.基于语言视觉大模型与知识图谱的任务序列智能规划方法，其特征在于，该方法包括：层次化知识图谱构建；基于语言视觉大模型的场景关系感知与预测模型训练；PDDL自主动作序列规划；从层次化知识图谱构建的知识图谱中查询并提取相关的物体与动作属性，用于自动生成PDDL规划器的域文件，同时基于语言视觉大模型的场景关系感知与预测模型训练，并输出相关物体的初始与目标状态，自动生成PDDL规划器的问题文件；所述域文件与所述问题文件驱动PDDL自主动作序列规划动作基元序列；所述基于语言视觉大模型的场景关系感知与预测模型训练过程中，首先对场景图片和任务文本描述进行预处理，将其转换为模型能理解的数据格式；对于场景图片，通过卷积神经网络提取关键视觉特征并进行标签化；任务文本描述通过自然语言处理技术进行分词和语义标注；对于任务文本，将其分割成词汇单元；原始的任务文本是一个字符串T，被分割成一系列词汇单元t1,t2,…,ti,…,tn；将每个词汇单元ti转换成对应的词汇索引idxti；表示为：TokenizeT＝[idxt1,idxt2,…,idxtn]1索引被送入VisualBERT模型处理；对于图片，Tokenize过程包括特征提取和编码；图片P被分割成一系列区域R1,R2,…,Rj,…,Rm；每个区域Rj通过卷积神经网络提取特征，得到特征向量vecRj，并将其整合编码为合适输入到VisualBERT的格式：TokenizeP＝[vecR1,vecR2,…vecRj,…,vecRm]2VisualBERT模型结合BERT模型的语言理解和视觉信息处理能力，通过多头自注意力机制有效整合视觉和文本信息，用如下公式表示该机制： 其中Q,K,V分别代表查询Query、键Key和值Value，dk是键的维度；在预训练完成后，模型权重被冻结以保持在COCO数据集上学到的知识；然后将处理过的数据输入到由softmax和前馈神经网络ffn组成的两个模型头； fx＝max0,xW1+b1W2+b25其中W1,W2和b1,b2分别是网络的权重和偏置；对全场景关系图PSG数据集进行微调训练；通过微调训练优化第一个模型头网络权重，使改进后的VisualBERT大模型能够提取场景关系三元组；构建PSG数据集格式的目标状态预测数据集，用来微调训练第二层模型头网络权重；拍摄M张家居场景图片，每张图片标注h个任务指令，并对应任务标注目标状态三元组[s_idx,o_idx,rel_id]；将图片、任务描述作为输入，目标状态三元组作为输出，微调训练第二层模型头；经过优化后的双层模型头，利用预训练ViasualBERT视觉语言大模型的视觉语言上下文理解能力，减少从头开始训练模型所需的资源和时间，完成当前状态关系三元组的提取与目标状态三元组的预测任务；根据家居场景中出现的相关物体列表，在知识图谱中检索与物体节点相关联的动作节点，提取动作节点中存储的动作执行前提条件与动作执行后效果的属性；并检索物体与物体节点相连的位置关系信息组合生成PDDL规划器的域文件即谓词与动作；利用语言视觉大模型的场景关系感知与预测模型中获取的初始状态与目标状态自主生成PDDL规划器问题文件；基于特定任务与场景自动生成PDDL求解文件之后，PDDL智能规划算法通过域文件和问题文件构建复杂规划问题的搜索空间，包括所有可能的状态以及有动作引起状态转移的路径；规划器使用启发式搜索算法探索搜索空间，估计当前状态到达目标状态的成本，求解得出最优动作基元序列，完成任务规划；利用最优动作基元序列中动作名称在知识图谱中检索其轨迹属性特征，输入被操作物体的初始状态与目标状态或位姿形式描述至动态运动基元方法中，获取该操作的运动轨迹；机器人按序列顺序执行运动轨迹，完成操作任务。

如需购买、转让、实施、许可或投资类似专利技术，可联系本专利的申请人或专利权人北京工业大学，其通讯地址为：100124 北京市朝阳区平乐园100号；或者联系龙图腾网官方客服，联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。