买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：北京化工大学

摘要：本申请提供面向协同端到端大模型的自动驾驶轨迹决策方法及装置，其中的方法包括：利用第一特征提取网络对自车端的RGB图像、他车端的RGB图像和路端的RGB图像进行处理，得到第一图像特征、第二图像特征和第三图像特征；对第一图像特征、第二图像特征和第三图像特征进行融合处理得到图像融合特征；利用第二特征提取网络对路端的点云数据进行处理得到路端点云特征；对图像融合特征和路端点云特征进行处理得到第一BEV特征和第二BEV特征；对第一BEV特征和第二BEV特征进行融合得到融合BEV特征；用大视觉语言模型将prompt信息和融合BEV特征进行融合得到文本信息；利用自然语言大模型对文本信息进行处理得到自车轨迹决策结果。本申请提高了轨迹决策的准确性。

主权项：1.一种面向协同端到端大模型的自动驾驶轨迹决策方法，其特征在于，包括：获取当前时刻的目标区域的自车端的RGB图像、他车端的RGB图像、路端的RGB图像以及路端的点云数据；利用第一特征提取网络对所述自车端的RGB图像进行处理，得到第一图像特征，利用第一特征提取网络对所述他车端的RGB图像进行处理，得到第二图像特征，利用第一特征提取网络对所述路端的RGB图像进行处理，得到第三图像特征；对所述第一图像特征、所述第二图像特征和所述第三图像特征进行融合处理，得到图像融合特征；利用第二特征提取网络对所述路端的点云数据进行处理，得到路端点云特征；对所述图像融合特征和所述路端点云特征进行处理，得到第一BEV特征和第二BEV特征；对所述第一BEV特征和所述第二BEV特征进行融合，得到融合BEV特征；利用大视觉语言模型对表征用户意图的prompt信息和所述融合BEV特征进行融合处理，得到文本信息；利用自然语言大模型对所述文本信息进行处理，得到自车轨迹决策结果；对所述图像融合特征和所述路端点云特征进行处理，得到第一BEV特征和第二BEV特征，包括：利用变形交叉注意力网络对图像融合特征进行处理，得到第一BEV特征 其中，Q为待学习的BEV参数；表示将第j个三维点Sj投影到图像融合特征Fim的第i个通道的结果；DeformAttn表示变形交叉注意力网络；利用变形交叉注意力机制网络对路端点云特征进行处理，得到第二BEV特征 其中，表示将第j个三维点Sj投影到路端点云特征FLiD的第i个通道的结果；将第二BEV特征转换到以自车为中心的坐标系下。

全文数据：

权利要求：

百度查询： 北京化工大学 面向协同端到端大模型的自动驾驶轨迹决策方法及装置