买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：中山大学

摘要：本发明公开了一种基于推理决策一致性的自动驾驶规划方法，包括：获取训练样本数据集，构建第一正负样本集，并计算每个第一正负样本的平均真实token得分；获取训练样本的视觉token和语言token，输入到多模态大语言模型中，设置交叉熵损失函数进行训练优化，输出对应的k个预测结果，并构建第二正负样本集，计算每个第二正负样本的平均预测token得分；根据第一正负样本的平均真实token得分和第二正负样本的平均预测token得分构建推理决策对齐损失函数，利用推理决策对齐损失函数对初始自动驾驶规划模型进行训练优化，将待测自我车辆多视角图像输入到训练好的自动驾驶规划模型中，获得自我车辆行驶轨迹。本发明能够提高模型推理和决策的一致性。

主权项：1.一种基于推理决策一致性的自动驾驶规划方法，其特征在于，包括：S1：获取训练样本数据集，每个训练样本包括自我车辆多视角图像、若干预设思维链提示词以及每个预设思维链提示词对应的真实推理结果和真实决策结果；根据训练样本数据集构建第一正负样本集，并计算每个第一正负样本的平均真实token得分；构建初始自动驾驶规划模型，所述初始自动驾驶规划模型包括BEV编码器、Adapter模块、分词器和多模态大语言模型；S2：对于每个训练样本，将所述自我车辆多视角图像输入到BEV编码器中，获得BEV特征，再将BEV特征输入到Adapter模块中，获得对应的视觉token；将所述若干预设思维链提示词以及每个预设思维链提示词对应的真实推理结果和真实决策结果输入到分词器中，获得对应的语言token；S3：将视觉token和语言token输入到多模态大语言模型中，设置交叉熵损失函数进行训练优化，获得训练好的多模态大语言模型；所述训练好的多模态大语言模型输出每个训练样本对应的k个预测结果，每个所述预测结果包括预测推理结果和预测决策结果；S4：根据所有所述训练样本及其对应的k个预测结果构建第二正负样本集，并计算每个第二正负样本的平均预测token得分；S5：根据第一正负样本的平均真实token得分和第二正负样本的平均预测token得分构建推理决策对齐损失函数，利用推理决策对齐损失函数对初始自动驾驶规划模型进行训练优化，获得训练好的自动驾驶规划模型；S6：获取待测自我车辆多视角图像，将其输入到训练好的自动驾驶规划模型中，获得自我车辆行驶轨迹；所述S5中，所述推理决策对齐损失函数的确定方法包括： 其中，表示推理决策对齐损失函数，表示二元对齐损失函数，表示排序对齐损失函数；所述二元对齐损失函数的确定方法包括： 其中，表示二元对齐损失函数，表示第一正负样本集中第个第一正负样本中的正样本的tokens，表示第一正负样本集中第个第一正负样本的负样本集对应的tokens集，表示中第n个负样本的tokens，表示梯度分离操作，和分别表示和的平均真实token得分；所述排序对齐损失函数的确定方法包括： 其中，、分别表示第二正负样本的负样本中第个预测结果的tokens和第个预测结果的tokens，表示第二正负样本的负样本中第个预测结果的tokens排在第二正负样本的负样本中第个预测结果的tokens之前；表示的平均预测token得分，表示的平均预测token得分。

全文数据：

权利要求：

百度查询： 中山大学 一种基于推理决策一致性的自动驾驶规划方法