申请/专利权人：南京空天宇航科技有限公司

申请日：2021-08-06

公开（公告）日：2024-06-28

公开（公告）号：CN113591756B

主分类号：G06V20/58

分类号：G06V20/58;G06V10/26;G06V10/44;G06V10/82;G06V10/77;G06N3/0464;G06N3/084

优先权：

专利状态码：有效-授权

法律状态：2024.06.28#授权;2021.11.19#实质审查的生效;2021.11.02#公开

摘要：本发明公开了基于异质信息交互卷积网络的车道线检测方法；所构建的网络分支包括两个预测分支：车道线分割像素级和车道线块分类，本发明利用了车道线分割预测结果构建了反向特征表示空间，作为补空间将其与图片特征级空间级联，提高网络特征的提取能力，特别是针对遮挡等因素造成车道线的缺失；其次，设计了全局和局部分支使网络进一步提升特征的提取能力，使得网络既关注全局的上下文信息，也关注局部细节信息；最后，本发明在网络设计的时候避免冗余的计算，提高网络的推理效率，在自动驾驶和辅助驾驶领域有着重要的应用价值。

主权项：1.基于异质信息交互卷积网络的车道线检测方法，其特征在于，所述方法包括以下步骤：步骤1：制作训练数据；步骤2：构建基于异质信息交互的车道线检测网络；步骤3：利用步骤1的训练数据对步骤2中所建立的网络模型进行训练，通过SGD优化策略对模型进行参数学习，保存最终训练模型；步骤4：对步骤3中的最终网络模型进行测试；其中，步骤1：制作训练数据；将每张训练图片及其对应标注进行预处理，具体如下：设训练数据总共有N张图片及其对应的标注，其中每张图片的高和宽分别为288和800，记训练集合中的图片为{I1,I2,...,IN}和每个图片对应的标签为{l1,l2,...,lN}；步骤101：读取标签中一条车道线的坐标点，获取指定颜色p，利用PIL包中的ImageDraw.Draw.polygon函数绘制多边形，同时利用该函数中的填充功能，对绘制的多边形进行指定颜色的填充；步骤102：按照黄p＝1、绿p＝2、蓝p＝3、红p＝4、紫p＝5按顺序给每条车道线指定一个颜色p，读取图片标签中的每条车道线，记车道线总条数为C，C小于等于5，当前车道序号为k，k小于等于C，给定车道线颜色p＝k，依次执行步骤101的操作，进而获得车道线带有颜色的图片，之后将该图片转换成灰度图片，依次将对应颜色的灰度值转换成1，2，3，4，5，没有颜色的像素点记为0，最终将所有图片的标签转换为{mask1,mask2,...,maskN}；步骤103：利用One-hot编码方式生成多目标分割标签，其维度为288×800×C+1，最终标签转换为{seg1,seg2,...,segN}；步骤104：预先定义行锚row_anchor，[121,131,141,150,160,170,180,189,199,209,219,228,238,248,258,267,277,287]；将步骤102所获取标签的高度按照预定义的行锚分成18份，之后将标签的宽度方向等分成200份，同时生成18×201×C零矩阵U；步骤105：利用步骤104中预先定义行锚，选取步骤102中生成灰度标签在预先定义行锚所在行中第k个车道线占比最大的块，作为该车道线在该行该位置i,j的标签，即Ui,j,k＝1，若步骤102中所生成灰度标签中第m个行锚位置没有车道线，则Um,201,k＝1；步骤106：将步骤102中的标签{mask1,mask2,...,maskN}依次执行步骤105的操作，生成块标签{block1,block2,...,blockN}；步骤2：建立异质信息交互的车道线检测网络；网络的具体模型如下：卷积层1：使用64个步长为2的7×7卷积核去卷积输入为288×800×3的图像，经过归一化BN层和ReLU激活函数后得到144×400×64的特征；池化层1：卷积层1输出的特征在使用步长为2的3×3的最大值池化层后得到72×200×64的特征；卷积层2：使用64个步长为1的3×3的卷积核去卷积池化层1的输出，经过归一化BN层和ReLU激活函数后得到72×200×64的特征；卷积层3：使用64个步长为1的3×3的卷积核去卷积卷积层2的输出，经过归一化BN层后得到的特征加上池化层1输出的特征，经过ReLU激活函数后得到72×200×64的特征；卷积层4：使用64个步长为1的3×3的卷积核去卷积卷积层3的输出，经过归一化BN层和ReLU激活函数后得到72×200×64的特征；卷积层5：使用64个步长为1的3×3的卷积核去卷积卷积层4的输出，经过归一化BN层后得到的特征加上卷积层3输出的特征，经过ReLU激活函数后得到72×200×64的特征；卷积层6：使用128个步长为2的3×3的卷积核去卷积卷积层5的输出，经过归一化BN层和ReLU激活函数后得到36×100×128的特征；卷积层7：使用128个步长为1的3×3的卷积核去卷积卷积层6的输出，经过归一化BN层后得到的特征得到36×100×128的特征；卷积层7_1：使用128个步长为2的1×1的卷积核去卷积卷积层5的输出，经过归一化BN层后加上卷积层7输出的特征，经过ReLU激活函数后得到36×100×128的特征；卷积层8：使用128个步长为1的3×3的卷积核去卷积卷积层7_1的输出，经过归一化BN层和ReLU激活函数后得到36×100×128的特征；卷积层9：使用128个步长为1的3×3的卷积核去卷积卷积层8的输出，经过归一化BN层后加上卷积层7_1输出的特征，经过ReLU激活函数后得到36×100×128的特征；卷积层10：使用256个步长为2的3×3的卷积核去卷积卷积层9的输出，经过归一化BN层和ReLU激活函数后得到18×50×256的特征；卷积层11：使用256个步长为1的3×3的卷积核去卷积卷积层10的输出，经过归一化BN层后得到的特征得到18×50×256的特征；卷积层11_1：使用256个步长为2的1×1的卷积核去卷积卷积层9的输出，经过归一化BN层后加上卷积层11输出的特征，经过ReLU激活函数后得到18×50×256的特征；卷积层12：使用256个步长为1的3×3的卷积核去卷积卷积层11_1的输出，经过归一化BN层和ReLU激活函数后得到18×50×256的特征；卷积层13：使用256个步长为1的3×3的卷积核去卷积卷积层12的输出，经过归一化BN层后加上卷积层11_1输出的特征，经过ReLU激活函数后得到18×50×256的特征；卷积层14：使用512个步长为2的3×3的卷积核去卷积卷积层13的输出，经过归一化BN层和ReLU激活函数后得到9×25×512的特征；卷积层15：使用512个步长为1的3×3的卷积核去卷积卷积层14的输出，经过归一化BN层后得到的特征得到9×25×512的特征；卷积层15_1：使用512个步长为2的1×1的卷积核去卷积卷积层13的输出，经过归一化BN层后加上卷积层15输出的特征，经过ReLU激活函数后得到9×25×512的特征；卷积层16：使用512个步长为1的3×3的卷积核去卷积卷积层15_1的输出，经过归一化BN层和ReLU激活函数后得到9×25×512的特征；卷积层17：使用512个步长为1的3×3的卷积核去卷积卷积层16的输出，经过归一化BN层后加上卷积层15_1输出的特征，经过ReLU激活函数后得到9×25×512的特征；卷积层18：使用128个步长为1的1×1的卷积核去卷积卷积层9的输出，经过归一化BN层和ReLU激活函数后得到36×100×128的特征；卷积层19：使用128个步长为1的3×3的卷积核去卷积卷积层18的输出，经过归一化BN层和ReLU激活函数后得到36×100×128的特征；卷积层20：使用128个步长为1的1×1的卷积核去卷积卷积层19的输出，经过归一化BN层和ReLU激活函数后得到36×100×128的特征；卷积层21：使用128个步长为1的3×3的卷积核去卷积卷积层20的输出，经过归一化BN层和ReLU激活函数后得到36×100×128的特征；卷积层22：使用128个步长为1的3×3的卷积核去卷积卷积层13的输出，经过归一化BN层和ReLU激活函数后得到18×50×128的特征；卷积层23：使用128个步长为1的1×1的卷积核去卷积卷积层22的输出，经过归一化BN层和ReLU激活函数后得到18×50×128的特征；卷积层24：使用128个步长为1的3×3的卷积核去卷积卷积层23的输出，经过归一化BN层和ReLU激活函数后得到18×50×128的特征；上采样层1：采用双线性插值将卷积层24的输出上采样2倍后得到36×100×128的特征；卷积层25：使用128个步长为1的3×3的卷积核去卷积卷积层17的输出，经过归一化BN层和ReLU激活函数后得到9×25×128的特征；卷积层26：使用128个步长为1的1×1的卷积核去卷积卷积层25的输出，经过归一化BN层和ReLU激活函数后得到9×25×128的特征；上采样层2：采用双线性插值将卷积层26的输出上采样4倍后得到36×100×128的特征；级联层1：将上采样1、上采样2与卷积层9的输出沿通道维级联得到36×100×384的特征；卷积层27：使用256个步长为1的3×3的卷积核去卷积级联层1的输出，经过归一化BN层和ReLU激活函数后得到36×100×256的特征；卷积层28：使用128个步长为1的3×3的卷积核去卷积卷积层27的输出，经过归一化BN层和ReLU激活函数后得到36×100×128的特征；卷积层29：使用128个步长为1的3×3的卷积核去卷积卷积层28的输出，经过归一化BN层和ReLU激活函数后得到36×100×128的特征；卷积层30：使用C+1个步长为1的1×1的卷积核去卷积卷积层29的输出，经过Sigmoid激活函数后得到36×100×C+1的特征；卷积层30_1：将卷积层30的输出上采样8倍后等到288×800×C+1的特征；卷积层30_2：将卷积层30的输出取相反数加上与之维度相同元素为1的张量后得到36×100×C+1的特征；卷积层31：使用256个步长为2的3×3的卷积核去卷积卷积层30_2的输出，经过归一化BN层和ReLU激活函数后得到18×50×256的特征；卷积层32：使用256个步长为1的3×3的卷积核去卷积卷积层31的输出，经过归一化BN层和ReLU激活函数后得到18×50×256的特征；卷积层33：使用256个步长为1的1×1的卷积核去卷积卷积层32的输出，经过归一化BN层和ReLU激活函数后得到18×50×256的特征；上采样层3：采用双线性插值将卷积层17的输出上采样2倍后得到18×50×512的特征；级联层2：将卷积层33与上采样层3的输出沿通道维级联得到18×50×768的特征；卷积层34：使用256个步长为1的3×3的卷积核去卷积级联层2的输出，经过归一化BN层和ReLU激活函数后得到18×50×256的特征；卷积层35：使用64个步长为1的3×3的卷积核去卷积卷积层34的输出，经过归一化BN层和ReLU激活函数，然后采用双线性插值上采样到[18,201]后得到18×201×64的特征；卷积层36：使用16个步长为1的3×3的卷积核去卷积卷积层35的输出，经过归一化BN层和ReLU激活函数后得到18×201×16的特征；卷积层37：使用128个步长为1的3×3的卷积核去卷积级联层2的输出，经过归一化BN层和ReLU激活函数后得到18×50×128的特征；卷积层38：使用2个步长为1的3×3的卷积核去卷积级卷积层37的输出，经过ReLU激活函数后将输出特征的维度重构得到1×1×1800的特征；卷积层39：使用57888个步长为1的1×1的卷积核去卷积级卷积层38的输出，经过ReLU激活函数后将输出特征的维度重构得到18×201×16的特征；级联层3：将卷积层36与卷积层39的输出沿通道维级联得到18×201×32的特征；卷积层39：使用C个步长为1的1×1的卷积核去卷积级联层3的输出，经过Softmax激活函数后得到18×201×C的特征。

全文数据：

权利要求：

百度查询： 南京空天宇航科技有限公司 基于异质信息交互卷积网络的车道线检测方法

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。

阅读全文 双屏查看 官方信息 专利公告 收藏专利 下载PDF 下载WORD