恭喜大连海事大学范云生获国家专利权
买专利卖专利找龙图腾,真高效! 查专利查商标用IPTOP,全免费!专利年费监控用IP管家,真方便!
龙图腾网恭喜大连海事大学申请的专利一种无人船虚实融合多孪生智能感知增强方法获国家发明授权专利权,本发明授权专利权由国家知识产权局授予,授权公告号为:CN114820997B 。
龙图腾网通过国家知识产权局官网在2025-03-07发布的发明授权授权公告中获悉:该发明授权的专利申请号/专利号为:202210162169.1,技术领域涉及:G06T19/00;该发明授权一种无人船虚实融合多孪生智能感知增强方法是由范云生;张磊;赵永生设计研发完成,并于2022-02-22向国家知识产权局提交的专利申请。
本一种无人船虚实融合多孪生智能感知增强方法在说明书摘要公布了:本发明提供一种无人船虚实融合多孪生智能感知增强方法,包括:获取数据信息;对获取的数据信息进行数据融合处理,并将融合后的结果存储到数据库并构建模型数据库;将模型数据库中的数据传输至电子海图显示平台、三维视景显示平台和虚实融合显示平台,电子海图显示平台实现海图作业、航线修正,并实时提取电子海图的航道、浮标信息,并将实时提取的信息发送至三维视景平台完成数据补充;三维视景平台以Unity作为开发引擎构建三维虚拟场景,并实现感知实例化、天气系统以及风险提示功能;虚实融合显示平台将船载摄像头采集到的航行画面进行渲染处理,使岸端操纵者通过直观的引导信息以及识别边框来判断无人船的航行安全,实现辅助驾驶的功能。
本发明授权一种无人船虚实融合多孪生智能感知增强方法在权利要求书中公布了:1.一种无人船虚实融合多孪生智能感知增强方法,其特征在于,包括:S1、获取数据信息;所述步骤S1中,获取的数据信息包括环境信息、本船信息以及他船信息,其中:环境信息包括天气信息、洋流信息以及航道信息、浮标信息;多种传感器及设备共同获取无人船航行的环境信息,获取环境信息的传感器设备包括用于测量水深的测深仪、用于测量风速风向的风速风向仪、用于测量水流速度和方向的测流仪、用于测量海浪数据的波浪仪、用于提供航道信息的电子海图;本船信息包括本船航行时产生的数据信息,数据信息用于反映本船的航行状态;获取本船信息的设备包括用于提供无人船方位的陀螺罗经、用于对船舶进行定位并提供准确的经纬度信息的GPS、用于测量航程并进行航迹推算的计程仪、用于获取无人船自动舵的反馈信息便于进行优化调整的舵角反馈器;他船信息包括探测一定范围内的目标船舶数据信息,获取目标船舶数据信息的设备包括雷达和AIS;S2、对获取的所述数据信息进行数据融合处理,并将融合后的结果存储到数据库并构建模型数据库;所述步骤S2中,对获取的所述数据信息进行数据融合处理,主要是对雷达和AIS获取的目标船舶数据信息的冗余部分进行数据融合,具体如下:空间统一:采用墨卡托投影转换AIS信息坐标,墨卡托投影公式如下所示: 其中,a表示椭球体的长轴,a的值为6378137m;b表示的是楠球体的短半轴其值为6356752.3142m;表示基准绅度;λ表示经度,单位为弧度;表示纬度,单位是单位弧度;λ0表示中央经线且中央经度为0;表示卯酉圈曲率半径;e表示第一偏心率且e.表示第二偏心率且将雷达的信息格式从极坐标系转换为直角坐标系,转换公式如下所示: 其中,R表示雷达目标在k时刻的距离;θk表示雷达目标在k时刻的方位角;xk表示雷达目标k时刻在直角坐标系中X轴分量;yk表示雷达目标k时刻在直角坐标系中y轴分量;时间统一:选用线性插值算法实现时间对准,具体如下:在区间[a,b]上,给定n+1个节点:a=t0<t1<…<tn-1<tn=b和对应y0,y1,…,yn,设hi=ti+1-ti,插值函数为Sht,其为一条折线函数,在任一个小区间[ti,ti+1]上表示为ti<t<ti+1;采用基函数法构造分段线性函数,在整个区间[a,b]上Sht为其中ljt为朗格朗日插值基函数,朗格朗日插值基函数的公式如下所示: 采用距离-速度综合细关联算法,根据同一目标在一定时间内运动特性相同的特点进行关联,具体如下:选取一定采样时间内的一段航迹,并计算雷达和AIS相应点在x和y方向上位置和速度数值之差,差值最小的认为是关联的目标;已知雷达对目标的量测矩阵为AIS对目标的量测矩阵为计算公式如下所示: 其中,式中Dxij,Dyij分别表示N个测量点内雷达目标i与AIS目标j在x和y方向的平均速度差,满足最小的雷达跟踪目标i和AIS跟踪目标j确定关联;航迹融合算法基于统计加权准则,对融合结果采用扩展卡尔曼滤波进行处理使航迹更接近真实轨迹;对多传感器进行数据融合其权重分配的准确性决定了数据融合的准确性,设有n个感知设备,zii=1,2,3,...,n为测量值,为权重,n个传感器中第i个传感器的测量值为zi=xi+ei,其中zi为测量值,xi为真实值,ei为误差值,由于各传感器间不存在干扰互相独立,因此都服从正态分布,如下式所示: 统计加权即将称重与测量值相乘并累加得到估计值为达到无偏估计,需满足得到采用最小均方差对权重分配,公式如下所示: 将其转为线性规划问题,如下所示: 针对线性规划,采用拉格朗日乘数法并构造辅助函数求解,辅助函数设为计算得到最优权重及最小方差如下: 数据融合:对距离、方位、航速、航向进行数据融合,融合公式如下所示: 其中,为雷达和AIS距离方差,是方位方差,分别为航速方差、航向方差;为了提高融合精度对融合结果采用扩展卡尔曼滤波进行处理,扩展卡尔曼滤波公式如下所示: 其中,为状态预测均值,Pk|k-1为状态预测方差,Kk为卡尔曼增益,为目标后验的均值,Pk为目标后验的方差,船舶运动模型状态向量为x=[X,Y,SOG,COG]T,X,Y,SOG,COG分别为横纵坐标、航速、航向,得到船舶运动系统方程如下所示: 其中,观测矩阵为z=[D,B,SOG,COG]T,D,B,SOG,COG分别为距离、方位角、航速、航向,观测方程如下所示: S3、将模型数据库中的数据传输至电子海图显示平台、三维视景显示平台以及虚实融合显示平台,实现对无人船的辅助驾驶;所述步骤S3中:所述电子海图显示平台作为基础助航显示系统来实现海图作业、航线修正,并实时提取电子海图的航道、浮标信息,并将实时提取的信息发送至所述三维视景显示平台完成数据补充;所述三维视景显示平台以Unity作为开发引擎构建三维虚拟场景,并实现感知实例化、天气系统以及风险提示功能,达到智能感知三维可视化的效果;所述三维视景显示平台里的三维模型通过Cinema4D软件进行三维构建,再加以贴图实现渲染,以fbx格式导出模型,加载到Unity引擎中,并将其设定为预制体,减少资源利用,场景的搭建以真实地形为底图进行扩展;所述三维视景显示平台中,生成三维视景的流程如下:在卫星地图中截取需要生成的地形范围;获取其高程图,将高程图转换为raw原始数据格式;创建Terrain,通过HeightMapper与高度图融合,设置匹配比例;对地形进行贴图渲染,资源从卫星图获取;对草地数目细节构建,进行纹理贴图,海洋水效果盗用资源包添加shader实现;天气效果雨雪雾采用粒子系统实现;所述虚实融合显示平台将船载摄像头采集到的航行画面进行渲染处理,通过yolov3算法实现对观测范围内的船舶识别,并实现引导船舶以及引导航线的渲染,使岸端操纵者通过直观的引导信息以及识别边框来判断无人船的航行安全,实现辅助驾驶的功能;所述虚实融合显示平台在虚拟视景中构建模型数据库,根据AIS船舶和货物类型构建三维模型数据库,将AIS和雷达融合的数据结果进行实例化,将AIS消息解析后与三维模型数据库进行匹配,在虚拟视景中实现感知实例化;具体如下:为了从三维角度感受无人船航行安全度,以图形化方式实现无人船危险预警功能,综合分析本船航行信息以及目标船只状态信息,生成船舶碰撞危险度模型以及基于物理信息的轨迹推算;通过三维可视化的呈现使操纵者更加直观的观受到无人船的运行安全;船舶碰撞危险度模型主要考虑TCPA和DCPA,将其危险程度进行可视化显示;计算船舶最小会遇距离、最小会遇时间以及两船之间距离,设定三个等级风险度,根据不同风险度渲染相应颜色,使其在虚拟视景中更加直观;设计UI界面,完成交互操作,主要包括多角度观测船舶运动状态,分为前后左右和第三人称视角,让Unity内置若干个摄像机,每个摄像机对应相应的角度,设置摄像机的深度,投影方式选择透视投影,调节FiledofView参数调整摄像机视角大小;主视角的相机为跟随相机,能跟随目标运动,并且能够实现拉近、拉远、360度观测;将电子海图显示平台作为虚拟视景显示平台的数据补充接口,通过提取电子海图的数据将其发送到虚拟视景服务器,补充虚拟视景的静态航行信息,包括等深线、航道信息;所述虚实融合显示平台包括:可视化引导无人船、可视化引导航线以及对其航行图像进行船舶识别三个子模块;其中:可视化引导无人船,是将虚拟引导无人船的信息与真实世界进行融合,将真实的航行环境和虚拟引导无人船实时叠加到同一个画面或空间同时存在,可视化系统提供了在一般情况下,不同于人类感知的信息,可视化显示系统将整合所有船舶航行信息,引导物理无人船安全航行;具体的,将无人船船载摄像头采集到的画面传输到岸端指控中心,将其投影到UI-image,通过惯导多元传感器采集物理无人船的运动状态,包括航速、航向、俯仰角,利用Unity内置摄像机,通过脚本控制其视角及状态模拟真实船载摄像头;所述可视化引导无人船引导物理无人船安全航行的具体过程如下:所述可视化引导无人船渲染基于Unity引擎,从数据库中提取出本次任务的最优决策路径,将其转化为世界坐标,为了区分静态规划路线与引导无人船路线,静态路线设定为三个lineRenderer组件,增加其宽度,每个组件间距0.5m,颜色设定为红色,引导无人船其路径设置为绿色,其引导无人船实例化为紫色,对其路径进行贝塞尔优化,贝塞尔曲线线性公式如下所示:Bt=P0+P1-P0t=1-tP0+tP1,t∈[0,1]用脚本修改LineRenderer组件属性,将插值点设定,绘制连续平滑曲线,为了增加可观性,将局部路径设定为虚线绿色,首先准备一张透明背景虚线图png,透明背景而不是白色背景,将其导入Unity工程,新建一个材质,修改其shader为新导入的png,调整Tiling和Offset参数使其虚线线条适合,将LineRenderer组件材质设置为刚新建的材质,此时在Unity中即显示真实视频流又在相应位置显示引导无人船路线;为了达到安全助航的效果需要在真实视频流中显示出以引导船的预测位置,设定引导无人船位置为预测无人船最优决策路径三十秒的位置,计算出在贝塞尔曲线上某一点的位置及切线角度,在贝塞尔曲线上取n个点,默认取50个点,计算点之间的直线长度,进行加和,从而取得一个曲线的近似长度,取点越多这个长度越趋向于精确,在已知贝塞尔曲线表达式的情况下,为得到某点的切线,对曲线求导,如下:Bt=P0*31-t2*-1+3P1*1-t2+t*21-t*-1+3P2*2t1-t+t2*-1+P3*3t2对上式进行整理,得到:Bt=-3P01-t2+3P11-t2-2t1-t+3P22t1-t-t2+3P3t2对所取的参数三十秒和三十一秒两向量求夹角即是目标船舶在此处的角度,其Unity实现函数如下所示:Mathf.Atana.xb.z*Mathf.Rad2Deg+deltanAngle其中,a为引导无人船三十秒位置点向量,b为引导无人船下一时刻位置,即求得此刻引导无人船航向,将其转化为四元组实例化出引导无人船。
如需购买、转让、实施、许可或投资类似专利技术,可联系本专利的申请人或专利权人大连海事大学,其通讯地址为:116026 辽宁省大连市高新园区凌海路1号;或者联系龙图腾网官方客服,联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。
1、本报告根据公开、合法渠道获得相关数据和信息,力求客观、公正,但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解,仅供参考使用,不能作为本公司承担任何法律责任的依据或者凭证。