头条新闻
安全报告|用双目立体视觉方案为商用车安全精准护航

2022-12-07 来源: 作者:保隆科技

一、前瞻研发双目 国标启动市场


上海保隆汽车科技股份有限公司(以下简称“保隆科技”)研发商用车ADAS获得技术突破并取得整车企业定点,源于企业提前布局,也得益于国家商用车相关强制标准的推动。


保隆科技从2017年就开始ADAS产品的开发,主要研发前向视觉产品和毫米波雷达产品。在视觉产品方面,2018年,经过对两种技术路线的评估,保隆科技选择双目产品作为主要研究方向,并开始FPGA实现双目引擎的开发,同时开发机器学习及深度学习的目标检测算法。应该说,保隆科技提前布局ADAS,在商用车强制标准颁布后,得以迅速切入相关赛道。


早在2011年,国家标准26773出台,对LDW系统性能要求与检测方法进行了定义;随后2014年,交通部参考26773出台了883标准,对车道偏离的功能、性能和试验方法进行定义;2019年,国家标准38186出台,对AEBS的性能要求和试验方法进行了定义。同年,交通部参考38186出台了1242标准,对AEBS的技术要求、性能要求和测试规范进行了定义。 根据标准的双W(LDWS与FCW)要求,对质量超过18T的载货车,法规强制实施日期为2020年9月1日;AEB要求,对质量超过12T的载货车,法规强制实施日期为2021年5月1日。


上述法规的发布,主要针对重卡交通事故频发、危害大的情况,在客观上启动了商用车ADAS法规件的市场,在提升商用车安全等级的同时,对ADAS企业研发起到了促进作用。也就在2019年,保隆科技针对法规要求,获得商用车客户的定点,开始将前期的预研项目转移到应用产品开发上。


稿15.jpg


二、实现精确识别 突破行业难题


保隆视觉产品开发工作主要分为前后两个阶段,第一阶段实现LDWS,采用立体视觉的技术实现路面状况的识别,以图像技术实现车道线的跟踪与检测。LDW的功能实现并不困难,但是性能的大幅提升、识别能力的增强却是行业内普遍难题。在道路实验中,往往会碰到大量的场景,系统会产生误判及漏判。另外,与乘用车不同,商用车由于车辆安装位置高,行驶过程晃动幅度大,图像的抖动剧烈,也会造成误识别比率增大。另外,为提高驾驶员的体验感,我们定义了车道线压线10cm范围的精确度,采用双目立体检测技术,同时结合准确的标定算法,使高精确的识别成为可能。


为避免车辆长期使用过程中产品物理安装参数发生变化,为避免随着长时间的使用测量精度退化,系统引入了自学习算法,通过车辆行驶场景的图像特征点计算物理参数的变化,修复老化或应力释放引起的偏差。另外,我们通过长时间、长里程的统计,针对不同场景做识别,降低误识别率,尤其对于雪地、雨水路面、车辙印等路面,这些路面会对于车道线的辨别造成验证干扰,我们通过不同场景的针对性处理,确保较高的识别率。在2020年9月,保隆科技顺利完成LDWS产品的开发,并批量供货。


三、双目融合雷达 准确判断突发


2020年9月,开启第二阶段AEB产品的开发。对比其他功能,如ACC或FCW,AEB对系统性能要求更高。


按照法规标准的要求,AEB应对紧急突发事件时,将对车辆制动系统进行控制。对于ACC或FCW,感知层算法对目标处于持续跟踪和测量状态,即时性要求不敏感,由于环境光照变化或车辆颠簸等因素引起偶尔的图像或雷达丢帧,并不会让系统产生较大波动,因为随后再次捕获目标,系统可以继续保持目标的跟踪策略。但是对于AEB,需要更高的即时性,因为突发事件往往需要短时捕捉并预判目标运动趋势,当目标晃动或丢失时,算法容错性能差,都会无法准确判断碰撞的可能性,例如行人变速(忽走忽停)横穿马路或鬼探头,或者行人及时停止横穿马路,在这种场景下,需要AEB首先能准确判定目标的三坐标位置、位移及即时速度,然后准确判定目标是否将会进入行驶区域产生碰撞,最后在结合当前车速、车辆参数及目标距离等,合理制定多级减速度以控制车辆,确保将车辆、驾驶员和目标的危害降为最小,并避免二次危险的发生,如追尾、车辆失控、侧翻等。对于意外状况的紧急处理,是对系统可靠性、稳定性的巨大挑战。


在前向视觉,AEB系统实现有单目和双目两种技术路线。目前普遍采用1V1R,也就是单目+毫米波雷达的方案实现。通过图像和雷达数据融合的方式判断和跟踪目标。图像可以用来确定目标的横向坐标位置以及对目标进行分类识别,毫米波雷达用于测距,且有很高的精度,通过双方的数据对目标进行匹配,来确定目标状态。在不同道路场景中,雷达的反射信息较多,可能包含大量的无用目标,也可能会丢失一些数据;图像筛选后的目标,对照雷达的信息时,可能会发生无法匹配的情况,于是需要通过一些置信度等概率指标来仲裁结果。对于同一目标,如果两种传感器有某一相同纬度数据,在该维度的标尺下,对其他维度信息进行对齐,那么会进一步提高多传感器对同一目标探测的一致性。我们采用双目视觉的特点,在深度信息上能够跟毫米波雷达提供相同维度信息,对于数据对齐起到关键作用。


在即时性上,我们采用不同的算法流程,为提高响应速度,双目深度引擎首先获取到的目标点云信息,从而能够将其从背景中分离,对于图像中的背景信息,比如远处的山、天空,以及立体信息中能够判断到的远离我驾驶区域之外的画面,这些信息对于驾驶策略是无意义的,也原本无需消耗计算资源进行排查。我们采用分割技术,只将有用的少量目标送入系统进行分类识别,忽略大量的冗余数据,减少运算量,提高速度。另外,当目标出现并锁定时,并不急于区分类别,而是及时将数据传输控制算法进行分析处理,更早地提供策略,避免过大的速度变化。


四、突破双目技术门槛 确保产品的一致性


在AEB开发上,除了算法的健壮性(容错性)以外,产品长时间使用的一致性也需要保证。重卡的使用场景与乘用车不一样,工况更复杂。双目是通过几何方式测距,确保双目视觉产品长时间测量稳定,是保证性能的关键。这一点也是双目技术的关键门槛,我们多种算法结合,不需要高精度生产组装,不需要高稳定性的材料,让产品可以全天候工作。通过场景识别特征,判断出产品内部及外部结构数据的微小变化,矫正相关参数,确保测量准确。一系列矫正算法,伴随着功能程序同时运行,时时纠偏。


产品开发上导入功能安全,感知层安全定义为QM,规控定义为ASIL B。项目初期,我们就跟客户积极讨论,导入功能安全目标,研发人员共同研究讨论,确定软硬件框架,以符合功能安全要求。在项目运行过程中,我们也不断改善,并利用AEB项目申请功能安全审核,获得了26262的认证。


目前,多家商用车供应商已经配备了AEB系统,但据车厂的了解,目前已经量产的AEB,很多用户会关闭XBR,也就是取消了AEB的自动控制权限。其实也是对目前大多产品的信心不足,也是由于误报和漏报较多导致。我们希望能够通过双目产品独特的技术,大幅度提高准确性。


五、依托自主芯片 确保供应安全


当前,我们量产的双目产品,主要元器件还是依赖国外进口,尤其是对于深度引擎,采用Xilinx的FPGA,价格也极其昂贵。Xilinx对于FPGA的出口,尤其是对中国的出口,管控很严。未来,如果美国商务部加大对华制裁,FPGA将是最敏感的器件。不过,我们现在已经量产了自主研发的双目引擎,并且已经布局第二代芯片。我们正在采用自主芯片,开发下一代双目产品,同时SoC也进行了国产化替代。第二代产品的成本已经大幅降低,而且,我们致力于发展除ADAS功能以外的诸如路面预瞄、魔毯悬架等功能。


依托自主芯片,我们已经制定产品开发的技术路线,未来通过双目相机取代毫米波雷达,实现L2级的产品功能。同时,进一步提供算法研发能力,逐渐实现横梁分离的产品,到最终实现模组分离,对于车厂的安装适应性更广。同时,为实现L3级以上的智能驾驶,引入更高算力的SoC,开发新一代主干神经网络,在立体视觉的技术上,结合深度学习,拓宽应用范围。


针对商用车的使用情况,我们希望结合双目视觉产品的特点,降低驾驶危险,确保人身安全,为车厂与车队带来利益,促进国内商用车行业的健康发展。


获取文中车型询底价
头条新闻

安全报告|用双目立体视觉方案为商用车安全精准护航

2022-12-07 作者:保隆科技

一、前瞻研发双目 国标启动市场


上海保隆汽车科技股份有限公司(以下简称“保隆科技”)研发商用车ADAS获得技术突破并取得整车企业定点,源于企业提前布局,也得益于国家商用车相关强制标准的推动。


保隆科技从2017年就开始ADAS产品的开发,主要研发前向视觉产品和毫米波雷达产品。在视觉产品方面,2018年,经过对两种技术路线的评估,保隆科技选择双目产品作为主要研究方向,并开始FPGA实现双目引擎的开发,同时开发机器学习及深度学习的目标检测算法。应该说,保隆科技提前布局ADAS,在商用车强制标准颁布后,得以迅速切入相关赛道。


早在2011年,国家标准26773出台,对LDW系统性能要求与检测方法进行了定义;随后2014年,交通部参考26773出台了883标准,对车道偏离的功能、性能和试验方法进行定义;2019年,国家标准38186出台,对AEBS的性能要求和试验方法进行了定义。同年,交通部参考38186出台了1242标准,对AEBS的技术要求、性能要求和测试规范进行了定义。 根据标准的双W(LDWS与FCW)要求,对质量超过18T的载货车,法规强制实施日期为2020年9月1日;AEB要求,对质量超过12T的载货车,法规强制实施日期为2021年5月1日。


上述法规的发布,主要针对重卡交通事故频发、危害大的情况,在客观上启动了商用车ADAS法规件的市场,在提升商用车安全等级的同时,对ADAS企业研发起到了促进作用。也就在2019年,保隆科技针对法规要求,获得商用车客户的定点,开始将前期的预研项目转移到应用产品开发上。


稿15.jpg


二、实现精确识别 突破行业难题


保隆视觉产品开发工作主要分为前后两个阶段,第一阶段实现LDWS,采用立体视觉的技术实现路面状况的识别,以图像技术实现车道线的跟踪与检测。LDW的功能实现并不困难,但是性能的大幅提升、识别能力的增强却是行业内普遍难题。在道路实验中,往往会碰到大量的场景,系统会产生误判及漏判。另外,与乘用车不同,商用车由于车辆安装位置高,行驶过程晃动幅度大,图像的抖动剧烈,也会造成误识别比率增大。另外,为提高驾驶员的体验感,我们定义了车道线压线10cm范围的精确度,采用双目立体检测技术,同时结合准确的标定算法,使高精确的识别成为可能。


为避免车辆长期使用过程中产品物理安装参数发生变化,为避免随着长时间的使用测量精度退化,系统引入了自学习算法,通过车辆行驶场景的图像特征点计算物理参数的变化,修复老化或应力释放引起的偏差。另外,我们通过长时间、长里程的统计,针对不同场景做识别,降低误识别率,尤其对于雪地、雨水路面、车辙印等路面,这些路面会对于车道线的辨别造成验证干扰,我们通过不同场景的针对性处理,确保较高的识别率。在2020年9月,保隆科技顺利完成LDWS产品的开发,并批量供货。


三、双目融合雷达 准确判断突发


2020年9月,开启第二阶段AEB产品的开发。对比其他功能,如ACC或FCW,AEB对系统性能要求更高。


按照法规标准的要求,AEB应对紧急突发事件时,将对车辆制动系统进行控制。对于ACC或FCW,感知层算法对目标处于持续跟踪和测量状态,即时性要求不敏感,由于环境光照变化或车辆颠簸等因素引起偶尔的图像或雷达丢帧,并不会让系统产生较大波动,因为随后再次捕获目标,系统可以继续保持目标的跟踪策略。但是对于AEB,需要更高的即时性,因为突发事件往往需要短时捕捉并预判目标运动趋势,当目标晃动或丢失时,算法容错性能差,都会无法准确判断碰撞的可能性,例如行人变速(忽走忽停)横穿马路或鬼探头,或者行人及时停止横穿马路,在这种场景下,需要AEB首先能准确判定目标的三坐标位置、位移及即时速度,然后准确判定目标是否将会进入行驶区域产生碰撞,最后在结合当前车速、车辆参数及目标距离等,合理制定多级减速度以控制车辆,确保将车辆、驾驶员和目标的危害降为最小,并避免二次危险的发生,如追尾、车辆失控、侧翻等。对于意外状况的紧急处理,是对系统可靠性、稳定性的巨大挑战。


在前向视觉,AEB系统实现有单目和双目两种技术路线。目前普遍采用1V1R,也就是单目+毫米波雷达的方案实现。通过图像和雷达数据融合的方式判断和跟踪目标。图像可以用来确定目标的横向坐标位置以及对目标进行分类识别,毫米波雷达用于测距,且有很高的精度,通过双方的数据对目标进行匹配,来确定目标状态。在不同道路场景中,雷达的反射信息较多,可能包含大量的无用目标,也可能会丢失一些数据;图像筛选后的目标,对照雷达的信息时,可能会发生无法匹配的情况,于是需要通过一些置信度等概率指标来仲裁结果。对于同一目标,如果两种传感器有某一相同纬度数据,在该维度的标尺下,对其他维度信息进行对齐,那么会进一步提高多传感器对同一目标探测的一致性。我们采用双目视觉的特点,在深度信息上能够跟毫米波雷达提供相同维度信息,对于数据对齐起到关键作用。


在即时性上,我们采用不同的算法流程,为提高响应速度,双目深度引擎首先获取到的目标点云信息,从而能够将其从背景中分离,对于图像中的背景信息,比如远处的山、天空,以及立体信息中能够判断到的远离我驾驶区域之外的画面,这些信息对于驾驶策略是无意义的,也原本无需消耗计算资源进行排查。我们采用分割技术,只将有用的少量目标送入系统进行分类识别,忽略大量的冗余数据,减少运算量,提高速度。另外,当目标出现并锁定时,并不急于区分类别,而是及时将数据传输控制算法进行分析处理,更早地提供策略,避免过大的速度变化。


四、突破双目技术门槛 确保产品的一致性


在AEB开发上,除了算法的健壮性(容错性)以外,产品长时间使用的一致性也需要保证。重卡的使用场景与乘用车不一样,工况更复杂。双目是通过几何方式测距,确保双目视觉产品长时间测量稳定,是保证性能的关键。这一点也是双目技术的关键门槛,我们多种算法结合,不需要高精度生产组装,不需要高稳定性的材料,让产品可以全天候工作。通过场景识别特征,判断出产品内部及外部结构数据的微小变化,矫正相关参数,确保测量准确。一系列矫正算法,伴随着功能程序同时运行,时时纠偏。


产品开发上导入功能安全,感知层安全定义为QM,规控定义为ASIL B。项目初期,我们就跟客户积极讨论,导入功能安全目标,研发人员共同研究讨论,确定软硬件框架,以符合功能安全要求。在项目运行过程中,我们也不断改善,并利用AEB项目申请功能安全审核,获得了26262的认证。


目前,多家商用车供应商已经配备了AEB系统,但据车厂的了解,目前已经量产的AEB,很多用户会关闭XBR,也就是取消了AEB的自动控制权限。其实也是对目前大多产品的信心不足,也是由于误报和漏报较多导致。我们希望能够通过双目产品独特的技术,大幅度提高准确性。


五、依托自主芯片 确保供应安全


当前,我们量产的双目产品,主要元器件还是依赖国外进口,尤其是对于深度引擎,采用Xilinx的FPGA,价格也极其昂贵。Xilinx对于FPGA的出口,尤其是对中国的出口,管控很严。未来,如果美国商务部加大对华制裁,FPGA将是最敏感的器件。不过,我们现在已经量产了自主研发的双目引擎,并且已经布局第二代芯片。我们正在采用自主芯片,开发下一代双目产品,同时SoC也进行了国产化替代。第二代产品的成本已经大幅降低,而且,我们致力于发展除ADAS功能以外的诸如路面预瞄、魔毯悬架等功能。


依托自主芯片,我们已经制定产品开发的技术路线,未来通过双目相机取代毫米波雷达,实现L2级的产品功能。同时,进一步提供算法研发能力,逐渐实现横梁分离的产品,到最终实现模组分离,对于车厂的安装适应性更广。同时,为实现L3级以上的智能驾驶,引入更高算力的SoC,开发新一代主干神经网络,在立体视觉的技术上,结合深度学习,拓宽应用范围。


针对商用车的使用情况,我们希望结合双目视觉产品的特点,降低驾驶危险,确保人身安全,为车厂与车队带来利益,促进国内商用车行业的健康发展。


获取文中车型询底价
为你推荐

查看更多

地址:北京市海淀区阜成路115号1-2-4 《商用汽车新闻》传媒 联系电话:010-88152946

举报电话:010-65363263 举报邮箱:jubao@people.cn

没有账号 ? 立即注册

已经有账号 ? 登录