车载摄像头在ADAS HiL中的仿真方法

发布者:upsilon30最新更新时间:2024-05-27 来源: elecfans关键字:车载摄像头  ADAS  HiL  仿真方法 手机看文章 扫描二维码
随时随地手机看文章

车辆自动驾驶包括感知、判断和执行,而感知是整个过程的源头,是自动驾驶系统的重要模块。在车辆行车过程中,感知系统会通过传感器实时采集周边环境的信息,相当于自动驾驶汽车的“眼睛”,帮助汽车实现类似于人类驾驶员一样效果的观察能力。感知系统主要由摄像头、超声波雷达、毫米波雷达、激光雷达(可选)等传感器构成。摄像头作为主要的环境感知传感器起着非常重要的作用,可以实现360°全面视觉感知,弥补雷达在物体识别上的缺陷,是最接近人类视觉的传感器。随着自动驾驶技术的发展,要求的车载摄像头数量越来越多,清晰度越来越高,稳定性越来越强。


目前L2+、L3级别车辆搭载的摄像头根据安装位置主要分为前视摄像头、环视摄像头、后视摄像头、侧视摄像头以及内置摄像头五种类别。在行车时,前视、侧视、后视与毫米波、激光雷达共同感知融合,提供给算法模块可行驶区域、目标障碍物等信息,实现ACC/ICA/NCA、AEB、LKA、TSR等功能,同时内置摄像头会监控驾驶员的状态,实现疲劳监测功能;在泊车时,环视摄像头和超声波雷达共同感知停车位环境,实现APA功能。 车载摄像头在汽车高级驾驶辅助系统(ADAS)中扮演着重要角色,为我们的行车安全提供了强大的支持。

22c78a66-4185-11ee-8e12-92fbcf53809c.png

那么在做ADAS HiL测试时如何实现Camera仿真呢? 北汇信息提供以下两种实现方案
视频暗箱视频暗箱是将虚拟仿真场景视频信号连接到暗箱中的显示器上,使用真实摄像头对着显示器拍摄视频,通过同轴线缆将拍摄到的视频信号传输给自动驾驶控制器,使控制器认为处于实车环境中,从而达到对ADAS控制器测试的目的。22e5166c-4185-11ee-8e12-92fbcf53809c.png图2视频暗箱方案示意图暗箱设备主要由箱体、滑轨、显示器、透镜、摄像头及相关支架、底座组成。视频暗箱不需要主机厂或者Tire1提供图像采集模块与图像处理模块之间的通信协议,其采用真实的摄像头,这种方式容易实现、成本较低,但是需要根据显示器的大小,精确的设定摄像头的摆放位置和角度,易受光线和显示器的影响,同时显示器的频率有可能会造成图像识别的延迟。此方案适用于单目摄像头,并且摄像头视场角要小于120°(环视摄像头无法使用此方案),视频暗箱设备较大,一个暗箱只支持一路摄像头,精度也较低。234a5d7e-4185-11ee-8e12-92fbcf53809c.png图3视频暗箱整体结构

摄像头标定分两部分,首先是硬件设备位置标定,保持摄像头、透镜、显示器中心在一条水平线上;其次要在仿真场景中对拍摄到的车道线进行标定。 视频注入视频注入系统可用于摄像头原始数据流视频注入,使用VX1161视频回灌硬件对ADAS系统的车载摄像头传感器进行替换。摄像头仿真设备通过HDMI/DVI接口接收虚拟仿真场景不同Camera视角的视频信号,内部进行图像处理后以特定协议的视频信号注入给ADAS控制器。

237668e2-4185-11ee-8e12-92fbcf53809c.jpg

图4视频注入方案示意图视频注入技术不受光线的影响,仿真精度高,支持在线调节摄像头信号颜色空间(RGB,YUV,RAW等)。一个VX1161视频回灌硬件同时支持多路摄像头仿真,设备体积较小,在仿真多路摄像头信号时,各通道视频信号可通过串行器来同步信号触发,适用于多目摄像头、多通道注入。视频注入需要特定的视频协议信息,需要主机厂或者Tire1提供图像采集模块与图像处理模块之间的通信协议,开发存在畸变标定、色差调节等技术难点,成本较高。视频注入系统支持对多种Camera安装位置和特征进行配置(包括Resolution、Frame rate、Optics和Sensor特性等),适用于各类基于摄像头的应用。使用DYNA4作为场景和动力学仿真软件,视频注入+摄像头模型还能在仿真环境中实现其他镜头特性效果,例如屏闪、镜头畸变、鱼眼、运动模糊等,模拟由于环境光线突变导致的摄像头短时间曝光过度或不足、部分或全部通道增益调节错误、摄像头成像噪点或图像失真、镜头被雨雾或污泥遮挡导致的成像故障。

对于视频注入方案,摄像头仿真模型需要根据真实畸变数据、FOV、像素大小、分辨率等参数生成,但仿真模型仍与真实车载摄像头存在细微畸变差异,需要进行标定。标定有两种方法,方法一是获取摄像头模型拍摄的图片,计算出图片的畸变参数,修改ADAS控制器配置的摄像头畸变参数;方法二是使用模型生成的黑白棋盘格图像和真实摄像头图像比照,细微调整仿真模型的参数,以达到畸变参数一致。


248637ee-4185-11ee-8e12-92fbcf53809c.png

ADASHiLADAS HiL中,仿真的摄像头视频流数据与动力学模型数据及其他传感器数据共同传输给控制器,在CANoe软件中做实验管理,形成闭环链路。

1

仿真摄像头可以模拟真实世界中的各种场景和情况,包括不同的道路条件、天气条件和交通情况。通过模拟这些场景,可以评估控制器在各种情况下的性能和鲁棒性。

2

ADAS控制器接收视频流原始数据、激光雷达点云数据、毫米波雷达和超声波雷达目标列表数据,评估控制器对不同传感器数据的融合和处理能力。

3

摄像头仿真还可以用于测试和验证控制算法和功能。通过模拟各种场景和情况,可以验证控制器的目标检测、目标跟踪、车道保持、自动紧急制动等功能的准确性和可靠性。

4

视频流数据模拟全黑、全白、噪声叠加、运动模糊、丢帧、延迟等故障,注入给控制器,验证控制器功能安全机制。


249a9edc-4185-11ee-8e12-92fbcf53809c.png

总结

本文首先介绍了车载摄像头在ADAS系统中的作用,重点描述了在ADAS HiL中视频暗箱和视频注入两种摄像头仿真方案的差异,最后简要介绍了车载摄像头仿真在ADAS HiL中的应用。
北汇信息作为Vector的技术合作伙伴,覆盖智能驾驶系统MiL/HiL/ViL测试、车联网测试,传感感知测试等,为客户提供优质的智驾测试解决方案、测试集成系统和服务,助力智能驾驶仿真测试系统的快速验证和测试。


关键字:车载摄像头  ADAS  HiL  仿真方法 引用地址:车载摄像头在ADAS HiL中的仿真方法

上一篇:汽车SENT传感器测试
下一篇:SZSMF4L汽车级400瓦瞬态抑制二极管介绍

推荐阅读最新更新时间:2024-11-04 23:44

先锋推网联双摄像头行车记录仪 具备驾驶员监控/ADAS功能
(图片来源:先锋公司官网) 据外媒报道,自2017年4月开始,日本先锋公司(Pioneer)一直在供应Intelligent Pilot高级驾驶辅助系统(ADAS)解决方案。该驾驶辅助解决方案旨在通过利用基于数字地图的事故预测平台,以及网联物联网(IoT)设备,实现更安全驾驶。 在ADAS解决方案最新研发过程中,为了防止因驾驶员疲劳和困倦而引起交通事故,先锋公司新增了一个网联双摄像头行车记录仪,该行车记录仪配备了驾驶员监控功能,能够探测到驾驶员是否困倦、是否在分心驾驶,实时监控驾驶员状态,为安全驾驶提供更好的辅助,该公司计划于4月在日本推出该款行车记录仪。 日本此前修订了法规,要求载客和货运企业将驾驶员睡眠不足作为点名项,该法
[汽车电子]
先锋推网联双<font color='red'>摄像头</font>行车记录仪 具备驾驶员监控/<font color='red'>ADAS</font>功能
索尼发布用于车载摄像头的CMOS图像传感器IMX735
据麦姆斯咨询报道,近期,索尼 半导体 解决方案 公司 (下称“SSS”)推出用于车载摄像头的新型CMOS 图像传感器 :IMX735,像素水平实现突破,高达1742万有效像素。 自动驾驶 汽车为了实现系统自主地进行驾驶操作,需要提供覆盖车辆周围360°环境的先进、 高精度 的 检测 和识别性能。 因此,对于可以帮助实现这一点并支持开发出更先进的车载摄像系统的CMOS图像传感器的需求十分可观。 索尼此款新型CMOS图像传感器的像素水平实现突破,高达1742万有效像素,可以高清地捕捉远处的物体。 此外,自动驾驶系统通常将车载摄像头与激光雷达(LiDAR)和其他传感系统结合使用。传统的CMOS图像传感器以纵向逐行读出像素输出的
[汽车电子]
索尼发布用于<font color='red'>车载</font><font color='red'>摄像头</font>的CMOS图像传感器IMX735
恩智浦率先推出28 nm RFCMOS雷达单芯片系列 助力软件定义汽车构建ADAS架构
恩智浦率先推出28 nm RFCMOS雷达单芯片系列 助力软件定义汽车构建ADAS架构 ● 专为分布式雷达架构设计的新一代雷达单芯片旨在促进从当今边缘计算传感器无缝过渡到未来分布式串流传感器的进程 ● 恩智浦的完整系统解决方案支持软件定义雷达,包括360度传感器融合、更出色的传感器分辨率和基于人工智能的物体分类 ● 汽车电子行业领先供应商HELLA将基于恩智浦SoC系列产品开发其第七代雷达产品组合 荷兰埃因霍温——2024年1月10日—— 恩智浦半导体 今日发布汽车雷达单芯片系列新产品。全新的SAF86xx单芯片集成了高性能雷达收发器、多核雷达处理器和MACsec硬件引擎,可通过汽车以太网实现先进的安全数据通信
[汽车电子]
恩智浦率先推出28 nm RFCMOS雷达单芯片系列 助力软件定义汽车构建<font color='red'>ADAS</font>架构
LeddarTech发布灵活的模块化LeddarEngine 加速开发ADAS和AD传感器
据外媒报道,ADAS和自动驾驶(AD)传感技术供应商LeddarTech®宣布推出全新版本的LeddarEngine软件,以支持和加速LiDAR传感器的开发。LeddarEngine解决方案包括LeddarCore™ LCA3片上系统(SoC)和LeddarSP™ 信号处理,为开发针对大批量生产而优化的高度集成和灵活的固态LiDAR解决方案设立了新标准。 图片来源:LeddarTech 这个新版本软件专为LeddarEngine软件引入了多个新的集成层,且与新硬件平台兼容。LeddarTech将控制、信号处理和点云处理进行了分离,因此这些功能可以单独使用或组合使用,使客户能够更好地控制最终解决方案。 为其当前产品
[汽车电子]
LeddarTech发布灵活的模块化LeddarEngine 加速开发<font color='red'>ADAS</font>和AD传感器
2018年中国地区ADAS方案商及芯片供应商排名榜单
    市场研究机构Technavio,近期发布了一份中国汽车产业ADAS市场五大供应商的报告,报告指出,至2021年,博世(Bosch)、大陆(ConTInental)、德尔福(Delphi AutomoTIve)、DENSO和Mobileye,将是中国汽车ADAS市场中最具竞争力的业者。   Technavio研究分析,中国汽车ADAS市场预计在2017至2021年达到接近35%的强势复合年增长率。市场由少数成熟的制造商或供应商提供ADAS给OEM。   由于严格的安全规范和消费者对车辆安全意识的提高可能加剧市场竞争,尤其在中国政府实施C-NCAP 2018计画后,预计中国的ADAS市场将呈现指数级增长。  
[汽车电子]
地平线、英特尔将于CES联合展示ADAS产品原型
据报道,,1月5日-8日拉斯维加斯消费电子展(CES)上,地平线机器人(以下简称“地平线”)将与英特尔联合展示一款基于单目摄像头和FPGA的ADAS产品原型系统。 车辆检测结果 该原型由英特尔和地平线联合开发完成,基于地平线最新设计的一款低功耗深度神经网络处理器架构IP。分工上,英特尔提供了FPGA硬件平台,地平线提供了实现在FPGA上的深度神经处理器架构,深度神经网络算法,以及整套嵌入式人工智能解决方案。该系统可实现高速公路和市区道路场景下的ADAS功能,可对车辆、车道线,行人,以及可行驶区域等同时实时检测和识别。 行人检测结果 现场展示会尽量还原行车中视觉部分实时计算的过程。使用一个和硬件平台连接的单目摄像头拍摄路况,并在
[汽车电子]
ADAS数据年报:你汽车里的智能装备含金量有多少
《2020年中国乘用车主要ADAS功能装配数据年报》详细分析了乘用车11项ADAS功能(包含LCA、RCTA、LDW、LKS、FCW、AEB、ACC、PD、TSR、APA、AVS)的装配量和装配率走势。 2020年,国内乘用车各项ADAS功能装配量整体较2019年都有提升,其中超过600万辆的是FCW、AEB,同比增速分别为50.0%和51.3%。就未来主机厂对车型功能进阶路径来看,2021年ACC、LKS等控制类具有较大装配潜力。 图:2019-2020年中国乘用车新车ADAS各功能装配量 来源:佐思产研《2020年中国乘用车主要ADAS功能装配数据年报》 下面我们以AVS为例详细阐述。 2020
[汽车电子]
<font color='red'>ADAS</font>数据年报:你汽车里的智能装备含金量有多少
国内争抢分食车载摄像头和激光雷达大蛋糕
雷达通过发射声波或者电磁波对目标物体进行照射并接收其回波,由此获得目标物体的距离、距离变化率(径向速度)、大小、方位等信息。雷达最先应用于军事中,后来逐渐民用化。随着汽车智能化的发展趋势,雷达开始出现在汽车上,主要用于测距、测速等功能。汽车雷达可分为超声波雷达、毫米波雷达、激光雷达等,不同雷达的原理不尽相同,性能特点也各有优势,可用于实现不同的功能。 (1)超声波雷达 超声波雷达是利用传感器内的超声波发生器产生 40KHz的超声波,再由接收探头接收经障碍物反射回来的超声波,根据超声波反射接收的时间差计算与障碍物之间的距离。超声波雷达成本较低,探测距离近精度高,且不受光线条件的影响,因此常用于泊车系统中。 自动泊车功能离不
[汽车电子]
国内争抢分食<font color='red'>车载</font><font color='red'>摄像头</font>和激光雷达大蛋糕
小广播
最新嵌入式文章
何立民专栏 单片机及嵌入式宝典

北京航空航天大学教授,20余年来致力于单片机与嵌入式系统推广工作。

 
EEWorld订阅号

 
EEWorld服务号

 
汽车开发圈

电子工程世界版权所有 京ICP证060456号 京ICP备10001474号-1 电信业务审批[2006]字第258号函 京公网安备 11010802033920号 Copyright © 2005-2024 EEWORLD.com.cn, Inc. All rights reserved