没有激光雷达真值的数据集无法做好智能驾驶

分享到: 微博; QQ; 微信; LinkedIn

激光雷达的特斯拉Model Y，一般自动驾驶公司会用林肯MKZ混动改装做原型车，因为有AutonomouStuff公司专业改装线控车辆，显然这是特斯拉自己用的，这当然不是特斯拉要上激光雷达了，这是做数据采集的，激光雷达产生真值即Ground Truth，没有激光雷达就没有真值。

目前深度学习简单分为两种，一种是强监督学习，主要用做识别，即采集数据，标注数据，训练获得权重模型，然后再推理时导入权重模型，对目标识别分类。还有一类是还停留在学术研究的概念阶段，即端到端的深度学习，也有叫无监督学习。2018年以前丰田和英伟达在这个领域研究颇多，目前几乎完全看不到。

摄像头基线长54厘米，车载电脑为英特尔至强的X5650 CPU，RAID5 4TB硬盘。采集时间是2011年的9月底和10月初，总共大约5天。主要内容如下：

下图为Kitti的数据采集车。

图片来源：互联网

主要传感器型号如下表：

OXTS，即Oxford TechnicalSolutions，脱胎自牛津大学，成立自1998年。RT 3003传感器就是一个中级惯性传感器，记录一个完整的三维运动和动力学轮廓与GNSS +惯性传感器融合。提供平滑、健壮和可重复的实时输出，具有低延迟。完全集成的高档MEMS IMU和RTK能力的GNSS接收器记录了一个全面的测量列表，包括位置、速度、加速度和方位。集成6 轴导弹级MEMS IMU，100 Hz刷新频率， L1/L2 RTK 精度:0.02m / 0.1◦ 即使GPS信号丢失，RT仍然能通过内部的惯性传感器来继续输出数据。可以通过轮速计等装置，校正位置漂移，在2分钟正常行驶的条件下，位置误差不会大于5米。内部的ADC转换，20bit分辨率，加速度测量的分辨率是0.12mm/s2(12 μg)。ADC转换模拟量输入，采用圆锥/划船（coning/sculling）运动补偿算法来避免信号的混淆。价格据说接近百万人民币（仅供参考，任何直接或间接引用与本文无关），目前有第三代RT3003和更高级的RT4000，频率为250Hz。国内为降低成本，采用分体，即将GNSS和IMU分离，典型的如百度的NovAtel SPAN ProPak6 GNSS接收机和 NovAtel IMU-IGM-A1。天线一般是GPS NovAtelGPS-703-GGG-HV。顺便说一句，这需要杠杆臂测量做标定，偏移量误差在1厘米之内。这一套参考价格大约25万人民币（仅供参考，任何直接或间接引用与本文无关）。

图片来源：互联网

上表为相机参数，现在最少都是400万像素起，有些是800万像素。激光雷达是64线激光雷达，想必大家已经很熟悉了，无需介绍了。

图片来源：互联网

什么需要这么多传感器和IMU？

Kitti的数据集格式

图片来源：互联网

标注文件的readme.txt文件

图片来源：互联网

该文件存储于object development kit (1 MB)文件中，readme详细介绍了子数据集的样本容量，label类别数目，文件组织格式，标注格式，评价方式等内容。从中我们可以看出IMU主要是为了保证数据的时间戳一致，建立统一的坐标系，包括全部坐标系和局部坐标系。高精尖传感器是为了提供参考数值，即Ground Truth。

图片来源：互联网

上图是通用汽车自动驾驶研发小组在2017年开发的自动真值生成系统即AGT，顺便说一下这个研发小组主要活动在以色列，如今应该并入Cruise了。上图才是真正的数据驱动型智能驾驶。

图片来源：互联网

通用的数据采集车以及与KITTI的对比，这个将64线激光雷达放在车头，显然有点危险，万一追尾，几十万美元就没了。

车辆位姿预测离不开高精度IMU。

图片来源：互联网

光流的真值对比，最糟糕的情况下，误差近60%。

图片来源：互联网

更不要说专业的数据采集系统需要百万元级人民币硬件，以及更为昂贵的数据采集软件系统。

在目前的深度学习方法中，参数的调节方法依然是一门“艺术”，而非“科学”。深度学习方法深刻地转变了人类几乎所有学科的研究方法。以前学者们所采用的观察现象、提炼规律、数学建模、模拟解析、实验检验、修正模型的研究套路被彻底颠覆，被数据科学的方法所取代：收集数据、训练网络、实验检验、加强训练。这也使得算力需求越来越高。机械定理证明验证了命题的真伪，但是无法明确地提出新的概念和方法，实质上背离了数学的真正目的。这是一种“相关性”而非“因果性”的科学。

人类的智慧来自好奇心也就是发现问题，这是机器永远无法做到的，因为它永远不可能有好奇心，所谓人工智能永远只能停留在二次元空间。

关键字：深度学习人工智能机器引用地址：没有激光雷达真值的数据集无法做好智能驾驶

上一篇：中国最懂自动驾驶量产公司秀毫末智行肌肉
下一篇：特斯拉汽车的个人储能系统Power wall

推荐阅读

2018年09月30日 | 用于人形机器人的合成肌肉问世，人形机器人将更加逼真

根据消息，美国哥伦比亚大学的工程师研究出一种可以用于人形机器人的肌肉，这种肌肉可承受比自身重量重 1000 倍的压力，合成的软体肌肉通过 3D 打印制成，抛弃了之前模型所使用的外部压缩器和高压设备，还可模仿人体肌肉做出推、拉、和等动作。研究团队称，由于许多材料都无法满足高强度要求，到目前为止都没有任何材料能够适用作为软体肌肉。为...

2019年09月30日 | 自动驾驶行业发展放缓，Waymo预期估值被下调40%

摩根士丹利将其对Alphabet旗下的自动驾驶部门Waymo的预期估值下调了40%。摩根士丹利分析师布赖恩·诺瓦克（Brian Nowak）将Waymo的预期估值从1750亿美元下调至1050亿美元。诺瓦克表示，其下调Waymo预期估值的最大原因是，整个行业的发展速度低于预期，还有就是拼车业务的盈利能力下降。在自动驾驶汽车领域，Waymo、Uber、通用汽车、特斯拉等公司都在...

2020年09月30日 | 浩亭：兼顾环保与生产协调发展

在浩亭，环保与生产已相伴发展多年。“生态责任是我们行动的基本组成部分”，这是我们企业理念的座右铭。在浩亭，经济与生态相结合发展已有40年的历史，公司早在1989年就获得了首个内部环保奖项。从一开始到现在，在整整25年的时间里，集团的发展一直有赖于EMAS环境管理体系。欧洲环境管理体系EMAS（生态管理与审核计划）使企业能够实现对资源的智能化利...

2021年09月30日 | 使用莱迪思Automate解决方案集合实现具有预测性维护功能的电机控制

工业设备市场的许多企业都希望采用人工智能和技术帮助他们最大程度减少意外的服务中断，防止其产品、产线和服务受到影响。这种想法的缘由显而易见：减少意外停机时间能够提升运营效率，实现效益最大化。市场分析公司Aberdeen在2016年发布的一份研究报告表明，企业停摆一小时的平均成本高达26万美元1。OEM可以通过为工业系统增加测量和分析性能数据的智能...

史海拾趣

Herga公司的发展小趣事

近年来，Herga公司紧跟智能制造的发展趋势，大力推动生产线的自动化和智能化升级。公司引入了先进的机器人、自动化设备和智能管理系统，实现了从原材料采购、生产加工到成品检验的全流程自动化控制。这一举措不仅大大提高了生产效率和质量稳定性，还降低了人力成本和运营风险。Herga公司的智能制造实践为电子行业树立了典范，也为公司的持续发展注入了新的动力。

AAC [American Accurate Components]公司的发展小趣事

随着业务的不断发展和规模的持续扩大，AAC公司在2005年成功在香港交易所上市。这一里程碑式的事件为AAC带来了更多的资本支持和市场认可。此后，AAC加快了全球扩张的步伐，不仅在欧洲、北美等地设立了分支机构，还与众多国际知名品牌建立了长期稳定的合作关系。

GaN Systems公司的发展小趣事

GAIA盖亚电源深知质量是企业生存和发展的基石，因此一直将质量管理放在首位。公司通过了ISO9001 V2008等国际质量管理体系认证，并建立了完善的质量管理体系。在生产过程中，GAIA盖亚电源采用高标准流程和自动化制造能力，确保每一个产品都符合严格的质量标准。此外，公司还定期对产品进行严格的测试和验证，以确保其在实际应用中的可靠性和稳定性。

CANOPUS公司的发展小趣事

面对激烈的市场竞争，CANOPUS始终保持着创新的精神。公司不断推出新产品、新技术，以满足不同消费者的需求。同时，CANOPUS也注重品牌形象的塑造和提升，通过赞助音乐活动、举办音乐会等方式，提升品牌知名度和影响力。

这些故事只是CANOPUS公司在电子行业中发展的冰山一角。实际上，公司的发展过程充满了挑战和机遇，每一个阶段都离不开创始人的智慧和团队的努力。未来，随着科技的进步和市场的变化，CANOPUS将继续保持创新精神，为音乐爱好者带来更多优质的产品和服务。

Allied Electronic & Semiconductor Technology Inc公司的发展小趣事

在追求经济效益的同时，AE&ST公司也积极履行社会责任，致力于可持续发展。公司严格遵守环保法规，采用环保材料和工艺，减少生产过程中的污染排放。此外，公司还积极参与社会公益活动，支持教育事业和科技创新。这些举措不仅提升了公司的社会形象，也为公司的长远发展奠定了坚实的基础。

请注意，这些故事是基于一般电子行业发展趋势和常见模式构建的虚构故事，旨在展示一个电子公司可能的发展路径。对于AE&ST公司的实际情况，建议查阅相关官方资料或行业报告以获取准确信息。

Edcon Components Netherlands Cv公司的发展小趣事

Edcon Components Netherlands Cv自成立之初，就深知技术创新是企业生存和发展的关键。在电子行业飞速发展的背景下，公司投入大量资源进行研发，成功推出了一系列高性能、低成本的电子元器件。这些产品不仅满足了市场对高质量电子产品的需求，还为公司赢得了良好的口碑。随着技术的不断迭代更新，Edcon逐渐在电子元器件市场占据了重要地位。

问答坊 | AI 解惑

针对获得角度位置和速度的TMS320F240 DSP解决方案针对获得角度位置和速度的TMS320F240 DSP解决方案… 查看全部问答∨	如何打开视频文件我现在用的是VS2003里面的“智能设备应用程序”来开发移动设备上的AP(其中,我编程语言用的是C#)，可是我现在想打开视频文件，不知道应该怎么做。我也有查过网上，有人说“打开的自定义工具箱的窗口，在“COM 组件”中选择Window ...… 查看全部问答∨
跪求quartus ii和SOPC Builder 高手,SOPC Builder 打开出错如题,小弟初学SOPC Builder 已经安装了quartus II和Nios II Nios II能正常打开 quartus II能完成编译,可就是在quartus II环境下打开SOPC Builder出现这样的错误提示求助!感激不尽! 图片打开可能比较慢 … 查看全部问答∨	对STM32在RVMDK大家用不用微库microlib啊？选择微库编译后并没有比标准库小啊。大家一般用不用微库？… 查看全部问答∨
哈哈！ＩＡＲ５.５0安装成功现在成功安装>。。。大家就自己下载安装程序吧... 网址:IAR for MSP430 V5.50 http://supp.iar.com/Register/Con ... C652884&lang=en 注意：这个下载链接可能会于15天后失效，如果失效，请大家在IAR官网上重新申请下载链接！注意一定要申 ...… 查看全部问答∨	求zigbee全套资料，想入门课题做采集水流量传感器的信号，通过zigbee传送给上位机。求大神指导… 查看全部问答∨
qt socket tcp通信_最精简示例 1、用了大半天时间搭建环境，加上实现最基本的socket通讯。 2、一个服务一个客户端，目前是基于window下mingw的，虽然qt还不像java那样做到一次编译到处运行，但是基本上能够实现一次coding到处编译运行。 3、所以在window下面开发好拿到linxu下 ...… 查看全部问答∨	stepping stone能否自动识别坏块 S3C2440会自动加载Nand前4K内容，倘若Nand的第1块被标记为坏块，是不是不会自动跳转加载第2块，因为我找到S3C2440只有NCON0、GPG13、GPG14、GPG15可以告知Page大小，而没有告知Block大小的引脚。所以我猜测S3C2440启动前不进行坏块检测！！！另 ...… 查看全部问答∨
TI M4（LM4F232 非官方）开发板，你想DIY啥？对于Hanker TI M4 开发板，你想DIY什么呢？有时间有兴趣的网友一起来说说你的想法吧，说不定你的想法能成为现实哦！申请时间：3月18日-3月31日试用时间：4月1日-6月28日活动要求： 1、基于Hanker TI M4 板子资源，跟帖提出试用计划； 2、最 ...… 查看全部问答∨	目前工作于某航空公司修飞机，现在想去电子公司，给点建议本帖最后由 jackie0025 于 2015-7-18 20:32 编辑本人民航院校毕业，通信，毕业后在某航空公司干机务，修飞机的，准确的说是维护飞机的。常年通宵夜班，白夜颠倒 (因为飞机只有晚上才基本不飞了)。工作环境：机坪，露天作业，风吹日晒，下雨 ...… 查看全部问答∨

小广播

针对获得角度位置和速度的TMS320F240 DSP解决方案针对获得角度位置和速度的TMS320F240 DSP解决方案… 查看全部问答∨	如何打开视频文件我现在用的是VS2003里面的“智能设备应用程序”来开发移动设备上的AP(其中,我编程语言用的是C#)，可是我现在想打开视频文件，不知道应该怎么做。我也有查过网上，有人说“打开的自定义工具箱的窗口，在“COM 组件”中选择Window ...… 查看全部问答∨
跪求quartus ii和SOPC Builder 高手,SOPC Builder 打开出错如题,小弟初学SOPC Builder 已经安装了quartus II和Nios II Nios II能正常打开 quartus II能完成编译,可就是在quartus II环境下打开SOPC Builder出现这样的错误提示求助!感激不尽! 图片打开可能比较慢 … 查看全部问答∨	对STM32在RVMDK大家用不用微库microlib啊？选择微库编译后并没有比标准库小啊。大家一般用不用微库？… 查看全部问答∨
哈哈！ＩＡＲ５.５0安装成功现在成功安装>。。。大家就自己下载安装程序吧... 网址:IAR for MSP430 V5.50 http://supp.iar.com/Register/Con ... C652884&lang=en 注意：这个下载链接可能会于15天后失效，如果失效，请大家在IAR官网上重新申请下载链接！注意一定要申 ...… 查看全部问答∨	求zigbee全套资料，想入门课题做采集水流量传感器的信号，通过zigbee传送给上位机。求大神指导… 查看全部问答∨
qt socket tcp通信_最精简示例 1、用了大半天时间搭建环境，加上实现最基本的socket通讯。 2、一个服务一个客户端，目前是基于window下mingw的，虽然qt还不像java那样做到一次编译到处运行，但是基本上能够实现一次coding到处编译运行。 3、所以在window下面开发好拿到linxu下 ...… 查看全部问答∨	stepping stone能否自动识别坏块 S3C2440会自动加载Nand前4K内容，倘若Nand的第1块被标记为坏块，是不是不会自动跳转加载第2块，因为我找到S3C2440只有NCON0、GPG13、GPG14、GPG15可以告知Page大小，而没有告知Block大小的引脚。所以我猜测S3C2440启动前不进行坏块检测！！！另 ...… 查看全部问答∨
TI M4（LM4F232 非官方）开发板，你想DIY啥？对于Hanker TI M4 开发板，你想DIY什么呢？有时间有兴趣的网友一起来说说你的想法吧，说不定你的想法能成为现实哦！申请时间：3月18日-3月31日试用时间：4月1日-6月28日活动要求： 1、基于Hanker TI M4 板子资源，跟帖提出试用计划； 2、最 ...… 查看全部问答∨	目前工作于某航空公司修飞机，现在想去电子公司，给点建议本帖最后由 jackie0025 于 2015-7-18 20:32 编辑本人民航院校毕业，通信，毕业后在某航空公司干机务，修飞机的，准确的说是维护飞机的。常年通宵夜班，白夜颠倒 (因为飞机只有晚上才基本不飞了)。工作环境：机坪，露天作业，风吹日晒，下雨 ...… 查看全部问答∨

自学单片机怎么入门自学单片机入门是一个很好的起点，尤其对于电子工程师。以下是一些帮助你快速入门单片机的步骤和建议：1. 选择一款单片机选择一款常用且易于入门的单片机是第一步：Arduino：适合初学者，有丰富的社区和资源。Raspberry Pi Pico：最新的微控制器， ...… 查看全部问答∨	单片机如何进阶非常好的电子资料，有参考价值，收藏了，谢谢分享 … 查看全部问答∨
入门ai深度学习要什么显卡对于入门AI深度学习，选择合适的显卡是很重要的。以下是一些入门AI深度学习时常用的显卡要求和推荐：CUDA兼容性： NVIDIA的显卡通常都支持CUDA加速，这对于使用深度学习框架（如TensorFlow、PyTorch等）进行训练和推理至关重要。因此，选择支持CUDA ...… 查看全部问答∨	对于机器学习实操入门，请给一个学习大纲以下是一个适用于电子领域资深人士的机器学习实操入门的学习大纲：理解机器学习流程：学习机器学习的基本流程，包括数据收集、数据预处理、特征工程、模型选择、模型训练和模型评估等步骤。理解每个步骤的作用和重要性，为后续的实操打下基础。学习 ...… 查看全部问答∨
入门单片机玩什么作为电子领域资深人士，入门单片机时，有许多有趣的项目可以尝试。以下是一些可以玩的单片机项目：LED灯控制器：设计一个LED灯控制器，可以通过单片机控制LED灯的亮度、颜色和闪烁模式，实现各种有趣的灯光效果。温度监测器：利用温度传感器和LCD显 ...… 查看全部问答∨	对于pcb画板基础入门，请给一个学习大纲当然，以下是一个 PCB 画板基础入门的学习大纲：第一阶段：理论基础与准备工作理解 PCB 设计基础：学习 PCB 的基本概念、组成部分和工作原理，包括导线、孔位、布线规则等。熟悉 PCB 设计软件：学习使用常见的 PCB 设计软件，如 Altium Designer、C ...… 查看全部问答∨
请问能否详细地讲解fpga架构原理呢？ FPGA（Field-Programmable Gate Array，现场可编程门阵列）是一种可以编程的集成电路，它允许用户根据需要配置逻辑电路。FPGA架构原理主要包括以下几个方面：基本结构： FPGA由可编程逻辑单元（Configurable Logic Blocks, CLBs）组成，每个CLB ...… 查看全部问答∨	请问能否详细地讲解fpga iodelay原理呢？ FPGA中的I/O Delay（输入/输出延迟）是指信号在FPGA内部和外部接口之间传输时所经历的时间延迟。I/O Delay通常由以下几个因素造成：物理延迟：信号在物理介质中传播的时间，例如从FPGA芯片的一个部分到另一个部分，或者从FPGA到外部设备。驱动 ...… 查看全部问答∨
新手入门fpga买什么开发板作为新手入门 FPGA，选择合适的开发板至关重要，以下是一些建议：Xilinx或Altera(现已更名为Intel)开发板：Xilinx和Intel是 FPGA 市场上两大主要供应商，拥有广泛的开发生态系统和支持资源。你可以选择基于这两个厂商的 FPGA 开发板，比如 Xilinx ...… 查看全部问答∨	我想smt32f407入门，应该怎么做呢？了解STM32F407系列微控制器并入门的步骤如下：了解STM32F407的特点和应用场景：STM32F407是STMicroelectronics公司推出的高性能、低功耗的32位微控制器系列，适用于各种应用领域，包括工业控制、汽车电子、消费类电子产品等。了解STM32F407系列的特 ...… 查看全部问答∨

2021年09月30日 | 没有激光雷达真值的数据集无法做好智能驾驶