智能驾驶需要怎样的ISP？

在智能手机上，图像传感器的像素、色深越来越高，支持拍摄的视频分辨率、帧数越来越大，都需要更强大的ISP进行支撑。比如相机取景框的延迟、拍摄照片后的等待时间，都关系到ISP的性能。

不止于手机，实际上几乎任何需要用到图像传感器的场景都需要ISP对传感器获取到的信息进行处理。在智能驾驶领域，摄像头作为核心的传感器之一，也需要ISP对数据进行处理，再将摄像头数据提供给智驾的AI算力芯片等进行计算。智能驾驶技术快速发展的过程中，也对ISP性能有了新的需求。

智能驾驶的ISP需求

在智能驾驶应用中，相比消费或安防等应用最大的区别就是低延时的硬性要求。在一些低端智能手机上，或是一些家庭安防摄像头，我们往往可以看到画面与实际环境是有肉眼可见的延迟。

但如果在智能驾驶上，摄像头数据有1秒的延迟，那么从摄像头再到智驾芯片作出决策，车辆可能已经行驶超过30米，而智驾系统作出的决策实际是应对30米前的状况，这对行驶安全来说会是重大的隐患。

所以，为了保障智驾系统对路面环境的快速响应和及时反馈，ISP处理图像数据的延迟需要尽可能小，给后端感知算法和算力芯片留有足够的处理时间冗余。

除了延迟之外，ISP还负责对图像传感器的数据进行各种优化处理，汽车行驶环境复杂多变，与手机、安防等领域相比，汽车领域对图像质量低照度、动态范围和功能安全等多种要求都要更高。比如在进出隧道、地库等场景，明暗变化极大，需要图像传感器具备极高的动态范围以及ISP具备24bit甚至更高位宽的RAW数据处理能力。

智驾系统还对色彩还原和细节渲染有较高要求，比如识别红绿灯、识别道路标志、地面画线等，这些路面信息的颜色，在特殊的光照条件下，色彩的变化会给感知算法识别带来困难，需要ISP准确还原颜色，避免算法误判。

不过智能驾驶用到的ISP首要目标不是满足人眼的视觉感受，而是注重机器视觉的需求。辉羲智能曾表示，目前在智能驾驶用到的AI网络本身具备一定的鲁棒性，对于ISP的处理能力改进可能没有迫切需求。所以对于智能驾驶来说，会更加看重ISP的低延迟和信号保真两个方面。

信号保真的目的是保证感知算法能够获得与现实情况尽可能接近的信息，就像前面提到的色彩还原、高动态范围等。

黑芝麻还提到智能驾驶ISP会面临的一个问题，就是不同传感器的噪声差异。在实际智驾应用中，前视、侧视、后视等摄像头中，会采用不同的图像传感器，比如像素不同、型号不同等差异。而不同的图像传感器，在感光灵敏度等存在一定差异，在输出信息的噪声形态和强度都各不相同。

感知算法在处理图像信息时会对输入图像的信噪比有一定要求，所以ISP需要对不同传感器和不同类型噪声都具备相应的处理能力，使得不同的传感器输出的图像信息在信噪比上能够符合感知算法的要求。

智驾系统有可能去掉ISP？

ISP出现的目的是对图像信号进行处理，以让图像变得更加还原现实或是让人觉得更加“好看”，但对于机器视觉来说，是否真的需要经过处理后的图像，在业界也有一些讨论。尤其是ISP的处理需要时间，去掉ISP后甚至还能降低一点延迟。

这里的逻辑是，为了给人眼看到更好的画面，在ISP处理的过程中很多对机器视觉有用的数据也被处理掉了，如果省略了ISP的处理过程，那么所获得的信息量会增加。

马斯克曾表示，在自动驾驶系统中，图像信号不经ISP处理可以降低13毫秒的延迟，这是因为特斯拉整车有8个自动驾驶摄像头，每个摄像头经过ISP处理会产生1.5到1.6毫秒的延迟。

但目前来看，在智驾系统中ISP依然是必须的，包括特斯拉也并没有完全去掉ISP。有学者认为，现有的图像传感器去掉ISP后，会令算法识别造成很多困难，比如没有了色彩还原等。

至于延迟问题，辉羲智能认为可以借鉴智能手机领域的ISP，比如将图像切分成tile进行处理，将一帧图像切成4个tile，最高可以将延迟缩短至二分之一帧。

小结

在智能手机领域，为了让人眼看到更好看的图像，ISP经历了快速的发展。对于智能驾驶而言，ISP虽然也有很大程度的提升空间，但对于应用以及实际算法的需求，还需要行业继续探索。