瑞萨发布了下一代动态可重构人工智能处理器（DRP-AI）加速器

最近的视觉模型必须处理动态和复杂的环境，因此在实时应用中需要更高的能效和速度。

为了满足市场需求，发布了下一代动态可重构（DRP-AI）加速器。DRP-AI加速器提供10 TOPS/W的高功率效率，比传统技术高出10倍，它可以在低功耗的传统处理器（MPU）上面运行复杂的图像AI模型，而不需要像以前一样采用高功耗的来运行。

除了这个AI加速器外，高端RZ/V2H MPU还配备了使用动态可重构处理器（DRP）的图像处理加速器、运行频率高达1.8GHz的四核处理器 Cortex-A55、双核800MHz Arm Cortex-R8高速实时处理器和I/O处理Arm Cortex-M33子内核，采用异构多处理器配置。

动态可重构处理器（DRP）

七个基于Arm的内核、下一代DRP-AI和DRP的组合，可以立即处理控制中的图像识别和AI判断结果，使其成为下一代自主、自主移动机器人、和其他应用的理想AI处理器。

下一代AI加速器DRP-AI

RZ/V2M、RZ/V2L和RZ/V2MA嵌入了瑞萨独创的DRP-AI加速器，但瑞萨已将其独创的AI加速器DRP-AI升级为下一代，以满足最近的市场需求。

为了大幅提高效率，DRP-AI应用了INT8量化和支持，用于非结构化修剪，这是传统AI加速器难以实现的，以实现高达80 TOPS的推理性能和10 TOPS/W的电源效率。

下一代高能效AI加速器（DRP-AI3）：自治系统高级AI中的嵌入式处理速度提高10倍”白皮书

下图1显示了AI推理性能与其他RZ/V的比较。以ResNet-50为例，典型的分类卷积（CNN）的性能比不修剪的RZ/V2L高14倍（密集模型），采用模型修剪后的RZ/V2H比RZ/V2L（密集模型）性能高45倍。

图1 RZ/V系列AI推理性能（不包括前/后处理）

通过动态可重构处理器DRP打开CV加速

甚至在出现之前，各种方法就已被用于图像识别和决策的应用中。OpenCV这个开源的库就是这样一个例子。即使现在有了AI图像处理，OpenCV仍然是一项非常有用的技术。Vision AI和OpenCV现在都在适当的场景一起使用。

为了加速AI和OpenCV等各种图像处理，RZ/V2H MPU设计了与DRP-AI分离的动态可重构处理器，为OpenCV加速器提供DRP库，充分利用其灵活性。

图2比较了具有DRP的OpenCV加速器与RZ/V2H四核CPU的性能。例如，通过使用DRP加速，用于图像边缘的Sobel从7.6fps提高到123fps的速度，提高了16倍。

图2 OpenCV加速器性能基准测试

AI异构配置+高速实时控制

虽然快速多核Linux处理器是图像AI的最佳选择，但它需要大量的内存资源，并且很难实现机械控制所需的亚毫秒级实时性能。

为了解决这个问题，RZ/V2H使用四核Cortex-A55来运行包括AI处理在内的Linux程序，并使用专用的高速实时处理器在需要高实时性能的应用（如）中进行处理。

通过使用OpenAMP进行处理器间不同操作系统的连接，DRP-AI和Linux处理器做出的决策结果可以反映在RTOS处理器的实时机械控制中。

图3 RZ/V2H框图

具有这些独特功能的RZ/V2H嵌入式AI已投入量产，RZ/V2H评估板也可用于快速启动您的下一个视觉AI开发。

审核编辑：刘清