i.MX 8m Plus如何通过增加ISP和NPU加速边缘计算

分享到: 微博; QQ; 微信; LinkedIn

本文作者：NXP Ben Eckermann

云计算、边缘计算和基于视觉的系统已经应用在越来越多的工业和消费系统中。此外，许多现代系统还采用机器学习和人工智能来增强用户体验，这种方法通常要求嵌入式系统设计者使用各种不同的SoC和专用处理器来完成所有这些任务。

然而，NXP决定采取不同的方法，他们将图像信号处理器（ISP）、用于机器学习加速的神经处理单元（NPU）和MPU集成在一个器件中——先进的i.MX 8m Plus应用处理器。

图1 i.MX 8M Plus应用处理器。

云计算与边缘计算

为了理解i.MX 8M Plus应用处理器为什么为边缘计算提供强大的解决方案，需要一些背景知识。

云计算是指在用户使用内部网络范围之外的计算资源，这些资源可以是任何种类的。但是，它们通常用于执行要求高的任务和数据存储。

通常，基于云的数据中心并不是一个用户或组织所独有的，资源在所有用户之间共享，被称之为公有云。公共云服务使用现收现付模式，这意味着如果上传不必要或杂乱的数据在云中进行处理，成本可能会迅速增加。

这就是边缘计算可以派上用场的地方。边缘计算将用户和云之间的一些资源放在他们的网络中。但是，通常并非所有的计算都在边缘执行，取而代之的是，在数据上传到云端之前，利用边缘资源过滤数据并丢弃不需要的元素，从而避免不必要的成本。通常，机器学习和人工智能被用来自动分类结果，并且只将相关信息上传到云端。

然而，也可以完全忽略云，在边缘处理器上本地运行所有机器学习推理——例如，i.MX 8M Plus应用程序处理器。

与云计算相比，使用边缘计算的潜在好处

边缘计算（如i.MX8m Plus提供的）提供了一系列可能优于云计算的优势，值得更仔细地考虑。

除了成本因素外，上传到云端的数据的减少也会降低整体网络流量，这会加速其他依赖网络的应用程序。这不仅提高了处理者专门任务的效率，而且还为其他辅助活动和优先事项腾出了关键资源。

接下来，在本地运行推理意味着应用程序可以继续运行，即使在云服务离线或网络连接中断的情况下。这可能是一个重要的因素，尤其是对于安全关键的用例，但对于其他连接的应用程序，如家庭安全设备，也是如此。

此外，与使用云服务相比，此解决方案提供了更好的延迟和更短的响应时间。低延迟非常重要，例如，在执行工厂目视检查和其他时间紧迫的应用程序时。

最后，用户隐私是另一个需要考虑的因素。在处理机密数据时，每个外部服务都存在潜在的安全风险。因此，将重要信息保持在用户网络的范围内可以提高整个应用程序的安全性。这不仅对工业用户很重要，而且对私人用户和客户都很重要，例如，当使用语音助手或处理个人视频和图像文件时。

需要多少机器学习性能？

对于云计算，机器学习性能通常不是问题或限制因素。然而，当在边缘执行这些操作时，问题变成了功效比。衡量机器学习性能的一种流行方法是TOPS，它是每秒万亿（tera）操作数的缩写，顾名思义，它是指每秒操作数（通常为8位整数乘法或累加）。尽管整个系统的性能将依赖于更多的因素，但TOPS仍然经常用于快速比较机器学习系统的性能。

在边缘的完全语音识别（不仅仅是关键字识别）需要大约1到2个TOPS。需求很大程度上取决于所使用的算法以及理解用户所说的内容，例如，每秒钟检测一个物体需要大约3帧的处理性能。

由于边缘的处理和机器学习变得越来越相关，NXP在i.MX 8M Plus应用处理器上增加了一个性能约为2.3 TOPS的机器学习加速器，这使得它能够很好地满足各种工业任务和许多其他应用，而无需使用外部基于云的服务。

图2 i.MX 8M Plus应用处理器配备齐全，可用于各种利用基于云的外部服务的工业任务。

i.MX 8M Plus可用于嵌入式视觉系统

如果考虑摄像头的应用，其中之一是基于工业视觉识别的系统，在自动光学检测后，在生产线的末端丢弃有缺陷的零件。所有这些系统都需要视觉输入，例如，来自摄像机的图像。ISP功能存在于每个基于摄像头的系统中。通常，图像信号处理器存在于外部设备（如相机本身）中，并隐藏在远离用户的地方。这类ISP通常负责一些不同的图像优化和过滤任务。

在许多情况下，人们可以不使用专用的ISP，例如，当使用一个简单的USB网络摄像头时。然后，将ISP内置在摄像头中。

然而，这类ISP也有其局限性，它们通常只适用于分辨率低于200万像素的设备。此外，在某些情况下，对ISP的控制缺失，增加的系统复杂性和功耗等都会成为问题。

当需要高于200万像素（1080p）的图像分辨率时，嵌入式系统设计者可以利用外部ISP，这反过来又会增加系统的整体复杂性和功耗。或者，设计者可以使用一个内置ISP的应用处理器，比如i.MX 8mplus。这种方法提供了一个优化的成像解决方案，特别是在200万像素和更高分辨率下，而不会增加系统的复杂性。

总结

边缘计算比云计算有一些诱人的优势，它有可能改变我们未来的工作、生活和休闲方式。其中一些好处包括增加了可靠性、可伸缩性和安全性，并减少了延迟。

借助i.MX 8M Plus应用处理器，NXP结合了两个因素，使现代应用程序处于边缘地位。这种新的微处理器将鼓励众多创新工业设备和消费级产品的开发。它包括一个ISP，用于构建需要高分辨率输入数据的现代视觉系统。

来自ISP的图像信息可以直接输入到内置的NPU中，以满足依赖图像数据的高速应用程序，同时保持CPU空闲以执行其他任务。此外，i.MX 8M Plus应用处理器还提供了一些有亮点的其他功能，例如，具有时间敏感网络的以太网控制器、支持ECC的DRAM控制器以及用于各种应用的不同内核。

使用i.MX 8M Plus应用处理器，无论是智能家居中心、智能楼宇控制还是工业应用，基于高能力视觉的应用在边缘的可能性几乎是无穷无尽的。

关键字：Arm NXP ISP NPU AI 边缘计算引用地址：i.MX 8m Plus如何通过增加ISP和NPU加速边缘计算

上一篇：恩智浦EdgeVerse™系列 MCU获PSA 2级和SESIP 2级保证认证
下一篇：最后一页

推荐阅读

2018年11月20日 | 全球人脸识别算法测试结果公布，中国包揽前五名！

　　日前公布的最新FRVT报告中，排在第一位的是依图科技在今年10月份提交的算法，排在第二名的依旧是依图科技，不过是其于6月份提交的算法。商汤科技的算法包揽了第三和第四名。中国科技学院深圳先进技术研究院的算法排在第五位，旷视科技的算法排在第八名。　　在FRVT最新的报告中显示，全球人脸识别算法的最高水平可以做到在千万分之一误报率之下，漏...

2019年11月20日 | 工业机器人系统运维员诞生让物流变得更快捷方便

分拣、搬运、质检、贴面单，然后出库，这些都是物流常见的流程。这些流程在过去工人们每天都要重复上百遍，尤其是仓库的出库打包员。现在这些动作和流程都是由工业机器人帮助完成，由此也诞生了一个新的职业工业机器人系统运维员。在高达23米的立体无人仓库里，除了排列密集的货架，还有各种AGV搬运机器人、无人叉车、堆垛机、机械臂。在电脑上录入数...

2020年11月20日 | 消息称京东方再次认证失败，或无望供应iPhone 12

据外媒消息，京东方位于四川省成都市的B7生产线未能通过苹果OLED供应审查计划。这是继今年6月绵阳B11生产线未能获得苹果认证之后，京东方第二次被拒于iPhone 12 OLED显示器供应之外。这意味着京东方若想通过iPhone认证，只能明年上半年再次提交申请。即使认证通过，其供应的面板可能也只能用于翻新的iPhone 12。预计苹果公司将在明年推出四种型号的iPh...

2021年11月20日 | 安立与MVG和丰田合作开发首个5G OTA射频测试系统

据外媒报道，安立公司（Anritsu Corporation）宣布与法国Microwave Vision Group（MVG）和丰田合作开发首个5G OTA射频（RF）测试系统。丰田已向MVG OTA测试环境中导入了无线测试平台MT8000A。（图片来源：安立）实现自动驾驶需要与周围环境进行实时通信，包括其他车辆、道路基础设施、网络等。特别的是，引入5G支持大容量、低时延、海量连接对于传输...

史海拾趣

CoolerMaster公司的发展小趣事

林仁政跳出已有的框架，不断思考机箱的设计。他敏锐地觉察到人们对于免工具安装的主板散热片的偏好，并深知散热效果不仅仅取决于散热片和风扇，更需要考虑空气的流动情况。结合日本高水准的立体设计灵感，林仁政带领工程师挑战困难，成功设计出了一台铝制机箱。这一机箱不仅具有高度的创新性，更因其纯手工制作的特性而显得弥足珍贵，对Cooler Master的发展具有重要意义。

H&D Wireless公司的发展小趣事

随着全球化进程的加速，高创也开始了其全球化布局的步伐。除了在以色列和中国设立研发中心外，高创还积极拓展国际市场，与全球多个国家和地区的客户建立了长期合作关系。通过参加国际知名展会如汉诺威工业博览会等，高创不仅展示了其最新技术和产品，还加强了与国际同行的交流与合作，进一步提升了其国际知名度和影响力。

Electronic公司的发展小趣事

AMD，曾经一度陷入困境的半导体公司，近年来实现了逆袭。AMD通过持续的技术创新和市场竞争策略的调整，成功在处理器和显卡市场取得了重要份额。AMD的产品性能不断提升，价格也更加亲民，赢得了消费者的广泛认可。同时，AMD还积极与游戏厂商和硬件厂商合作，推出了多款定制化的产品和解决方案。这些努力使得AMD在激烈的市场竞争中逐渐崭露头角。

Cypress Industries公司的发展小趣事

为了更好地服务全球客户，Cypress积极实施海外扩张和本土化战略。公司在菲律宾、印尼等地设立了组装和检测工厂，同时在美国、欧洲和亚洲等多个国家和地区设立了设计中心。这种本土化战略使Cypress能够更好地了解当地市场需求，提供定制化的产品和解决方案。

C&H Technology公司的发展小趣事

C&H Technology成立于2005年，由两位志同道合的电子工程师陈先生和何先生共同创立。两位创始人凭借在半导体领域的深厚技术积累，瞄准了当时正在兴起的智能手机市场，决定开发一款高性能、低功耗的手机芯片。他们租下一间小办公室，招募了几名志同道合的工程师，开始了艰苦的创业之旅。

起初，公司面临资金短缺、技术瓶颈和市场认可度低等重重困难。但陈先生和何先生凭借坚定的信念和不懈的努力，逐步攻克技术难题，与供应商建立了稳定的合作关系，并通过参加行业展会等方式，逐渐提高了品牌知名度。经过几年的努力，C&H Technology成功推出了首款手机芯片，并获得了市场的认可。

德国ACAM公司的发展小趣事

2014年，ACAM公司迎来了一个重要的里程碑事件——被奥地利微电子股份有限公司收购。这次收购极大地增强了ACAM公司在时间数字转换器（TDC）技术领域的实力。奥地利微电子在半导体行业有着深厚的积累和丰富的经验，与ACAM公司的技术优势相结合，进一步提升了ACAM公司在市场上的竞争力。

问答坊 | AI 解惑

SMT表面装贴技术资料表面粘着技术 (Surface Mount Technology) 已渐渐地取代传统『人工插件』的波焊作业方式，俨然成为现代电子组装产业的主流，因它可以组装制造出相当轻、薄、短、小且品质良好的电子产品。据统计资料显示大约百分之九十的个人计算机，皆制造于表面粘 ...… 查看全部问答∨	开关电源设计占空比问题我在一些资料上看到做开关电源时，最大占空比是由自己设定的感应电压来确定的，这是为什么呢？开关开多长时间不是由PWM控制IC控制的吗？请各位大侠指点… 查看全部问答∨
来谈谈：神奇的过采样技术此前参加嵌入式系统联谊会，被天津大学精密仪器与光电子工程学院李刚老师的讲解，震动着，这里拿出来与大家分享，同时也期待着大家谈谈对过采样技术的理解。 … 查看全部问答∨	开关电源小知识　开关电源是一种电压转换电路，主要的工作内容是升压和降压，广泛应用于现代电子产品。因为开关三极管总是工作在 “开” 和“关” 的状态，所以叫开关电源。开关电源实质就是一个振荡电路，这种转换电能的方式，不仅应用在电源电路，在其它的电路 ...… 查看全部问答∨
驱动发送消息给应用程序，加载异常！我的驱动里面用到了RegisterWindowMessage来注册一个消息，目的是用PostMessage把他发送给应用程序，我用了we-hjb的调试助手调试，一切都是正常的，但当我把DLL加到NK是，启动时就出现异常，如果我把RegisterWindowMessage部分的代码屏蔽掉，驱 ...… 查看全部问答∨	关于usb，dma驱动的一些疑惑大家好：最近在学习usb的驱动的编写，所以看了不少关于usb的知识。正如大家所知：USB传输可以用URB 而用urb的时候可以选择用DMA来传输，当然这需要程序员自己申请空间（usb_alloc_dma（）函数等），这样就会返回一个DMA认识的地址 ...… 查看全部问答∨
StellarisWare光盘里的SD卡程序有问题我把StellarisWare光盘里的SD卡程序下到LM3S8962的板上，然后再串口调试助手给它发命令\"help\"可是一直都没有回应啊！串口助手上的显示的SD Card Example ProgramType \'help\' for help./> help发了 help 或者是 h 、？这些都没 ...… 查看全部问答∨	zigbee定位本人正在学习zigbee，以用例程调试出了zigbee定位，并在zlocation上显示，请问能不能用网关的串口直接将cc2431的坐标输出来，在串口助手上面显示？？… 查看全部问答∨
launch pad 捕获模式求解，好心人帮帮吧。。。。 launch pad捕获模式一直不成功，纠结了几天了啊，各种资料都找过也不知是哪里出问题了，代码如下，很简单的一个：#include \"msp430g2231.h\"void main(void){ WDTCTL = WDTPW + WDTHOLD; ...… 查看全部问答∨	请问如果我那到一个陌生的芯片，我该怎么去绘出它的最小系统？（不参照别人的成品）请问如果我拿到一个陌生的芯片，我该怎么去绘制它的最小系统？（不参照别人的原理图）… 查看全部问答∨

小广播

SMT表面装贴技术资料表面粘着技术 (Surface Mount Technology) 已渐渐地取代传统『人工插件』的波焊作业方式，俨然成为现代电子组装产业的主流，因它可以组装制造出相当轻、薄、短、小且品质良好的电子产品。据统计资料显示大约百分之九十的个人计算机，皆制造于表面粘 ...… 查看全部问答∨	开关电源设计占空比问题我在一些资料上看到做开关电源时，最大占空比是由自己设定的感应电压来确定的，这是为什么呢？开关开多长时间不是由PWM控制IC控制的吗？请各位大侠指点… 查看全部问答∨
来谈谈：神奇的过采样技术此前参加嵌入式系统联谊会，被天津大学精密仪器与光电子工程学院李刚老师的讲解，震动着，这里拿出来与大家分享，同时也期待着大家谈谈对过采样技术的理解。 … 查看全部问答∨	开关电源小知识　开关电源是一种电压转换电路，主要的工作内容是升压和降压，广泛应用于现代电子产品。因为开关三极管总是工作在 “开” 和“关” 的状态，所以叫开关电源。开关电源实质就是一个振荡电路，这种转换电能的方式，不仅应用在电源电路，在其它的电路 ...… 查看全部问答∨
驱动发送消息给应用程序，加载异常！我的驱动里面用到了RegisterWindowMessage来注册一个消息，目的是用PostMessage把他发送给应用程序，我用了we-hjb的调试助手调试，一切都是正常的，但当我把DLL加到NK是，启动时就出现异常，如果我把RegisterWindowMessage部分的代码屏蔽掉，驱 ...… 查看全部问答∨	关于usb，dma驱动的一些疑惑大家好：最近在学习usb的驱动的编写，所以看了不少关于usb的知识。正如大家所知：USB传输可以用URB 而用urb的时候可以选择用DMA来传输，当然这需要程序员自己申请空间（usb_alloc_dma（）函数等），这样就会返回一个DMA认识的地址 ...… 查看全部问答∨
StellarisWare光盘里的SD卡程序有问题我把StellarisWare光盘里的SD卡程序下到LM3S8962的板上，然后再串口调试助手给它发命令\"help\"可是一直都没有回应啊！串口助手上的显示的SD Card Example ProgramType \'help\' for help./> help发了 help 或者是 h 、？这些都没 ...… 查看全部问答∨	zigbee定位本人正在学习zigbee，以用例程调试出了zigbee定位，并在zlocation上显示，请问能不能用网关的串口直接将cc2431的坐标输出来，在串口助手上面显示？？… 查看全部问答∨
launch pad 捕获模式求解，好心人帮帮吧。。。。 launch pad捕获模式一直不成功，纠结了几天了啊，各种资料都找过也不知是哪里出问题了，代码如下，很简单的一个：#include \"msp430g2231.h\"void main(void){ WDTCTL = WDTPW + WDTHOLD; ...… 查看全部问答∨	请问如果我那到一个陌生的芯片，我该怎么去绘出它的最小系统？（不参照别人的成品）请问如果我拿到一个陌生的芯片，我该怎么去绘制它的最小系统？（不参照别人的原理图）… 查看全部问答∨

我想avr单片机入门，应该怎么做呢？入门AVR单片机的步骤如下：理解基本概念：了解AVR单片机的基本原理、架构、指令集和特性。可以通过阅读资料或在线教程来了解。获取开发工具：下载并安装AVR单片机的集成开发环境（IDE），比如Atmel Studio或者AVR-GCC等。这些工具提供了编写、编译 ...… 查看全部问答∨	对于深度学习keras入门，请给一个学习大纲以下是适合深度学习 Keras 入门者的学习大纲：1. Python 编程基础Python 基础：学习 Python 的基本语法和数据类型。NumPy 和 Pandas 库：学习使用 NumPy 进行数值计算和 Pandas 进行数据处理。2. 深度学习基础神经网络基础：了解神经网络的基本结构 ...… 查看全部问答∨
深度学习计算机怎么入门作为电子领域的资深人士，您可能已经具备了一定的数学、编程和工程背景，这会对您学习深度学习提供很好的基础。以下是您作为资深电子工程师如何入门深度学习的一些建议：学习基础知识：深度学习涉及大量的数学知识，包括线性代数、微积分、概率统计 ...… 查看全部问答∨	我想卷积神经网络入门，应该怎么做呢？要入门卷积神经网络（CNN），你可以按照以下步骤进行：了解基本概念：首先，了解什么是卷积神经网络。CNN是一种深度学习模型，主要用于处理具有网格结构的数据，如图像和视频。它通过卷积层、池化层和全连接层等组件来提取特征并进行分类或回归任务 ...… 查看全部问答∨
对于fpga代码入门，请给一个学习大纲以下是适用于FPGA代码入门的学习大纲：了解FPGA基础知识：了解FPGA的基本概念、结构和工作原理，包括可编程逻辑单元（PL）、可编程IO（IOB）、时序逻辑和组合逻辑等。理解FPGA的编程方法，包括硬件描述语言（HDL）和图形化编程环境。选择开发工具和 ...… 查看全部问答∨	我想keras深度学习入门，应该怎么做呢？要开始学习Keras深度学习，你可以按照以下步骤进行：安装Keras和相关库：确保你已经安装了Python和pip包管理器。然后使用pip安装Keras以及其依赖库，比如TensorFlow或者其他支持的后端引擎。阅读文档和教程：在开始编程之前，阅读Keras的官方文档 ...… 查看全部问答∨
对于深度神经网络算法编程入门，请给一个学习大纲以下是适合深度神经网络算法编程入门的学习大纲：1. 理论基础神经网络基础：了解人工神经元、神经网络结构、前向传播、反向传播等基本概念。深度神经网络：了解深度神经网络的概念、结构和优势。2. Python 编程基础Python 语法：学习 Python 的基本 ...… 查看全部问答∨	怎么入门单片机编程作为电子领域的资深人士，入门单片机编程可以按照以下步骤进行：选择单片机平台：首先选择一款常用的单片机平台，例如基于ARM架构的STM32系列、基于AVR架构的ATmega系列、基于PIC架构的PIC系列等。根据自己的需求和兴趣选择合适的单片机平台。学习 ...… 查看全部问答∨
对于神经网络识别入门，请给一个学习大纲以下是一个针对神经网络图像识别入门的学习大纲：基础知识：了解图像识别的基本概念和应用，包括图像分类、目标检测、语义分割等。了解神经网络在图像识别中的应用，包括卷积神经网络（CNN）等。数学基础：复习基本的线性代数知识，包括矩阵运算、 ...… 查看全部问答∨	怎样入门一块fpga开发板入门一块FPGA开发板通常需要以下步骤：了解FPGA的基本概念：首先，你需要了解FPGA（Field-Programmable Gate Array）的基本概念和工作原理。FPGA是一种可编程逻辑器件，可以根据用户的需要进行编程，实现各种不同的逻辑功能。选择合适的FPGA开发板 ...… 查看全部问答∨

2020年11月20日 | i.MX 8m Plus如何通过增加ISP和NPU加速边缘计算