案例分享 | 奇景光电 WE2 AI 处理器，助力实现边缘 AI
点击上方 Arm 社区 关注我们
概述
随着智能手机、可穿戴设备和传感器等各类端侧设备不断产生更多的数据，边缘计算也变得日益重要。在边缘侧执行人工智能 (AI) 推理可减少延迟、提高隐私性并降低带宽需求，但边缘设备往往受到严格的功耗限制。
奇景光电为此开发了一款超低功耗 AI 处理器 WiseEye 2 (WE2)，可用于在功耗受限的设备中实现边缘 AI 推理。
边缘 AI 所面临的挑战
由于可用的内存、计算和功率有限，在端侧设备上执行 AI 推理并非易事。大多数 AI 加速器芯片都依赖于外部的动态随机访问内存 (DRAM)，这无疑增加了成本和功耗。而 WE2 采用了创新架构，突破了这些限制。
WE2 AI 处理器的主要特性
WE2 AI 处理器的性能可达 50 GOPS，同时在 1mm 2 晶粒面积中仅消耗 1-10mW 能耗。其主要特性包括：
双核 Arm Cortex-M55 处理器
Arm Ethos-U55，用于 AI 加速
无需外部 DRAM
集成 DC-DC 转换器，用于提高能效
具备安全启动等硬件安全功能
支持 TensorFlow Lite Micro 和 TVM
开源工具链
善用 Arm 资源
WE2 AI 处理器基于 Arm 架构并善用 Arm 提供的丰富资源，其中包括：
能效 ：“小核 Cortex-M55”的运行频率为 150MHz，能够以超低功耗执行始终在线的任务。
可扩展性 ：Cortex-M55 与 Arm 的 ML 框架（例如 CMSIS-NN）兼容，有助于实现灵活的软件开发。例如，可以在 Cortex-M55 或其他 Arm 核心上运行相同的代码。
硬件集成 ：将处理器与 Arm Ethos-U55 加速器和视觉 IP 相集成，有助于CPU、硬件加速器和外设之间的紧耦合处理。
生态系统支持 ：搭载 Cortex-M55 时，开发者可充分利用 Arm 广泛生态系统所提供的工具、软件和技术支持等丰富资源。这正是奇景光电选择 Arm 处理器的关键因素之一。
针对视觉应用进行优化
WE2 针对在边缘侧运行的视觉 AI 模型进行了相应的优化。该芯片运行速度最高可达 400MHz，可高效执行视觉处理任务。其支持运行的模型可广泛用于：
人脸关键点检测 ：除了基本的人脸检测功能外，还能执行人脸关键点检测，识别眼睛、鼻子和嘴巴等关键的面部结构。
人体姿势估计 ：WE2 可以通过检测关键关节和四肢来判断人体姿势，比如通过识别手臂、腿、躯干和头部等身体部位，确定身体的整体位置和动作。这已经在健身追踪、姿势控制和动作识别等领域被应用。
目标检测 ：目标检测 Yolo v8n 模型可以在 WE2 上运行，能够检测场景中的多个物体目标并进行分类。该模型可以识别多达 80 种以上的常见物体，例如人、汽车、车牌、动物、家居用品和放在门口的包裹等。
专为灵活性而设计
利用 Keil MDK、VS Code、TensorFlow MOT、Pytorch 和 TinyNeuralNetwork 等开源工具，奇景光电可支持用户开发定制化 AI 应用，并针对低功耗进行优化。此外，奇景光电还提供了参考模型来协助进行引导程序的开发。
早期客户采用
目前， WE2 AI 处理器已被客户采用于各种用例中。例如，有客户将 WE2 芯片与笔记本电脑摄像头集成，以便在待机模式下进行人物动态检测，确保在检测到用户时，能即刻唤醒系统。
由于 WE2 具备较高能效，因此非常适合用于电池供电和主流的边缘侧产品。奇景光电计划在未来几代产品中增加集成图像信号处理 (ISP) 功能，以进一步提升视觉功能。总而言之，奇景光电 WE2 可以在资源受限的边缘侧设备上进行 AI 推理。凭借专为计算机视觉优化而打造的创新架构，WE2 成功地将 AI 和 ML 引入了新一代端侧和物联网产品中。
* 本文为 Arm 原创文章，转载请留言联系获得授权并注明出处。
点击阅读原文，获取案例
京公网安备 11010802033920号