用更简便的方法构建强大边缘 AI 应用

作者： Stephen Evanczuk

设计一款基于传感器的简单物联网 (IoT) 设备并非难事，但要打造具备边缘机器学习 (ML) 处理能力的联网设备则完全是另一回事。NXP Semiconductors 推出的专用处理器系列、开发板及配套软件，旨在解决功能、性能与开发方面的关键难题，助力在工业和物联网应用中更快地部署复杂的边缘人工智能 (AI) 功能。

设计师们已经开始利用边缘 AI 解决方案，这些方案能够在低功耗设备上执行 ML 推理，而无需依赖云端资源。诸如唤醒词检测、传感器数据模式分析和基本物体检测等功能，通常可以由运行 ML 模型（使用模型优化工具和框架构建）的节能处理器来处理。然而，当您试图扩展处理器资源以处理更复杂的问题，尤其是那些需要实时或接近实时响应的问题时，就会出现瓶颈。

多核处理器如何显著加速ML 推理

NXP Semiconductors 凭借其 i.MX 93 系列应用处理器可轻松应对这些新兴的实时边缘 AI 设计在功能和性能方面的挑战（图 1）。

图 1：i.MX 93 应用处理器融合了处理资源、安全系统、存储器以及一系列完整的时钟、定时器、连接选项和接口，为边缘 AI 设计奠定了基础。（图片来源：NXP Semiconductors）

该系列处理器集成了丰富的功能，包括多媒体、存储器、接口和连接选项，并组合了引人注目的处理资源：

· 多达两个高性能 Arm Cortex-A55 应用处理器核心，用于基于 Linux 的应用处理任务

· 一个超低功耗 Arm Cortex-M33 平台，用于低延迟实时控制处理

· 一个 Arm Ethos-U65 microNPU 神经处理单元 (NPU)，用于高效执行 ML 推理

· NXP 的集成 EdgeLock 安全飞地 (ESE) 为安全引导和密钥管理、实时加密功能以及保护边缘应用所需的其他功能提供信任根

借助这些处理器的能力，可将大型边缘 AI 应用拆分为多个易于管理的部分：NPU 会接管密集型神经网络算法的计算任务，减轻 Cortex-A55 核心的负荷并避免抢占其运行的应用代码资源。与此同时，Cortex-M33 核心持续专注处理如传感器数据采集或过程控制等低延迟任务，而嵌入式 ESE 则全程守护系统安全、软件代码及关键数据。下文将介绍：NPU 从 Cortex-A55 核心卸载机器学习推理的能力，这正是实现近实时响应边缘 AI 应用的关键支撑。

硬件开发板与软件如何加速应用的开发

尽管处理器的功能和性能是关键，但边缘 AI 应用的高效开发更依赖于能否快速掌握处理器特性并迅速构建有效的软件。NXP 的 FRDM-IMX93 开发板（图 2）与配套软件开发资源相结合，可提供开始创建应用所需的一切。

图 2：FRDM-IMX93 开发板集成了 i.MX 93 应用处理器和多个支持芯片，可提供完整的开发系统。（图片来源：NXP Semiconductors）

FRDM-IMX93 开发板旨在简化采用 i.MX 93 系列处理器的应用开发。该开发板尺寸仅为 105 × 65 mm，配备 2 GB 低功耗双倍数据速率 4X (LPDDR4X) 动态随机存取存储器 (DRAM)、一个 32 GB 嵌入式多媒体卡 5.1 (eMMC5.1)、一个电源管理集成电路 (PMIC) 和一个支持 Wi-Fi 6、蓝牙 5.4 及 802.15.4 无线个域网的无线收发器模块，以及其他所需的支持芯片。此外，其板载针座、连接器和调试接口有助于轻松添加扩展板，对系统进行调试。

该开发板虽然提供了多种配置选项，但即便在默认模式下也能直接投入使用。使用随附的 USB 线缆连接显示器和鼠标并为开发板供电后，开发板从预烧录了 NXP Linux 二进制演示镜像的 eMMC 启动。

预构建应用会加速边缘 AI 的部署

FRDM-IMX 93 开发板的真正优势在于其配套的软件和相关工具。NXP 的 GoPoint for i.MX Applications Processors 软件包包含在默认演示镜像中，提供了一组可通过 GoPoint 图形用户界面 (GUI) 访问的实例应用。当启动一个应用时，GoPoint 会引导用户完成所有必要的配置步骤，例如指定摄像头视频源。

或许更令人同样感兴趣的是，NXP 的应用实例库包含了每个 GoPoint 应用的完整 Python 源代码。此外，每个应用的文档都包含软件架构描述、所使用的 ML 模型以及启动设置。例如，GoPoint i.MX 93 低功耗机器学习应用的文档清晰描述了 Cortex-A55 和 Cortex-M33 双核间的执行流程——Cortex-M33 如何全程担负检测唤醒词的重任，直至最终唤醒 Cortex-A33 上的 Linux 系统以通知用户。

NXP 的 GoPoint 驾驶员监测系统 (DMS) 应用展示了另一种重要概念：如何在更复杂的应用中交织多个模型的执行过程，以检测多种不同的状态。调用此应用后，选择摄像头源和推理处理器（例如应用处理器或 NPU），然后运行。在执行过程中，会显示摄像头拍摄对象（驾驶员）的当前状态，指示对象是否出现分心、打瞌睡、打哈欠、吸烟或使用手机（图 3）。

图 3：在 i.MX 93 应用处理器上运行时，一个 GoPoint 实例应用可进行多个 ML 模型的推理，以检测不同的驾驶员状态，延迟仅为几毫秒。（图片来源：NXP Semiconductors）

在每个应用库中，都有一项引人注目的信息，即性能数据。该信息显示了 NPU 助力实现更高效边缘 AI 应用的能力。例如，在 DMS 应用中，NXP 发现基于 CPU 的吸烟/打电话检测推理在单线程运行时需要 407.963 ms 的时间。双线程运行时，推理时间降至 303.159 ms，但真正的优势在于使用 NPU；在 NPU 上进行推理，时间可大幅缩短至仅 23.008 ms。

总结

低功耗 i.MX 93 应用处理器能够以接近实时的延迟执行大量推理任务，这为工业和物联网应用中的边缘 AI 解决方案创造了诸多可能性。通过使用配套的开发板和软件，用户可以快速高效地构建这些应用。