Arm 控股有限公司(纳斯达克股票代码:ARM,以下简称 “Arm”)今日发布 Arm®v9 边缘人工智能 (AI) 计算平台,该平台以全新的 Arm Cortex®-A320 CPU 和领先的边缘 AI 加速器 Arm Ethos™-U85 NPU 为核心,可支持运行超 10 亿参数的端侧 AI 模型。
Arm 高级副总裁兼物联网事业部总经理 Paul Williamson 表示:“AI 的革新已不再局限于云端。随着世界的互联和智能化水平的日益提升,从智慧城市到工业自动化,在边缘侧处理 AI 工作负载不仅带来显著的优势,其必要性更是不可或缺。专为物联网打造的 Armv9 边缘 AI 计算平台的推出,标志着这一发展趋势迈入了重要的里程碑。”
Arm Cortex-A320 CPU 的推出具有重要的里程碑意义。作为首个基于 Armv9 架构的超高能效 CPU,这一突破性的处理器为功耗有限的设备引入了此前仅在尖端移动计算解决方案中使用的先进功能,使其在人工智能 (AI) 处理、安全性和整体能效方面均实现了显著提升。
鉴于已有其他 Arm 处理器在为多样化的边缘侧和端点设备提供良好支持,为何还要将 Armv9 功能引入一款服务相同目标设备的处理器技术中呢?答案是顺 “时” 而为。
当今的物联网 (IoT) 环境对边缘设备的需求更胜以往。智能摄像头需要在本地运行复杂的计算机视觉算法;工业传感器须处理复杂的机器学习 (ML) 模型以进行预测性维护;即使是简单的端点设备,也越来越离不开增强的安全性和虚拟化功能。这些不断变化的需求使得 Armv9 的先进功能不再只是锦上添花,而是新一代物联网创新的必备条件。
Armv9 架构将 Cortex-A320 的革新功能带到了边缘侧,通过可伸缩向量扩展 (SVE2) 等关键的 Armv9 特性,增强了 AI 和数字信号处理 (DSP) 性能;同时,它还利用了内存标记扩展 (MTE) 以及通过 Secure EL2 (S-EL2) 提供的先进虚拟化支持等全面的安全特性。这些功能与 Cortex-A320 高能效的微架构相结合,使其能够维持严格的能耗预算,并同时为边缘 AI 处理开创新的可能性。
边缘 AI 普及面临的最主要障碍之一是软件开发和部署的复杂性,这正是 Armv9 边缘 AI 计算平台软件生态系统发挥优势的关键所在。Arm 将 Arm Kleidi 扩展到物联网,这是一套面向 AI 框架开发者的计算库,旨在优化基于 Arm CPU 的 AI 和 ML 工作负载,无需开发者额外操作。KleidiAI 已集成到常见的物联网 AI 框架中,如 Llama.cpp 和 ExecuTorch 或 LiteRT(通过 XNNPACK),加速了 Meta Llama 3 和 Phi-3 等关键模型的性能。例如,在 Llama.cpp 上运行微软的 Tiny Stories 数据集时,KleidiAI 为新的 Cortex-A320 带来了高达 70% 的性能提升。
这些提升至关重要,因为在当今快节奏的技术环境中,产品的上市速度往往决定其成败。新的边缘 AI 计算平台确保了与更高性能 Cortex-A 处理器在软件层面的无缝兼容。这种可扩展性使开发者能够打造可随需求变化而灵活调整的解决方案。借助庞大的 Armv9 生态系统,以及与 Linux 等功能丰富的操作系统和 Zephyr 等实时操作系统的兼容性,开发者拥有了前所未有的灵活性。他们可以充分利用现有的工具和知识,以及软件复用的优势,从而加快产品上市时间,并降低总体拥有成本。全球范围内有 2,000 多万活跃的 Arm 开发者,这为未来的技术创新提供了巨大潜力。
展望未来,显然 AI 的未来趋势将转向边缘,而全新 Arm 边缘 AI 计算平台将成为新一轮物联网创新的催化剂。Armv9 架构的特性、先进的 AI 功能和全面软件支持的结合,为 OEM 厂商和开发者创造了新的可能性。
该平台能够支持基于智能体的 AI 应用上运行经过调优的大语言模型 (LLM) 和小语言模型 (SLM),从而开辟全新类别的边缘应用场景。在未来的场景中,智能决策将更接近数据采集源头,这不仅能显著减少延迟,还能有效提升隐私保护水平。
这不仅仅是一次渐进式的进步,它代表着行业对边缘计算和 AI 处理方式的根本性变革。这是行业首次迎来专为物联网应用优化的 Armv9 CPU,将超高能效与先进 AI 能力结合,实现了前所未有的突破。