芯东西（公众号：aichip001）
作者 | ZeR0
编辑 | 漠影
芯东西2月27日报道，今日，Arm发布全球首个Armv9边缘AI计算平台。该平台以全新Arm Cortex-A320 CPU和边缘AI加速器Ethos-U85 NPU为核心，专为物联网应用优化，可支持运行超10亿参数的端侧AI模型，已获得亚马逊云科技（AWS）、西门子、瑞萨电子等多家行业领先企业的支持。
该平台能够支持基于智能体的AI应用上运行经过调优的大语言模型 （LLM）和小语言模型（SLM），开辟全新类别的边缘应用场景。未来智能决策将更接近数据采集源头，这不仅能显著减少延迟，还能有效提升隐私保护水平。
Arm物联网事业部业务拓展副总裁马健谈道，大模型智能体在边缘的落地，需要更高性能、更高能效的边缘计算平台，保证边缘设备安全可靠将会成为边缘AI大规模部署的必要条件。作为Arm在边缘计算平台领导者，Arm在工业自动化、智能家居、智慧城市等领域多看到OEM软件开发者们正在积极寻求与Arm联手营建AI推理的生态系统。
新型边缘AI计算平台的推出标志着边缘计算发展的重要里程碑，Arm现已能为物联网提供最为先进的Armv9 Cortex处理器系列，覆盖从极致性能到成本和能效受限的设备。
超高能效的Arm Cortex-A320有两大突出特点：增强的安全性和增强的AI计算特性。它通过Armv9架构提高物联网应用的效率、性能和安全性，推动工业自动化、智能摄像头等领域的进步。
Cortex-A320充分发挥Armv9架构的优势，如针对机器模型性能的SVE2。相较于前代产品Cortex-A35，Cortex-A320的机器学习（ML）性能提升了10倍，标量性能提升了30%。这为物联网带来了先进的AI功能和开发者优势，将Armv9架构的功能扩展到高能效设备，并提供全面的软件支持。
全新Armv9边缘AI计算平台兼顾效率、安全和智能，其内部集成的Ethos-U85 NPU支持Transformer算子网络。相较于去年推出的基于Cortex-M85的平台，新边缘AI计算平台的机器学习性能提高了8倍。
边缘设备通常在暴露的环境中运行并处理敏感数据。Armv9边缘AI计算平台所采用的Armv9.2架构还为最小的Cortex-A设备带来了高级的安全功能，例如指针验证（PAC）、分支目标识别（BTI）和内存标记扩展（MTE），能够有效抵御黑客攻击。
当前物联网应用不断攀升，包括自动驾驶车辆在工厂环境中的精准导航、智能摄像头通过软件升级灵活调整功能、构建能够提供更自然AI交互体验的人机界面等。为了快速创新和扩展，OEM厂商需要在合适的位置灵活执行AI工作负载，以实现更强大的安全性和更高的软件灵活性。
边缘AI普及面临的最主要障碍之一是软件开发和部署的复杂性。Arm将Arm Kleidi延伸应用到物联网领域，可实现高达70%的性能提升，助力全球2000多万Arm开发者无缝集成领先AI框架，简化边缘AI开发流程。
Arm Kleidi是一套面向AI框架开发者的计算库，旨在优化基于Arm CPU的AI和ML工作负载，无需开发者额外操作。KleidiAI已集成到常见的物联网AI框架中，如Llama.cpp、ExecuTorch、LiteRT（通过XNNPACK），加速了Meta Llama 3 和Phi-3等关键模型的性能。例如在Llama.cpp上运行微软的Tiny Stories数据集时，KleidiAI为新的Cortex-A320带来了高达70%的性能提升。
在当今快节奏的技术环境中，产品的上市速度往往决定其成败。新边缘AI计算平台确保了与更高性能Cortex-A处理器在软件层面的无缝兼容，使开发者能够打造可随需求变化而灵活调整的解决方案，加快产品上市时间，并降低总体拥有成本。
马健认为，除了带来商业化机遇外，AI还会对一些更广泛的全球性问题产生深远影响，比如减少人类活动对气候的影响、改善生物多样性、保护濒危野生动物、改变医疗健康领域等，我们正站在这一变革的起点。
据亚马逊云科技物联网技术负责人Yasser Alsaied分享，全新Arm边缘AI计算平台为客户实现了在Armv9技术上运行AWS IoT Greengrass的轻量级设备运行时环境—— Nucleus Lite，从而让边缘设备以最低的内存需求高效运行。这两项技术的无缝集成为开发者提供了优化的解决方案，支持构建现代边缘AI应用，例如精准农业中、智能制造和自动驾驶的异常检测。
Arm全新边缘AI计算平台提供了构建下一代多样化物联网设备的基础，将助力各行各业打造出更智能、更高效、更安全的AI应用。Arm高级副总裁兼物联网事业部总经理Paul Williamson谈道：“AI的革新已不再局限于云端。随着世界的互联和智能化水平的日益提升，从智慧城市到工业自动化，在边缘侧处理AI工作负载不仅带来显著的优势，其必要性更是不可或缺。专为物联网打造的Armv9边缘AI计算平台的推出，标志着这一发展趋势迈入了重要的里程碑。”
