Arm冲刺AIoT市场：大模型演进带来哪些新机会？

21世纪经济报道记者骆轶琪 北京报道

在DeepSeek以极低成本推动开源模型和闭源模型的差距显著缩小的背景下，AI技术在端侧应用落地成为今年必然的发展趋势，这也是AI芯片产业链在积极寻求的发展机会。

随着中国市场持续推进多个重点场景的智能化升级，边缘智能也将迎来更大的发展空间。边缘端如何应对大模型引发的技术驱动变革，是整个行业都在思考的重要命题。

近日，Arm发布首个Armv9边缘AI计算平台，以Cortex-A320 CPU和Ethos-U85 NPU为核心，专为物联网应用优化，支持运行超10亿参数的端侧AI模型。相较去年推出基于Cortex-M85的平台，新的边缘AI计算平台的机器学习(ML)性能提高了八倍。

大模型应用成本的快速降低，使其在边缘侧的落地进程不断加速。在物联网领域，这一趋势尤为明显，例如，生产流水线上的视觉识别、AGV小车在工厂环境的精准导航等均因此受益。

这类边缘端场景不仅涉及对文字信息的处理，更重要是应对大量图像和视频等高容量数据的实时分析，这对边缘端传感器的智能化和计算能力提出了极高要求。

随着国内工业智能化的快速发展，这无疑成为边缘智能的重要场景之一。

Arm 物联网事业部业务拓展副总裁马健在接受21世纪经济报道专访时表示，智能工业是Arm过去几年一直关注的领域之一。

“从客户需求角度看，我们观察到两个重要趋势：一是增加更多AI功能，二是降成本、降功耗等，而这两点恰好是Arm的优势所在。”她进一步表示，Arm平台在和AI加速器搭配方面拥有极大的灵活性，且具备强大的生态系统。

马健举例道，“近期在和工控领域的合作伙伴交流时，我们了解到，现在在工业方面，预计20%使用的是Linux操作系统，大约80%还是用的Windows系统。”

“我们认为，在新一轮AI PC推动下，Windows on Arm将会迎来更大的发展，这也将促进Arm处理器在工控领域的广泛应用，为我们开辟了一个广阔的市场扩展方向。目前我们已有一些合作伙伴，比如恩智浦，已经实现了工业Windows on Arm，我们对这个领域的发展充满期待。”她如此指出。

从整体趋势来看，马健认为，当前，工业领域正经历一场深刻转型，行业不仅在追求CPU架构的革新，比如从传统的X86转向Arm架构，还更聚焦于AI技术的部署与应用。在这一转型过程中，相较于传统架构，Arm CPU在安全性、性能和能效方面均表现出色。

以传统质检场景为例，工人通常一天要久坐8-10小时，不仅容易导致疲劳，还可能损害视力与健康。相比之下，机器在进行此类工作时能够展现出更高精确度和持久性。因此，工厂内部对于采用视觉技术进行质检的需求与日俱增，同时对AI处理的实时性也提出了更高要求。

马健指出，真正的边缘AI计算平台需要灵活性，使工作负载既可以运行在CPU，也可以运行在AI加速器上。例如，在连续图像检测任务中，通常会优先在AI加速器上运行，以提高能效。然而，对于单张图像的处理，在CPU上执行可能更高效。而对于在CPU上运行的AI任务，希望能够获得更好性能，这正是Arm Kleidi发挥作用的地方。

“边缘AI普及面临的最主要障碍之一是软件开发和部署的复杂性，为了应对这一挑战，Arm将Arm Kleidi扩展到物联网领域。Kleidi是一套面向AI框架开发者的计算库，旨在优化基于Arm CPU的AI和ML（机器学习）工作负载，无需开发者额外开发。”她补充道。

近两年来，大模型行业在快速演进发展，涌现出多种路线和行业趋势，也让边缘智能的发展持续面临技术挑战。

对于边缘端如何迎接大模型趋势，马健对21世纪经济报道记者给出了她的完整思考。

“对于大语言模型而言，除非在特定场景下，比如工厂内的机密内容处理，因为安全原因一定要离线处理而不得不采取本地部署的方式，否则，大部分大语言模型的数据量完全可以在云端运行。毕竟，云端的大模型凭借其更广泛的知识和更高的智能水平，能提供更为出色的服务。”她指出。“但当涉及视觉模态时，在边缘部署的必要性就大大增加。”

这是因为视觉的数据量非常庞大，且通常是以连续的视频流形式出现，而非单一的静态图片。“当前，家用摄像头的数据多被传到云端，但随着未来屋内传感器的增加，以及人们隐私保护意识的加强，用户对于家中信息被上传至云端所存在的风险会愈发担忧。”马健进一步指出。

因此行业开始思考是否需要有一个类似家庭“大脑”的角色，在家庭内部就可以存储并处理数据。

“如果一个家庭‘大脑’拥有足够强大的算力，那它完全可以运行3B、7B、13B等参数的大模型。我认为，跟视觉相关以及和现实世界紧密联系的应用场景，在边缘部署的可能性会更大。”她补充道。

其中，自动驾驶和机器人都是边缘AI部署的重要场景。因为自动驾驶无法在遇到行人时，再将图像信息上传至云端做决策，这样的延迟将带来不可接受的安全风险。

而在机器人方面，虽然目前还处于相对初期阶段，但包括中国在内的多个市场都在积极发展。传统来说，机器人是相对碎片化和专用的设备，比如扫地机器人，它的机器臂只能做固定几个动作。随着多模态大模型的引入，机器人可以更加通用和灵活，用途变得更加广泛，其需求量也会相应增加，未来可能会成为比汽车甚至手机需求量还大的设备。

此外，对于智慧城市和智能家居等特定应用场景而言，安全的重要性不言而喻。

马健告诉记者，Arm在安全性方面持续投入。具体做法上，首先是隔离，由于无法将所有程序都搬到一个安全域里，这样成本也会相对较高，所以安全域和非安全域要在硬件方面做一些隔离；此外，即使在安全域里，也需要区分不同的应用。

“在中国市场，大家普遍希望能对数据进行更好地保护，不愿意将比较敏感的数据传输到云端，这对边缘计算提出了更高的要求。”马健指出。

马健总结道，此次Arm推出专为物联网应用优化的Armv9边缘AI计算平台，能够支持在基于智能体的AI应用上，运行经过调优的大语言模型(LLM)和小语言模型(SLM)，从而开辟全新类别的边缘应用场景。在未来的场景中，智能决策将更接近数据采集源头，这不仅能显著减少延迟，还能有效提升隐私保护水平。

更多内容请下载21财经APP