智东西(公众号:zhidxcom)
作者 | 程茜
编辑 | 漠影
一场由智能体驱动的应用变革,正在撬动AI底层算力体系重塑。
今年9月,IDC发布的《2026年中国人工智能计算力发展评估报告》给出一组关键预判:全球AI算力需求满足率自2024年79%持续下行,2027年跌至71%的谷底,直至2030年才回升至77%。
有一个简单逻辑可以概括算力消耗的变化:Token消耗量≈多智能体协同×单智能体资源消耗×单任务执行次数。智能体的持续运行模式,正在持续放大AI基础硬件的负载压力。

▲2026年中国人工智能计算力发展评估报告(图源:IDC)
这催生了AI应用和底层算力之间新的矛盾:智能体需要长周期推理、反复多轮规划、高频工具调用、多任务动态调度,这套运行特征对AI基础设施提出了一套全新、非标准化要求,不再只追求FP16峰值算力,而是对时延、吞吐、访存、任务调度、稳定性提出新约束。
那一套什么样的基础设施,才能成为Agentic(智能体原生)时代的最优解呢?
智能体长流程、多轮调用、频繁读写数据的特性,印证了一个早期的行业共识,AI竞赛已不是单芯片算力的比拼,GPU集群之外,CPU节点、存储节点的价值正在被重新定义。
在这样的背景下,我们将开启一个系列专题,顺着智能体思考、编排、推理、记忆、执行的完整链路,去探讨异构算力分工、安全隔离、分层存储、交付形态、全栈可控等底层命题,回答智能体规模化落地对AI基础设施提出的新考题。
一、拆解智能体工作闭环,性能天花板藏在五大环节里
智能体已经深入我们生活、工作的方方面面。
像当下爆火的个人AI助手,丢任务就能自动拆解、调用工具生成完整报告或PPT;编程智能体接收到自然语言描述的需求,分分钟就能帮你开发应用;视频智能体凭借几句话指令,就能帮你完成脚本策划、画面生成与成片剪辑……
相比于百模大战阶段,智能体的竞争不仅限于模型,而是要延伸到整套体系能力的比拼,基础设施需要分别适配不同负载。
模型层是智能体的大脑,负责感知信息、推理判断、拆解规划,并思考如何调用工具;Harness执行层承接模型输出的指令,完成任务编排、记忆管理与工具调度;知识库是智能体的信息养料,通过读取企业私有数据、文档与业务资料,为模型输出提供可靠事实支撑;工具层是智能体执行动作的手脚,既可以调用已有系统能力,也能按需生成新工具;沙箱则作为安全隔离层,把智能体和真实业务系统隔离开。
在这套架构之上,智能体运行会形成接收多模态输入、思考推理、任务编排、工具调用、记忆检索的闭环,并循环推进。
这也使得底层基础设施的负载特征面临三大显著变化。
首先,负载不再是一次性生成即结束,其任务是长链路、多轮次的,会伴随大量状态读写,对算力、存储的持续性占用模式和传统大模型推理请求完全不同。
其次,任务调度具备不确定性,执行分支会动态衍生,难以提前预判流程。这就要求基础设施具备弹性调度能力,能够应对意料之外的工具调用、分支跳转。
第三就是对基础设施的可靠性要求更高,智能体任务往往要连续执行数十步,一旦中间任意环节出现推理异常、调用超时、资源中断,会导致整条业务链路失效,重试成本、业务损失更高。
由此可见,智能体的能力上限,不再只由模型算法、峰值算力决定,底层基础设施架构能不能适配新负载成为隐性天花板。
二、智能体热潮之下的隐性瓶颈,亟需分层解耦算力
那当下的AI基础设施,能完全适配这一波智能体热潮吗?答案是否定的。
现有基础设施大多是为百模大战时期的单次生成场景设计的,对智能体这种间断、随机、高访存的长任务,资源利用率较低,对于随时变化的任务分支,预先规划好的算力池很容易出现局部算力拥堵或是资源闲置。
再者,现有体系的容错机制较为单薄,当智能体跑了几十步之后出现故障,容易拉高时延与算力浪费,在企业业务场景里还会带来业务风险。
在智能体应用层出不穷的当下,催生了应用方与底层基础设施厂商深度协同的刚需:基础设施厂商不再只简单交付芯片、服务器这类硬件,其既要向下打磨硬件底座,也要向上深度适配智能体完整工作流。
智能体整条链路里,不同阶段对硬件资源的诉求完全不一样,这就需要按任务特征做差异化的资源匹配。
例如推理、多模态生成环节,对显存容量与带宽要求极高;DAG任务编排、循环自检、沙箱内工具调用,包含大量分支判断、状态持久化、外部接口IO交互,更看重CPU并发能力与内存;向量检索、知识库查询、长上下文KV缓存路由属于高吞吐随机检索负载,更适合存储优化型节点。

算力分层解耦后就不需要为统一架构妥协,避免出现高价显卡空转、检索环节资源拥堵的错配问题,让整个智能体链路持续、低成本、稳定地跑完从目标输入到结果交付的完整闭环。
三、海光掏出Agentic时代最新布局:国产底座、模块化节点、私有化部署
伴随上面智能体对算力提出的新需求,落脚到底层基础设施企业的视角,它们的角色正发生变化,从单一的算力硬件供应商转向全栈协同伙伴。
此前是大模型提供商去适配现成算力,未来或演变为基础设施底座跟着上层智能体负载迭代,双向迭代。
对绝大多数算力厂商而言,同时补齐CPU高并发、DCU推理加速、分层存储、安全沙箱并不容易,但这条能力曲线,恰好是海光过去数年持续深耕的主线。
我们从即将发布的基于海光路线的系列整机产品,可以洞察到海光服务器在智能体时代的新思考:联动产业链上下游伙伴,打造适配Agentic时代的完整产品组合。
这套思路可以归纳为面向智能体落地的两条产品路径:一条面向云端与大型数据中心,主打模块化节点组合的数据中心产品方案。整套方案包含智能体编排沙箱节点、LLM推理节点、向量库及记忆节点三类专用节点,各司其职、协同调度,支持业务按需弹性扩缩,适配大规模智能体集群运营。

其中智能体编排沙箱节点以CPU为核心,单节点可承载上千个智能体并发运行,支持CSV文件处理,提供隔离可靠的沙箱执行环境;配备16路内存通道、支持2DPC,能保障智能体高频状态读写、本地记忆存取的性能需求。
LLM推理节点可适配OAM模组、高密度多卡集群、超节点等多种形态负载,释放更高GPU算力与Token吞吐,兼容主流GPU硬件与大模型。
向量库及记忆节点采用热温冷分布式存储架构,覆盖全闪、混闪、大容量归档存储分层,为AI原生场景设计。
云端集群解决的是海量智能体并发、弹性调度的规模化难题,但大量政企、金融、制造场景,还有强合规、数据不出园的刚性约束,这就催生第二条交付形态,面向企业私有化场景的AgentServer Flex智能体算力矩阵。
其单套配置由3–9台编排/LLM/存储节点组成,支持按需组合、弹性扩展,可快速对接软件伙伴链条,支持终端客户快速上线交付。

这样的私有化方案能保障数据本地留存、不出园区,兼顾安全合规诉求,同时压缩企业部署周期、降低集成与运维成本。
这整套方案还有一层关键底座保障,其依托国产CPU+国产DCU搭建,对齐主流x86性能基准,从而实现从芯片到整机柜的全链路自主可控、交付确定性。
智能体浪潮真正的底层变化,是算力需求从单一模型推理扩展成一套包含调度、思考、记忆的复合负载。过去一套通用算力集群包打一切的模式,很难兼顾推理吞吐、IO并发、记忆检索等完全不同的负载。海光这套分工清晰的数据中心产品组合,回应的正是对智能体全链路的差异化诉求。
结语:从对话到自主执行智能体,正重新定义AI基础设施
智能体浪潮带来的变革,远不止一个个自动执行的AI助手,它正在重塑整条AI产业链上下游的合作关系。当AI应用侧的需求规模化,上层创新与底层基础设施的深度协同,就不再是加分项,而是必选项。
在这一行业背景下,我们将开启系列专题,以海光这套面向Agentic时代的全新产品组合为观察样本,一步步拆解当AI从对话生成走向自主执行,下一代基础设施到底需要具备哪些核心要素。