车东西（公众号：chedongxi）
作者 ｜ Janson
编辑 ｜ 志豪
一家成立三年的国产芯片公司，首款芯片量产8个月，累计出货超过20万颗。
芯东西10月30日消息，日前， XHEART新芯航途在苏州正式亮相，并发布旗舰产品X7 Ultra，拥有700TOPS大模型算力。
与单纯提高芯片算力不同，XHEART选择了“大模型定义芯片”的前瞻技术路线，即根据大模型的计算需求设计芯片架构，让芯片更高效地运行大模型。
▲X7 Ultra核心参数一览
按照XHEART披露的数据，X7 Ultra在真实量产智驾模型实测中，芯片的计算利用率达到98.7%，在大模型性能相当的条件下，相比行业旗舰产品，内存带宽消耗下降80%。
通过优化计算架构和数据搬运效率，X7 Ultra还实现了10倍模型参数释放。
这些数据背后，是智驾芯片乃至大模型芯片面临的一项重要变化。
随着端到端大模型加速上车，芯片不仅要提供更高算力，还要解决模型运行时的数据搬运、存储带宽和功耗问题。
XHEART希望通过创新的超大核NPU架构和原生软硬件协同，提高芯片的实际计算效率。
一、智驾大模型上车 芯片不能只靠堆算力
端到端大模型正在改变智能驾驶系统的计算方式。
过去，智能驾驶主要依靠感知、预测、规划等不同模块分别处理任务，每个模块运行对应的算法模型。
如今，端到端大模型将更多任务整合进大型神经网络，模型规模和计算复杂度不断提升，对车端芯片的要求也随之改变。
芯片的算力越来越高，但模型不一定能充分利用这些算力。
大模型完成一次计算后，可能需要将结果写入外部内存，后续运算再将其读取出来。
如果数据频繁在计算单元与内存之间往返，即使芯片拥有很高的算力，也会有大量时间消耗在数据传输上。
这就是芯片设计中常说的“内存墙”问题。
与此同时，数据搬运也需要消耗电力。对于空间、功耗和散热条件有限的汽车来说，数据访问效率直接影响整个智驾计算平台的性能和成本。
因此，芯片厂商除了提高TOPS，还需要考虑如何让计算单元更快获得数据、减少内存访问，以及降低运行功耗。
另一个问题是，芯片的研发周期远长于算法的迭代周期。
一颗芯片从设计到量产通常需要数年，而算法在此期间可能已经更新多个版本。
如果只按照当前模型设计芯片，产品量产时就可能面临新的算法需求。
▲大模型定义芯片
XHEART在2023年立项时便选择了另一种思路，先研究大模型需要怎样的计算和存储能力，再据此设计芯片架构。
按照这一思路，算法团队会提前参与芯片的技术定义，研究未来模型的计算特征、数据访问方式和关键算子需求。
芯片团队则根据这些信息，确定NPU架构、存储层次、数据通路以及软件工具链的设计方案。
XHEART将其称为“大模型定义芯片”。
这条路线的核心，是将算法与硬件的协同优化提前到芯片设计阶段，让芯片架构从一开始就围绕大模型的运行需求展开。
二、超大核NPU登场 X7 Ultra怎么提高有效算力？
X7 Ultra采用的超大核NPU，是实现“大模型定义芯片”这一技术思路的关键。
对于大型Transformer模型，如果采用多个小型计算核心共同运行，模型可能需要拆分成不同部分，在多个核心之间分配计算任务。
这样虽然可以利用多个计算核心，但不同核心之间需要交换数据，还可能涉及额外的任务调度和中间结果存储。
XHEART选择将更多计算任务集中在超大核内部，尽量让完整的端到端大模型在一个大核中运行，减少跨核心的数据交换。
根据XHEART公布的技术方案，X7 Ultra将传统小核之间百GB/s级的数据交互，整合至超大核内部TB/s级的高速互联，让数据能够在芯片内部更快地流动。
▲超大核NPU设计
不过，把计算核心做大只是第一步，如何减少不必要的数据搬运同样重要。
大模型运行时，会频繁执行Layer Norm（层归一化）、Transpose（转置）、Summation（求和）等运算。
这些运算本身未必需要特别高的算力，但如果每次都需要读取外部内存中的数据，再将计算结果写回，就会占用大量存储带宽。
为此，XHEART针对这些高频算子优化了片内数据处理路径，并配置专用加速单元。
部分计算可以直接在芯片内部完成，甚至无需离开寄存器，从而减少对外部DDR内存的访问。
这样做有两个好处，一是缩短数据传输时间，让计算单元减少等待，二是降低数据读写产生的功耗，减轻整个计算平台的散热压力。
除了数据访问，X7 Ultra还对NPU内部的计算方式进行了优化。
在大模型推理过程中，计算单元需要不断加载模型权重。如果必须等权重全部加载完成后才能进行下一步计算，就会出现计算资源闲置。
X7 Ultra通过软硬件协同优化任务调度，让计算与权重加载并行进行，使更多计算单元能够同时工作。
按照XHEART公布的量产智驾大模型实测结果，X7 Ultra的计算利用率达到98.7%。
▲X7 Ultra硬件效率
硬件之外，XHEART还重新设计了AI工具链。
大模型并不能直接放到芯片上运行，还需要通过工具链完成模型转换、量化、编译和部署。
如果工具链无法合理安排计算任务，即使硬件本身性能很强，也可能出现计算单元等待、数据反复读写等问题。
X7 Ultra采用整网级融合技术，对整个模型的计算任务进行统一编排，将可以合并的操作集中处理，减少中间结果反复写入外部内存。
这一设计也有助于适应持续升级的算法模型。未来模型发生变化时，可以通过工具链调整计算任务的部署方式，而不必每次都修改芯片硬件。
在计算精度方面，XHEART以量化模型输出与FP32浮点模型的相似度达到99.99%以上为约束，避免性能优化影响模型精度。
基于上述架构和工具链优化，X7 Ultra最终实现了700TOPS大模型算力。
▲大模型算力达到700TOPS
在大模型性能相当的条件下，对比结果显示，X7 Ultra内存带宽消耗较行业旗舰产品下降80%，能效提升100%。
更低的内存带宽消耗，意味着运行同等规模的模型时，芯片对外部存储资源的需求更少。这部分节省下来的资源，也为部署更大的模型创造了条件。
据XHEART介绍，X7 Ultra实现了10倍模型参数释放。
除了NPU，X7 Ultra还是率先采用并首发量产搭载Armv9车规级CPU的车规级芯片，它负责复杂控制和系统调度，并通过专用计算单元处理不同类型的任务。
▲芯片采用Armv9车规级IP
在激光雷达处理加速器方面，芯片支持最高2000万点/秒处理带宽的数据处理能力，可在专用计算单元内完成相关预处理工作，减少对其它计算资源的占用。
从超大核NPU、专用算子加速到AI工具链优化，X7 Ultra并非单纯增加计算单元，而是同时优化计算和数据处理方式，让700TOPS算力能够更充分地用于大模型推理。
不过，有了优秀的设计还远远不够，工程量产能力也是不可或缺的一部分。
三、从架构仿真到20万颗出货 大模型芯片走向量产
对于芯片公司来说，设计出一颗芯片只是第一步，能否顺利流片、完成车规验证并实现量产交付，同样重要。
对于XHEART来说，其从2023年成立到X7系列芯片量产，用了约两年时间。
在芯片研发初期，XHEART便对多种架构方案进行了评估。
XHEART CEO李宗霖曾公开表示，不同芯片架构会采用不同的数据流设计，团队需要提前建立性能模型，通过仿真比较各方案的计算效率，再决定最终的架构路线。
在完成架构设计后，XHEART还与Momenta合作，使用真实量产智驾大模型进行全芯片仿真验证。
这一环节被放在芯片流片之前完成，可以提前检查算法与硬件的适配情况，减少芯片回片后才发现问题的风险。
与此同时，XHEART还与主机厂提前开展域控制器设计，将芯片与其它器件的集成、验证工作同步推进，而不是等到芯片制造完成后才开始。
这些前期工作明显缩短了芯片回片后的软硬件集成时间。
根据XHEART披露的信息，首颗X7系列芯片回片后，不到24小时便完成点亮，主要数据通路全部打通。
回片第17天，X7系列芯片、底层软件和智驾大模型实现整车闭环，并开始在真实道路上进行白天、夜间和暴雨等场景测试。
随后，XHEART与主机厂合作推进量产项目，提供域控参考设计，并开展域控级PreDV验证，帮助客户完成芯片和整车系统的集成。
目前，X7系列已经取得了实际量产成果。
▲X7系列量产成绩单
截至10月29日发布会，X7系列芯片量产8个月，累计出货超过20万颗，搭载10款量产车型，并获得超过40款车型订单。
从芯片回片、算法适配到整车量产，XHEART已经完成了首代产品的商业化交付，并开始通过多个车型项目扩大出货规模。
在合作生态方面，Momenta是XHEART重要的战略合作伙伴，双方从芯片设计阶段便开展算法与硬件协同。
不过，XHEART是一家独立运营的芯片企业，与Momenta不存在排他性绑定关系。
其芯片面向主机厂及所有算法厂商开放，其它算法方案商也可以基于XHEART芯片进行适配和开发。
此次发布会上，Momenta CEO曹旭东也介绍了双方联合研发的最新进展。
据其披露，基于X7 Ultra的支持，即将发布的R7 Ultra模型参数规模将扩大5至10倍，安全性能提升5至10倍以上。
▲用户体验发展时间表
这也体现了算法与芯片联合设计的实际应用方向：通过优化底层计算平台，让车端能够运行参数更多、计算任务更复杂的智驾大模型。
除了当前的辅助驾驶市场，XHEART也开始向L3、L4自动驾驶拓展。
相比L2辅助驾驶，更高等级自动驾驶对计算平台的可靠性、功能安全和冗余能力提出了更高要求。
在芯片安全设计方面，X7 Ultra满足ISO 26262 ASIL-B功能安全要求，内部集成的安全MCU通过ASIL-D认证。
针对L3、L4应用，XHEART还推出了基于双X7芯片的计算平台，通过两颗芯片互联，在计算和安全能力方面提供冗余。
根据发布会公布的信息，双X7计算平台已经获得多个车型项目定点。
下一代产品方面，XHEART公布了X9芯片的研发目标。
按照规划，X9的大模型算力达到3000TOPS（仅用于智驾等物理AI场景），单芯片内存带宽达到700GB/s，面向L4自动驾驶、下一代世界模型以及具身智能等场景。
▲X9的大模型算力
随着模型参数规模继续扩大，车端不仅需要更多计算资源，还需要更高的存储带宽，以及更稳定、可靠的系统运行能力。
从X7系列芯片量产，到X7 Ultra提升大模型运行效率，再到X9提高计算与存储规格，XHEART正在沿着“大模型定义芯片”的路线推进产品迭代。
结语：大模型芯片进入系统效率竞争阶段
X7系列芯片实现规模化量产，说明XHEART已经具备车规级大模型芯片的交付能力。X7 Ultra则进一步将竞争重点放在模型运行效率上。
随着自动驾驶向L3、L4演进，模型对计算、存储和功能安全的要求还将继续提高。对于芯片厂商而言，未来不仅要提高算力规格，还要让新增算力在真实模型中发挥作用。
从这一角度看，软硬件协同能力正在成为智驾芯片的重要竞争因素，而XHEART正在为行业提供一个极具参考价值的范本。
