芯东西（公众号：aichip001）
编译 | 王傲翔
编辑 | 程茜

芯东西3月29日消息，本周二，据彭博社报道，由谷歌前员工成立的AI芯片创企MatX浮出水面。MatX正在挑战英伟达在AI芯片领域的霸主地位，其为大语言模型训练而设计的AI芯片将于明年问世。

这家公司的官网显示，使用MatX芯片，训练70B大模型的延迟将小于10ms/token。该公司还预言，使用其芯片训练，能够让世界上最好的大语言模型提前3至5年出现。

MatX目前已获2500万美元（约合1.8亿人民币）融资，包括Nat Friedman、Daniel Gross以及Rajiv Khemani等著名AI领域投资者领投。

在英伟达独占目前AI芯片市场的背景下，许多公司也开始设计自己的AI芯片。但从零开始设计一款芯片需要数年时间，成本高达数亿美元，因此这些公司的芯片通常以失败告终。然而，AI的前景十分巨大，仍有不少人决心尝试。MatX便是其中的典型例子。

一、降低创企大模型训练门槛，计划于明年问世

MatX由CEO Reiner Pope和CTO Mike Gunter共同创建。据彭博社信息，MatX旨在设计专门用于处理大语言模型所需数据的芯片，让每个芯片晶体管都能最大限度地提高大语言模型的性能。

此外，该公司正在研发的AI芯片能为7B大模型训练提供每秒至少1022浮点计算。在提供迄今最好的服务器单位价格性能基础上，该芯片的延迟也能得到优化。例如使用MatX芯片，训练70B大模型的延迟将小于10ms/token。

该芯片也提供扩展性能，并支持拥有数十万芯片的集群。这样的能力使得大部分创企都有能力和成本从头开始训练一个大模型GPT-4，并获得ChatGPT级别的流量服务。

MatX在官网介绍，它能为世界上最大的模型提供10倍以上的计算能力，使大模型更智能、更加有用。彭博社称，该公司计划于明年推出AI芯片。

▲MatX员工合影（图源：MatX）

二、前谷歌员工创立，对获OpenAI订单保持乐观

要设计出这样强大的芯片，不仅需要创新的思维和高科技的生产设备，还需要庞大的资金支持。

硅谷著名AI投资人Daniel Gross说：“MatX创始人的行动代表了这个世界AI发展的一种趋势，因为他们正在把一些大公司开发的最好的创意独立和商业化，而这些大公司往往行动太慢、太官僚化。”

Gunter提到，对于OpenAI和Anthropic在内的AI企业，他们的经济状况与一般公司完全相反。因为他们把钱都花在了计算上，而不是工资上。如果情况不改变，他们就会没钱。这些AI企业需要高性能AI芯片不断提升大模型的算力。

MatX认为，如果能得到这些AI企业的支持，为他们提供性能更好的AI芯片，该公司的业务将得到较大发展。

▲Reiner Pope（左）和Mike Gunter（右）合照（图源：彭博社）

该公司创始人Gunter和Pope曾在美国科技企业Alphabet旗下的谷歌工作。Gunter主要负责设计运行AI软件的硬件，包括芯片等；Pope负责编写AI软件本身。

多年来，谷歌一直在研发自己的AI芯片，称其为张量处理单元（TPU）。Pope和Gunter在接受彭博社采访时提到，在大语言模型真正开始普及之前，这些芯片就已经被设计出来，它们的性能对于训练当前的大模型任务来说过于一般。

▲谷歌CEO Sundar Pichai在2017年谷歌AI I/O大会上介绍为AI研发的芯片（图源：GETTY IMAGES）

“我们试图让大语言模型在谷歌内部运行得更快，并取得了一些进展，但实现这一目标仍很困难。”Pope说，“在谷歌内部，有很多人希望对芯片进行各种改动，因此我们很难只专注于大语言模型的开发。为此，我们选择了离开。”

大语言模型可以看作是OpenAI的ChatGPT和谷歌的Gemini等产品的基础，而它们的运行需要大量非常昂贵的芯片。如果有一家公司能生产出更便宜、更快速、更适合AI的芯片，那么它就能在AI软件不断扩展的世界里大展拳脚。英伟达与MatX的AI芯片便是典型的例子。

三、不同于英伟达GPU设计，MatX芯片AI性能高于英伟达10倍

MatX在芯片上设计了一个大型处理内核，这与英伟达的AI芯片完全不同。

英伟达在AI芯片市场的主导地位在某种程度上是一种偶然。该公司最初生产的芯片被称为GPU，用于加快视频游戏和某些计算机设计工作的速度。英伟达的芯片擅长处理大量的小型任务，而凑巧的是，这些芯片在运行大约十年前开始兴起的AI软件时，比英特尔其他类型芯片的效果要好得多。

相较于英伟达将芯片GPU的空间进行分割，MatX采用的是一种“一刀切”的方法，其目的只有一个，那就是尽可能快地将数字相乘，这是大语言模型的核心任务。英伟达将GPU分割以处理各种计算工作，更多是为了迎合过去的计算时代，而不是AI蓬勃发展的结果，因此芯片在性能上会有所折衷。

Pope称，在芯片上设计大型处理内核处理AI运算，能够让这款芯片在训练大语言模型和交付其结果方面将比英伟达AI芯片的GPU至少好10倍。但MatX AI芯片是否好于英伟达，需要等明年发布后才能揭晓。如果芯片性能达不到预期，MatX可能得不到OpenAI等AI企业的支持。彭博社称，这是一个不成功便成仁的赌注。

“英伟达的产品非常强大，使用这些产品显然是大多数公司的理想选择。”Pope说，“但我们认为我们可以做得更好。”

四、AI新浪潮加速芯片创业，MatX或引发AI芯片创业潮

硅谷，顾名思义，曾经遍布芯片公司。当时有几十家初创公司，甚至计算机巨头惠普、IBM和美国互联网技术公司Sun Microsystems都生产自己的芯片。然而，近几年，英特尔凭借其在个人电脑和服务器市场的主导地位，挫败了许多公司；韩国电子工业企业三星和美国无线电通讯企业高通等公司开始主导智能手机市场。

▲硅谷（图源：Wikipedia）

由于这些趋势，投资者开始放弃向芯片初创企业投资，因为这些创企做的比软件成本更高、耗时更长、风险更大。“2014年前后，我拜访了一些风险投资公司，他们已经换掉了所有了解半导体的合伙人。”投资了MatX的芯片专家Rajiv Khemani说，“我面对一群人，但他们根本不知道我在说什么。”

但AI的崛起改变了风险与回报的平衡。亚马逊、谷歌和微软等拥有大量资源的公司纷纷投资设计自己的AI芯片。

如果AI软件继续沿着目前大语言模型的道路发展下去，它将产生巨大的计算需求，而这些计算是非常昂贵的。据估计，正在开发的模型每个需要花费约10亿美元（约合72亿人民币）进行训练，未来大模型的训练费用预计达到100亿美元（约合720亿人民币）。

几年前，美国AI芯片创企Groq和Cerebras出现，并首次推出一大批AI专用芯片。但这些芯片都是在AI取得重大技术突破之前设计的，现在AI领域的主流是大语言模型。这些初创公司不得不适应市场对大语言模型突然迸发的兴趣，并尝试临时调整自己的产品。

MatX很可能代表着芯片初创公司从头开始专注于大语言模型的浪潮到来。这一浪潮也使投资者重燃对AI芯片公司投资的热情，让硅谷也仿佛回到25年前的投资氛围。

AI芯片创企进入芯片行业的一个巨大问题是，设计和制造一款新芯片需要三到五年的时间。并且，英伟达不会在此期间停滞不前。事实上，该公司已于本月推出速度更快的Blackwell B200。

因此，初创公司必须预测技术趋势和竞争态势，他们几乎没有出错的余地，否则就会拖慢生产速度。软件公司通常需要重写代码，以便在新的芯片上运行，这个过程既费钱又费时，只有预期从这种转变中获得巨大回报时，他们才会这么做。

美国在线支付服务商PayPal创始人Peter Thiel在《从零到一》这本书中写道：“通常的经验法则是，新芯片必须比以前的芯片至少好10倍，才有可能说服客户移植所有代码道新芯片上。”

Gross预测，AI行业正处于建立所需的基础设施的早期阶段，以支持向AI这一主流计算形式的转变。他认为，我们正在进入一个半导体周期。相比之下，其他周期将显得苍白无力。彭博社称，如果他是对的，那么几乎可以肯定，几乎还会有新的芯片帝国将要诞生。

结语：MatX挑战英伟达霸主地位，明年是关键节点

MatX的崛起显示新的浪潮在芯片行业中涌现，其创新的AI芯片设计有望提升AI性能，适应大语言模型的训练需求。从其新一轮融资中可以看出，投资者对AI创企的投资热情也重新被点燃。

在英伟达坐稳AI芯片市场霸主的当下，MatX的芯片计划正逐步推进，明年将会是见证其影响的关键时刻。

来源：彭博社