芯东西(公众号:aichip001)
编译 | 王傲翔
编辑 | 程茜
芯东西3月22日消息,美国半导体初创公司Cerebras于19日举办Cerebras AI Day,期间发布了CS-3人工智能超级计算机与其所搭载的最新WSE-3芯片、以及人工智能超级计算机Condor Galaxy 3。
据Cerebras官网介绍,CS-3拥有高达1.2 PB的巨大内存系统,旨在训练比OpenAI GPT-4和谷歌Gemini大10倍的下一代前沿模型。在CS-3上训练一万亿参数模型就像在GPU上训练十亿参数模型一样简单。
一、四万亿晶体管,拥有90万个计算核心
最新发布的WSE-3芯片是从WSE-2改进而来的,其晶体管数量较上一代WSE-2明显提高,达到4万亿。
它还拥有90万个计算核心、44GB的SRAM内存,制造工艺也更新到5纳米。基于5纳米、4万亿晶体管的WSE-3可以为Cerebras CS-3人工智能超级计算机提供动力,通过90万个人工智能优化的计算核心,提供每秒125千万亿次的峰值人工智能性能。
据该公司称,WSE-3在人工智能工作负载方面的性能是其前身的两倍,它的峰值速度可以达到每秒125千万亿次浮点计算。
作为人工智能芯片的独角兽企业,Cerebras在2021年首次亮相了WSE-2芯片,集成了2.6万亿个晶体管、40万个核心。当同行都在将晶圆分割成数百颗独立芯片之时,Cerebras选择将整个晶圆做成一颗芯片。
二、基于高通AI 100 Ultra,实现十倍性价比提升
Cerebras在社交平台X上宣布将利用美国高通产品在AI推理中的强大性能,通过使用Cerebras业界领先的CS-3 AI加速器与美国高通骁龙的AI推理芯片AI 100 Ultra进行推理,生产级部署可实现高达10倍的性价比提升。
“这些共同努力旨在开创高性能低成本推理的新时代,而现在是最合适的时机。我们的客户专注于训练最高质量、最先进的模型,这些模型在推理时不至于花费过多资金。”Cerebras首席执行官兼联合创始人安德鲁·费尔德曼(Andrew Feldman)说道,“利用高通的AI 100 Ultra,我们可以在不牺牲模型质量的情况下,从根本上降低推理成本,从而实现当今最高效的部署。”
Cerebras与高通的AI 100 Ultra合作所使用的先进技术包括四个方面,分别是:非结构化稀疏性(Unstructured Sparsity)、推测解码(Speculative Decoding)、高效的MX6推理(Efficient MX6 inference)以及来自Cerebras的NAS服务(NAS service from Cerebras)。
这些技术和其他先进技术的结合,旨在使Cerebras和高通技术的解决方案的实现性能提升一个数量级,在模型发布时提供数量级的性能改进,从而使推理就绪的模型可以部署在任何高通云实例上。
三、同G42合作,打造超级计算机
此外,Cerebras将建造Condor Galaxy 3,这是他们的人工智能超级计算机星座的第三个集群,即秃鹰星系。Condor Galaxy 3配备64个Cerebras新发布的CS-3系统,将基于5800万个AI优化核心提供8 exaFLOPs的AI性能。
在去年七月,Cerebras公布了CS-2,一台价值1亿美元的人工智能超级计算机。Cerebras与阿联酋AI公司G42一起使用这台机器。
Cerebras和G42之间的战略合作伙伴关系也将随着Condor Galaxy 3的建设而扩大。G42首席技术官Kiril Evtimov称:“借助Condor Galaxy 3,我们将继续实现通过开发世界上最大、最快的AI超级计算机来改变全球AI计算库存的共同愿景。”
据外媒报道,Condor Galaxy 3将于2024年第二季度上市。
结语:人工智能超级计算机潜能再次突破
Cerebras CS-3人工智能超级计算机的公布,是对人工智能技术的飞速发展、以及对于强大计算能力的需求日益迫切的最新回答。伴随着各种类型的人工智能大模型不断涌现,CS-3依靠其在性能上质的飞跃,使得训练超大规模的人工智能模型变得更加简单。
外媒认为,Cerebras的CS-3人工智能超级计算机和WSE-3芯片的发布,标志着人工智能硬件领域的一次重大突破。
来源:雅虎财经、Business Wire、PR Newswire