智东西(公众号:zhidxcom)
编译 | 长颈鹿
编辑 | 李水青

智东西5月8日消息,据外媒The Information 5月6日报道,微软正在训练一个5000亿参数的AI模型MAI-1,公司希望MAI-1能与OpenAI的GPT-4、谷歌的Gemini、Anthropic的Claude等先进模型有一战之力。

自2019年起,微软便与OpenAI展开合作,共同研发OpenAI旗下的生成式AI模型和支持这些模型训练的超级计算技术。据外媒报道,微软迄今共向OpenAI投资了130亿美元。据The Information称,微软打算在AI领域寻求一条独立发展的路径,因为目前微软的“Copilot”助手均依赖于OpenAI的技术。

微软公司正在AI领域采取一种双轨道发展策略,既开发成本较低、适合端侧运行的小语言模型,又着手于开发更先进的大语言模型。4月23日,微软开源了其小语言模型Phi-3-mini。

据内部人士透露,微软正在研发的MAI-1的规模将远超其曾训练的任何开源模型。MAI-1预计将拥有约5000亿个参数,虽然仍小于GPT-4的1万亿参数,但也足以使其成为一个庞大而复杂的模型。

微软的这一新模型将需要显著的计算能力和大量的训练数据,相应地,其成本也更为高昂。尽管MAI-1的具体用途尚未确定,The Information称微软愿意投资于AI技术的长期发展。

为了支持这一雄心勃勃的项目,微软正在配置大量的服务器集群,这些服务器配备了由英伟达生产的图形处理单元(GPU)。同时,公司正在积极训练MAI-1的数据集,包括使用GPT-4生成的文本以及互联网上的公共数据。

据悉,MAI-1的开发是由微软AI的首席执行官穆斯塔法·苏莱曼(Mustafa Suleyman)领导的,他曾在2010年担任DeepMind的创始人,随后于 2022 年加入Inflection AI担任首席执行官。其中,Inflection AI在今年三月末通过微软的“非直接收购”方式被并入微软。

The Information称,虽然微软纳入了Inflection AI大部分员工并以6.5亿美元的价格购买了该公司的知识产权,但MAI-1是微软自研发的模型,并非基于前者模型架构。两位微软内部员工透露,MAI-1在训练过程可能会用到Inflection AI的训练数据和技术。

根据知情人士透露,微软可能会在5月21到23日的微软Build开发者大会上展示MAI-1模型的更多细节,让我们敬请期待月末的消息。

来源:The Information