智东西(公众号:zhidxcom)
作者 | 三北
编辑 | 漠影
过去三个月,随着“千模大战”在全国爆发,头部玩家百度文心一言“大招”不断。
昨日,百度智能云在成都举办的技术交流会上公布了最新成绩单:过去近三个月,文心一言实现了推理性能提升10倍,高性能版推理性能提升50倍。这意味着,同等效果的大模型,企业获取的成本大大降低。
同时,百度文心一言大模型在应用上“再攻一城”:继百度搜索、百度地图、小度音箱等应用接入文心一言之后,昨日,基于文心大模型的AI辅助编程工具Comate启动邀测,助开发者提高研发效率。
▲基于Comate辅助的“贪吃蛇”游戏编程
在市场和生态方面,百度智能云也公布了一组数据:截至当下,已有超15万客户申请接入文心一言,超300家企业成为文心一言生态伙伴,实现超400个具体场景落地。结合此前百度公布的10亿元文心投资基金,这些数据展现出文心一言的强劲表现。
头部客户方面,包括百图生科、长安汽车、地平线、知乎、软通动力等在内的多家企业,都基于百度文心千帆大模型平台取得了大模型落地进展。
AI大模型的“百度速度”,从一定程度上代表了国产大模型的发展速度。而在国产大模型加速赛跑的同时,国外的微软、亚马逊的AI竞赛同样愈演愈烈,为国产大模型施压。
加速AI发展成为各地政策所向,如何缩短与GPT-4的差距,也一直是国内产业持续关注的问题。通过对话百度智能云AI平台副总经理施恩,我们深入了解了百度文心一言过去三个月的迭代思路和心路历程,同时也探讨了AI大模型落地产业的真实挑战和应对之道。
一、从代码助手到千行百业,国产AI大模型加速“软着陆”
首先来看看大模型应用更新。在本次技术交流会上,AI代码助手Comate是一个文心大模型应用矩阵中的新物种。
作为一款程序员“神器”,Comate可帮程序员实现代码的快速补齐、自然语言推荐代码、自动查找代码错误,从而提升研发效率。根据百度官方数据,在Comate辅助编写的代码中,近50%的建议代码被开发者采纳。
实际上,市面上已经有一些同类AI代码助手上线,包括微软旗下GitHub推出的Copilot X、AWS推出的CodeWhisperer等。那么Comate的实际体验效果如何?
会上,施恩通过一个“贪吃蛇”小游戏的开发现场演示了Comate。当开发者输入“canvas”,以及“弹性布局,水平居中,垂直居中”等中文备注,“Comate”即自动识别语义,生成游戏画布代码。当他再输入“param color”、“left”、”food=”等颜色、方向、食物的简单词汇,“Comate”自动联系上下文理解指令,补全代码,并在多条推荐代码之间切换,选择合适代码,系统就直接生成了可运行的“贪吃蛇”小游戏。
据悉,百度自2021年起就基于文心大模型研发代码辅助工具,自2022年9月起就在内部全面测试。Comate目前已经覆盖了30余种编程语言,包括 C/C++、Python、Java、Go、PHP、JavaScript等。Comate支市面上主流IDE,开发者可以通过插件等形式,在不同软件中使用Comate。同时,结合飞桨深度学习框架与文心大模型,Comate可确保推理单次请求300ms左右,以极快的响应速度保障用户使用体验。
面对市面上已有大厂的编程辅助工具,百度的AI代码助手有什么差异化价值?
施恩告诉智东西,市面上代码助手工具的定位都是用于辅助代码撰写,提升效率,Comate的一大差异化在于考虑了国内开发者的中文注释习惯,具备中文注释推荐代码能力。同时,相比于市面上产品大多基于开源代码训练,百度Comate是结合其内部众多业务开发代码训练而来,能做到业务实用性更强;此外,相比市面上产品需要基于公有云部署,Comate则支持私有化部署,从而减少安全隐患。
根据百度智能云的规划,在第一阶段,Comate的主要功能是以辅助代码撰写为主;在第二阶段,Comate将实现在特定领域、场景的自然语言代码生成;第三阶段,将实现全领域的自然语言开发。
纵观过去三个月里文心一言落地的应用,已经形成了一个矩阵。除了Comate,文心一言已落地百度搜索、新闻推荐、百度地图、如流办公平台、小度智能音箱等百度自有业务,同时落地了百图生科、长安汽车、地平线、知乎、软通动力等企业场景。
尽管很多场景还在探索之中,实际效果尚待验证,但大模型在行业的“软着陆”目前来看进展顺利。
二、推理性能提升50倍,文心一言主动“瘦身”赋能行业
除了肉眼可见的应用方面进展,按照百度智能云公布的情况,文心一言大模型本身的迭代也达四版,效果和性能方面显著提升。
根据百度智能云官方数据,自3月16日文心一言开放测试以来,模型本身的推理性能已提升10倍。同时,在企业应用的高频、核心场景中,文心一言的高性能模式“文心一言-Turbo”,其推理服务性能已经提升了50倍。
文心一言-Turbo是什么意思?50倍性能提升又意味着什么?
文心一言-Turbo,简单来说,可以理解为一个“瘦身”的文心一言大模型,能在保证实现文心一言相同效果的同时,降低模型参数规模,从而降低企业的使用大模型的算力成本。
而在50倍这一数字背后,施恩告诉智东西,随着文心一言-Turbo带来50倍性能提升,未来客户将能感受到使用成本的降低。同时,模型的响应时长将被缩短,使得对时延要求高的场景体验大大提升。此外,在资源扩展性方面,文心一言-Turbo使得私有云部署的客户算力储备和占用变少,取得明显收益。
文心一言及文心一言Turbo有各自适用的场景,为不同企业提供了不同选择。
一类是通用应用型企业,往往需要用大模型改善终端应用效果或孵化创新应用,比如WPS、石墨等,核心关注的是大模型的效果保障。由于很多企业的应用是通用的,因此会选择泛化性更强的文心一言,以解决更多问题。
一类是行业龙头企业,希望构建行业大模型服务上下游企业。比如教育、金融、能源等方向的龙头企业,手握行业数据和场景积累,需要在专业领域构建基于行业大模型的应用。文心一言Turbo更适用于终端的应用场景,结合企业自身数据能达到更好的场景化效果。
可以看到,经过近3个月迭代发展,百度文心一言的行业落地正在分出两条清晰的路线:通用大模型和行业大模型并举。
纵观全球AI大模型发展格局,国内AI大模型与OpenAI旗下的GPT-4的差距难以在短时间内赶上。但3个月的落地让施恩对这一问题有了新认识,他认为,企业更关注的是大模型如何与企业场景做结合解决实际问题,而不是大模型评测情况。
“通用模型能力是一方面的,怎样更好地跟行业数据、行业知识相结合,去解决问题是更重要实用的。”施恩说,“我们这两个方面都会关注。通用模型的逻辑、推理等能力提升,有助于更好训练行业大模型;同时也不完全依赖于通用模型的全面性,不影响我们在一些特定的行业去应用落地。”
三、文心千帆进化10周,大模型正颠覆云计算范式
根据科技部新一代人工智能发展研究中心发布的《中国人工智能大模型地图研究报告》显示,目前中国10亿以上参数规模的大模型已达79个。但这可能仅仅是冰山之上的情况,一场“千模大战”在过去三个月里已经铺开。
市场需求在过去三个月已发生微妙变化,也影响着智能云产业的发展走势。
百度集团副总裁侯震宇在5月的闭门技术交流会上谈道,在3月16日文心一言刚开放时,来咨询的客户大多是CEO级别的一把手,从战略上认可大模型的重要性;两个多月之后,团队接触到越来越多业务负责人,他们希望更快用大模型提高业务能力,从而在竞争中获得优势。
与此同时,随着AI大模型落地行业,一些实际挑战也显现出来。施恩告诉智东西,一是客户使用上的困难,比如大模型需要较好的Prompt(提示词)做触发,而一些客户难以结合场景去编写Prompt,就使效果打折扣;二是通用大模型与专用场景的匹配不足,专业知识库的缺乏阻碍大模型效果发挥;另外是与企业业务系统集成的挑战,这需要与更具行业经验的伙伴合作,等等。
AI大模型发展势在必行,产业如何解决这些挑战?
对此,百度实际上在文心一言上线之后就给出了解法——标准化平台赋能行业。
3月27日,百度文心千帆一站式企业级大模型平台开启测试。这是一个包含了文心大模型及第三方模型,以及构建大模型能力所需要的全场景工具链。比如行业伙伴需要的SFT大模型效果调优、Prompt工程等,都可以从这个平台上获取。
而经过近10周的迭代,文心千帆平台虽然还不能说取得成绩,但已经在生态方面有一些进展。除了文心一言大模型本身已迭代4个版本,还包括15万企业申请内测、推出五大行业样板间、400多场景测试取成效等,包括长安汽车、百图生科等伙伴都已经公布了成果。
如下图所示,文心千帆平台大目标是能够覆盖AI研发的全生命周期,包括数据管理、模型训练、模型评估、预测部署和插件服务等多项能力,支持公有云服务和私有化部署多样化部署方式,从而实现更易用、更全面、更安全、更高效、更开放、更集成。
据悉,文心千帆的核心迭代思路可以归结为两个核心关键点:一是效果,推理能力如何,与业务结合能否解决问题,是企业第一关心的。二是性能,要持续降本,对百度智能云的要求就是要在技术架构上持续提升性能。为此,大模型落地需要由算力、框架、模型、应用构筑的四层架构相互配合提供支撑。百度智能云正通过AI大底座,从芯片层、操作系统层、框架层、应用层4层架构占据先发优势。
可以看到,随着AI大模型展开落地,云计算行业的产业规则正在被AI改变。主流商业模式正从强调规模的IaaS(基础设施即服务),向强调多层技术栈协同的MaaS(模型即服务)发展,为云计算产业带来进化升级的新机遇。
结语:“千模大战”100天,头部企业服务版图基本成形
随着AI大模型加速产业落地,打头阵的百度文心一言已实现多次进化迭代。
3月16日,百度大语言模型产品文心一言邀请测试;3月27日,百度智能云文心千帆大模型平台面向首批企业客户启动内测,在智能办公、旅行服务、电商直播、政务服务、金融服务五大领域打造行业样板间。
4月25日,百度智能云宣布六大智能产品系列将基于文心一言升级,未来将在安全评估完成后上线。4月26日,百度智能云宣布文心一言大模型推理成本降到原来的1/10。
5月9日、5月23日百度智能云在北京、深圳举办技术交流会,首次演示用“文心千帆”大模型平台可视化微调大模型的全过程。5月31日,百度将设立10亿元人民币的百度文心投资基金。
6月6日,百度智能云推出文心一言高性能模式(文心一言-Turbo)、开放代码助手Comate邀测。
可以看到,百度文心一言企业服务版图成形。追溯到其升级思路,则是主要沿着效果和性能两条主干线,以助各行各业的企业更快地通过大模型,满足业务的实际需求。
当我们提到AI大模型时,很自然地想到的是算力。而实际上,随着大模型在产业场景中找到更多的结合点,能否解决客户问题成为最关键的问题。因此,更智能的算力、灵活的框架平台、丰富的大模型体系以及优质的应用方案,都将成为企业决胜“千模大战”的关键。