讯飞版大模型来了!首发通用人工智能评测体系,三大能力不输ChatGPT

智东西(公众号:zhidxcom)
作者 | 程茜
编辑 | 漠影

智东西5月6日报道,今天下午,讯飞星火认知大模型发布,以及大模型在教育、办公、汽车、数字员工行业领域的应用成果同步亮相。

同时,科大讯飞还提出了通用人工智能(AGI)在7大维度481项的评测体系,这七大维度包括文本生成、语言理解、知识问答、逻辑推理、数学能力、代码能力、多模态能力。经科大讯飞评测对比,星火认知大模型已经在文本生成、语言理解、数学能力上优于ChatGPT。

讯飞星火大模型采用了“1+N”的整体布局,其中“1”是通用认知智能大模型,包含7大维度的能力,“N”是大模型在教育、办公、汽车、数字员工等多个行业领域的应用。

科大讯飞董事长刘庆峰还透露了星火认知大模型在2023年的关键里程碑,6月9日,星火认知大模型将突破开放式问答,实现多轮对话能力再升级、数学能力再升级;8月15日,突破代码能力、实现多模态交互再升级;10月24日,通用大模型要对标ChatGPT能力,实现中文能力超越、英文能力相当的目标。

讯飞版大模型来了!首发通用人工智能评测体系,三大能力不输ChatGPT

▲科大讯飞董事长刘庆峰

刘庆峰认为,当下认知大模型已经成为通用人工智能的曙光,这一技术的出现产生的影响不亚于PC或互联网的诞生。

一、七大通用能力现场演示,语音输入、实时互动

刘庆峰谈道,从ChatGPT关注的48个主要任务方向和讯飞开放平台上400多万开发者团队的需求分析,通用人工智能应该具备七大维度能力,分别是文本生成、语言理解、知识问答、逻辑推理、数学能力、代码能力、多模态能力等。

因此,现场星火认知大模型基于这七大维度进行了演示,并且现场输入完全通过语音转写文字键入需求,无需打字输入。

讯飞版大模型来了!首发通用人工智能评测体系,三大能力不输ChatGPT

一开始,星火认知大模型就展示了自己名字的由来。

讯飞版大模型来了!首发通用人工智能评测体系,三大能力不输ChatGPT

1、多风格多任务长文本生成

首先,星火认知大模型为这场发布会生成了一篇欢迎词,“今天是讯飞星火认知大模型的发布会,现场高朋满座,我们也特别希望和各位朋友们精诚合作,共同建设美好世界。请帮我写一篇欢迎词”。

讯飞版大模型来了!首发通用人工智能评测体系,三大能力不输ChatGPT

在故事生成能力上,星火认知大模型也毫不逊色,“在今天的讯飞星火认知大模型的发布会上,孙悟空和奥特曼也偷偷潜入了现场,他们都抢着想做星火大模型的发言人,还为此吵了一架,根据上述信息来创作一个故事”。

星火认知大模型不仅将孙悟空和奥特曼的相关情节描述得十分生动,还在故事中引入了另一个主要人物“一位白发苍苍的老者”来保证故事情节的完整性。

讯飞版大模型来了!首发通用人工智能评测体系,三大能力不输ChatGPT

星火还能帮助用户起草工作邮件,如“帮我写一封内部工作邮件发给讯飞翻译机团队,针对五一的销售计划,明天上午9点在201会议室讨论讯飞翻译机4.0新品的营销计划和产品功能”。

讯飞版大模型来了!首发通用人工智能评测体系,三大能力不输ChatGPT

此外,在多语言生成中,星火还可以快速生成“英文的讯飞翻译机4.0新品品宣文案”。

讯飞版大模型来了!首发通用人工智能评测体系,三大能力不输ChatGPT

有趣的是,当你将文案发布情境设定到小红书时,星火也可以快速转换语言风格重新生成文本。

讯飞版大模型来了!首发通用人工智能评测体系,三大能力不输ChatGPT

刘庆峰说,经过评测,讯飞星火认知大模型的中文语言理解能力已经超过ChatGPT,在英文理解能力上,ChatGPT的能力达到4.48分,星火认知大模型为4.29分

2、多层次跨语种语言理解

针对英文文案,星火还可以快速对其进行语法检查和纠错。刘庆峰透露,对于英文语法、句式的纠错能力,星火认知大模型已经做到业界最强。

当面对一些模棱两可的话语需要大模型更高层次的理解能力时,星火认知大模型也可以准确剖析其不同含义。如“俗话说男子汉大丈夫要宁死不屈,俗话又说,男子汉大丈夫能屈能伸,这两种说法应该怎么理解”。

讯飞版大模型来了!首发通用人工智能评测体系,三大能力不输ChatGPT

放到具体情境中,“如果有个小伙子和女朋友吵架了,他应该宁死不屈还是能屈能伸”,星火也可以准确回复。

讯飞版大模型来了!首发通用人工智能评测体系,三大能力不输ChatGPT

对于一些文字表意一样,但含义不同的词语,如“今天小明参加比赛拿到冠军,他拿着奖杯默默地站了一分钟,今天我被老师批评了,走出教室后我默默地站了一分钟,请问上面这两个‘默默地站了一分钟’,分别表达了什么样的心情?”

讯飞版大模型来了!首发通用人工智能评测体系,三大能力不输ChatGPT

星火还可以使用上面“默默地站了一分钟”组词,并且能根据具体需求生成相应句子。重新生成后,星火也会输出完全不同的几个句子。

讯飞版大模型来了!首发通用人工智能评测体系,三大能力不输ChatGPT

可以看出,星火是确实理解了文字背后的含义再进行文本输出。

对于语言理解能力,刘庆峰透露, 和国内可测的现有系统相比,星火认知大模型明显遥遥领先,与ChatGPT有细微差距。

3、泛领域开放式知识问答

饮食类问题中,当询问“菠菜和豆腐能不能一起吃”,星火给出了专业的答案。

讯飞版大模型来了!首发通用人工智能评测体系,三大能力不输ChatGPT

在科技领域,星火也能应对“量子科技主要有哪些应用领域?”的问题。

讯飞版大模型来了!首发通用人工智能评测体系,三大能力不输ChatGPT

当将两个不同的概念放到一起,如“量子纠缠和心灵感应是不是一回事”,星火也没有被绕晕。刘庆峰透露,在中国科学院的支持下,星火仍在持续学习科技领域的知识。

讯飞版大模型来了!首发通用人工智能评测体系,三大能力不输ChatGPT

对于专业性更强的医疗领域,当问及“如果家中老人突然晕倒,如何判断是不是中风?”,星火给出了四个判断的维度。

讯飞版大模型来了!首发通用人工智能评测体系,三大能力不输ChatGPT

当追问“能不能马上把他扶到床上去休息”,星火也提出了专业的建议。

讯飞版大模型来了!首发通用人工智能评测体系,三大能力不输ChatGPT

刘庆峰谈道,目前在医疗治理方面,科大讯飞智医助理的能力比GPT-4要强很多,但由于医疗领域对专业性的更高要求,这一方面能力的开放需要更加谨慎,将于今年讯飞1024开发者节期间正式发布。讯飞的目标是让星火大模型不仅要成为医生的诊疗助手,还能成为每个人的健康助手。

4、情境式思维链逻辑推理

当提问“孔子在2008年的奥运会上说了什么?”,星火可以快速理解“孔子不可能出现在2008年的奥运会上”。

讯飞版大模型来了!首发通用人工智能评测体系,三大能力不输ChatGPT

换一个风格后,星火还能编出“孔子在2008年奥运会上给大家做汉语培训”的故事。

讯飞版大模型来了!首发通用人工智能评测体系,三大能力不输ChatGPT

面对更复杂的逻辑问题,“当黄兔、黑兔、白兔在赛跑,黑兔说自己跑的不是最快,但比白兔快,谁跑的最快,谁跑的最慢”,涉及三个主体的推理问题时,星火第一次生成的答案在“谁跑的最快”上出现了偏差。重新生成后,星火也快速给出了正确答案。

讯飞版大模型来了!首发通用人工智能评测体系,三大能力不输ChatGPT

5、多题型可解析数学能力

在一些容易混淆的数字问题上,如“某个公司的股票昨天涨了10%,今天又跌了10%,请问到底是涨了还是跌了”,星火也没有被难倒。

讯飞版大模型来了!首发通用人工智能评测体系,三大能力不输ChatGPT

几何问题中,但问到“等腰三角形的底角是顶角的两倍,这一三角形的角度是多少”,星火给出了下面的答案:

讯飞版大模型来了!首发通用人工智能评测体系,三大能力不输ChatGPT

6、多功能多语言代码能力

目前星火的代码生成能力是针对工业互联网、企业内部的应用。

当问到“用代码找出1到100之内的所有质数”,星火输出了Python代码实现过程和最终结果。

讯飞版大模型来了!首发通用人工智能评测体系,三大能力不输ChatGPT

7、多模态输入和表达能力不断丰富

在多模态能力上,星火可以把图片中的英文翻译成中文。

讯飞版大模型来了!首发通用人工智能评测体系,三大能力不输ChatGPT

并且,星火还可以化身一个美食助手,可以回答每道菜是什么口味等问题。大模型的加持下,星火可以从简单的文字到文字翻译变为文字到导游角色的升级。

讯飞版大模型来了!首发通用人工智能评测体系,三大能力不输ChatGPT

文字输出方面,星火以立夏为主题,生成了一篇200字左右的散文。同时,星火还支持用语音、虚拟人合成输出音频和视频。在视频中,不仅有女生的虚拟人形象,还有相对应的背景画面、虚拟人手势随着文字内容变化。

讯飞版大模型来了!首发通用人工智能评测体系,三大能力不输ChatGPT

刘庆峰透露,多模态输入和表达目前还没有开放,这一能力将在8月份开放给VIP客户使用。

演示现场还有现场随机抽取问题回答环节,针对于一些奇奇怪怪的问题,星火认知大模型也没有被难到。包括外星人感冒了需要戴口罩吗?我想把四十平的房子装修成七十平的感觉等。

在输出的答案中,星火大模型会对问题场景进行一些限制,考虑到多个场景来使得回答更为准确。刘庆峰说,星火大模型在不断的进步过程中,很多答案也会超出他们的预期。

二、落地四大应用领域,星星之火“燎原”教育、办公、汽车、数字员工

除了强大的通用能力外,星火认知大模型也已经在实实在在的产业场景中实现了应用落地,包括教育、办公、汽车和数字员工四大领域。

1、教育:批改中英文作文能力升级,形成批改、修订、学习闭环

讯飞AI学习机已经可以精准分析每个学生的薄弱环节,并在五万多所中小学校实现应用。此次,星火大模型也再次将学习机的语言学习能力升级。

此前,老师对一个学生的作文进行精批大概要花费半个小时时间,批改完一个班的学生会付出大量的时间成本。

在演示中,星火认知大模型针对小学四年级上册第八单元的作文“我的心儿怦怦跳”的写作要素和写作要求进行批改。

学习机批改的过程包括错别字、语句、内容,最后会生成批改评价以及写作建议,并且用户点击错别字还能看到相应的知识卡片。

批改修订建议还会用不同颜色区分,红色代表不符合某一条写作要求,绿色代表符合写作要求,此外,学习机还给出了优化参考内容。

讯飞版大模型来了!首发通用人工智能评测体系,三大能力不输ChatGPT

在英文作文批改方面,学习机会批改单词拼写、词汇用法、句型结构,最后同样会给出内容评价。

并且,学习机在作文有错误的地方会给出相对应的学习资料,完成基础批改、高级批改、提示建议、优化参考的闭环过程。

刘庆峰谈道:“这在业界是0到1的突破。”搭载大模型的讯飞AI学习机在批改、修订等的准确率上已经超过了一般老师的平均水平。

讯飞版大模型来了!首发通用人工智能评测体系,三大能力不输ChatGPT

口语和听说能力上,讯飞AI学习机可以在家庭里为用户营造一个真实的对话环境,例如针对“最爱的季节”这一开放式问答,讯飞学习机能够和用户实现类人对话。

并且英文口语对话中,如果用户有不会说的单词,可以用中文表述,星火认知大模型也能理解。

刘庆峰称,这一功能今天已经在讯飞AI学习机上T20 Pro开放,此前已购买该设备的用户可以在线下载更新获得功能。讯飞AI学习机上T20 Pro也是全球首款搭载大模型的AI学习机。

2、办公:快速生成纪要、摘要,音频能一键转化新闻稿件

讯飞此次通过星火大模型对办公产品进行了升级,包括讯飞智能办公本、录音笔、讯飞听见、智能麦克风。

讯飞版大模型来了!首发通用人工智能评测体系,三大能力不输ChatGPT

现场刘庆峰讲述了会议场景下,用户往往有记不全、找不到、对数据安全性担忧几大痛点。智能办公本可以通过语音转文字、字音同步、离线模式录音转写的方式解决上述痛点。

搭载大模型的智能办公本针对上述内容快速生成了会议纪要,不仅包含文本摘要,还结合了用户的手写笔记。

讯飞版大模型来了!首发通用人工智能评测体系,三大能力不输ChatGPT

在一些演讲场景下,演讲嘉宾的口语表达会和书面成稿内容有较大差距,智能办公本可以将重复的语气词去掉并保留演讲中的关键信息,同时调整口语语序,使其读起来更加通顺。

刘庆峰介绍道,语篇规整能力可以实现原文忠实度保留96%以上,原文篇幅缩小40%-60%,阅读效率提升50%以上。

讯飞智能办公本X2也是业界首个搭载大模型的智能办公硬件,同样,用户可以免费下载更新相关功能。他补充说,后续讯飞也会将大模型搭载到办公的全系列产品上。

同时,讯飞听见还支持一键成稿,用户导入音频后,就可以立即生成新闻稿件、品宣文案、工作总结、工作计划、工作待办等。

演示中,星火接收到一段音频文件后,先进行了音频转写,再根据用户需求生成相应的文稿。同时,当用户输入了想要在这篇“新闻稿件”中涉及的关键信息后,智能办公本会将标题、内容重新生成,并重点突出描述这一关键信息。

讯飞版大模型来了!首发通用人工智能评测体系,三大能力不输ChatGPT

刘庆峰说,现在登陆讯飞听见的官网可以马上运用这些功能。除此以外,讯飞智能录音笔SR702和讯飞智能麦克风M2也升级了会议纪要、语篇调整、一键成稿功能。

3、汽车:人车对话更加智能,汽车上也能订餐、购票

科大讯飞汽车座舱人机交互系统可以提供多轮、多人、多区域、多模态的智能汽车人机交互范式,在星火大模型的加持下,这一交互模式可以让用户在车上的对话更加自由、更人性化、更懂汽车、更加开放。

讯飞版大模型来了!首发通用人工智能评测体系,三大能力不输ChatGPT

同时,星火大模型还支持各种插件在汽车场景下与之行结合,如汽车的导航、餐饮、购票等功能都可以用星火大模型实现。

在演示视频中,用户可以和汽车上的人机交互系统对话,询问旅游计划、避开节假日人流密集的旅游路线、生成故事、接听电话等。

刘庆峰说,这样一来,汽车上的体验和原来会完全不同,人们在汽车里生活、工作的效率也会上一个台阶。

4、数字员工:生成式自动RPA,自然语言自动生成业务流程

此前,科大讯飞虚拟人智能交互机可以通过虚拟形象,以对话的形式扮演导游、虚拟客服、医院导诊、志愿者服务等角色,这些更人性化的交互机也大幅提高了各行业的工作效率。

讯飞版大模型来了!首发通用人工智能评测体系,三大能力不输ChatGPT

在演示过程中,基于星火认知大模型的生成式RPA能够让工作人员通过自然语言输入,大模型去理解员工通过自然语言描述的需求,自动生成业务流程和可执行的RPA能力清单,并调度RPA的执行能力实现流程自动化的运行。

这一能力在人力资源领域的应用也已经在讯飞内部实现场景落地。

刘庆峰透露,下一步,讯飞星火认知大模型还会赋能城市、工业等各个行业。

三、应用落地引领者,用评测体系指明大模型发展前路

作为国内人工智能领域国家队,科大讯飞早在2011年就肩负起语音及语言处理国家工程实验室的重任。

2014年,科大讯飞推出“讯飞超脑计划”,明确提出要让机器像人一样具备能理解会思考的能力,2022年,这一计划升级为“讯飞超脑2030计划”,提出让懂知识、善学习、能进化的通用人工智能技术成为每个人未来发展的重要机会,让机器人走进家庭。

讯飞版大模型来了!首发通用人工智能评测体系,三大能力不输ChatGPT

星火认知智能大模型也是这一计划的重要一环。刘庆峰谈道,在科学常识推理能力中,单模型已经超过了人类平均水平。

事实上,去年11月30日ChatGPT发布会,科大讯飞就迅速进行了相关技术和研发体系验证,12月15日启动了认知智能大模型的“1+N”专项攻关。

他认为,想要让这一次智慧涌现的认知智能真的解决社会刚需,要建立一套实实在在的科学系统的评测体系,来告诉这个行业“技术发展到了什么程度、下一个发展趋势应该往哪边走?”

因此,科大讯飞与中科院人工智能产学研创新联盟和长三角人工智能产业链联盟共同探讨形成了覆盖7大类481个细分任务类型的科学系统评测体系。

讯飞版大模型来了!首发通用人工智能评测体系,三大能力不输ChatGPT

当下,刘庆峰也谈道,纯大模型技术有很多待攻克的技术缺陷,如对新知识难以及时更新、事实类问题容易发生张冠李戴的现象等。

但对于这些,讯飞都有非常明确的解决方案。他透露在科大讯飞成立24周年之际,星火大模型要突破开放式问答,类搜索插件可以全部知道新知识,通过多轮对话进行升级,数学能力再上一个新的台阶。

这都得益于科大讯飞此前在人工智能领域的技术积累,以及在认知智能领域取得的领先成果。如2017年科大讯飞让机器在全球首次通过国家职业医师资格考试、超过了96.3%参加考试的医生,并且在SQuAD机器阅读理解中全球首次超过人类平均水平,2022年在OpenBookQA科学知识推理中,单模型也超过人类平均水平。

作为将大模型率先应用落地的玩家,科大讯飞还通过讯飞开放平台开放了560项AI能力,并且有首批来自36个行业的3000余家企业开发者将接入星火大模型。基于此,科大讯飞将联合行业合作伙伴共建大模型“星火”生态,让大模型能真正落地到行业中去。

结语:讯飞打响大模型应用落地“第一枪”!

大模型的真正价值在于成为生产力工具,使得产业应用真正与前沿技术相结合。当下,大模型也已经进入产业落地的关键期。

科大讯飞此前在认知智能领域的技术积累优势,以及在教育、办公等场景下的深耕使得其成为大模型应用落地的率先突破者。

同时,AI新的技术革命已经到来,正在对各行各业产生深远影响,讯飞星火大模型的应用成果发布将进一步助攻大模型AI技术在各行各业的规模化普及。