![](http://oss.zhidx.com/uploads/2024/05/66542e4e8fd59_66542e4e8c0a7_66542e4e8c075_图片6.png)
智东西(公众号:zhidxcom)
编译 | 陈骏达
编辑 | Panken
智东西5月27日消息,近日,《华尔街日报》对ChatGPT、Claude、Copilot、Gemini和Perplexity五大AI聊天机器人进行了一次全面的盲测。最终,Perplexity综合排名第一,ChatGPT紧随其后,微软的Copilot表现垫底。
本次测试的侧重点为AI聊天机器人解决实际问题和完成日常任务的能力,反映了它们在真实场景中的表现。《华尔街日报》的测试人员设计了一系列提示词来测试流行的使用案例,包括代码能力测试、健康咨询和理财问题。评判的标准包括准确性、有用性和整体质量。《华尔街日报》邀请了相关领域的专家以盲测的形式开展测试。接下来就让我们来看看这些AI聊天机器人在不同问题上的具体表现吧。
为了使用更全面的功能,《华尔街日报》在测试中使用了20美元的付费版,包括最新发布的OpenAI ChatGPT GPT-4o模型和谷歌Gemini 1.5 Pro。
美国大模型独角兽Anthropic是OpenAI的一大劲敌,此次测试中,它开发的聊天机器人Claude在写作类任务上的表现尤为突出;集成了OpenAI技术的微软AI助手Copilot则在创意写作和总结方面展现出优势。
美国AI搜索独角兽Perplexity AI打造的Perplexity尤其令人惊喜。它在总结、代码和时事类问题上取得最佳表现,在大部分单项测试上都取得前三名的成绩。
值得一提的是,这是英伟达创始人兼CEO黄仁勋最常用的AI工具。凭借在生成式AI搜索产品上的创新,Perplexity AI喜提“谷歌杀手”称号,今年月活用户数突破1000万大关。根据数据研究分析平台Pitchbook,Perplexity AI团队规模不到50人。
测试中,更新后的ChatGPT意外地未能在测试中拔得头筹,反倒是更为小众的的Perplexity在九项测试中的三项上排名第一,并获得本次测试的冠军。Anthropic的Claude在部分问题上表现不错,但由于无法访问网页且响应速度较慢,最终名列第四。
来自谷歌的Gemini和来自微软的Copilot在本次测试中表现不佳,分列第三和第五。微软Copilot更是在五项测试中垫底,多次忽略提示词中的关键信息,是本次测试中表现最差的AI聊天机器人。
一、健康类问题:Gemini让你“凭感觉决定要不要孩子”
AI聊天机器人提供的错误健康建议可能会危害用户的健康。测试人员共提出了五个问题,分别涉及怀孕、减肥、抑郁以及慢性和突发症状。很多答案听起来都差不多。这一部分的评委是《华尔街日报》健康专栏作家Sumathi Reddy,她对答案的完整性、准确性和细节问题进行了考察。
例如,当问到怀孕的最佳年龄时,Gemini给出了一个简短而笼统的建议,称“怀孕的最佳时机,是你自己觉得有信心并准备好养育孩子的时候”。而Perplexity的回答则更深入,甚至提出了伴侣关系和经济稳定性等因素。尽管如此,Gemini还是对其他问题做出了高质量的回答,最终仅次于该类别的冠军ChatGPT。ChatGPT的回答在最近的GPT-4o更新后有所改进。
![五大AI聊天机器人盲测!ChatGPT未能夺冠,最终赢家竟来自这家“小公司”](https://oss.zhidx.com/uploads/2024/05/6653fad9ed034_6653fad9e2dd7_6653fad9e2d9e_Health-Ranking.png/_zdx?a)
▲健康类问题排名
二、理财类问题:ChatGPT和Copilot表现欠佳
在这项测试中,测试人员向AI聊天机器人提出了三个问题,分别是利率、退休储蓄和遗产继承。《华尔街日报》的个人理财编辑Jeremy Olshan提出了这些问题,并根据建议的清晰度、全面性和实用性进行了评估。
在这方面,ChatGPT和Copilot表现欠佳。Claude对选择罗斯个人退休账户(Roth IRA,一种增值免税的退休账户)还是传统个人退休账户的争论给出了最佳答案。而Perplexity则对高收益储蓄账户与定期存款做出了最好的权衡。类别冠军Gemini对何时从继承的100万美元个人退休账户中提取资金的问题给出了最佳回答。Gemini在回答中强调了在没有专业指导的情况下不要匆忙提取资金。
![五大AI聊天机器人盲测!ChatGPT未能夺冠,最终赢家竟来自这家“小公司”](https://oss.zhidx.com/uploads/2024/05/6653ff24a2adc_6653ff249f780_6653ff249f752_Ranking-Finance.png/_zdx?a)
▲理财类问题排名
三、烹饪类问题:Copilot完全无视忌口
AI有望在厨房里为人类提供帮助。它能让冰箱和储藏室的混乱场面变得井井有条。《华尔街日报》的个人技术产品编辑Wilson Rothman是一位狂热的烹饪爱好者,他向AI聊天机器人抛出了一组随机食材,看看它们能做出什么花样。该类别的冠军ChatGPT提供了一份既有创意又切合实际的菜单(芝士猪肉馅烤苹果配羽衣甘蓝沙拉和巧克力酥饼)。Perplexity提供了详细的烹饪步骤和巧妙的菜单,给测试人员留下了深刻印象。
接下来,测试人员要求AI聊天机器人提供一份巧克力甜点的食谱,需要满足多种忌口要求。
Gemini一举夺魁,甚至还推荐了一些额外的配料,比如不含乳制品的蛋糕淋面。Copilot加入了提示词中明确要求不应包含的鸡蛋和黄油,因此在这项测试中落败。
![五大AI聊天机器人盲测!ChatGPT未能夺冠,最终赢家竟来自这家“小公司”](https://oss.zhidx.com/uploads/2024/05/6653ff24a2adc_6653ff249f780_6653ff249f752_Ranking-Finance.png/_zdx?a)
▲烹饪类问题排名
四、职场写作类问题:Perplexity、Gemini和Claude势均力敌
在职场写作中,语气和细节很重要。在向老板提出加薪的要求时可不能油嘴滑舌。撰写招聘启事时,也需要列出要点来吸引潜在的应聘者。测试中,《华尔街日报》告诉AI聊天机器人,他们要招聘一名提示工程师,与《华尔街日报》的个人技术产品团队合作。
Perplexity撰写的招聘通知将新闻行业的要求和对AI的了解完美地结合在了一起。评委编辑Shara Tibken指出,Copilot的问题在于它根本没有提到提示工程。Perplexity、Gemini和Claude之间的竞争十分激烈,Claude最终凭借适合职场风格的新生儿通告(birth announcement)取胜。
![五大AI聊天机器人盲测!ChatGPT未能夺冠,最终赢家竟来自这家“小公司”](https://oss.zhidx.com/uploads/2024/05/665409adb9ad9_665409adb6623_665409adb65e1_Ranking-WOrk.png/_zdx?a)
▲职场写作类问题排名
五、创意写作类问题:Copilot扳回一城
本次测试中最大的意外,当属职场写作能力和创意写作能力之间的差异。Copilot的职场写作能力倒数第一,但在创意写作方面却是最有趣、最聪明的。
测试中要求AI聊天机器人写一段以布偶为主角的婚礼祝酒词,还要虚构一场特朗普和拜登之间的街头斗殴。有了Copilot,笑话层出不穷。Claude排名第二,它对两位总统候选人都进行了巧妙的讽刺。
Perplexity在这项测试中罕见地出现事物。它错误地引用了2011年的音乐剧《布偶团》中的一句歌词。
![五大AI聊天机器人盲测!ChatGPT未能夺冠,最终赢家竟来自这家“小公司”](https://oss.zhidx.com/uploads/2024/05/66540d9987e73_66540d99846fe_66540d99846d7_Ranking-creative-writing.png/_zdx?a)
▲创意写作类问题排名
六、总结类问题:Perplexity能速读YouTube字幕
对于刚刚接触AI聊天机器人的用户来说,总结功能可能是最适合的尝试。总结功能用处很大,而且不太可能造成不可预见的错误。因为本次测试中使用的是付费服务,所以测试人员可以上传较大的文本、PDF文档和网页。
大多数情况下,即便是高级版Claude账户也无法处理网页链接。Anthropic公司的产品经理Scott White说,“我们的团队正在提升Claude的运行速度,扩大它的知识库,完善它理解各种内容并与之交互的能力”。
名人的维基百科页面可能很冗长,因此测试人员要求AI聊天机器人提供披头士乐队成员Paul McCartney的维基百科页面摘要。有些AI聊天机器人提供了简短的介绍,其中包含了披头士乐队的一些常见信息。Copilot的回答采用了提纲的形式,并包含了一些鲜为人知的趣事。
该类别的冠军得主Perplexity一直都能很好地概括事物,它甚至快速阅读了一个YouTube视频的字幕。
![五大AI聊天机器人盲测!ChatGPT未能夺冠,最终赢家竟来自这家“小公司”](https://oss.zhidx.com/uploads/2024/05/665411fa5552e_665411fa46464_665411fa4643c_rANK.png/_zdx?a)
▲总结类问题排名
七、时事类问题:GPT-4o让ChatGPT的表现显著提升
这部分测试比看上去要复杂一些,因为并非所有AI聊天机器人都能访问网络。测试人员询问了今年夏天的音乐会阵容,以及即将举行的总统大选的当前形势。
凭借全面的推理和可靠的来源,Perplexity稳居榜首。ChatGPT在第一次测试时表现不佳,但GPT-4o的升级使它跃居第二。Gemini拒绝回答测试人员关于总统选举的问题。
![五大AI聊天机器人盲测!ChatGPT未能夺冠,最终赢家竟来自这家“小公司”](https://oss.zhidx.com/uploads/2024/05/66541536322fb_665415362a096_665415362a074_Rank-时事.png/_zdx?a)
▲时事类问题排名
八、代码类问题:各个AI聊天机器人表现都相当不错
测试人员还对AI聊天机器人的代码技能和速度进行了评估。在代码技能方面,测试人员请来了《华尔街日报》数据记者Brian Whitton,他提供了三个令人头疼的问题,涉及JavaScript函数、网站样式和网络应用程序。根据Whitton的盲评,所有机器人在代码方面的表现都相当不错。最终Perplexity成功胜出,ChatGPT和Gemini紧随其后。
![五大AI聊天机器人盲测!ChatGPT未能夺冠,最终赢家竟来自这家“小公司”](https://oss.zhidx.com/uploads/2024/05/6654168c4a62d_6654168c46f11_6654168c46eed_代码.png/_zdx?a)
▲代码类问题排名
九、速度测试:Claude和Perplexity显著慢于其他AI聊天机器人
为进行速度测试,测试人员对之前的几个测试问题进行了计时,并加入了另一个问题,“用五句话解释爱因斯坦的相对论”。测试结果显示,各个AI聊天机器人的答案本身各不相同。就响应时间而言,采用GPT-4o的ChatGPT仅用时5.8秒,是最快的AI聊天机器人。在整个测试过程中,Claude和Perplexity都比其他三个AI聊天机器人慢得多。
![五大AI聊天机器人盲测!ChatGPT未能夺冠,最终赢家竟来自这家“小公司”](https://oss.zhidx.com/uploads/2024/05/665418ba4aace_665418ba3b139_665418ba3b116_speed.png/_zdx?a)
▲速度测试排名
结语:主流AI聊天机器人表现各有千秋,Perplexity力压其它明星产品夺魁
本次测试显示,每个AI聊天机器人都有自己独特的优点和缺点,因此都值得探索。测试人员没有看到明显的错误和幻觉。没有任何AI聊天机器人在测试过程中犯下意料之外的严重错误,或者胡编乱造。它们大多提供了有用的答案,也避免了争议。这表明目前大部分AI聊天机器人都能提供及格线以上的表现,整体能力有所提升。
![五大AI聊天机器人盲测!ChatGPT未能夺冠,最终赢家竟来自这家“小公司”](https://oss.zhidx.com/uploads/2024/05/665427a17d3fe_665427a17a2f4_665427a17a2d0_图片3.png/_zdx?a)
▲测试排名汇总
让人意外的是,尽管ChatGPT进行了大规模的更新,名气也很大,但它并没有在本次测试中领跑。相反,知名度较低的Perplexity成为了本次测试的冠军。Perplexity AI的首席商务官Dmitry Shevelenko说,“我们针对回答的简洁性进行了优化,这让模型能够辨别出回答中最关键的信息”。
《华尔街日报》也指出,现在Copilot和Gemini的表现不尽如人意。但是在未来,微软和谷歌这两家大型科技公司的AI聊天机器人可能会占据优势。谷歌和微软都拒绝对此发表评论。但最近微软告诉《华尔街日报》,GPT-4o将很快被集成到Copilot中,这可能会提高Copilot的性能。
Perplexity在本次测试中的胜利,也证明了坐拥大量算力本身并不能保证企业可以开发出表现最佳的AI聊天机器人产品,在特定方向上的优化也能产生出其不意的效果。
来源:《华尔街日报》