智东西12月20日消息，据VentureBeat报道，昨日，卡内基梅隆大学（CMU）和BerriAI的研究人员共同发表了一篇论文，将谷歌的Gemini Pro模型与OpenAI的GPT-3.5 Turbo、GPT-4 Turbo以及Mistral AI的Mixtral 8x7B进行了测试对比，通过一组不同的提示运行所有模型，包括向他们询问57个不同的多项选择题，涉及STEM、人文科学、社会科学等方面的内容。测试结果显示，Gemini Pro得分在十几个数据集的测试上表现都不如GPT-3.5 Turbo。研究人员还发现，当提示不同的模型在标记为A、B、C或D的答案之间进行选择时，Gemini选择“D”的次数比其他模型不成比例地多，无论它是否是正确的答案。

论文地址：arxiv.org/pdf/2312.11444.pdf