智东西8月30日消息,据知名AI公司云知声微信公众号发文,8月28日,山海大模型发布2.0升级版本,参数规模达到千亿,实现了多学科能力、医疗能力双提升,实测性能在C-Eval全球大模型综合性评测中超越GPT-4,以平均分70分的成绩进入前三。
据称,山海大模型2.0增加了更多的学科类的预训练语料,训练数据(Tokens)达到两万亿。为了使模型能更科学合理地汲取不同领域和来源的数据中的知识,山海大模型团队使用了DoReMi方法对数据进行了优化权重采样,可以在较大范围内均匀并深入地提取各类信息。
此外,山海大模型2.0在预训练阶段使用了大量的医学病历、医学教材、临床指南和医学文献等数据,并在对齐阶段使用了人机结合方法构建的近百万级的病历理解、医学考试和医学知识问答等指令学习数据。C-Eval中医疗学科的结果表明,山海大模型2.0在基础医学、临床医学和医师资格数据集上均获得接近90分的水平,为业内最高。