智东西3月28日消息,根据MLCommons官网,3月27日,MLCommons公布行业标准MLPerf Inference v4.0基准测试套件的新结果。MLCommons本次选择Llama 2-70B模型来代表具有700亿个参数的“更大”模型,选择Stable Diffusion XL来代表文本到图像生成式AI模型。采用英伟达GPU的系统名列前茅。MLPerf Inference联合主席Miro Hodak表示:“MLPerf Inference v4.0版本代表了基准套件中对生成式AI的全面拥抱。”

数据中心测试结果地址:https://mlcommons.org/benchmarks/inference-datacenter/
边缘测试结果地址:https://mlcommons.org/benchmarks/inference-edge/



26


