英伟达沈威:投入在深度学习的这三年 让GPU性能提升了65倍

智东西(公众号:zhidxcom)
文 | origin
编 | 四月

人工智能第三次浪潮风起云涌,产业界大浪淘沙,在“GTIC 2017全球(智慧)科技峰会”感受时代脉搏,看见未来。

3月10日,由智东西、AWE、极果等联合举办“GTIC 2017全球(智慧)科技峰会”在上海证大喜马拉雅中心正式开幕。学术界、投资界、创业圈和产业链在这里激烈交锋,NVIDIA、Neato Robotics、科大讯飞、商汤科技、科沃斯机器人、Ninebot(纳恩博)、威马汽车、奇点汽车、驭势科技、歌尔股份、地平线机器人等近40位大佬轮番登台。

作为2017年上半年人工智能领域规格最高的峰会,GTIC聚焦“机器人产业”、“汽车新势力”、“家居物联生活”领域,探讨技术变革下的掘金机会、消费升级与生态建设,带来最前沿的实践经验和判断。

在上午的演讲环节中,英伟达全球副总裁、中国区企业事业部总经理理沈威发表了主题为“人工智能深度学习——一种新型计算模式 ”的演讲,详细梳理了英伟达凭借人工智能浪潮晋升业界先锋的历程和思路。

英伟达沈威:投入在深度学习的这三年 让GPU性能提升了65倍

以下为演讲的要点精摘:

1、CUDA架构的诞生是深度学习的一个关键节点。英伟达CUDA架构之前的GPU并无太强对深度学习运算能力的支持,而在CUDA架构诞生之后,普通的学者及程序员也能较容易地使用GPU进行高性能运算。2006年深度学习与英伟达GPU第一次被运用到图像识别数据库ImageNet竞赛,将ImageNet的辨识率提升到85%,从此展开深度学习与GPU的联袂。

在2012年,英伟达与吴恩达一起探索GPU如何加速深度学习,到现在,百度的语音识别率也超过了人类。2016,imagenet辨识率已经达到96%,超过了人类。

2、不管是工业设计上面一些制造、设计,或者是到我们大家所熟悉的电影的制作,英伟达都是这个行业的标准。以及在06年英伟达公司我们步入高性能预算之后,已经有70%都使用了英伟达的产品作为高性能运算的家属。

还有这个也是大家最关心的,在AI这波浪潮里面,我们现在看到基本上100%从事人工智能领域的研究都是在英伟达所支持的这个平台上面开发。英伟达针对人工智能以及深度学习,我们还发布的软件开发平台SDK,也就是基库达的家庭学习的家庭库,目前世界超过20万个下载。

3、GPU成为了高性能计算的最优平台,CUDA已经拥有30万开发者,并占据了绝大多数高性能计算应用。在解决方案上,英伟达提供了行业内最好的运算平台Tesla P40。

针对缺少大数据中心的客户,如大学科研,以及初创公司、研究院,成型的超算机DGX—1是不错的选择。它整合了最先进的GPU,以及整合了大家熟悉的深度学习平台并加以优化,DGX—1不仅在国外非常普遍。 它的整个运算能力,虽然只是一台小小的机器,但是它的整个运算能力就像单机箱里放了250个服务器的运算能力,你不需要一个很大的数据中心,就可以拥有一个等同于250台服务器运算能力的设备来从事AI以及深度学习的研究。

4、这一切都是从2012年底开始,英伟达公司注意到深度学习这波浪潮之后,我们做了大量投入,在短短3年内,GPU硬件已经发展了三代,整体的性能已经有65倍的提升,这个是英伟达对深度学习以及AI行业做的承诺。

以下为沈威在“GTIC 2017全球(智慧)科技峰会”上的演讲全文:

今天特别荣幸跟大家汇报英伟达这几年进入到高性能预算,以及全方面的深度学习及人工智能的心路历程。

请允许我花几分钟时间跟各位介绍一下英伟达。英伟达公司在1993年成立,于1999年我们发明了GPU,我们是全世界最大的GPU公司,各位对英伟达在进入深度学习之前,英伟达公司是全世界最大的游戏运算平台的提供者,全世界已经有超过1亿的使用者在使用英伟达游戏运算平台。

英伟达同时也是专业的图形工作显示器,显示运算平台的提供者,也是这个行业的标准。我们现在看到不管是工业设计上面一些制造、设计,或者是到我们大家所熟悉的电影的制作,英伟达都是这个行业的标准。以及在06年英伟达公司我们步入高性能预算之后,已经有70%都使用了英伟达的产品作为高性能运算的家属。

还有这个也是大家最关心的,在AI这波浪潮里面,我们现在看到基本上100%的从事人工智能领域AI的研究,都是在英伟达所支持的这个平台上面开发。英伟达针对人工智能以及深度学习,我们还发布的软件开发平台SDK,也就是基库达的家庭学习的家庭库,目前世界超过20万个下载。

这一切都从哪里开始呢?2012年是AI元年,或者深度学习大爆发的一年。我们中国人之光李非非在斯坦佛大学主持的一个比赛,还有一个学生第一次运用深度学习的方法,加上英伟达的GPU的参与,不仅仅是一口气拿到这个竞赛的第一名。同时,也把这个竞赛从原先只是做电脑视觉算法的竞赛,从之前最高的辨识率,只有74%,在2012年用了深度学习,以及英伟达的GPU之后,一下子不只是拿到了第一名,而且把整个辨识率拉升到85%。从此展开了深度学习以及GPU的世界。

自从2012年竞赛之后,深度学习的方法就一发不可收拾。在2012年,英伟达公司很荣幸跟现在百度首席科学家我们一起发布了通过GPU在高性能预算能力,如何加速深度学习的发展。同时,从2012年发展到现在,那场竞赛从2012年提升到85%之后,之后的竞赛已经没有什么算法参与这个竞赛,到了2016年,用了深度学习整个辨识率超过96%。这个深度学习辨识率已经超过人类对图像的辨识率。当然更不要说在2015年,百度在深度学习的突破,尤其在深度语音识别上面已经超过人类语音识别的辨识的能力。还有,去年阿尔法狗,在围棋这方面的进展,都是用了大量的海量的深度学习CPU,这个在过去完全没有办法实现的。

说到这个地方,可能各位有很大的疑惑。这个是突然发生的,还是有更深层次的背景?请允许我跟各位汇报历史演进。

谈到英伟达公司从1999年发明GPU,到刚刚学习的进程,不得不谈我们在06年重要的突破,也是在06年第一次发布库达这样一个架构。06年之前做图像GPU90%的图像运算都是针对图像运算,它是很封闭的,针对游戏开发商、开发者提供的。对于一般科研人员,或是针对高性能预算有要求的学者,研究人员,这是一个很辛苦的事情。在06年之前,如果大家要去使用GPU是非常辛苦的,我印象中,我在前一阵子听到国内科研专家,为了要取得更好的运算资源,他们收集了很多游戏卡,跟现有的X86服务器连起来,就是要去探索如何更好使用GPU的运算能力。为此,运维大公司也看到这样一个趋势,所以06年我们发布了库达这样一个架构。第一次有了这个架构之后,一般的科研人员就可以用普通的JAVA加上语言就可以使用GPU的运算能力,也就是从06年开始,英伟达公司正式步入高层预算能力,也就是从这个时候开始,世界大部分的科研以及高性能电脑中心部署英伟达的设备进行运算和高性能预算。

但这里面有几个比较大的突破,我就不一一再提了。其中一个就是跟各位报告的,2012年的竞赛让大家对GPU的使用有更深入的了解。到了2016年,阿尔法狗也是一个实际的案例,GPU的应用上到了另外一个台阶。

作为一个从26年前就进入高性能运算的工作人员来说,GPU已经成为最佳的选择。在高性能运算已经有超过410个应用,基本上100%的大家在人工智能深度学习上面都是在GPU上面所加速。

在此,我借机会跟各位介绍一下除了刚刚报告英伟达在高性能预算以及人工智能的历程之外,到底我们提供什么样的解决方案。我们在深度学习也做了很大的投入,尤其在企业的数据中心提供解决方案,不管从线下学习,我们有很强大的技术支持之外,我们同时也提供了线下部署、推理这样一个解决方案。

比如说我们P40,就是目前广为大部分数据中心用来做深度学习最好的平台,目前我认为是一个最好做深度学习里面最好的平台。

另外,我们在去年也发布了针对数据中心线上部署或者是推理的产品,非常合适当线下训练完之后,你要做到应用,如何可以很快把你虚拟的结果跟你的实际业务结合在一起,包含了要求大量的视频的边界,以及实时的分析,这个是我们在去年刚刚发布,非常合适作为线上推理以及应用的产品。

当然,你们会提出,我们没有这么大数据中心,我就是一个研究单位,目前刚刚初创公司,我要进行人工智能和深度学习的发展,我是不是也有机会能够使用英伟达的解决方案?答案是的。我们也是针对大学科研,以及初创公司、研究院,我们去年发布了成型的超算机叫DGX—1,它整合了最先进的GPU,以及整合了大家熟悉的深度学习平台并加以优化,DGX—1不仅在国外非常普遍。 它就像单机箱里放了250个服务器的运算能力,你不需要一个很大的数据中心,就可以拥有一个等同于250台服务器运算能力的设备来从事AI以及深度学习的研究。

当然,你们会提出,我们没有这么大数据中心,我就是一个研究单位,目前刚刚初创公司,我要进行人工智能和深度学习的发展,我是不是也有机会能够使用英伟达的解决方案?答案是的。我们也是针对大学科研,以及初创公司、研究院,我们去年发布了成型的超算机叫DGX—1,它整合了最先进的GPU,以及整合了大家熟悉的深度学习平台并加以优化,DGX—1不仅在国外非常普遍。 它的整个运算能力,虽然只是一台小小的机器,但是它的整个运算能力就像单机箱里放了250个服务器的运算能力,你不需要一个很大的数据中心,就可以拥有一个等同于250台服务器运算能力的设备来从事AI以及深度学习的研究。

这一切都是从2012年底开始,英伟达公司注意到深度学习这波浪潮之后,我们做了大量投入,在短短3年内,我们在GPU硬件投入已经发展了三代,整体的性能已经有65倍的提升,这个是英伟达对深度学习以及AI行业做的承诺。

另外谈到深度学习和AI,英伟达所做的贡献并不只是硬件在GPU,在整个生态圈更重要的是,如何让深度学习以AI的从业人员,我们甚至有一个更好的开发环境。所以在此英伟达做了非常大的投入,在做SDK,也就是在软件这部分的投入。

比如说在针对学习这部分,英伟达公司做了一个CuDNN的加速器,针对大家所熟悉的开发,我们做了很多优化,使这些AI以及深度学习的开发者,很容易使用这些加速库,能够更好的性能提升。在这部分全世界已经有超过20万个下载。

同样在线上部署和推理方面,英伟达公司也做了很大投入,当您在深度学习训练之后的成果部署到新一代的英伟达技术的时候,能够更快地,更有效率来做部署跟推理,包括现在很多部署的应用跟视频、图像有关的,SDK是特别针对深度学习在部署和应用这方面的开发,我们可以同时处理视频的边界码及更新。

接下来谈谈针对英伟达,我们的解决方案的一些案例,Google这部分就不谈了,可能目前应用已经超过5千个,这个就不多谈了。

在国内这部分,百度是我们一个很典型的客户,非常感谢百度的首席科学家对我们的支持,我们做了很多投入,不管是在人脸、物体的辨识,一直到自动驾驶,我们都使用非常多的GPU的应用。

另外在国内有一个很大的客户就是阿里巴巴,也是深度学习。有一个非常好的应用,有一个应用,我拿出我的手机再拍一下,我可以进入到阿里的环境里面,这个领带到底在哪几个商家。更不要谈大家在双十一里面,大家在这么多海量的客户需求底下,如何来处理它的客户服务,有很多这方面的应用,都通过深度学习人工智能的方法来体现的。

最后一个应用跟大家分享,也是最近大家比较注意的是智慧城市。大家可以注意到,2020年全世界超过10亿个摄像头,摄像头部署之后,这么多海量的数据,尤其是影像数据如何处理,随着人工智能以及深度学习的发展,刚刚跟各位专家所报告的,不管是通过英伟达平台的学习,以及针对线上的实时的编码的处理跟分析,我相信英伟达公司在智慧城市的应用上面,以及深度学习的应用,我们可以提供更好的解决方案。

因为时间关系,我在这里跟各位介绍英伟达的解决方案,英伟达整个变革,以及应用的场景,我相信这只是我们公司跟人工智能跟深度学习刚刚起步的场景。我相信在今天各位专家共同努力下,AI和人工智能会更美好,我们英伟达很高兴提供这么一个平台,跟各位一起推广人工智能的发展,谢谢大家!

英伟达沈威:投入在深度学习的这三年 让GPU性能提升了65倍