智东西（公众号：zhidxcom）
作者 | 信仪
编辑 | 漠影

智东西2月3日消息，中科院香港创新研究院人工智能与机器人创新中心人工智能前沿论坛昨日开幕，在上午的开幕及主旨演讲环节，来自清华大学、欧洲科学院、香港理工大学和香港科技大学的四位教授分别分享了关于类脑计算、深度学习等人工智能前沿领域的最新见解。

中国科学院自动化研究所所长、香港创新研究院人工智能与机器人研究中心主任徐波研究员在论坛致辞中说，中国科学院香港创新研究院是中科院在香港设立的首个科研机构，是建设粤港澳大湾区具有全球影响力国际科技创新中心的重要组成部分。

▲中国科学院自动化研究所所长徐波（左一） 中国科学院自动化研究所副所长刘成林（右一）

徐波研究员称，创新中心将围绕新一代人工智能基础理论、新型人机交互技术和设备，面向健康和无障碍的智能技术、人工智能开放平台及似乎等方面开展研究工作，充分结合内地和香港在不同领域的优势，以帮助大湾区进行科创建设。

在论坛中，清华大学教授施路平、欧洲科学院外籍院士陶大程、香港理工大学讲席教授张磊、香港科技大学教授James Kwok分别在线上进行了报告，以分享他们对各自相关领域研究最新进展的见解。

一、施路平：计算机和人工智能发展面临的挑战呼唤类脑计算

施路平教授是清华大学精密仪器教授，清华大学类脑计算研究中心主任，研究领域涉及类脑计算、信息存储、集成光电子、智能仪器。

▲施路平教授主旨演讲

他在2013年加入清华大学，创建类脑计算研究中心，并提出异构融合类脑计算架构，研制了全球首款异构融合类脑计算“天机芯”，利用一款天机芯构建了人工通用智能研究演示平台——自动行驶自行车，相关成果被作为封面文章于2019年发表在《Nature》杂志上。

▲全球首款异构融合类脑计算“天机芯”

2020年，施路平教授及团队在《Nature》杂志上再次发文，借鉴计算机发展思路，与合作者提出了类脑计算完备性基础理论及软硬件去耦合的类脑计算系统层次结构。

施路平教授说：“类脑计算是人工通用智能竞争的基石，可以赋能各行各业。”

在论坛上，施路平教授做了题为《类脑计算研究的挑战与机遇》的报告。他讲道，量子计算和类脑计算是国际半导体协会确定的后摩尔时代两个最有前途的新技术。其中，类脑计算是借鉴人脑存储处理信息的方式，面向人工通用智能发展的新型计算技术。

类脑计算系统是能基于神经形态工程，打破“冯·诺依曼”架构束缚，适于实时处理非架构化信息，具有学习能力的超低功耗新型计算系统。

但是目前类脑计算仍处于起步阶段，尚未形成公认技术方案。施路平教授从“为什么要做类脑计算、类脑计算主要做什么、怎样做类脑计算”三方面，阐述了类脑计算发展背景和领域内最新进展、面临的主要挑战和可能解决的方法，并对利用双脑驱动融合发展类脑计算的方式进行了探讨，以促进人工通用智能的研究。

▲什么是类脑计算

施路平教授提到，2016年是类脑计算元年，2016年4月6日，美国IBM的TrueNorth硬件上线，2016年3月21日，德国的BrainScales架构和英国的SpiNNaker架构同时上线，而后续在2020年2月，我国研制的全球首款异构融合类脑计算“天机芯”入选“2019年度中国科学十大进展”。

电脑虽然能完成很多人脑做不到的事情，但在人能相对容易做到的“感觉、适应、理解、学习、创新”等方面，电脑的能力却不及人脑。

▲电脑与大脑的对比

计算机如今面临着冯·诺依曼架构瓶颈、物理微缩、大部分数据生命周期短、数据大、多样性、变化快的挑战，同时又有着更低成本，更优能耗、安全和性能的机遇。2018年图灵奖得主David Patterson和John Hennessy曾说：“计算机体系结构将迎来一个黄金十年。”

再将目光转向人工智能领域。人工智能有充足的数据，确定的问题，完整的知识，静态，以及单一的问题五个条件，同时也有不可理解、不可解释，一点偏差可以产生巨大错误的缺陷。

▲人工智能的挑战

目前，人工智能需要在思想、知识、算法、算力、数据五个方面进行突破。

图灵奖得主Geoffrey Hinton曾说：“相信克服人工智能局限性的关键在于搭建‘一个连接计算机科学和生物学的桥梁’。”而类脑计算，是将这二者联系起来的方式之一。

施路平教授说，现在的人工智能依托传统计算机和冯·诺依曼架构，未来的人工通用智能将依托类脑计算机和类脑架构。而类脑人工通用智能不是简单的人工智能升级版，其更多是人脑和电脑的融合。

▲类脑计算图示

施路平教授认为，计算机和人工智能发展面临的挑战正在呼唤类脑计算，而双脑融合驱动是类脑计算发展的关键。同时，类脑计算需要理论、芯片、软件、系统和应用协同发展。

▲主要类脑计算芯片

二、陶大程：对可信深度学习的见解

陶大程院士主要从事人工智能领域的研究，并先后当选IEEE/AAAS/ACM Fellow、欧洲科学院（Academia European）外籍院士，以及澳大利亚科学院院士。

▲陶大成院士主旨演讲

在论坛中，陶大程院士分享了其团队在“可信深度学习”这个领域上的进展。

他讲到，2016年随着AlphaGo战胜李世石，AI的力量让人们震惊，也让人们对AI解放工作甚至代替人类的未来充满担忧。而从2016年到2020年，科技不断发展，但人们对AI的看法却在不断变得冷静。

▲三次人工智能浪潮

“第三次人工智能热潮主要是由于深度学习引起的，但有一些人认为，这其中遇到的一些问题逐渐浮现，需要人们进入到人工智能热潮的第四个阶段。那时，人工智能将寄希望于和人的价值联系起来，将人工智能的方式方法与人的价值观保持一致。” 陶大程院士讲道。

他在演讲中举了谷歌“fixed”、“Deepfakes”例子，表明人们应该控制人工智能的使用范围。

▲“fixed”、“Deepfakes”的案例

目前，人工智能技术在机器视觉上取得了很大成功。陶大程院士展示了其团队最新的一个机器视觉成果，可以估计人的姿态，理解人的表情和简单的行为动作。除了理解视频，现在的人工智能还能帮助人们进行表情编辑和音频编辑，提供效果很好的视频演示效果。此外，有了超级计算，研究人员可以更方便有效训练模型。

▲陶大程院士团队最新的一个机器视觉成果

尽管神经网络仍然存在一些问题，但研究人员依旧对现在的深度学习抱有一定期望。他们希望模型的鲁棒性更高，耗能更低，可解释性更强，能适应动态环境，能注重人的隐私安全且易于使用。

从神经网络的历史变化上来看，陶大程院士称，网络是越来越深的，同时最近研究人员也在思考采用网络模型的压缩技术和机器学习等技术用小的网络模型实现更好的效果。无论如何，要想取得好的效果，就一定需要达到一定深度。此外，网络越深，模型的泛化能力也会越强，但要想网络性能好，还要保证数据的误差非常小。

此外，他还提到团队在去年的ICLR（International Conference on Learning Representations）会议工作中，拓展了一些条件，覆盖了非线性损害曲面研究中几乎所有的现实情况，具体来说扩展到了任意深度、任意的可微损失函数、任意维输出和任意线性激活函数。

总之，未来人工智能与人的价值观更加贴合，在推广的同时注重对人的隐私保护。

三、张磊：深度神经网络学习归一化方法的两项最新进展

张磊自2006年加入香港理工大学计算机系，至今已有15年。他的研究重点主要集中在计算机视觉、图像和视频分析、模式识别和生物识别等。

▲张磊教授主题演讲

他分享了题为《Two Recent Advances on Normalization Methods for Deep Neural Network Learning（深度神经网络学习归一化方法的两项最新进展）》的演讲，新进展可以提高模型的优化和泛化。优化在这里是指提高模型的准确性，而泛化则是指机器学习算法对新鲜样本的适应能力。

他提到，归一化方法对于有效和高效地优化深度神经网络（DNN）非常重要。诸如均值和方差之类的统计信息可用于规范化网络激活或权重，以使训练过程更加稳定。

在激活归一化技术中，批量归一化（BN）是最常见的一种。但是，在训练中批量较小时，BN的性能较差。

张磊教授团队在研究中发现，在推断阶段BN的公式化存在问题，因此提出了一种更正的方法。在训练阶段没有任何变化的情况下，在小批量训练时，校正后的BN可以显著提高推理性能。

另一种常见的归一化方法则是对权重进行操作，如权重归一化（WN）和权重标准化（WS）。团队也相应提出了一种简单有效的DNN优化技术：即梯度中心化（GC）。

▲使用GC的示意图

这种方法直接对权重的梯度进行操作，简单地通过梯度中心化向量使其集中到零均值，它可以很容易就嵌入当前基于梯度的优化算法，而这个过程只需一系列代码就可完成。

尽管简单，但GC达到了多个期望效果，比如加速训练过程，提高泛化性能，以及对于微调预训练模型的兼容性。

▲GC方法的几何解释

四、James Kwok：自动化机器学习的最新进展

James Kwok是香港科技大学计算机科学与工程学系教授，也是IEEE杂志神经网络与学习系统交易、神经网络工作、神经计算、人工智能方面的副主编。

▲James Kwok教授的主旨演讲

在论坛中，他对自动化机器学习的最新进展进行了分享。

James Kwok观察到，机器学习很强大，与此同时，世界各地对机器学习知识的需求量同样很大。而自动化机器学习（AutoML）可以在一定程度上减少机器学习的人才缺口。

AutoML旨在从数据中自动构建机器学习解决方案。在演讲中，James Kwok结构了对最新使用AutoML进行有效的神经网络设计，搜索捕获推荐系统中项目和用户之间交互的功能，以及在机器学习应用程序中有大量噪声样本时，将样本选择到训练过程中的几个进展。

经过广泛实验表明，AutoML确实是有效的。因此在很多不同的场景中，AutoML可以获得比最先进的机器学习方法更好的性能。

▲James Kwok教授演讲结论

结语：人工智能学术与日常生活密不可分

除了四场主旨演讲，论坛还覆盖了包括《自监督上下文建模及底层视觉应用》《大规模机器学习模型选择理论研究》等6场学术报告，在线上为业内人士提供了一场人工智能知识盛宴。

伴随着科技发展突飞猛进，人工智能所引发的技术革命正在深刻地改变人类的生活，也被人们的生活及需求所影响。

包括机器学习、计算机视觉等领域的人工智能研究在性能、效率上不断升级的同时，也在逐渐与人的价值观相贴合。