“人工智能的数理基础”主题论坛,五位学者从数学角度解决AI问题

智东西(公众号:zhidxcom)
文| 王小溪

导语:来自北京大学的五位学者参加了“人工智能的数理基础”主题论坛,他们从数学、统计和计算的角度做了学术报告。

智东西5月9日消息,围绕当前人工智能面临的可计算性、可解释性、泛化性、稳定性的重大理论挑战,北京智源人工智能研究院从数学、统计和计算的角度,发起了“人工智能的数理基础”主题论坛,并将邀请众多学者将分享他们在这一领域的研究经验。本次论坛由北京大学数学科学学院夏壁灿主持。

在本次论坛上做学习报告的学者有:北京大学国际数学研究中心长聘副教授、主任助理,北京大数据研究院深度学习实验室研究员、生物医学影像分析实验室副主任董彬北京大学数学科学学院及统计科学中心研究员林伟北京大学数学科学学院副教授邵嗣烘北京大学数学科学学院及统计科学中心研究员王涵以及北京大学数学科学学院统计学长聘教授、大数据研究中心数据科学教授张志华。这五位学者也都是首批智源学者候选人。

智源学者计划是由智源人工智能研究院为选拔和培养一批人工智能人才而提出的。首批智源学者中,“人工智能数理基础”研究方向首席科学家由中国科学院院士、北京大学数学科学学院张平文教授担任,夏壁灿教授担任智能研究项目经理。

下文将简要介绍五位学者在此次主题论坛上的报告。

一、董璇:用微分方程来指导深层神经网络构架设计

董斌今天的报告主题是《Bridging Deep Neural Networks and Differential Equations for Image Analysis and Beyond》。

他在报告中展示了自己将两大类数学方法小波和PDE方法相联系,证明了常用的小波模型可以渐进逼近各类变分和PDE模型,该研究既为小波方法注入了几何直观,也赋予了PDE方法稀疏逼近的解释,让其设计出结合两类方法优点的新模型。

“人工智能的数理基础”主题论坛,五位学者从数学角度解决AI问题

他介绍了他们团队将PDE和深度学习建立起联系,率先提出以数值(偏)微分方程离散格式为指导的深层神经网络构架设计的新思想,为图像处理、图像识别、未知物理模型反衍、模型约简等重要问题设计全新、精简、高效的深层神经网络。

二、林伟:维数不只是诅咒,还应该是祝福

林伟的报告题目是《破解机器学习中的维数灾难:从可辨识性谈起》。

“人工智能的数理基础”主题论坛,五位学者从数学角度解决AI问题

他在报告中指出,近年来,以深度学习为代表的“黑箱”机器学习算法在应用中获得了巨大成功,但缺乏可解释性和严格的理论基础。深度神经网络可被视为一类过参数化模型,与经典统计模型存在很大差别。

他认为,可辨识性和维数灾难是从统计学角度理解机器学习的关键。他从统计模型的可辨识性谈起,简要介绍了高维统计中克服维数灾难的主要方法,及其对解释深度神经网络泛化能力的有益启示。

他说:“维数不只是诅咒,还应该是祝福。”

三、邵嗣烘:通过连续问题发展高效算法

邵嗣烘带来了《面向智能的数学》为题的报告,他用人类的终结问题——人从哪来要到哪去,人如何意识到自己是自己本身来引出自己的报告。

“人工智能的数理基础”主题论坛,五位学者从数学角度解决AI问题

人类智能的物质基础是由约1000亿个神经元组成的脑神经网络,该网络如何产生智能一直以来都是悬而未决的终极问题,因为追踪其中任何两个神经元之间的连接或关联无论对数学理论还是算法设计而言都是巨大的挑战。

为了在脑神经网络上建立合适的数学模型来刻画由物质世界的物理定律演变成思想世界的意识智能的过程,他的项目将从两个角度在这个方向上开展探索。一方面,基于量子力学的维格纳函数描述,他和团队将试图在脑神经网络上运行维格纳量子动力学来计算不同神经元间的量子关联;另一方面,作为更基础的部分,需要发展网络或图上的数学,他们将通过建立和离散问题等价的连续问题发展高效的算法,同时在网络上引入更多现代数学的概念。

四、王涵:基于深度学习的分子动力学数字方法

王涵的报告题目为《Deep Learning for Multiscale Molecular Modeling》。

“人工智能的数理基础”主题论坛,五位学者从数学角度解决AI问题

王涵介绍了他和合作者发展的基于深度学习的原子间相互作用建模方法——深度势能。这种通过模型一致性估计深度势能模型误差的方法,从本质上改善了原子间相互作用的建模精度。

他们的研究成果被英国皇家学会外籍院士Parrinello所发展应用在研究硅的熔化上,克服了传统原子间相互作用模型无法同时精确刻画硅的固相和液相的困难。王涵还介绍,他们的成果也被背景师范大学的崔刚龙教授所扩展,用于对非绝热激发态分子动力学建模,克服了传统方法在能量面交接锥处模型精度低的难题。

五、张志华:机器学习是解决人工智能的王者之道

张志华的报告题目为《数学工程——理解机器学习的一种角度》。他介绍了机器学习的现状和技术路线。

“人工智能的数理基础”主题论坛,五位学者从数学角度解决AI问题

机器学习是从数据中挖掘出有价值的信息。数据本身是无意识的,它不能自动呈现出有用的信息。怎样才能找出有价值的东西呢?第一步要给数据一个抽象的表示;接着基于表示进行建模;然后估计模型的参数,也就是计算。

张志华认为机器学习的第一个阶层是基于规则的学习,这个阶段的历程比较成熟,它的目的就是规则,用规则去做预测。代表的形态有专家系统和句法模式识别。

后来,研究人员慢慢发现要做到从数据到表示牵涉深入的领域背景知识。比如,自然语言处理需要生活与的语言学背景,视觉或图像则需要通过认知、神经科学等来获取表示。

研究人员也慢慢发现,基于规则去学习出现了一些问题,比如,基于规则的模型对于浅层推理有效,但没法用来进行深层次的推理。如果规则过多,要做到在规则里面进行搜索,就容易出现维数灾难的问题。

为了解决这个问题,一个简单的思路是弱化从数据到表示的环节,基于这样的理论,机器学习进入了第二个阶段,即统计推理学习。

从1995年到2005年的十年,是统计机器学习黄金发展的十年。我们看到的应用领域,比如计算机识别、语音识别,他们的核心方法是统计方法。

统计学习是统计建模和算法计算的结合。神经网络在这个时期表现的并不是很好,处于低落阶段。

但当统计学习发展到一定阶段,人们发现数据到表示这件事情还是无法绕过。研究人员就顺其自然地想要让机器通过学习,也就是通过一个自动化的方式去解决表示问题。

所以机器学习进入了第三个阶段即基于深度表示的学习。在这个时期,大模型+大数据+大计算使得这个思路变得可行。

张志华认为机器学习的关键在于表示学习,表示需要适合预测和适合计算。深度表示目前遇到的挑战在于,由于大数据的需要可能导致过参数化,并且由于多层的表示,导致问题高度非凸化。

机器学习的基础原则是可预测性、可计算性以及稳定性。

张教授也介绍了机器学习的关键技术思路:深度表示、规范技术、平均化技术。其中,规范技术用来处理过拟合、病态、非稳定性的问题。

张志华最后总结到,统计为解决问题提供了数据驱动的建模途径,概率论、随机分析、微分方程、微分流形等工具可以引入来研究AI的数学机理。无论从统计角度还是数学角度来研究AI,其实际性能最后都要通过计算呈现出来。

在回答现场观众的问题时,张志华说机器学习是现代统计学,机器学习是解决人工智能的王者之道。

结语:智源学者计划支持人工智能数理基础学者勇闯AI“无人区”

据北京智源人工智能研究院副院长刘江介绍,此次论坛为智源的首次论坛。他认为,我国现在对于人工智能的研究还算不错,但相比与美国还存在很大差距。而智源想要把北京市真正有能力的科学家组织起来,支持他们勇闯人工智能“无人区”。

今天论坛上做学术报告的五位学者从数学、统计和及计算的角度,为迎接人工智当下面对的挑战做出了自己的努力。学界优秀的学者将会推进我国智能研究的进一步发展。