北京航空航天大学在读博士刘艾杉:对抗机器学习的鲁棒性研究与探索 | 公开课预告

对抗机器学习是一个机器学习与计算机安全的交叉领域。其中,以对抗样本生成和防御为核心的对抗深度学习是对抗机器学习领域目前最受关注的研究热点。现在的模式识别技术从语音、物品识别到现代网络安全任务,借助于深度学习技术的发展得到了长足的进步。但是这些技术很容易被对抗样本(Adversarial Examples)所迷惑。所谓对抗样本,就是指为识别任务精心打造的故意混淆和误导检测任务的样本。比如一个图片识别任务,对抗样本可以按照像素级别来扰动图片,人眼无法察觉如此微小的改变,但是机器却会识别失败。

从模型的设计者角度出发,模型的安全威胁主要来自外部的攻击,这里可以分为训练阶段的攻击和推理阶段的攻击。训练阶段的恶意攻击,主要目的是针对模型的参数进行微小的扰动,从而让模型的性能和预期产生偏差。这样的攻击行为主要是通过数据投毒来完成的,其具体实现手段可以分为标签操纵和输入操纵。这两种方式实现的最终目的都是脱离预期结果,标签操纵是通过对训练数据的标签进行替换实现,输入操纵是通过恶意数据扰动在线模型实现。推理阶段的攻击有白盒攻击和黑盒攻击,其目的都是使最终结果产生破坏,脱离预期。白盒攻击通过预知模型的所有参数,通过较小的扰动,实现模型误分类。黑盒攻击相比白盒攻击不需要预知模型参数等,因此更符合现实场景。其中一种实现方式是对模型推理模棱两可的区域或边界加入扰动对模型进行攻击。另外还可以通过有趣的影子模型达到攻击效果。通过构建功能性类似的模型,仿造攻击空间,然后对模型进行类似“白盒攻击”的尝试,由于模型的迁移性表现良好,使得该种攻击呈现不错的攻击成果。面对如此多的攻击方式对模型带来的安全隐患和风险挑战,北京航空航天大学在读博士刘艾杉结合团队多年的研究成果将对抗样本带来的隐患和挑战归纳为模型理解不足、模型防御脆弱以及模型度量单一三个方面并针对每种挑战详述其本质原因,给出了解决思路和解决方案。

12月11日晚8点,智东西公开课邀请到北京航空航天大学在读博士刘艾杉参与「机器学习前沿讲座」第11讲,带来主题为《对抗机器学习的鲁棒性研究与探索》的直播讲解。刘艾杉博士将从机器学习中存在的对抗安全风险出发提出目前研究中的三种挑战,然后针对每种挑战给予相应的解决方法:1)针对模型理解不足问题,提出了多视角融合的对抗样本生成策略;2)针对模型防御脆弱问题,提出了多空间映射的模型对抗加固算法;3)针对模型度量单一问题,提出了多粒度关联的模型脆弱性度量方法。感兴趣的朋友一定不要错过!

刘艾杉是北京航空航天大学在读博士,主要研究方向为对抗样本、深度学习鲁棒性、人工智能安全性,已在ECCV、AAAI、IJCAI等国际顶级人工智能与计算机视觉会议发表7篇论文,并担任多个国际会议及期刊审稿人(如:AAAI,IJCAI,AC MMM, IEEE TIP等)。

课程主题
课程提纲
1、机器学习中存在的对抗安全风险
2、多视角融合的对抗样本生成策略
3、多空间映射的模型对抗加固算法
4、多粒度关联的脆弱性度量方法

讲师介绍
刘艾杉,北京航空航天大学在读博士,主要研究方向为对抗样本、深度学习鲁棒性、人工智能安全性,已在ECCV、AAAI、IJCAI等国际顶级人工智能与计算机视觉会议发表7篇论文,并担任多个国际会议及期刊审稿人(如:AAAI,IJCAI,AC MMM, IEEE TIP等)。

直播信息
直播时间:12月11日20:00
直播地点:智东西公开课小程序

加入讨论群
加入讨论群,除了可以免费收看直播之外,还能认识讲师,与更多同行和同学一起学习,并进行深度讨论。扫码添加小助手曼曼(ID:zhidxclass006)即可申请,备注“姓名-公司/学校/单位-职位/专业”的朋友将会优先审核通过哦~