苹果AI-850

“苹果大脑”已无处不在!解密苹果人工智能布局

海中天人工智能 头条2016/08/26

智东西(公众号:zhidxcom) 文 | 十四 海中天 编译整理 智东西推荐语: 关于苹果公司在人工智能、机 […]

智东西(公众号:zhidxcom)
文 | 十四 海中天 编译整理

智东西推荐语:

关于苹果公司在人工智能、机器学习方面的布局,美国媒体Backchannel的采访进行了深入挖掘,很明显,这也是苹果公司自己敞开大门迎接媒体的探访,安排了好几位VP级别的高管进行解读。

从中我们也看到以Siri为代表应用的苹果人工智能布局已经很深远,从当年乔布斯亲自出马游说收购Siri前身所属的公司,到最近每年20~30家小团队的收购,都看得出在海外科技巨头中,苹果开始把人工智能作为提升产品体验的主要推动力之一,本文即剖开了这个“苹果iBrain”的逻辑。

以下为全文:

2014年7月30日,Siri开始进行“脑部移植”。

3年前,苹果率先将智能助手Siri整合到操作系统中。2010年,苹果收购了一个独立APP,开发团队也一起加盟苹果,后来APP变成了Siri。最开始时评价很好,但在随后的几个月和几年里,用户对Siri的缺陷失去了耐心。许多时候Siri都会错误执行命令,微微调整根本无法解决问题。

随后,苹果将Siri语音识别系统移植到基于神经网络的系统中,并于2014年7月末提供给美国用户使用,2014年8月15日向全球用户开放。一些早期技术仍然有用,比如隐马尔可夫模型(Markov models),但是现在系统使用的是机器学习技术,包括深度神经网络(DNN),卷积神经网络、长短记忆单元、封闭复发性单位(gated recurrent units)和n-grams。用户升级之后,Siri看起来并没有什么变化,但是机器学习让它更强大。

如果企业对底层技术进行改进,一般不会透露自己的思考,免得被竞争对手知道,正因如此,苹果没有公布Siri的进展。如果我们问用户注意到了什么,那就是错误更少了。事实上,苹果声称准确度的提升相当惊人。

苹果互联网软件及服务部高级副总裁埃迪·库(Eddy Cue)表示:“这一次改进相当明显,以至于你必须重新测算,确保小数点的位置没有放错位置。”

1

低调的苹果

Siri转变的故事还是第一次披露,它可能会让人工智能领域的专家们皱起眉头,不是因为系统神经网络性能的提升,而是苹果对自己的所作所为如此低调。直到最近一段时间,苹果才开始在AI领域大规模招聘,发起一些引人注目的收购,尽管如此,观察者仍然认为苹果在AI竞争中落后。企业们彼此竞争,试图挖掘AI工具的最大潜力。

苹果喜欢对自己的计划保持沉默,即使是AI专家也不清楚苹果在机器学习领域的动向。杰瑞·卡普兰在斯坦福教人工智能历史课,他认为:“苹果不是AI社区的一份子,它相当于AI产业的NSA(国家安全局)。”一般人认为,如果苹果在AI上付出的心血和谷歌、Facebook一样多,那么它的举动应该会被外界知晓。

艾伦AI研究所的埃齐奥尼(Oren Etzioni)表示:“在谷歌、Facebook和微软,我们看以看到机器学习的顶尖人才。没错,苹果的确招聘了一些人,但是机器学习的5大领袖有谁为苹果工作?苹果的确拥有语音识别技术,但是我们根本不知道它是否用到了机器学习技术。请告诉我,你的产品中哪些地方用到了机器学习。”

本月初,苹果的确展示了机器学习的用途,向我展示。当天,我在苹果库比提诺飞船总部大楼耗了大半天时间,在苹果顶级高管的陪同下,我了解了苹果AI、机器学习的核心机密。陪同我的有埃迪·库、副总裁兼市场营销主管菲尔·席勒(Phil Schiller)、软件主管兼高级副总裁克雷格·费德里吉(Craig Federighi),还有两名关键Siri科学家。当我们就坐之后,他们向我展示了两张纸,上面密密麻麻写满了使用机器学习的苹果产品和服务,有些已经发布,有些即将发布。

如果你是一名iPhone用户,你已经在使用苹果AI了,当我们向Siri提问时它越来越敏捷,这只是一个方面,AI还用在其它方面,比如手机接到电话,来电者的身份信息并没有出现在个人联系人列表中(但是该人最近的确向你发过邮件);又比如你收到了一个约会提醒通知,但是这个约会并没有放在日历中;当我们打开地图,还没有输入信息,地图程序就会弹出预定酒店的位置,这些都会用到AI。当苹果使用机器学习和神经网络技术之后,这些功能才有可能实现,或者更加强大。

2

Apple Brain

没错,这就是所谓的“Apple Brain”,它已经植入到iPhone中。

一位知情人士说:“机器学习现在已经广泛应用在苹果产品和服务中。”在苹果程序店中,它用机器学习来识别欺骗行为,测试软件时苹果也会用机器学习技术来筛选反馈意见,找到最有价值的内容。在苹果News应用中,机器学习技术被用来挑选新闻。机器学习可以判断Apple Watch用户是在做锻炼还是在闲逛,可以识别照片中的人脸和位置。如果Wi-Fi信号比较弱,机器学习技术会建议用户使用蜂窝网络,因为更省电。机器学习能够分辨出用户所拍视频的好环,点击一下按钮,我们就可以将相关视频集合在一起。竞争对手也做得很不错,苹果高管宣称,它们是唯一一家在隐私、用户体验上取得良好平衡的企业。

其实,在苹果机器学习并不新鲜。上世纪90年代,苹果推出牛顿(Newton)平板,当时的触控笔就用到了AI,它可以识别用户输入的字符。到了今天,该系统仍然还在使用,它就是Apple Watch中文字符识别系统,即使用户输入的字符很潦草它也能识别。

“在过去5年里,AI在苹果的应用领域越来越多范围越来越广。” 菲尔·席勒表示:“我们的产品以更快的速度向智能化迈进,尤其值得称道的是我们设计的A系列芯片。后端越来越智能,越来越快,我们所做的一切终于可以连接起来了。这样一来机器学习技术的应用就会越来越广泛,因为有许多的东西需要学习,我们可以做到。”

“拥抱”机器学习很谨慎

虽然苹果对机器学习孜孜以求,但是高管们对于“拥抱”机器学习很谨慎,从某种意义上讲,苹果希望业务照常运营。库比提诺的天才们认为,机器学习只是突破性技术的最新进步。没错,它是变革性的技术,但是并不比其它技术进步更加强大,比如触摸屏、平板、面向对象编程。在苹果看来,机器学习并不是最终前沿,但是其它公司却这样认为。埃迪·库说:“以前就有技术改变了人与设备的交互方式,机器学习与这些技术并无本质区别。”在AI领域有一些让人毛骨悚然的猜测,苹果无意参与这种讨论。苹果没有确认自己是否在开发汽车,也不告诉大家自己是否在开发类似Netflix的服务,但是有一点却是苹果所确认的:它没有开发类似“天网”的东西。

“我们要用这些技术来做一直想做的事,将事情做得更好。” 席勒说,“我们还要用技术来做一些之前做不到的事。最终,技术会以苹果独有的方式在公司内部演进,以苹果方式应用于产品。”

“Apple Brain”到底有多大?有多少iPhone动态缓存可以供机器学习使用?当我问苹果时,他们给出的信息让人吃惊:平均200Mb,根据存储的个人数据大小而不同。苹果iPhone会不断删除旧数据。这些信息包括了APP使用情况、与其它人的交互数据、神经网络处理、自然语言事件模型。神经网络还可以用一些数据来识别目标、识别人脸、给场景分类。

苹果解释称,个人参数、个人爱好、旅行信息都是私人的,苹果会对私人信息保密。

3
Eddy Cue

在AI方面,苹果并没有详细解释自己的努力,但是我还是搞清了机器学习技术在苹果内部的分配情况。在整个苹果公司,机器学术人才是共享的,产品团队可以借用机器学术人才解决问题,也可以为单个产品开发功能。克雷格·费德里吉说:“在苹果内部并没有一个单一的核心机器学习组织。有些团队需要用机器学习技术来提供更好的用户体验,我们努力确保机器学习人才与这些团队紧密联系在一起。”

在苹果,到底有多人从事机器学习工作?费德里吉表示:“很多。”有趣的是,苹果机器学习团队的员工在加入苹果之前并没有受过专门的训练。费德里吉称:“我们招募的员工在基础领域相当厉害,比如数学、统计学、程序设计语言、密码学等。事实证明,这些人才可以完全转化为机器学习专家。今天,我们虽然也会招募大量的机器学习人才,但是同时还会寻找拥有核心资质、才华横溢的人。”

虽然费德里吉没有说,但是这一选择似乎不可避免。苹果偏爱保密,而与之竞争的企业恰恰相反,它们鼓励计算机科学家共享研究成果,在竞争之时苹果处在不利位置。费德里吉解释称:“我们的实践偏向于‘自然选择’,一种人喜欢参与到团队中去,一起开发好产品,还有一种人的主要动机则是发表研究成果。”如果科学家既能改进苹果产品又能在某些领域取得突破,那当然是再好不过的事,但是埃迪·库表示:“我们对最终结果充满期待,这种期待推动我们前进。”

收购人才

在机器学习方面,苹果的一些人才是收购而来的。埃迪·库说:“一年之内我们收购了20-30家公司,它们的规模相对较小,收购的真正目的是为了人才。”费德里吉称:“当苹果收购AI公司,它肯定会有大量的机器学习研究员,我们并非纯粹为了扩充数量。我们真正需要的是专注于提供绝佳体验的人才。”

最近,苹果收购了Turi,这是一家位于西雅图的企业,苹果花了2亿美元买下它。Turi开发了一套机器学习工具,人们将它与谷歌TensorFlow类比,有人于是猜测,苹果的目的可能和谷歌是一样的,它会将工具用于企业内部,也会给开发者使用。苹果高管既没有肯定,也没有否定。埃迪·库只是说:“可以肯定的是从技术角度和个人角度看Turi与苹果很匹配。”再过1年或者2年我们就许就能看见成果了。

不管人才来自何处,苹果的AI技术都可以帮助公司开发以前开发不了的产品和功能。AI还改变了公司的产品蓝图。席勒说:“目前的苹果超酷创意层出不穷,有些创意放在几年前我们只能驳回,现在有了机器学习就可以通过了。当我们决定接下来应该做什么产品时,机器学习会成为决策的依据。”

搭配 iPad Pro销售的Apple Pencil就是一个好例子。苹果希望打造一支高科技手写笔,要达成目标必须解决一个难题:当用户在设备上书写时,手掌底部难免会碰到屏幕,导致一些数字功能失常。苹果开发了一个“防手掌误触”机器学习模型,让它自动识别滑动、触摸、手写笔输入的差异,从而提高精准度。费德里吉说:“如果手写笔不够完美,我们就不能将iPad当成可以流畅书写的纸,Pencil也不会成为一款好产品。”如果你喜欢Pencil,应该感谢机器学习。

最开始时,Siri只是DARPA的一个智能助手项目,后来独立成一家小公司,它用相同的技术开发了一款应用。2010年,乔布斯亲自出马,说服企业创始人卖身苹果,然后将Siri与操作系统整合。2011年10月,苹果发布iPhone 4S,Siri成为主打技术。最开始时,用户可以长按Home键唤醒Siri,也可以对着手机说“Hey Siri”激活功能。现在Siri已经进化,它已经融入到Apple Brain,即使没有说话时也在收集信息。

作为一款核心产品,埃迪·库认为Siri有四大组成部分:语音识别,理解用户何时与产品对话;理解自然语言,抓住说话的意思;执行,满足一系列的查询;回应,用语音回复。埃迪·库称:“机器学习对四大方面造成了重要影响。”

4

Siri向神经网络进化

苹果收购Siri之后,汤姆·格鲁伯(Tom Gruber)也随同原公司一起加入了苹果,他现在担任Siri高级研发部门主管。格鲁伯认为,在苹果将神经网络应用于Siri之前,大量用户已经生成了海量数据,这些数据对于后来训练神经网络作用巨大。格鲁伯表示:“乔布斯认为,不需要测试,一夜之间应用就可以从试点项目发展到拥有数百万用户的服务。突然之间就会有这么多的用户,这些人会告诉你人们是如何与应用互动的。这是第一轮变革,接下来就轮到神经网络了。”

Siri向前进化,用神经网络处理语音识别,在演进的过程中一些新的AI专家参与进来,包括语音组主管亚历克斯·阿塞罗(Alex Acero)。90年代初,阿塞罗曾在苹果开发语音识别技术,后来又在微软研究院工作多年。阿塞罗说:“我喜欢这项工作,发表了许多论文。看到Siri,我意识到它可以让深度学习变成现实,可以让几百万人使用它,不是几百人。”换句话说,阿塞罗正是苹果要寻找的科学家:他认为产品比发表论文更重要。

3年前,阿塞罗加入了苹果,当时Siri使用的语音技术基本来自第三方授权,苹果希望能改变这一现状。费德里吉意识到苹果在一种模式中不断重复。他说:“随着时间的推移,我们发现某项技术对核心产品的开发越来越重要,于是我们就会在内部自己开发,以求提升体验。要开发伟大的产品,我们希望能在内部创新。语音识别是一个好例子。”

随后,苹果团队开始训练神经网络,用它替代Siri旧技术。阿塞罗说:“我们拥有庞大的GPU集群,它们不停运转。我们输入了大量数据。”2014年苹果发布了产品,努力没有白费。

阿塞罗说:“在所有的语言类别中,错误率降低了一倍或者两倍,在许多情况下更高。之所以会有如此大的进步,主要归功于深度学习以及我们优化技术的方式,不只是算法,还包括开发产品的整个过程。”

在识音识别应用中,苹果不是第一家采用深度神经网络技术的企业,但是苹果告诉我们:控制整个传输系统可以形成优势。阿塞罗称,因为芯片是苹果自己设计的,他可以与芯片设计团队、与编写固件(为设备编写)的工程师携手合作,将神经网络的性能提升到最大水平。Siri团队的需求甚至还影响了iPhone的设计。

费德里吉说:“不仅仅与芯片有关,还与设备中安装的麦克风数量有关,与安装的位置有关。调整硬件、处理音频的软件栈,这些全都有关。有的企业开发完软件,对接下来的事情无法控制,我们的模式相比而言优势巨大。”
5

这样做还有另一个优势:当苹果神经网络在一款产品上可以运行,它就可以变成核心技术为另一个目的服务。例如,帮助Siri提高理解能力的机器学习算法可以成为“引擎”,用来处理口述信息,避开手写输入。

埃迪·库还说到,Siri的第二个重要部分就是“理解自然语言”。2014年11月,Siri开始用机器学习理解用户意图。

在苹果看来,如果没有Siri技术就不会开发出新版Apple TV,后者也支持语音控制功能。早期的Siri要求用户说话时表述必须清楚,后来推出的强化版Siri聪明多了。IOS 10将于今年秋天发布,Siri的语音成为第四个需要被机器学习转变的组成部分。这一次,深度神经网络上位,原来的授权技术退位。Siri的声音来自一个语音中心收集的数据库,每一句话都是语音段拼接的。机器学习技术让语音平滑流畅,让听觉效果更接近真人。

虽然只是小细节,但更真实的声音能让Siri变得大不相同。格鲁伯认为:“声音质量提高了,用户会更加信任Siri。更好的语音更加吸引人,用户使用频率也会提高。”

有些人评论说,苹果Siri的合作伙伴只有两位数,外部开发者帮助亚马逊Alexa开发了1000多项技术。苹果认为将两者对比并没有意义,亚马逊用户要用特定指令获得各种功能,苹果Siri与服务结合时更加自然。

保护用户隐私

事实上,苹果采用机器学习最大的阻力在于,如何让公司成功守住保护用户隐私的原则。不论是员工,还是苹果的律师,任何人都不能获取用户的私人信息,就是拿了搜查令的FBI都不行。这可以说是苹果的一大卖点,他们为了谄媚广告公司,搜集和出售用户的私人信息。

虽然,尊重隐私这个原则非常令人敬佩,由于在这一问题上的严谨性,苹果似乎很难吸引到AI人才帮助公司发展。一位苹果的前雇员表示:“机器学习专家需要的是数据,但由于苹果尊重隐私的立场,苹果在这场竞争中,可以说是把一只手绑在后背战斗。你可能觉得这么做不合理,但这也为苹果赢得了铁杆粉的赞誉。”而这位大约喜欢看功夫片的苹果前雇员,现在在一家主攻AI的公司供职。

事实上,这一观点遭到了苹果公司高层的强烈质疑。他们认为,完全可以不采用用户云端存储的内容,或实时监测用户信息,就可以获得足够的数据来实现可靠的机器学习。费德里吉表示:“这事儿不对,不应该进行这样的取舍。我们尊重用户隐私,这样的行为是伟大的。此外,为了让我们的用户遍布各地,我们很愿意为行业竞争者们展示一条新的通往机器学习的航线。”

机器学习涉及两件很重要的事情:首先,就是基于机器学习的系统中的个人信息的问题,在了解到用户行为之后,神经网络会自发的决定如何对这些信息进行处理;其次,这也关乎相关信息的搜集对神经网络识别行为的训练方式。现在问题来了,你要怎么在不收集用户个人信息的前提下完成这两件事?

苹果称,它已经有了答案。埃迪·库表示:“很多人坚信没有数据,我们就不能做AI,但是我们已经找到了办法,技能保持隐私保护原则,又能进行数据获取。这是底线。”

针对第一个问题,也就是保护个人喜好和信息的神经网络识别,苹果采用了软、硬件分别独立控制的方法。简单的说,几乎所有的个人信息都将存储在私人配备的苹果之脑(Apple Brain)。费德里吉表示:“对于最敏感的内容,我们会把这部分涉及的机器学习算法嵌入到本地设备。”费德里吉举了个案例,一个针对app的建议:当你向右滑状态栏是出现的图标。理想的状态下,他们是想让你打开想要打开的一个app,但这需要基于一系列的因素,涉及大量用户行为,无关别人,是很个性化的。费德里吉表示,有90%的情况系统能为人们推荐他们想要的app,这都是在个人的手机端完成的。

苹果在设备存储的其他信息,还包括苹果认为可能最为私人的一些数据:使用标准的iPhone QuickType键盘键入的文字。神经网路训练体系将在你打字的时候检测相关事件和项目,比如航班信息、联系人、约会等,但这些内容都将只保留在你的手机上。即便是苹果云端保存的备份文件,都不会显示详细内容。。费德里吉表示:“我们不想让苹果服务器存储这些信息,这只是一个公司,不需要知道你有什么习惯,或者你要到什么地方去。”

此外,苹果还打算尽量减少信息存储量。费德里吉提到一个例子,当你正在聊天,或者正在进行潜在的关键词搜索,别的公司可能需要所有的相关内容和项目,来进行标识,但苹果公司只需要检测个人设备端的数据就可以了(而这只需要依赖于那个200兆字节的“大脑”)。

费德里吉表示:“这是一个紧凑,但是全面的信息库,包括数以万计的定位和内容。我们对它进行本地化,因为我们知道你在哪里。这个信息库将被用于所有的苹果app,包括Spotlight search、Maps和Safari等。它帮助我们进行自我修正,并在后台持续运行。”
6

Craig Federighi和Alex Acero

用网上信息训练神经网络

现在来谈第二个问题。苹果想进机器学习的圈子,还面临着另一阻碍:由于隐私保护原则,无法获取足够庞大的数据库,来进行训练,提高机器学习算法的准确性。如果苹果不抽取它所有的用户群信息,它应该如何建立庞大的数据库?办法跟别的公司一样:利用网上公开的信息,比如利用公开相片进行图像识别训练。真正的问题在于,当苹果需要更有针对性的算法训练时,它需要获取最近的,更具体的用户信息,这只能来自于它的用户群。苹果目前的做法是,匿名获取信息,随机标定数字ID。

从iOS 10开始,苹果还将聘请相对新的技术,Differential Privacy,针对用户信息来源不明确的情况,用于更新流行语,进行相关答案检索,推荐热门表情等。费德里吉表示:“现在行业里普遍采用的方式是,当你键入字符,数据就会被传送到服务器上,然后通过网络检索相关或有趣的内容,再传回个人设备;而我们打算做的是,将这个功能做成一个大规模应用的东西,扩展到10亿用户群。”

费德里吉称:“我们是几年前开始这项工作的,即实际规模化。这很疯狂,而且还很私人。苹果做了很重要的工作,对整个世界都很有价值。它正让科学家们的论文变成现实。”费德里吉还描述了一个系统,涉及虚拟抛硬币和加密协议。大体上,它是对一些数据加入数学噪声,因此,苹果公司可以检测使用模式,而不识别个人用户。

显然,机器学习正在改变着苹果的产品,虽然我们还不知道它会不会改变苹果的“本心”。从某种意义上来说,机器学习似乎本来就跟苹果是一条路子的。苹果一直很小心的关注用户体验,擅长各种传感,预先设计,精确编码。而工程师设计机器学习的时候,想做的是让它自己进行修正,发现解决方案。这样看来,不停吸收反馈,进行产品调整的苹果公司似乎就是一个机器学习体系。

费德里吉称:“这也涉及一个主要的内部争议。我们习惯于想的多,想周到这样的经验,我们控制系统与用户交流的维度。然而当你训练一个面向人类行为,基于大型数据库的系统,你不知道它最终会走向什么。我们无法控制结果,一切来源于数据。”
7

Tom Gruber和Alex Acero

席勒表示,苹果不会回头。“虽然这些技术会影响到你的设计过程,但终有一天,我们都将使用它们,因为它们能够提供高质量的产品。”

关键的是,苹果可能并不会声明自己把全部身家押在机器学习上,但公司将尽可能用其来改善自己产品。手机里面那个“脑子”就是最好的证明。

席勒还说:“典型客户正在体验日常级别的深度学习,这表达了他们对苹果产品的热爱。令人激动的是,一开始你没什么感觉,当你第三次看到它运行的时候,你会讶异于,这是怎么办到的。”

智东西