0-2 2

一文读懂Face ID:苹果真的不应该被黑

司北iPhone十周年特别报道 人工智能2017/09/22

文 | 七鑫易维创始人黄通兵 在iPhone X推出后,网络上段子手层出不穷,比如在老公睡觉的时候,用老公的手 […]

文 | 七鑫易维创始人黄通兵

在iPhone X推出后,网络上段子手层出不穷,比如在老公睡觉的时候,用老公的手机对脸解锁来偷看手机;或者强迫老公,随意喊老公看一眼,付费即可成功等等。网友更是从剁手发展到要剁脸的调侃,但是在解锁及支付这样的安全应用场景上,Face ID究竟是怎么来做的呢?这不得不解析一下苹果早在半年前就开始进行布局的“注意力检测“技术。

而这项技术的问世离不开苹果最近一次宣布收购德国老牌眼动追踪企业SMI(全名SensoMotoric Instruments),这家有25年历史的眼控企业前身是柏林自由大学学术医疗研究院,后剥离出来独自成立眼球追踪技术公司,产品包括面向企业与研发机构的眼球追踪设备/应用、医疗眼控辅助设备、手机、电脑、VR设备的眼控技术支持等。。

什么是Face ID?“注意力检测”又是什么?

苹果iPhone X新的身份认证方式就是Face ID。简单理解就是用户在解锁时,只需要看着手机,就能实现刷脸解锁。具体来说,Face ID在实现用户解锁上有两个步骤:图像捕获,人脸识别。

iPhone X硬件上特别设计了“齐刘海”——被众网友调侃为向乔帮主致敬,更有甚者吐槽为中年男子发际线危机的象征,抛开恶意及无底线的调侃,或许苹果在全屏幕和硬件元件上的舍与得,比网友的脑洞更大。

0

这一个区域集成了多达八个组件:麦克风、扬声器、前置摄像头、环境光传感器、距离感应器、红外镜头、泛光感应元件(Flood illuminator)、点阵投影器。苹果将整个系统称之为原深感摄像头(TrueDepth Camera System)。系统能够根据用户的脸部特征构建出一个“详细且深度的绘图,以便快速识别”。

苹果iPhone X的面部识别功能中包含“注意力检测”功能,这个功能可以确认你是在清醒的状态下使用手机。因此当你睡觉时,有人试图解锁你手机的行为将会失败。

“注意力检测”原理为人眼视线检测,检测用户视线方向,判断用户的注视区域,系眼球追踪技术的一部分。这部分功能同样是由“齐刘海”硬件实现(苹果收购的眼动追踪企业SMI为技术提供方),利用红外镜头和泛光感应元件,实现人眼瞳孔的特征定位,在通过AI芯片A11的深度学习估算人眼视线方向。

在操作应用上其中涉及的公开专利原理摘要为,一种方法包括接收计算机化系统的用户的身体至少一部分的三维(3D)映射序列,并从3D映射中提取用户头部的3D坐标 。基于头部的3D坐标,识别由用户执行的注视方向以及在耦合到计算机化系统的显示器上,在注视方向上呈现的交互项目。从3D映射中提取指示;指示用户正在特定方向上移动身体的肢体,并且响应于该指示,将所识别的交互项目重新定位在显示器上(如下图示例)。

0-1

这项于2016年12月份公开的专利,即是注意力检查的原理,将上图的PC机及摄像设备想象缩小到手机端,用户只有在眼睛注意力集中在一个圆圈中,同时它会要求用户将头部放在同一个圆圈中(如下图)。这一步骤同时完成人脸图像扫描,以及注视点映射。

当今视线检测技术的精度可以达到1°以下,一些多年从事眼动分析的技术公司可以做到0.4°的高精度。按照1°的偏差精度来计算,当用户注视iPhone X手机屏幕圆圈时,视线偏差距离不超过5mm。因此,通过“注意力检测”技术,当人眼的关注视线落在手机屏幕上时,Face ID认为此时用户传达了交互的目的,即进行解锁。而在用户视线偏离手机屏幕时,“注意力检测”结果将帮助Face ID不要误解锁手机。

0-2

Face ID会失效吗?

Face ID为满足不同时段不同环境对摄像头的要求,如白天、黑夜、室内、室外。摄像头会使用红外光(泛光感应元件)照亮你的脸,使用红外镜头捕捉图像。以下是人脸识别的具体步骤:

1. 首先,把IR图像从相机发送到iPhone X的神经引擎里,以构建用户的人脸3D模型

2. 将用户的3D模型或“验证图像”在计算机算法中呈现,并将其与用户存储的模板或“设置图像”进行比较;

3. 根据这两个图像之间的相似度得出对比数值,看验证图像和设置图像是否匹配;

4. 如果对比数值高于某个确定数值,iPhone X会通过你的身份验证并解锁。

因此,Face ID是否会失效要看苹果对于阈值的设定,如果设定较高的阈值,相应失效问题就会小很多。

如何想解锁手机或者Apple Pay付费,除了摄像头扫描到用户脸部特征之外,还需要用户视线(人眼的单目还是双目,可以通过算法设定)集中在14.1cm*7.1cm区域大小的手机屏幕上。这就需要用户精力高度集中,将人眼视线投射到手机上,即前文提到的“注意力检测”原理。

眼球追踪技术将会为苹果带来哪些新的应用?

这项技术应用到智能手机上将会实现眼控手机界面交互例如:眼动打开应用、切换应用、阅读时眼控自动翻页、浏览网页时眼控跳转等,拍照自动对焦、眼控游戏等等,很多能解放人们的双手,更加方便的操作手机,使其更加智能。

苹果的十年又是苹果摄像头进化的十年,在苹果重视的拍照智能化上,iPhone X加入了PortraitLightning功能。从智能色温处理,到智能补光,再到如今的场景光影模拟的处理。如果眼控对焦的加入无疑将拍照推进到了准“钢铁侠之眼”的功能,预想一下以后拍摄的时候:

我们就不需要完成既要拿稳手机,又要用手指对焦和按快门,以及加上自拍杆化身长臂猿却无法调解对焦的尴尬局面,而且生活中又有很多需要快速对焦和拍摄的场景,很容易由于操作复杂,失去捕捉拍摄的机会,或者焦点没有对准,拍出模糊照片。

未来当iPhone支持眼控对焦,眼睛在屏幕上看到哪里,焦点就出现在哪里,节省对焦时间,非常适用于变化或运动场景的快速对焦拍照。

苹果在发布新一代产品的时候往往会采取逐步停产上一代产品的市场战略。在纪念苹果十年推出的iPhone X,即是苹果使用了Face ID开始逐步抹杀Touch ID的开端,眼球追踪技术的加入无疑将使得苹果的全屏幕展开一个新的时代,这也是现在Face ID和安卓的人脸识别技术不同的所在。但对于技术跟进很快的安卓端手机厂商来说,将眼球追踪技术加入下一代手机产品中相信也会是不远的命题。

zhidx