智东西(公众号:zhidxcom)
文 | Kiva

在刚刚过去的9月和10月里,随着手机芯片AI化的两个主流玩家新品的亮相,即华为麒麟980和苹果的A12处理器的推出,手机端AI芯片2019年的竞争格局也随之定下了基调。

智东西此前也曾探讨过未来一段时间里手机AI芯片竞争的五大典型趋势(决定未来的手机AI芯片五大趋势,华为苹果率先起跑)。这五大趋势分别为架构升级、工艺制程升级、系统层建设、应用生态、体验进化,而围绕这五大趋势的AI芯片行业升级,将很大程度上影响未来智能手机江湖市场格局。

而在智能手机领域,随着智能手机厂商的竞争越来越激烈,智能手机市场不仅拼外形、拼服务,更是拼上了AI、拍照等“新技术、硬科技”。这些技术的实现离不开芯片作为核心进行支持。于是,智能手机之争,也进一步演进到了芯片之争。

说到AI芯片带给智能手机在体验方面的升级,华为的新款AI芯片麒麟980已从上一代的在拍照中进行物体识别、场景识别,发展到针对视频中人体姿态、动作进行实时AI分析。

近日,随着麒麟980的首搭机型Mate 20系列正式发售,智东西也在第一时间拿到该产品。我们选择了五个最能体现AI芯片能力的功能场景来探究,达到最新7nm技术标准的AI芯片,在突破手机应用极限方面的表现到底如何?

一、AI芯片前沿技术的尝鲜者——麒麟980

芯片是智能手机的大脑,在智能手机工作的每时每刻都在不停地进行着计算。因此,芯片也决定着智能手机的性能和应用的想象空间。

进入2018年下半年,手机端AI芯片也发展到了一个新的阶段,7nm制程工艺落地、多核处理单元架构被华为、苹果广泛采用。麒麟980芯片作为这些最前沿技术的尝鲜者,率先进行了落地。

华为麒麟980算力真实体验!5个功能让AI芯片小宇宙爆发

双核的升级也给麒麟980芯片的AI运算带来了全面的提升,主要体现在视频检测、物体细节识别、物体分割这三方面上:原先单核NPU进行AI物体实时识别时只能认出轮廓,现在可以识别出画面细节;原先只能实时处理图像,现在则可以做到实时视频检测和处理;原先在实现画面实时物体分割时线条轮廓较为粗放,现在在双核NPU的驱动下则能做到更精细。

芯片行业本就费时烧钱,7nm工业制程下集成69亿晶体管更是对物理极限发起了挑战。华为消费者业务CEO余承东曾在麒麟980的发布会上说,麒麟980芯片的研发费用高达数亿美元(几十亿人民币)。高昂的研发成本也成为了一堵高墙,将不少智能手机厂商阻拦在外。

纵观整个芯片行业,目前高端智能手机芯片行业玩家并不多,只有苹果、华为和高通三家。苹果A12芯片已经搭载在新款iPhone上,华为的麒麟980也已经搭载在Mate 20系列上面世,高通的新一代7nm制程的AI芯片也将于今年年底正式亮相。

智能手机芯片行业的运算力也在几位头部玩家的带领下,正在冲击新的高峰。在经历了一轮口水大战之后,对新一代7nm制程工艺的AI芯片性能的考验则到了见真章的时候了。

二、麒麟980超高计算最艺术应用:AI视频留色

AI视频留色是华为智能手机中新增的功能,其难点在于需要对视频画面进行实时识别和实时处理。不同于对图片的处理,AI视频留色需要对视频进行实时处理,每秒需要处理几十帧图像,对手机芯片运算能力是一个巨大的考验。

华为麒麟980算力真实体验!5个功能让AI芯片小宇宙爆发

AI留色这一功能实际上是隐藏在相机录像模式下的。点击Mate 20 Pro相机进入录像模式后,界面左侧会出现一个魔法棒标志,点击魔法棒后会出现多种特效模式,其中第一个就是AI色彩,也就是我们说的AI视频留色功能。

华为麒麟980算力真实体验!5个功能让AI芯片小宇宙爆发

从实际的体验情况来看,随着人物的移动,色彩信息也会实时进行跟随。除了对一个人物进行测试外,我们还进行了对多个人物识别画面的测试。结果显示,在多个人物出现时,相机会根据人物图像在整体画面中的比例,优先对占比大的人像进行处理。当两个人物与镜头距离相当时,相机会对两个人物都进行留色处理。

智东西从华为算法工程师处了解到,这一功能需要分两步实现,首先是对镜头内的人物进行实时识别和抠取人像,其次是而将背景部分黑白化。在NPU的加持之下,画面将会呈现出如电影《Sin City》里的镜头一般,营造出时空交叠般的错觉感。

抠取人像和进行色彩保留并不是这项应用的难点,而要做到精准的实时识别并同时进行处理则最为考验硬件能力。麒麟980在运行人体分割的算法时,可以做到每秒30帧的处理速度,能够对视频进行实时精准抠图。同时,由于运算是在麒麟980芯片上运行的,即使在断网状态下该功能仍可以运行。

AI视频留色功能使用的是华为自研的人体检测和识别的AI算法。据华为软件工程师介绍说,该算法通过了对5000部电影,多达十几万张影视图像的模型训练过程。在麒麟980双核NPU、更高精度的深度网络的加持下,最终呈现出了Mate 20 Pro中的大片般的特效。

与此同时,AI视频留色这一功能,也成为了麒麟980芯片彰显超高计算力的典型代表,并成为华为手机中最具艺术性的内置AI应用。

三、麒麟980超高计算最新奇应用:卡路里识别

在麒麟970的加持下,华为智能手机已经可以做到对物体的识别,而在麒麟980的加持下,新一代的华为旗舰机在对基本物体识别的基础上又增加了卡路里识别的功能。

华为麒麟980算力真实体验!5个功能让AI芯片小宇宙爆发

打开相机,在拍照模式下,界面的左上角会出现“慧眼”标志。这个“慧眼”是华为手机智慧识屏的入口,其中包括扫码、翻译、购物和识物四个功能。卡路里识别这个功能就隐藏在“慧眼”识物这一功能下。不过,“慧眼”需要在网络连接下进行,无法在本地进行识别的物体将被导入到第三方应用中进行查询。

在识物模式下,你只需要将食物放置在镜头中,短短1秒中内,手机就能够自动识别食物的品类,并估计出重量和卡路里数量。尽管这项应用听起来非常有趣,但想要做到即用即查、并以AR形式实时显示则对芯片的性能要求非常高。

华为麒麟980算力真实体验!5个功能让AI芯片小宇宙爆发

从实际体验上看,如果对同一个食物以不同的面进行扫描,其对重量的估计会有差异。与真实数据相比,卡路里识别这项功能与物体真实重量之间有一定差距。但从体验的速度来看,在麒麟980的加持下,华为手机可以在1秒内完成对食物卡路里的识别。

据华为相关算法工程师说,卡路里识别过程其实是分为两步的:首先是对物体的识别,在这个过程中需要同步调出食物的卡路里库,包含的信息是以g为单位的该食物的卡路里数量;然后再进行体积估计,同时利用AR技术将结果标签与画面进行合成。

这位工程师还介绍说,目前基于麒麟980华为手机已经可以实现对100多种食物进行卡路里识别,能够覆盖大部分的水果,甚至是鱼香肉丝类的普通家常菜。

四、麒麟980超高计算最安全应用:3D结构光解锁

华为麒麟980算力真实体验!5个功能让AI芯片小宇宙爆发

如今,智能手机成为人们形影不离的存储设备,它不仅包含着各种文件、联系人信息,还存储着各种银行账号、支付密码、地理信息,关乎着人们的财产和人身安全。与此同时,智能手机的保密性和安全性也越来越重要。人们也在追求更为安全的解锁方式,而当下被认为最安全的就是生物信息解锁,以3D结构光解锁最为典型。

在麒麟980芯片的加持下,新一代的华为旗舰机搭载了华为自研的3D结构光技术,据称人脸解锁的速度小于0.6秒。

华为麒麟980算力真实体验!5个功能让AI芯片小宇宙爆发

在利用3D结构光进行人脸解锁之前,需要录入人脸的数据信息。用户需要拿着手机向着上下左右等8个角度转头进行数据采集,系统会生成用户的人脸数据模型作为样本,用于每一次解锁的数据比对。在实际体验中,搭载了麒麟980芯片的华为新旗舰机可以做到抬手亮屏,在1秒内就可以实现解锁。

笔者实际使用后的感受是,在麒麟980的加持下,华为新旗舰的人脸解锁速度,比上一代Mate 10中的2D人脸解锁更快。不过,为了保障点阵器将光斑精准地投射到面部,用户在使用时需要将面部和手机之间保持一定距离。

智东西在与华为软件工程师的交流中得知,在进行人脸识别和解锁时,手机刘海屏内搭载的点阵投影器会向人脸投射出超过3万个面部信息点,并用这些数据给用户的面部绘制一个精细万张的3D面部模型。在每一次解锁时,处理器都需要对这3万个点携带的数据信息进行计算和比对。需要运行识别人脸的特征的算法,由于对计算力要求较高,这一算法必须跑在NPU上。

由此看来,每一次3D人脸解锁的过程,对智能手机芯片都是一次运算力的大考验。而在应用上,麒麟980也赋予3D结构光更多的应用场景,在Mate 20 Pro上还有3D智能美颜、3D Qmoji表情、3D建模等诸多应用。

五、麒麟980超高计算最实用应用:个性化景深控制

图像处理是当下AI技术的发源应用,在智能手机中,拍照、处理图片成为最典型同时也是最丰富的应用。在AI芯片的加持下,场景识别、物体识别等多种拍照应用已经成为了智能手机的标配。

景深控制是在在摄影艺术中非常常见的一种形式,它的基本原理是:在景深范围内景物影响的清晰度是不完全一致的,焦点的清晰度最高。而对于相机来说改变焦点的位置,才能呈现不同的景深程度。

而在麒麟980的加持下,华为新一代的旗舰机则能支持个性化景深控制(Bokeh),可以使用户自主调节背景的虚化程度。这一功能的实现并非需要重新调整手机焦距重新进行拍照,而是在麒麟980上通过运行特定的AI算法进行实现的,其与传统相机的区别则可总结为“先拍照后对焦”。

华为麒麟980算力真实体验!5个功能让AI芯片小宇宙爆发

景深控制位于Mate 20相机中人像模式下,启动开关位于界面左侧,Logo看起来像是个星星,其中提供的景深模式包括圆形、心形、旋焦和鱼鳞四种景深模式。值得一提的是,景深控制还可以配合人像模式下的影棚光、炫彩、窗影、波普光、剧场光五种光效以及最高10级的美颜功能一起使用。

华为麒麟980算力真实体验!5个功能让AI芯片小宇宙爆发

从实际体验来看,在麒麟980的加持下,特殊景深控制、特殊光效和美颜功能都可以一起实现。不过,在对人像抠图的边缘处理上有些瑕疵,但相比于大部分的图像处理软件来说,效果还是非常好的。

在与华为软件工程师的交流中,智东西了解到,景深控制的原理主要是对图像背景虚化的控制,运用的也是物体识别与分割算法。首先需要分割出人体的区域,然后再调用虚化和模糊包模版,对背景进行虚化。而这种算法对运算力的要求非常高,必须在NPU上才能进行。

因此,在麒麟980的高运算力加持下,个性化的景深控制等以往需要长时间修图处理才能获得的艺术感已经能让人们在分秒之间轻松获得。

六、麒麟980超高计算最刺激应用:GPU Turbo 2.0

从2005年休闲类游戏开始兴起,到2016年下半年手游市场爆红,游戏品质和市场规模一直在快速攀升,更是出现了多款现象级火爆手游,如《王者荣耀》和《绝地求生》。加之AR/VR技术的出现,对移动端的图像处理需求也呈现井喷状态。但另一方面,移动终端GPU性能的提升速度较慢也愈加明显。

华为麒麟980算力真实体验!5个功能让AI芯片小宇宙爆发

今年6月,华为推出了软硬件结合的图像处理加速技术——GPU Turbo,通过协调硬件、系统和应用三个层面,加速手机的图像处理,为整个智能手机行业图像处理加速带来了全新的思考方向。

GPU Turbo技术打通了EMUI操作系统以及GPU和CPU之间的处理瓶颈,在系统底层对传统的图形处理框架进行了重构,实现了软硬件协同,使得GPU图形运算整体效率得到大幅提升,画质、性能提升的同时,能耗下降,打破了性能与能耗的跷跷板。

随着麒麟980的面世,华为全新的EMUI 9.0系统也正式亮相,其中将GPU Turbo技术升级为2.0版本。借助GPU Turbo 2.0全面提升的图像处理效率和AI调频调度的加持,Mate 20系列发挥了麒麟980处理器的性能特色,将游戏、视频中的图像延迟优化降低36%,由95毫秒降到60毫秒),从而保持持续稳定的高达60帧率的游戏体验。

华为麒麟980算力真实体验!5个功能让AI芯片小宇宙爆发

从实际体验来看,在麒麟980硬件和EMUI 9.0系统的加持下,GPU Turbo 2.0在荒野行动中不卡顿,非常流畅。在类似《荒野行动》这种手游中,整个过程中都保持了不错的游戏体验。

当下以智能手机承载的手游、视频等娱乐活动成为了人们日常娱乐生活中不可或缺的一部分,人们对游戏画面、运行速度的要求也越来越高。在GPU Turbo 2.0与麒麟980完美的配合下,华为智能手机也给用户带来了流畅到爽的游戏体验。

结语:新一代AI芯片带来智能手机跨越式AI体验

进入2018年,整个智能手机AI芯片产业链都被联动起来,除华为、苹果两个同步玩家竞相追逐外,三星、高通、联发科等都在涌入激烈的市场竞争中。

与此同时,智能手机AI芯片也正呈现出新的发展态势,7nm制程工艺、多核处理单元、专用处理模块等新的技术和生产模式,正在不断筑高手机AI芯片产业的壁垒。

另一方面,随着搭载新一代AI芯片的旗舰机的落地和发售,AI芯片给智能手机的AI体验也带来了跨越式进展。

从只能对图像进行处理到对视频进行实时处理,从场景识别拍照到个性化的景深控制,再到对3D结构光人脸解锁和食物卡路里识别,麒麟980芯片再飞速提升智能手机运算力的过程中,也将更多以前无法想象的有趣、有用的功能带给了用户。

而在AI芯片提升智能手机体验的同时,智能手机行业的技术竞争也正进一步加剧。其中,如华为这样拥有芯片等核心技术能力的厂商,正在引领着这场竞争的技术风向。