搞算法还要当“美学家”?旷视要用AI重新定义计算摄影

智东西(公众号:zhidxcom)
文 | 云鹏

如果要拎出当下旗舰手机三大比拼核心点,那么芯片性能、影像系统、屏幕效果必不可少。

在5G时代,短视频拍摄火爆,摄影和视频创作已经逐渐走进普通人的生活中,因此摄影摄像几乎成为了手机厂商们争夺的关键技术高地。

当然,攻下这座山头似乎并不容易,各家都组建起自己的影像算法研究团队,并且和索尼、徕卡这种“大厂”进行合作,共同调教算法。

其实这种利用算法,拓展相机硬件获取信息能力,来尽可能丰富和全面呈现我们肉眼所见世界的方式,被行业内称之为计算摄影。

搞算法还要当“美学家”?旷视要用AI重新定义计算摄影

对于计算摄影的研究,难度其实很大,因为这需要有比较聚焦、专一的研究团队和一定的数据基础,同时在算法研发工具、平台方面的要求也不低。

有需求,就有市场,很多在视觉算法领域有一定积累的企业,也开始抓住计算摄影这条关键赛道,尝试给出自己的解题方案,而AI似乎在这其中扮演着越来越重要的角色。

为了揭开这层面纱,理解AI对于计算摄影的根本意义,以及不同玩家究竟是如何与“光影艺术”打交道的,智东西与AI企业旷视科技的工程师进行了深入交流。

一、都是800万像素,凭什么你拍的更好?

其实大家真正对于“拍照不止于硬件”有所感知,是从iPhone开始。从iPhone 5一直到iPhone 6s,苹果一直在沿用一颗800万像素摄像头。

但苹果却凭借这一枚祖传800万像素摄像头,“吊打”了当时一众安卓旗舰手机的拍照素质,在一个小小的相机模组背后,对于硬件的调教和算法产生了关键作用。

时间来到2018年,谷歌Pixel 3系列凭借最佳镜头模式、超级变焦、夜景拍照等功能,成为了当时的“地表最强单摄”手机。

搞算法还要当“美学家”?旷视要用AI重新定义计算摄影

从过去让手机拍的到,到今天让手机拍得好,同样的像素,接近的光学尺寸,但成像效果却相去甚远。

曾经厂商们给手机拍照增加各种各样的功能,但最后发现,一拍即得,反而是用户最需要的,而实现这种体验的背后,需要算法提前做大量工作。

其实在计算摄影领域,旷视已经深耕多年,只不过略显低调。前几年手机刷脸解锁和刷脸支付成为热门,这背后旷视的算法就多有应用。今天,旷视要将AI的能力融入影像算法,在他们看来,AI才是计算摄影的未来方向。

二、跟“光“打交道,硬件需要AI来帮忙

那么AI到底如何给手机影像系统赋能?这听起来似乎有些抽象。通过与旷视工程师进行交流,我对他们基于深度学习神经网络能力的“AI+CV”超画质技术有了更深的理解。

其实通俗来讲,这类技术就是通过AI来对高画质数码相机的成像特性进行学习,还原景物原有的细节纹理,使画面品质得到整体提升。

也就是说,“原来硬件看不到的,AI来告诉它都有什么”,获得超越图像原本的效果,从而让用户可以更加简单便捷的获得一张“好照片”。

旷视特别提到,目前他们的超画质产品已经在50多款热销手机中有所应用,并多次在相机评测机构DXOMark中取得当时的最高分。

具体来看,旷视的超画质技术主要是针对全局和细节两方面分别进行优化处理。

比如画面细节增强、动态范围提升、降噪效果提升这类属于全局优化的范畴,而闭眼融合修复、天空噪声优化、挥手鬼影优化这些则属于细节优化。

搞算法还要当“美学家”?旷视要用AI重新定义计算摄影

旷视的工程师告诉智东西,对于“超画质”,旷视追求的是整体影像拍照好看,这个好看主要是对于光的处理。

“光有三个域,分别是时域、频域、空域。旷视超画质做的核心工作,就是对三个域上的信号进行增强,或者优化处理。”

就比如对于噪声的优化,旷视算法的核心就是对时域和空域信号的补充。

首先AI会对自然光谱进行学习并总结特性,然后就可以借此对相机传感器所捕捉的信号进行分辨,哪些是噪声,哪些是成像需要的信号。最后把需要的部分还原,把噪声的部分去掉,这就是AI在降噪算法上的一个典型应用。

三、计算摄影的本质,是“光感知”的协同设计

从超画质技术,我们可以看出旷视对于计算摄影的发展路径有着自己的理解和判断。

其实拍摄本质上是一个“光感知”的过程。光:光线本身及光学路径;感:接收光线做光电转化;知:将光信号做计算处理。

形象的来理解,其实可以比作人眼看到物体的过程。人眼中的晶状体和角膜是光学系统,而感知的部分是视网膜,处理的部分是大脑。

以前手机相机硬件之间的交流是通过相对固定的信息参数,光的部分以镜头为媒介,把参数给到感的部分(传感器),基于这些信息感的部分来做优化设计,这是单一“小水管”形式,各个部分单打独斗,各自提升。

搞算法还要当“美学家”?旷视要用AI重新定义计算摄影

而现在通过AI算法,旷视在各硬件之间搭建了一个类似神经网络的链接,从最优影像效果出发,优化各个硬件的参数。

搞算法还要当“美学家”?旷视要用AI重新定义计算摄影

旷视的工程师特别强调说,光感知系统是一个整体,他们一定是协调工作的。逻辑上是通过扩大整体信息管道的通量,让不同硬件设备之间形成更有效的全局优化,使整个系统的效果更往上走一个台阶。

旷视将这种思路和方法称为:用AI重新定义光感知系统。而AI计算摄影就是旷视在手机影像领域应用这种方法的体现。

四、为了让AI更懂“什么是美”,先要把自己训练成“美学家”

可以看到,AI的加入让影像系统的算法之争又上升到了一个更高的维度,而这也需要大量研发人员、大量研发资金的投入来慢慢打磨。

九年前,旷视进入了AI视觉这条赛道。从面部识别到计算摄影算法,他们一直在拓展自己在AI算法领域的研究边界。

目前旷视研究院已经拥有500多位研究员,据称这样的规模在全球范围内也属于比较领先。

为了提升超画质的实际表现,旷视搭建了自己的光学实验室、图卡实验室等专业实验室。

旷视的工程师告诉智东西,为了让AI更懂“什么是美”,他们从事超画质研发的同学,在训练算法前,都要先将自己训练成能够辨识美的“美学家”,只有自己能够熟练辨识什么是好照片,才能开发出实际表现更贴近用户需求的超画质算法。

就比如,色彩的表现力和自然真实之间如何做取舍?这就是一个非常令人纠结的问题。这时候,就不能盲目训练算法,而是要先通过人来评判。

旷视的超画质工程师们会跟专业的图像质量测评集去打交道,也会跟客户一起讨论,“先把自己训练出来,知道怎样做好看了,才知道自己做的图是不是好。”

凭借研发人员这种认真和执着,依托旷视Brain++平台的能力,在不到2年的时间里,旷视超画质技术已经迭代到3.0版本,整体研发及交付效率提升了6倍。

搞算法还要当“美学家”?旷视要用AI重新定义计算摄影

从算法驱动到价值驱动。旷视的工程师说,客户曾有一句评价令他们印象很深刻:“旷视只要选好方向,就非常坚定,最终能够做出来好的产品。”

这种口碑的养成,其实都需要一步一个脚印的慢慢积累。

结语:AI计算摄影未来还有很大想象空间

随着拍照软硬件系统整体的复杂度越来越高,通过深度学习神经网络找到最优参数的解法,其优势逐渐突显。在手机AI计算摄影这条路上,旷视找到了属于自己的核心要诀。

当下,手机仍然是目前技术创新密度和技术价值密度最高的产品之一。智能手机摄影摄像在近几年内依然会成为各家产品的主打卖点,因此市场对于AI拍照算法的需求也会只增不减。

这条赛道既有苹果这样的手机厂商在带动,也有旷视这样的AI公司在持续投入,更有许多创业公司仍然在探索更多细分领域的机会,AI计算摄影这条赛道,好不热闹。