快手对外透露AI实力!短视频运营的四大环节大揭秘

智东西(公众号:zhidxcom)
文 | 轩窗

智东西11月2日报道,昨日快手在其总部召开了快手人工智能沙龙会议,会上快手科技AI技术副总裁郑文与智东西等少数媒体详细分享了快手在AI领域的进展,并就快手如何在产品中使用AI技术进行了深入交流。

快手由创始人兼CEO宿华于2011年成立,目前定位为短视频社区平台。据了解,目前快手的日活用户数量达到了1.3亿,已总计产生了70亿条原创短视频内容。而从每天的使用情况来看,快手用户会产生1500万条短视频内容,每天的使用时长也超过了60分钟,视频的日均播放量达150亿次。

巨大的视频流量和用户数量,也从一方面决定了快手必须应用AI技术来进行平台运营和管理。智东西了解到,目前快手在技术方面有四个团队,分别负责前端引擎、特效设计、视频内容审核、视频内容理解,总体来说快手技术人员的规模近几百人。

那么快手是如何利用AI技术对海量视频和3亿多的用户运营的呢?今天,智东西将带你一探究竟。

一、 快手日常运营中的AI技术

在沟通会上,快手科技AI技术副总裁郑文向智东西等媒体详细地介绍了快手科技在AI技术上的布局。

快手对外透露AI实力!短视频运营的四大环节大揭秘

(郑文是清华大学软件学院 2001 级学生、斯坦福大学计算机系博士。他曾在硅谷多家知名大公司和创业企业从事计算机图形学、计算机视觉、深度学习等方向的研究。郑文现任快手AI技术副总裁,带领快手在 AI、AR、CV、CG 等方向的研究。)

据郑文介绍,由于快手的很大一部分用户使用的是中低端机型,而现在先进的 AI 技术对设备的计算力要求极高。为了让普通用户体验到AI技术,快手对底层平台进行定制化开发,也就是快手自研的 YCNN 深度学习推理引擎。这一引擎可以让快手APP上的AI技术在大多数机型上都能高效运行,并针对不同机型、不同硬件进行了适配和优化。

郑文说,YCNN深度学习推理引擎针对快手平台的特点,进行了针对性的模型构建,在快手平台上运行与市面上普适的引擎相比快了2~3倍。

快手对外透露AI实力!短视频运营的四大环节大揭秘

快手APP的日常运营包括视频生产、视频理解、用户理解、视频分发四个环节,据郑文介绍,AI技术已经应用于快手视频从生产到分发到每个环节。

1、利用AI给用户视频生成增加乐趣:

首先在视频记录和生成上,快手运用了非常多的AI算法来让用户生成的视频更有趣。

其中,郑文重点提到了8个方面:

(1)、三维人脸技术:这项技术的应用主要包括两方面,一是对人脸进行三位重建,其中将会调用手机硬件进行3D打光,对图片进行活化处理,以及实现对人脸进行变脸;二是利用这项技术驱动表情,利用算法在用户拍摄视频时将人脸替换成Animoji。

(2)、语义分割:这项技术在快手视频中的具体应用有两个,一是对人像进行分割,方便进行后续的特效处理;二是对头发的分割,可以实现对头发的变色处理。

(3)、人体体态估计:这项技术可以实现对用户在视频中的肢体动作进行识别和定位。

(4)、手势识别和检测:这项技术主要用于识别用户视频中的各种手势,再配合快手推出的各种虚拟动画,为视频增加更多玩法和乐趣。

(5)、AR相机姿态估计:据了解这项技术是快手自研的,在苹果推出AR Kit之前快手就已经开始应用了。这项技术将快手视频内的虚拟物体与用户真实场景进行融合。

(6)、智能视频编码:这项技术会分析视频的复杂度以及进行ROI分析(Region of Interest的缩写,直译为感兴趣区域),比如基于人脸进行QP调制(QuickPass,快速通关系统 )。

(7)、智能暗光增强:该技术可以对视频内容进行暗光检测,如果画面亮度过暗,该技术还将对视频画面亮度进行增强。

(8)、图像质量检测:该技术可以进行迷糊检测和脏镜头检测,对视频清晰度低,或者镜头内有块状瑕疵的视频内容,都可以进行检测,系统则会对用户进行信息提示。

2、利用AI对视频内容进行理解:

而在视频上传后,快手的AI技术还将要让机器学会看懂海量的视频内容。

在理解视频方面,快手的AI技术需要做两项工作:给视频贴标签和语音识别与合成。

视频贴标签包括识别物体和场景两个方面,物体方面则包括了人物和物体。在标签方面,快手也建立了自己的标签树,从不同的维度对物体进行区分。

语音识别与合成方面,则包括了视频语音转文本和语音合成两个方面。

3、利用AI对用户进行理解:

快手APP定位是构建一个面向普通大众的社区,目前日活用户数量达到了1.3亿,用户群非常庞大。而从运营的角度来讲,为了为用户进行精准的推荐,快手需要利用AI对用户进行理解,而理解的方式则是通过对视频内容和用户行为进行分析。

快手对外透露AI实力!短视频运营的四大环节大揭秘

在理解用户方面,快手会对视频内容进行理解,并对用户行为进行分析,包括理解用户所处的位置等。此外,快手还构建了用户理解向量,从用户兴趣、用户关系等不同维度理解用户。

4、利用AI实现视频和用户的精准匹配

快手对外透露AI实力!短视频运营的四大环节大揭秘

在内容的匹配和分发上,快手也运用了不少的AI技术。据郑文介绍,快手有实时在线学习推荐系统,可以将用户实时行为推向在线推荐引擎和日志系统两个方面。

在线推荐引擎包括了检索、线上模型预测和排序三大引擎。其中检索引擎,可以利用深度学习技术视频作品和用户进行精准理解;线上模型预测引擎利用深度学习技术通过对特征的比对,为用户进行视频推荐;排序引擎则用于快手社区内容多样性、内容风控和原创保护等方面。

日志系统则会将用户的实时行为以秒级的速度及时更新到模型中,内容则用于对新增视频的线下挖掘和模型的训练。

而就在10月30日,快手还宣布正式推出营销平台,宣布进行商业化加速。快手营销平台,包括快手广告和快手商业开放平台两大部分,相关的产品包括:信息流广告、品牌标签页广告、粉丝头条、快接单、快手小店、子母矩阵号、商业号等。

与此同时,快手也将自身定位是一家“AI+大数据+社交”的公司。在其营销系统中,快手特别强调了AI大数据的应用。快手CTO陈定佳也表示,快手未来的广告和营销会更多地通过AI和大数据分析实现。

二、快手将获新融资?

快手成立于2011年,最初名为“GIF快手”。当时智能手机普及率并不像现在这么高,流量资费也非常贵,因此快手最初的产品都是GIF格式的。

2013年快手开始将产品形态由GIF转型为短视频形式,2014年正式将名字改为“快手”。

随着智能手机的普及和流量资费的下降,快手的用户数量也实现了快速增长,2015年1月快手的日活用户达1000万,2016年总用户突破3亿,2018年日活用户超1.3亿。

在资本方面,快手也获得了不少投资机构的垂爱。2017年3月快手获得了由腾讯领投的3.5亿美元融资,估值也达到了30亿美元。今年1月,快手还曾被爆出即将进行融资总价值高达10亿美元的融资,按照这次的融资计算,融资后快手的估值将达180亿美元。

而就在昨天,美国媒体The Information爆出,腾讯、百度和红杉资本正在与快手洽谈融资事宜,融资成功的话快手的估值将高达250亿美元。不过,目前快手对此事并没有做任何回应。

今年6月,快手还完成了对Acfun(又称A站)的整体收购,具体收购金额未透露。收购后,A站保持了独立的 品牌运营,原有团队保持不变。快手方面则表示,会在资金、资源、技术上给予A站支持。

结语:AI技术已渗透人们日常的生活中

在本次的沟通会上,快手详细介绍了AI技术在其平台日常应用的过程,全面展现了快手日常运营的全貌。从整个沟通的内容来看,AI技术已经渗透到了快手运营的日常。

如果从用户的角度来看,AI技术其实已经全面走进普通大众的生活,并正在潜移默化地改变着人们的生活方式。