导语：专访京东商城技术总监桂创华，为你解读视觉识别在京东图片系统中的应用。

哪里汇聚了最多种的商品图片？京东绝对榜上有名。不同的用户进入京东商城App，会根据兴趣偏好被推荐不同的产品，或者说不同的产品Banner图。

现在，这些京东制作的产品Banner（网络横幅素材）大都由AI来完成，据称，其设计效果达到初中级设计师水平，每秒可以生成6000多张Banner。经记者估算，机器生成的速度比普通设计师快了约200万倍。除此之外，京东还利用AI进行山寨识别、视频合成及个性化分发等工作。

在2019英特尔互联网数据中心峰会上，智东西有幸和少数媒体对京东商城技术总监桂创华进行了采访，就“京东商品图片系统的AI化”进行了深入探讨。

一、每秒6000张Banner，质量达到初中级设计师水平

App首页焦点图是京东商城引流的王牌点位，自2018年起，京东已经开始将焦点图设计工作交给AI来做，速度大大提升，为“千人千面”的广告触达奠定了基础。

▲京东商城首页焦点图

“AI设计师”首先要做的是自动抠图。焦点图、海报图的设计制作需要产品的透明底图，但是商家上传的产品图往往带有背景。京东通过自研算法，能够快速实现AI抠图。

▲京东采用自研抠图算法

下一步的挑战是需要组合设计元素。一张焦点图既涉及产品图、背景色、背景纹理、组合图形、按钮、文案等多个元素，还涉及到商品调性和色彩、布局、风格的搭配。京东技术部门利用机器学习技术，用海量的Banner对图片生成模型进行训练，实现多种产品的Banner智能设计。

▲一张焦点图既涉及产品图、背景色、背景纹理、组合图形、按钮、文案等多个元素

京东商城技术总监桂创华表示，京东AI生成焦点图的速度可以达到100毫秒/张，设计效果能达到初中级设计师水平。据智东西记者了解，普通设计师的完成速度约为5min/张，比机器慢了约200万倍。

为了优化AI设计的效果和速度，京东双管齐下。一方面，京东从上层算法及软件上做优化，依托图片库中的海量图片，进对图片设计模型进行迭代训练，使机器充分了解设计规则；另一方面，京东向英特尔等合作伙伴寻求整体性能的优化方案。

桂创华说，之前我们做了很多上层应用软件的优化，但是做图速度优化到100ms/张就优化不下去了，再往下就涉及到基础库的优化了，在这一块，英特尔在图片和媒体处理方面有很多的工作。

英特尔发言人表示，英特尔第二代至强可扩展处理器、英特尔的软件库、ICC编译器、还有IPP这样的图像处理库，在京东的系统当中都有应用。比如对PNG的编解码的优化，英特尔不仅使用了AVX-512指令这样的向量化指标提升整体性能，还针对PNG图片使用了IPP高效压缩技术，以此提升PNG编解码优化。

另外，因为京东商品图片系统是基于AI的，英特尔会基于Caffe及TensorFlow主流框架打造优化的高效版本，应用到京东的图片系统当中去，以此保证整个图片系统可以更好地运行。

AI抠图和AI设计为京东“千人千面”的电商营销提供了加持。“千人千面”被提了很多年，但由于成本过高等因素并未真正落地，其中成本就有设计制作成本。

据记者调查了解，一张模板式焦点图设计的市场价达到150-300元，大概需要花费8-12分钟时间；而京东采用AI每秒合图超过6000张，日均合图超过2000万张，这大大降低了制图成本。据称，在去年双十一，京东AI生成了过亿张Banner图，现在每天也是千万量级的。

二、AI打假：识别山寨品牌Logo、外形及文字描述

除了AI设计，京东还借助机图像识别技术对山寨产品进行识别。桂创华说，山寨是京东不能碰的红线。英特尔发言人说，京东本身是一个以产品保真和用户体验为核心，这是其重要优势。

尽管京东卖家审核机制很严格，但仍有部分“漏网之鱼”。桂创华说，采用了AI山寨识别技术之后，京东平台能快速把绝大部分仿冒店、假产品识别出来。

桂创华说，京东的山寨识别应用采用自研技术。这类场景具有特殊性，国内做的企业少，国外更少有这类诉求。

Logo仿冒是商品市场的重灾区，京东会通过“Logo检测”系统，验证Logo真伪。其图片识别模型会比对100多个商标易被山寨的品牌，比如通过检测耐克的“钩”的形状验明真假，再通过比对其先前上传资质判别山寨风险。如果说相似度极高却不具有销售该品牌的权利，就会被认为是在发布侵权的商品，进而采取扣分、下架甚至是关店的处罚措施。

除了上述山寨Logo的情况，还有外形的山寨，比如大家通常见的LV、古驰的包包，山寨的纹理和正版非常像，但是很多人一看就可以看出来你是山寨LV或者是古驰的，所以京东也在针对外形山寨做了一些工作。

另外，除了图片之外还有文本方面的检测。桂创华介绍，山寨品很多时候不会山寨得那么直白，比如山寨“三叶草”的“三条杠”就没那么好识别，但这也在京东山寨识别的范围之内。

在山寨识别技术的研发中，京东面临了许多挑战。比如鞋子、服装图片中的logo会变形，这对机器学习算法造成了干扰，需要进行倾斜校正；店铺上传的商品图光线存在差异，也会影响识别效果；另外，在包包外形纹理比较相似的情况下，人眼容易识别出来的差别对机器来说却没那么容易。

对此，京东利用海量的商品图片数据，不断优化算法。同时，京东将提高检测速度、优化性能的任务交给英特尔解决，在不损失山寨检测效果的情况下，多倍提升性能。

山寨检测是一个比较典型的深度学习的场景。据了解，英特尔帮助京东对此做了多方面的优化。首先是框架层面，因为它这里面Caffe和TensorFlow都有使用，在框架层面，英特尔已经做了很好的优化。

另外英特尔今年发布的第二代至强可扩展处理器有一个新的特性叫Deep Learning Boost深度学习加速库，Deep Learning Boost我们最早跟京东在山寨检测这个场景上有过很好的应用。相当于我们这里面增加了一个指令叫VNNI 的int8的指令，可以在不损失山寨检测质量的情况下提升几倍的性能。

桂创华说，其实在我们这些应用场景中，算法是京东自研的，性能是英特尔帮助提升的。这对于京东的好处在于通过一台服务器可以处理更多的图片，且每张图片处理速度更快，因此带来了用户体验上的提升。

三、用AI制作视频，跨机房容灾支持海量图片存储

另外，随着移动互联网的发展，短视频内容的影响力越来越大。考虑到视频制作麻烦，需要耗时数天、花销数百，京东选择用AI来制作产品图视频。该技术能利用已有的素材，进行剪辑、配乐。

桂创华说；“现在我们在做的是生成视频的一些技术，这部分技术现在主要开放给商家，允许他们自己提供原始素材，我们自动给它选一些音乐，做出转场的效果，生成视频。这一块技术已经有很多商家在用了，今年双11会有大量的商家用到这样的技术。”

作为电商平台，产品图片系统是京东的重中之重，图片存储的意义不言而喻。从2014年到2018年京东产品图片数以倍速增长。

对此，京东采用跨机房容灾。具体来说，当一个机房存储两个副本，另一个机房存储了两个对应副本，一旦其中一个机房出现故障，系统会自动切换到另一个机房，这就大大提高了京东商品图片系统的稳定性。

桂创华说，我们现在海量的图片存储，它的跨机房容灾，其实在业内也是做得比较领先的。大概在去年的时候，我们就把这些工作整理了一下，做了一个开源的分布式文件系统，我们叫ChubaoFS，这个工作我们在GitHub上已经开源了。

谈到与英特尔的合作，桂创华表示；“我们一直在持续合作，是一种紧密的合作关系，凡是涉及到我们软件层面上已经优化到性能的，我们就把问题提给英特尔，看英特尔能不能给我做一下性能上的支持。比如我一台服务器只能处理10张，现在上层应用软件我们已经做到顶了，能不能给我优化一下，变成一台服务器可以处理20张、30张这样的。”

结语：利用数据优势，加持算法和算力

电商平台天然具有发展人工智能的基因。数据是众多机器学习模型的最大的痛点之一，这恰恰是电商平台的优势项。面对设计Banner、识别山寨等特殊场景，电商平台一方面通过自研软件算法来优化图像识别、图层组合等模型，一方面通过与英特尔等厂商的合作确保底层硬件的高速稳定性能。

随着各大广告代理商、大企业纷纷掀起利用AI技术转型“Martech”（智能营销）的热潮，电商平台凭借平台和渠道便利获得了无与伦比的数据优势，这使得广告代理、大企业等陷入被动境地，也使得整个智能营销市场的门槛大大提高。