出品 | 智东西公开课
讲师 | 黄雅 图普科技产品和零售线负责人
提醒 | 关注智东西公开课公众号，并回复关键词“图普001“，即可获取课件。
导读：
图普科技产品和零售线负责人黄雅去年9月曾在智东西公开课进行了计算机视觉应用合辑第四讲的直播讲解，主题为《基于ReID的顾客热区分析及线下商超应用》。
在本次讲解中，黄雅老师从计算机视觉给零售行业带来的变化入手，介绍了图普在零售场景下的ReID和行人追踪方法，最后从ReID的难点、解决方案及实际应用案例等方面，进行了深入讲解。
本文为此次专场主讲环节的图文整理：
正文：
大家好，我是黄雅，今天我要分享的主题为《基于ReID的顾客热区分析及线下商超应用》，我们会分为4个部分：
1、零售行业的变化带来的机遇与挑战
2、图普ReID技术的实践演化之路
3、REID技术实现顾客热区的难点及解决思路
4、如何利用顾客热区优化线下商超运营
零售行业的变化带来的机遇与挑战
自2016年底计算机视觉进入到零售领域，我们发现线下零售行业具备大体量的门店和海量的摄像头，因此产生大量数据，这是一个堪比公共安防的传统存量市场。这些存量市场具有被人工智能开发的巨大的潜力，同时人工智能也会扩展零售行业里面很多新的场景。传统零售经过了三个时代，由基于场地、基于粗放式运营、基于各种各样品牌的乱战阶段，逐渐走向品牌的精细化，线下精细化运营的阶段。我们认为这是一个很好的切入时机，投入到零售场景去做更多的服务。
从顶层来讲，新零售以人为核心，通过一些数字化技术重构人、货、场。这三要素以客户体验的升级为向导，基于数据实现精细化运营，最后把销售做得更好。基于相关技术，能够做出很多类似于老客户提醒、客流统计、客户画像、店内互动、商品的转化率分析、商品陈列和品类组合、库存的优化、热力图分析、顾客的行为分析以及顾客轨迹追踪等，产生出一系列的赋能效果。看到上图右上角是在客户场景里做的一个真实的顾客追踪与轨迹分析的例子，接下来是基于人、货、场的赋能技术，对存量的门店进行划分，给出很多合理化的建议，这都对传统零售有很大的帮助。
在一个具体的分析场景里，把顾客从过店，到进店浏览商品，到上手试穿产生购买意愿，以及离店整个行为，通过数字化技术串联起来。在这样的整体体验和转换漏斗里，每个节点都可以精细化的分析顾客行为与意愿，推出相应的改造和优化，达到提升整个零售业绩的目的。这里面包括了一系列的定制化服务体验的提升、商品的品类组合和柔性的供应链、运营分析的提效以及数据资产的相关沉淀。
顾客热力技术是基于区域绩效和员工绩效的场的分析，在区域分析里面它的本质是场的价值，上面叠加商品和陈列的价值，在叠加流量的价值，让三个层面的价值最大化，这样可以让销售达到最高的情况，比如不同区域里的流量转换的价值是完全不同的，但在真实情况下，往往场、商品和流量的价值是没有办法洞察和完全匹配的，所以基于区域分析的技术，实际本质希望通过这些数据的洞察，给零售商、品牌商一个很高频化的能力，让三个维度的价值都能够最大化的叠加在一起。简单说就是最好的位置，放最好的商品，用最好的陈列吸引最好的流量，达到最高的销售额。
图普ReID技术的实践演化之路
首先主要从两个方面开展，第一个是ReID技术，它是为每个检测到的行人分配正确的ID，我们在Market1501测试集上已经取得了非常好的成绩，业界平均水平在92%左右，我们取得了97.5%/96%（Rank-1/mAP）的成绩。第二个是基于行人重识别技术做的行人追踪，不仅了包括单摄像头的追踪，也有多摄像头的追踪，在跨越不同摄像头之间的追踪跟识别，也取得了较好的成绩。
行人重识别的流程可以拆分为三部分，第一阶段是本地化检测，包括行人检测、姿态预测；第二阶段是识别，行人的ID识别，根据特征做属性的识别和聚类；第三阶段是不同ID之间的追踪。行人重识别简单来说是一个搜索问题，它是在一个很大的行人特征库里面去查询一个感兴趣的人，把它聚到一起。检测系统是用深度学习技术去抽取检测到的行人，然后把人的特征抽取出来，进行相似度比较，最后判断这一系列的特征是否为同一个人。
基于前面的行人检测与行人重识别技术，行人追踪本身是一个关联性的问题，把单一摄像头下的不同帧和多摄像头下的不同帧通过统一的ID关联起来，在特征技术里面会投入两个先验认知去提升效能，一个是我们预期大部分人行走速度不会很快，那在两个相邻的正中间，检测框在物理位置上会比较接近，这是一种空间的近似。第二个是行人在运行中不太可能频繁的改变方向，所以我们可以做用线性的运动模型，比如用卡尔曼滤波去模拟一个人的活动、动作预测，这在一个人被遮挡时非常有用。
除了之前的行人检测、行人重识别、行人追踪之外，也会针对人身体的关键帧进行姿态层面的识别。因为有了关键帧，即使没有脸部特征，也可以知道人的眼睛、肩膀、腰、手臂的大致位置，以决定它的方向和朝向性信息。那具备这样的超长信息之后，很多时候是可以预判两个人的某个部位之间的相关距离，这些相关距离对于双方的关系的判断，或者某些物体拿起的判断会有很大的帮助。
行人重识别也就是跨摄像头追踪，同一个人从进店到各个位置，然后被遮挡，它整条路径都被追踪起来，之后给它一个统一的ID，其实通过行人特征进行停留时长的预判，才是零售场景里面顾客停留时长判断的正确方式，而不是用人脸，因为人脸摄像头在布置时很难达到客户移动到哪个位置都有相应的覆盖，所以用人脸计算在购物的某个阶段里的时长是不够准确的。
模型的应用还包括户外选址，使用追踪来获得行人的轨迹，然后应用进一步的分析性别、年龄等。ReID最常规的应用是热力图技术，通过追踪热力特征把顾客、店员区分出来，然后在场地里面投影。我们针对于行人身份的风格，实际上可以组合多种技术，包括识别追踪以及区分导购和顾客。根据姿态识别和朝向，决定身体特征相关的位置和距离，同时基于人脸摄像头，比如收银台上或柜台上人脸摄像头的抓拍，将这三者进行关联，实际上可以比较精准的分析出导购在岗、离岗的时间，以及服务的深度，包括服务的时长、服务的质量，这些都可以通过导购与顾客之间的交互时间、关键位置的距离的远近来做初步预判，而且能达到较好的准确度。
前面都是行人技术的直接应用，下面是行人技术去辅助做人脸识别，大家知道因为光照遮挡和角度的情况，会有一些人脸没办法被算法进行聚类，这些人如果丢失掉，会影响整体客流量的精准统计，所以会引入Video-Face技术，通过半生的身体特征去追踪聚类，把那些人脸信息没法识别的客户也精准识别出来，这些客户和人脸识别出来的客户进行并集，实现店内的完整的数据。
前面介绍了大致的时间路径，这里面有很多相关问题，第一个是遮挡和误解；第二个是行人姿态的差异很大；第三个是一个极端照明条件下会影响模型的稳健性。
图普ReID技术的实践演化之路
第一个问题就是密集人群的遮挡，在大型商超里经常可以看到，如上图左边所示是沃尔玛，可以看到有大量的遮挡，包括人跟人之间的遮挡，人和物之间的遮挡。右边几个女孩子在一起去拍照，中间女孩子把她的手从左边一个女孩子那边伸出，实际上在传统的处理检测时，如果标注中间那个女孩子，会引入到大量的左边黑人女孩的特征，会影响程序本身的健康性，所以对这类型方法的解决方案，首先约定一些标注技术，比如我们通过红框标出核心的特征点，丢弃其他部分，同时也会通过检测模型、人工标注的迭代交互，不断提高模型的承载能力。
第二个问题是多角度，左图的上面一部分是人工标注测试集，在这里面是有标注错误的，很多的衣服上的颜色图案不一样，明显是两个人。但因为特别像，所以把它合并到一起。下面是公开数据集里面的一些错误，也看到其实是两个人，这里面有很多问题，一个是细粒度识别问题，就是两个形态很相似的人可能是因为身上衣服，比如白色T恤衫只有图案上的差异，或者鞋子上面有没有蝴蝶结之类；第二个是最常见的光线问题，在不同的室内、室外，不同的光线下造成的差异；第三个问题是遮挡，遮挡是无时无刻不在发生的；第四个问题是图像大小调整后的尺寸变化。
上图左边是多角度与图片拉伸的问题，这个人在同一个场景，同一个摄像头，在同一个时间上面，因为摄像头不是垂直向下的，它是有一个斜角。在这个环境下，即使同一个人在相同的时间里，角度变化会造成检测框的长、宽会有巨大的差异，需要用一些规划技术把它拉到同样的长框里面去处理，这样就给算法带来很大的挑战。中间是行人特征的细微变化，看到左边的女生查了头发，戴着眼镜，之后散着头发，没带眼镜，其实是她们是一个人，但是这种差异也会对模型造成困扰。最右边是不同的人，他们的衣服颜色、穿着都是极度相似的，那怎么去处理？对于这些问题，首先是不断去堆积数据提升程序的鲁棒性。接下来通过一些综合因素，比如朝向分析、关键点，细粒度分类的方法来提升模型的处理能力。
下面是行人重识别常用的优化方法，首先是数据准备，在人工标注下不断的优化、清洗数据的质量。
第二是会通过数据增强技术，比如说排重、增加随机的高斯模糊、擦除、背景分割与替换，以防止某些干扰性因素造成模型过拟合。
第三是用ResNet做全局特征提取，把特征去分不同的层，然后去进行聚合。
第四是成本优化，比如模型蒸馏的方法，因为我们会运行一些轻量级的网络，但轻量级网络的性能不够强，需要通过一个重量级的网络不断进行迭代训练，来提升整体的效能。
因为抽取了身体特征，理论上是可以分析顾客的属性，基于ReID技术，可以做年龄、性别识别，还包括朝向、包包、鞋子，帽子的一系列分析。相较于人脸识别，存在很大的困难，首先以中性着装识别难度大；第二是包包的遮挡，颜色的相似，很难分辨它与衣服上图案的差别；第三个是年龄，年龄最大问题是在零售场景里面，数据是有聚合效应的，幼龄段和老年段的数据是明显不足的，很容易造成模型的过拟合的问题。同时，出于成本层面考虑，在训练时是通过一个训练模型去提取不同的特征，不同特征的训练，梯度的深度在不同时间是不一样，这会造成模型会对某类型的属性分析的特别到位，但是对于其他特征效果会比较差。
上图所示看下具体的案例，首先左边是特征不明显，女性化的男人，男性化的女人，女人穿的像女汉子一样很中性化。右边是奇怪的背包造型，有些放在后面被遮挡的很厉害，有些造型跟传统的包看上去是不太一样，还有一些跟衣服的颜色非常相似，对于这种情况，除了提升模型本身能力之外，更多的是有一个比较好的运营团队，他们会持续的在真实的客户应用场景里面观察跟实践，发现很多的误判，然后把它们去搜集出来，之后重新的训练，不停的重复这个过程。针对属性层面，还会用到注意力机制，我们会要求模型去关注，比如背包在人身体的中部或背部的位置，在训练时，模型会根据调参自动化的聚焦在某个点上，这样也可以显著的提升模型对于某些特定的属性的识别能力。
接着为年龄问题，行人重识别的特征里最核心的除了性别之外就是年龄，因为中国的零售已经发展到品牌精准匹配年龄的阶段，甚至很多头部的零售企业已经能做到在不同的店型中，甚至在不同店的区域里都匹配不同的年龄。
我们可以看下左边的图是一个3C店里面，他的年龄是集中在20~40岁之间，他是比较聚焦的，在低龄段里面是基本上没有的。右边这张图是一个运动品牌，可以看到它是有点符合正态分布的，但是它的年龄段是偏年轻。
基于差异性，怎么样在模型中让它去很好的支撑，同时也面临数据收集的问题，可以看到高龄段跟低龄段在所有的学界测试集或公开测试集里都很难找到，而且年龄有一个很严重的问题，就是它的人为因素太大，大家都知道人工智能是人工+智能，由人先通过标注来教模型，让模型知道这个人是多少岁，是什么颜值，他是谁？这样有时不同人根据经验判断有不同的标注，会显着造成模型的过拟合的现象。解决方案就是在一个特定年龄段里，根据正态分布的情况，给不同年龄段去释放一个概率，假设在21~25岁的年龄段里面标注这个人，我们会根据正态分布在先给出一个概率，可能他是5岁的概率很低，他可能是在22岁或30岁这个年龄段里概率高些，这样我们会在里面增加一个人为的影响因素去训练它。
实际上并不是让所有的品牌、门店、客户都用一个模型，我们可以组合不同模型，比如运动品牌偏年轻，它的模型对于年轻的准确度就会更好一点，或者还有一部分是壮年类的产品为核心，那么我们会把这部分的模型换上去，这个过程是动态可以设置的。
下面是梯度归一化，基于前面提到在一个训练中有很多不同的属性特征，包括性别、年龄及身上的标识特征，那每个任务训练时，它的训练速率和权重都会不同，造成模型会出现过拟合的情况。我们的解决方案是通过初始参数去调整下降速度，让同一个训练中的每个属性按照自己的需要去投入更多的训练主导，这种解决方案既能节省成本，又不会造成一个特性很strong，其他属性很weak的情况。
上图是行人追踪的一些问题，它主体是一个遮挡的问题，看下左边有很多种遮挡，遮挡首先关系不同，有人和人之间的遮挡，人和物体之间的遮挡，还有可能是同一个摄像头在人的移动的不同视角下的变化，这导致了检测的突变及漏框。我们回顾下整个过程是先要检测出人，再给每个人分一个ID，然后把相似的ID全部都关联在一起，整个流程再把这些ID的特征抽取出来，识别出一些属性。在这个过程中，检测对于物体的误判是比较好解决的。解决方案是通过标注失败案例，对模型进行增强的重复训练。对于说其他问题，首先还是会用这些数据增加模型的鲁棒性，所以数据是非常重要的。第二会通过时间和空间的关系去预测，因为人跟物体的遮挡是一个固定的，但如果说能够知道多个人在一起，就能判断遮挡是人或物体，甚至如果知道它的朝向信息，可以在这里面去叠加很多的时间、空间算法去解决相互关系的问题，即使模型本身不够强大去判断这个人，也可以通过这种增补的方法，把整个流程串联起来。
上图是行人追踪的完整解决方案，左边看到是一个容易场景，在容易场景里面可以把增率降的很低，即使如此也可以通过关键点、时空的叠加，把效果做到很好的状态，这是一个成本考量。
右边的话是一个真实场景，它是深圳罗湖口岸过境的画面，过境时候人很多，遮挡很严重，穿行速度很快，对于情况没有特别好的解决方案。首先，很好的模型是必须的，其次是把这个视频流完整图像都传递过来，通过大量的抽帧找到人物之间遮挡，把不好的图片都给去掉，捕捉到一个非常好的姿态，然后对它进行计算，同样也要运用到对于这个人的相关性，时空跟周边人的关系的一些叠加算法，去最终反映出这个人的轨迹。基于这几个技术的叠加，最终看到的效果还是非常理想的。
我们都希望有一个通用的模型，在每个场景里都能很好的去解决问题。但事实上只能在一些特定的场景里，通过数据增强叠加和其他的算法方式去提升整体的效果，而在其他地方会表现得非常的普通。从这个角度上来看，这是现在人工智能领域的一些困境，我们只有聚焦才能在某些点上做的好，但我们很希望在未来能有更通用的模型去解决所遇到的各种问题。
如何利用顾客热区优化线下商超运营
下面是真实的一些应用场景，第一个是热力图技术，在热力图技术里可以对人进行排重，对人的方向性进行圈定，同时可以划分出这个人，所以我们的热力图是分层次的，它可以有多个维度，首先是基于人数的多少去分析，第二可以基于这个人的停留时长去分析，第三个会区分这个区域里面所有人的一个朝向。热力图中红色的区域代表的密度高、数值大，绿色相对少一点，这个图是针对局部场的来划分的。很多时候会发现人数多，不代表这个地方关注的人会多，所以我们有三种不同的视图方便零售商去切换，然后做出相应的综合性决策。
上图是基于行人追踪技术做的单店单摄像头下的轨迹追踪，可以看下地上有很多黄色的线，这些线是在一段时间内整个场内移动的顾客，他排除了所有的干扰因素，包括方向性信息和他们最多走的一个路线，颜色的深浅决定了这个人数的多少，方向就是他们要走的路径。基于路径的分析，零售商可以很容易看出他的陈列和动线设计，可以容易看出顾客实际上走的路线符不符合他的预期，可以辅助他们尽快对店内进行调整。
接着看下访客分布和停留时长分布的差异，上图是在真实超市里的不同的区域。首先，本质上不同区域里的客户密度会有差异，但停留时长可以看到左上角的图，在L型的折叠区域里面人次最多的，它呈现出一个极大的热力图，但是在左边右上的地方，基于时长来分析，那个区域并不是停留时间最长的，反而靠右边一点的区域是更长的，这些细节的差异可以方便零售商去很精细化的调优商品陈列、组合，改善相关的业绩。
实际上在零售实践里面，原有品类的位置轻微的陈列改变，都会对销售额造成一个立竿见影的变化，更别说是针对到店的客群的画像去做精细化匹配，这里面的想象空间是非常大的。我们可以简单看下，前面的这种朝向热力图的上面这张图是正常的，他的精品的客户是有400多位，平均停留时长是在十几秒钟，男女比例明显看到女性的比例会更高，因为是个促销区，女性肯定是更喜欢待在这个地方的，包括一系列的年龄分布。
但是下面还有一个聚焦模式，针对于大的区域可以象征到任何一个方格一个宽度里面有多少人，我们可以看到下面这张图明显只有两个人，它平均停留时间会很长，它基本到了半分钟，男女比例可能是趋于均衡，因为数字非常的小，所以会呈现出一半的情况，但是基于聚焦模式的这种双向切换的理解和调优，就能达到一个非常精细的程度。
下面是场的效率和商品效率的一个匹配，在店里面有多条通道，有主有次，在不同的通道里面，可以看左边这个图，浅色的柱子是精品的客流，它是通过ReID去排除去计算的，可以明显看到A通道是一个主通道，他直接对着门，所以它的人是最多的，看一下它的销售情况，红色的是销售的绝对值数字，它也是最高的。
但我们发现对于客流的转换上来讲，它却不是最高的，大概就是15个点左右，我们发现通道c通道的客流不是很多，甚至排在倒数，但是它的转化率却非常高，这个现象在零售门店里面是很普遍的。针对这个案例，我们做过研究，由于这个地方是商品的价值比较高，利润各方面都很好，同时它有两台美容仪，基本上顾客到这个位置上经过一个体验之后，对商品有一个更深刻的认识，所以转化率会偏高一点，基于这样的情况，我们是否能够做出相应的调整来充分释放这个位置或者说这种模式的商业价值。
现在有更多的零售会做很大的类型店，比如说运动品牌店、大型的超市、商业地产，它需要有多个摄像头做分析，通过一种叫全服热力图的技术，把多个摄像头下的行人数据、识别分析关联起来，然后通过投影技术垂直地投放到整个的CAD图上面，这样无论是总部也好，还是督查也好，还是门店的运营层也好，可以一瞬间看到客户的客流在不同的时间段间整个场地的分布。
下面是场的效率和商品效率的一个匹配，在店里面有多条通道，有主有次，在不同的通道里面，可以看左边这个图，浅色的柱子是精品的客流，它是通过ReID去排除去计算的，可以明显看到A通道是一个主通道，他直接对着门，所以它的人是最多的，看一下它的销售情况，红色的是销售的绝对值数字，它也是最高的。
但我们发现对于客流的转换上来讲，它却不是最高的，大概就是15个点左右，我们发现通道c通道的客流不是很多，甚至排在倒数，但是它的转化率却非常高，这个现象在零售门店里面是很普遍的。针对这个案例，我们做过研究，由于这个地方是商品的价值比较高，利润各方面都很好，同时它有两台美容仪，基本上顾客到这个位置上经过一个体验之后，对商品有一个更深刻的认识，所以转化率会偏高一点，基于这样的情况，我们是否能够做出相应的调整来充分释放这个位置或者说这种模式的商业价值。
现在有更多的零售会做很大的类型店，比如说运动品牌店、大型的超市、商业地产，它需要有多个摄像头做分析，通过一种叫全服热力图的技术，把多个摄像头下的行人数据、识别分析关联起来，然后通过投影技术垂直地投放到整个的CAD图上面，这样无论是总部也好，还是督查也好，还是门店的运营层也好，可以一瞬间看到客户的客流在不同的时间段间整个场地的分布。
下面是选址的一个真实应用场景，我们上图的左下角，周边经停了很多人全部都被精准的抓取识别出来，不眠不休，不分白天黑夜，然后完成这样一个工作，以前这些工作全部是由人完成的，而且现在还会有很多人在做这样的工作，来帮助推动占GDP将近百分之四五十的零售行业。
把人脸技术与姿态技术相关联，用来分析员工在岗、离岗、接待效率，这在实际场景中效果也非常好。最后是我们实践的头部客户，有OPPO手机、名创优品、有赞、爱回收，还有一些优秀的运动品牌像李宁，还有像天虹这样的一些集团，可以说现在的行人重识别技术相较于人脸识别技术在零售的成熟度还是偏低的，所以，许多头部客户愿意尝试，愿意去用我们的技术，我们才能够不断的优化、迭代。
