5月22日消息，在论文《Understanding Contrastive Representation Learning through Alignment and Uniformity on the Hypersphere》中，来自MIT CSAIL的两位研究者确定了对比损失的两个关键属性：一是基于positive pair的特征对齐（紧密度），二是超球面上特征诱导分布的一致性。他们证明，对比损失可以优化这两个属性，并分析它们对下游任务的正效应。从实证角度出发，研究者提出了量化每个属性的可优化度量指标。在标准视觉和语言数据集上的实验证实了度量指标与下游任务性能之间存在强烈的一致性。需要特别指出的一点是，直接对这两个指标进行优化可以使下游任务上的表征具有媲美甚至超越对比学习的性能。