6月1日消息,小米实验室AutoML团队的研究者(初祥祥、张勃等)提出了他们的最新研究成果NoisyDARTS,通过向skip-connection注入噪声的方法,来抵消由于不公平竞争而导致的富集和性能损失问题,并且在CIFAR-10和ImageNet上分别取得了97.61%和77.9%的SOTA结果。他们认为,softmax使不同操作之间的关系变为竞争关系,由于skip connection和其他算子的加和操作形成残差结构,这就导致了skip connection比其他算子有很大的优势,这种优势在竞争环境下表现为不公平优势并持续放大,而其他有潜力的操作受到排挤,因此任意两个节点之间通常最终会以skip connection占据主导,导致最终搜索出的网络性能严重不足。