欢迎来智东西
登录
免费注册
我的订阅
关注我们
智东西
车东西
芯东西
智东西公开课
小米AI团队提出最新成果Noisy DARTS
2020-06-01
机器之心
20
6月1日消息,小米实验室AutoML团队的研究者(初祥祥、张勃等)提出了他们的最新研究成果NoisyDARTS,通过向skip-connection注入噪声的方法,来抵消由于不公平竞争而导致的富集和性能损失问题,并且在CIFAR-10和ImageNet上分别取得了97.61%和77.9%的SOTA结果。他们认为,softmax使不同操作之间的关系变为竞争关系,由于skip connection和其他算子的加和操作形成残差结构,这就导致了skip connection比其他算子有很大的优势,这种优势在竞争环境下表现为不公平优势并持续放大,而其他有潜力的操作受到排挤,因此任意两个节点之间通常最终会以skip connection占据主导,导致最终搜索出的网络性能严重不足。
小米
小米公司正式成立于2010年4月,是一家以手机、智能硬件和 IoT 平台为核心的互联网公司。