欢迎来智东西
登录
免费注册
我的订阅
关注我们
智东西
车东西
芯东西
智东西公开课
微软推出提点神器动态ReLU
2020-09-17
机器之心
20
9月17日消息,ReLU能够极大地提升神经网络的性能。目前也有很多ReLU的改进版,比如Leaky ReLU和PReLU,而这些改进版和原版的最终参数都是固定的。所以微软研究者想到,如果能够根据输入特征来调整ReLU的参数可能会更好。基于此,微软在论文中提出了动态 ReLU(DY-ReLU)。论文提供了三种形态的DY-ReLU,在空间位置和维度上有不同的共享机制。不同形态的DY-ReLU适用于不同的任务,论文也通过实验验证,DY-ReLU在关键点识别和图像分类上均有不错的提升。