欢迎来智东西
登录
免费注册
我的订阅
关注我们
智东西
车东西
芯东西
智东西公开课
研究人员提出深度递归神经网络架构
2020-07-02
机器之心
27
7月2日消息,来自Mila和蒙特利尔大学等机构的研究者在论文《Learning to Combine Top-Down and Bottom-Up Signals in Recurrent Neural Networks with Attention over Modules》中,探索了深度递归神经网络架构,在这种架构中,自下而上和自上而下的信号通过注意力实现了动态组合。
此外,该架构的模块化进一步限制了信息的共享和通信。注意力和模块化共同指导信息流,从而实现感知和语言任务上的可靠性能提升,尤其体现在提高对干扰和嘈杂数据的鲁棒性。研究者在语言建模、连续图像分类、视频预测和强化学习的各种基准上证明了,双向信息流可以改善基于强基准的结果。
加入社群