智东西（公众号：zhidxcom）
编 | 董温淑

智东西5月7日消息，近日，Facebook和加州大学伯克利分校的研究人员研发出一种方法，可以使无人机“负重”飞行。根据模拟结果，无人机可以捡起、运输、卸下有效载荷，同时保持平稳的飞行状态。

人们一直希望能用无人机在仓库或其他工业环境中运送货物。但之前的研究显示，搭载有效载荷会削弱无人机的飞行性能，甚至有可能造成无人机故障。在本项研究中，研究人员创造性地用元学习方法解决了这个问题。据了解，这是元学习方法首次用于解决无人机负重问题。

这项研究发表在学术网站arXiv上，论文名称为《用基于模型的元强化学习实现携带有效载荷飞行（Model-Based Meta-Reinforcement Learning for Flight with Suspended Payloads）》。

论文链接：https://arxiv.org/pdf/2004.11345.pdf

一、元学习：让模型根据经验举一反三

装载重物会对无人机的动力学模型造成不可预估的影响。之前的研究尝试用自适应控制和学习方法来解决问题，但这些方法有一些局限性。

首先，由于无人机作业环境的复杂性，建模十分困难。在工业环境中，需要无人机运送的货物质量是不可先验的，针对孤立的物理状态建模并不能帮助无人机适应所有的情况，因此人工设计的动力学模型不足以实现在线控制。

另外，机器学习模型通常需要较长的数据校准过程。但在无人机飞行过程中，拾取有效载荷后必须快速适应，不然就有可能偏离飞行路线甚至发生严重故障。

为了解决这些问题，Facebook和加州大学伯克利分校的研究人员提出了基于模型的元强化学习方法。“元学习（Meta Learning）”是一种机器学习方法，可以提升模型的学习效率，让模型“学会如何去学习”。

研究人员训练了一个基于深层神经网络的动力学预测模型，来帮助无人机适应不同有效载荷，并用一个四轴无人机搭载重量未知的有效载荷来验证模型效果。

▲在无人机上装载一个挂钩，使其能够吊起货物

二、预测模型：帮助无人机不断优化飞行动作

神经网络动力学预测模型以无人机当前的状态和动作作为输入。当无人机装载了有效载荷后，预测模型利用变分推断（variational inference）方法，根据当下有效载荷的质量、系绳的长度等状态参数快速推断出后验概率，帮助无人机适应新的飞行状态。

该模型用长度为T的时序数据进行训练，以此优化神经网络的权重（weight）参数。研究人员假设有效载荷参数是未知的，用一个具有分布参数的潜变量（latent variable）K来表示它们，通过调整K值来模拟携带不同有效载荷的情况。

在模型训练阶段，研究人员手动驾驶载有不同有效载荷的无人机按照随机轨迹飞行，并收集这部分训练数据。然后，研究人员运行元学习方法，使模型学习共享的动力学模型参数和对不同有效载荷的适应参数。

然后，研究人员检测模型的训练成果。模型利用当前任务的所有数据在线推导出最优潜变量。基于动力学模型的控制器据此规划无人机动作，使无人机按照既定路线飞行。在整个飞行过程中，模型会持续储存数据，不断推导出最优潜变量、优化无人机动作，直至到达目的地。

三、无人机能负重完成躲避、装卸货任务

研究人员用四轴无人机进行了演示。为了使无人机能够自行定位航线，研究人员在无人机上搭载了摄像机模块。

首先在设定飞行轨迹的情况下进行演示。研究人员设定的飞行轨迹用红色线条表示，模型实时规划出的飞行轨迹用白色线条表示，无人机最终选择的最佳飞行轨迹用蓝色线条表示。根据模拟结果，无人机基本能够按照指定路线飞行。

研究人员还在设定方形飞行轨迹和圆形飞行轨迹的情况下进行了演示，并对比了元学习算法模型和其他模型。结果显示，元学习算法模型的路线错误更少。

研究人员还指出，随着元学习算法不断适应，无人机的飞行性能会继续优化。

在研究人员模拟出的几种实际应用场景中，无人机也较好地完成了任务。

1、躲避障碍物

2、捡拾、运输、卸下货物

3、用指挥棒实时规划飞行路线

4、跟踪目标飞行

结语：计划进一步提升模型自主性

Facebook和加州大学伯克利分校的研究人员利用基于模型的元强化学习方法，有效提升了无人机装载有效载荷飞行的能力。

研究人员表示，将继续进行研究，致力于使无人机能够完成更加复杂的有效载荷运输任务。根据论文，目前该模型还需要研究人员指定有效载荷被捡起和放下的时间。接下来研究人员计划开发一种算法，使模型能够自主决定装卸货的时间。

文章来源：VentureBeat，arXiv