智东西(公众号:zhidxcom)
编 | 伟鸿

导语:Dota2半职业选手不敌人工智能!AI将参加下一届DOTA2世界锦标赛。

此前曾在竞技游戏Dota 2中击败业余选手的人工智能机器人OpenAI Five刚刚进行了另一项“基准”测试——与一个由职业和半职业选手组成的Dota2战队进行对战。出乎所有人意料的是,这个强劲的半职业战队在OpenAI Five的攻势下毫无还手之力。在比赛规则公平的情况下,战队内的职业选手、专业解说、教练竟无一能对AI造成威胁,AI展现了不弱于职业选手的精细操作和战术素养,“分路、补刀、抓人、推进”这些曾被认为只有人类才能完美执行的动作被OpenAI Five以更高效、更出色的方式展现出来。

人类一败涂地!OpenAI战胜Dota2半职业选手

最终,OpenAI Five摧枯拉朽地赢下了三局比赛的前两局,比赛进行时,被称为Dota数据权威的“dota plus大数据”平台分析的AI胜率一度达到了99%。直到最后一局,已经获得比赛胜利的AI有了一个更苛刻的限制——所用英雄由现场观众选出。在这样的情况下,选手终于获得了第三局游戏的胜利,为人类挽回了一点颜面。尽管如此,所有人都不能否认一个事实,OpenAI Five已经能在Dota2领域达到人类职业选手的水平。

为什么AI在一款游戏中的胜利能引起如此大的震动?首先我们要知道,Dota2是一款非常复杂的实时战略游戏,其中,英雄、技能、装备的不同使得游戏比国际象棋还要复杂百倍,细微的决策差别往往会引发截然不同的结果,因此,想要让AI在Dota2中击败人类,需要比围棋更复杂的程序和更庞大的计算量。

早在今年6月份,OpenAI Five已经了击败业余的Dota2玩家,人们惊叹于OpenAI Five如此快的成长速度,短短两个月,它已经能够和半职业选手对抗并取胜。开发人员解释道:“OpenAI Five通过自我学习技术,每天都要和自己进行共计180年的游戏对局,同时,它使用多达256个GPU和128000个CPU核心进行训练。”通过不断地自我学习,而不是单纯的模仿,OpenAI已经能研究出自己的战术策略。OpenAI团队在过去的一个月里对他们的AI还做了一些小小的调整,如增加了它的反应时间,并用新的、额外的策略来测试它。OpenAI的研究人员大卫·法尔希(David Farhi)说:“当出现AI计算范围之外的事情时,它总能想出更快、更准确的应对方式。”

一、OpenAI Five的技术特点

1.模型结构

OpenAI five的每一个网络都包含一个单层、1024个单元的LSTM模型,它可以看到当前的游戏状态,并在几个备选动作中选择一个。每个备选动作都有自己的具体含义,例如,确定单位的坐标,计算技能的时间等。

   2.侦查

OpenAI Five从自我对战中学习(从随机权重开始),从而掌握侦查地图的方法。为了避免“策略崩溃”,研究者将其80%的时间用在与自身进行训练,而另外20%的时间则与过去AI进行训练。在第一场比赛中,英雄们漫无目的地绕着地图走,经过几个小时的训练后,已经出现了一些基本概念。几天之后,AI已经学会了人类基本的战术策略。

3.团队合作

OpenAI Five控制的英雄并没有一个确定的渠道来进行信息的互换,而是通过被研究人员称为“团队精神”的超参数控制来达到团队合作的目的。“团队精神”的范围从0到1,对OpenAI Five的每个英雄应该权衡多少个人利益与团队利益之间提供了平均值,以此来训练英雄什么时候独自战斗,什么时候一起战斗。

4.训练速度

OpenAI的训练系统是一种通用的RL训练系统,名为Rapid,可以应用于任何的训练环境。我们已经解决了OpenAI包括竞争性的自我对战(Competitive Self-Play)在内的许多复杂问题。训练系统分为运行游戏副本和代理收集经验的rollout worker和执行跨GPU组同步的optimizer nodes。

二、在电子游戏中测试AI的原因

去年,当谷歌旗下的DeepMind打败了人类最优秀的围棋选手时,谷歌也宣布他们下一步将进军游戏领域,试图让AI在著名的即时战略游戏《星际争霸2》中击败人类选手。《星际争霸2》拥有比DOTA2更复杂的游戏和单位设定,因此它所衍生出来的战术也浩如烟海,难以穷尽。让AI在《星际争霸2》中战胜职业选手将更具挑战性。

电子游戏拥有比传统的棋牌游戏更多的战术选择和不确定因素,在不同的英雄和装备组合的条件下,AI需要处理更多的信息和突发状况。另外,由于是“即时战略”,则需要AI更快,更准确的反映速度,这都是回合制的棋牌游戏所没有的。还有非常重要的一点是,由于游戏中“战争迷雾”的设定,AI无法准确知道人类的战术和动向,这就需要它进行和人类一样的思考和推理,如何识破人类的“战术欺骗”将成为需要重点攻克的领域。

人类一败涂地!OpenAI战胜Dota2半职业选手

以上原因让各大AI开发者纷纷瞄准了电子游戏作为下一个“主战场”,OpenAI的下一个目标是今年8月下旬在加拿大温哥华举行的顶级Dota 2赛事TI8,届时它将会与人类最顶级的职业选手角逐冠军。作为Team Human的一员,威廉说道:“我对OpenAI Five有信心,我认为它会击败真正的职业战队。”当人类在围棋领域沦陷后,能否守住“电子游戏”这一道防线,AI是否会彻底打破人类对它垄断?还需要时间的检验。但我相信,不论结局如何,都代表着人类在AI领域的又一次重大突破,这场战役,胜利的一方依旧是人类。

原文来自:OpenAI、CNET

人类一败涂地!OpenAI战胜Dota2半职业选手