智东西（公众号：zhidxcom）
文 | 李水青
导语：信不信你刚刚看的一条评论就是AI写的，这项新技术可以帮你鉴定。
智东西7月30日消息，哈佛工学院、IBM 研究院的专家研发了一款名为“GLTR”的机器生成文本的检测工具，可用以助人们对AI生成的“虚假评论”、“误导性文章”等内容进行识别。
这项成果的相关论文正在国际顶级学术会议——自然语言处理顶会 ACL 2019上展示，与其它三篇同类论文角逐NLP ACL 2019“最佳Demo论文”。该顶会将在来自全球的2694篇论文中选出8篇颁发奖项，结果会在今晚公布。经过整理探究，我们选择这篇很有产业意义的内容进行深入解读。
▲NLP ACL 2019在官网上公布了28篇入围论文
随着自然语言处理技术的发展，机器写作已经广泛应用于体育、财经、突发自然灾害等多种新闻及文案中，为广大读者带来又快又好的阅读体验。
但与此同时，机器写作也被悄然应用于水军控评、虚假口碑等灰色地带，迷惑用户的双眼，也为企业和个人带来重大的经济损失。
▲搜索“机器写作”后得到的结果：机器写作已经被应用于新闻、广告等多个领域
哈佛工学院、IBM 研究院的专家认为有必要研发一款能够“反恶意机器写作”的软件，于是GLTR“机器写作文本检测工具”应运而生。GLTR具有简单易用的特点，会通过彩色的标注，帮用户识别语段是否由机器生成，可以将用户的准确率从原本的54%提高到72%。
未来，这款软件有望嵌入社交媒体和电商平台，通过开设评论自动分类功能，自动将机器撰写的评论和真人评论区分开来。
▲论文：《机器生成文本的统计检测和可视化批注》
（GLTR: Statistical Detection and Visualization of Generated Text）
一、“AI水军”悄然来袭，GLTR“上阵杀敌”
在“买买买”、“吃吃吃”之前，很多人都会参考大众点评、小红书、抖音等平台上的口碑推荐，以避免“踩坑”。但是，泛滥的水军及广告软文常常让用户在信息海洋中迷失了航向。
▲大众点评、小红书等App成为广大消费者重要的决策参考平台
现在，AI水军已经在来的路上了，它们很可能像“蝗虫过境”一样占领口碑平台和舆论阵地。芝加哥大学研究出一种人工智能技术已经可以自动生成商家评论，你能看出来以下评论都为AI自动生成的吗？
据公关领域业内人士爆料，一方面机器撰写的文案又快又好，可以将单个编辑岗位效率提升近6倍。与此同时，机器撰写“水军评论”、“口碑软文”已经形成了一条灰色产业链。一些技术供应商提供技术和服务，用户只需要用提供过往的内容，使用相关工具就可以在几秒中之内生成几百条不同的评论。这些评论被发布在一些社交平台上，可以很好的起到“带节奏”的作用。
魔高一尺，道高一仗。近日，来自哈佛工学院、IBM 研究院的专家研发了一款名为GLTR的“机器生成文本的检测工具”，可以通过可视化标注的方式，帮助人们识别机器撰写的文章，辨识比例从54%提高到72%。
▲GLTR是一款以可视化形式助用户检测机器生成文本的软件
二、3维度检测，色块标注清晰，普通人也会用
GLTR昨天刚刚登上了ACL 2019顶会讲堂。这个ACL 2019顶会，是自然语言处理领域的顶级学术会议，就好比是电影领域的“奥斯卡”。
▲2019年第57届ACL顶会现场
在GLTR的构想阶段，团队认为，他们要做的是一款“机器生成文本的检测工具”，且具有以下三个特征：1.检测效果尽量准确。2.简便易懂，平常人能上手使用。3.不能太贵。
目前世面上大多数机器写作模型需要通过“喂养”一个内容库进行写作，这个内容库会涵盖许多的人共写作的内容。于是，该团队针对这种技术，设计出一款GLTR雏形。
进一步来说，团队假设了一个前提：目前市面上大多基于“内容库”的大型语言模型都会有相似的“偏向性”。这些模型大多使用Max Sampling、K-max Sampling、Beam search等算法技术，以此获得这种算法的“偏向性”，才能使得生成的文本更加流畅。而这种“偏向性”就成为了检测机器生成内容的“晴雨表”。
这个GLTR雏形包含三个维度的测试：Test1.测试词语出现的频率。Test1.对词语按照出现的频率进行排序。Test3.该文本的熵值。前两个Test是用来测试相关的词语是否来自头部内容区间，第三个Test是用来测试生成的文本是否被检测模型充分识别。
换句简单的话说，GLTR雏形是通过三个维度的测试，检测语段的用语特征、用词习惯、整体语言的丰富具体程度，以此帮助用户判断该语段是否接近机器写作算法的“偏向性”。检测结果会用五彩的色块将测试结果在语段中标注出来，因此大大有助于用户分辨语段是否为机器写作。
三、用“最牛”机器写作模型测试，助用户辨识能力提升33%
当GLTR成型之后，该团队进一步对它进行了两个方向的测试。
首先，该团队市面上被广泛应用的机器写作模型对GLTR进行测试。
具体来说，一方面，团队使用GLTR对BERT和GPT-2这两款机器写作模型生成的语段进行测试。另一方面，团队对真人撰文进行了对比测试。
一边是谷歌和OpenAI旗下堪称世界上一流的自然语言处理模型的生成文段，一边是纽约时报的文章和某科学家的论文摘要。测试的具体细节智东西在此不赘述，可以点击论文名查看原文：《机器生成文本的统计检测和可视化批注》（GLTR: Statistical Detection and Visualization of Generated Text）
总之测试结果如下：
▲左图是机器生成文本的测试结果，右图是真人撰写文本的测试结果。
如上图，从左右两段文本的标注来看，机器生成文本的标黄、绿的词句要远多于真人撰写文本，紫色和红色的标注要远少于真人撰写文本。因为黄、绿色词汇为机器模型“偏向”选择的词汇，因此我们可以很明显地得到暗示：左边是机器撰写的文本。
▲对机器生成文本工具的交叉检验结果
接着，以这些特征为依据，团队选取了50个文章题，每个题都由三个机器写作模型和三位真人写手创作不同的文章。对这些文章比较测试发现：
▲左图为真人写手作品的测试结果，右图为机器写手作品的测试结果。测试发现，即使所给的上下文再单调，真人写手所用的高级词汇（更具体、特别的词汇）远多于机器写手。
经研究，该团队人工撰写的文段比机器生成的文段所覆盖的内容子集要宽广得多。人工撰写得文段明显比机器生成文段得熵值更高，换句话说，真人撰写的文段内容要更加丰富具体，且机器写作使用的词汇量也往往少于人。
另外，该团队还进行了第二个方向的测试：用户体验测试。实验结果表明，不使用GLTR的用户能辨识机器生成文段的概率为54%，而使用GLTR的用户可以达到72%。
该团队在某学院的NLP课程上让35名志愿者使用GLTR进行测试。被测者分两轮被要求在90分钟内分辨出所给文章是机器生成的还是真人写作的，第一轮不使用GLTR，第二轮使用GLTR。试验表明，当参考GLTR工具的色块标注时，被测者的辨别力提升33%。
四、机器写作模型“反检测”，为GLTR带来两大挑战
尽管GLTR已经取得了不错的测试结果，且已经投入应用，但它仍然存在两大挑战。
首先，机器写作模型会转而“反检测”，通过改变原有的“写作偏好”，以此增加检测难度。
不过，如果为了反检测而使模型不选择最优写作方案，而是节选一些内容库尾部的生僻内容，使用不常用的文法习惯，也可能会降低机器写作的质量，进而更难欺骗到用户。
另一个挑战是，“反检测”者可以在不改变模型原有“写作偏好”的情况下，对模型进行微调来应付检测。比如，通过为模型增加一系列“隐藏的种子文本”，可以使得检测工具得结果出现偏差。
该团队称，其未来的工作会围绕这两个挑战展开，这是要和“机器写作”技术开出的“恶之花”斗到底的节奏。
结语：提供机器写作文本检测工具，教育大众媒介素养
GLTR技术利用简单的统计模型，主要利用三个维度的测试来检测文本的特征，能实现比较准确的机器生成文本检测。同时“彩色色块”的可视化标注方式，使这款工具变得简易，可以被普通人轻松掌握。
在未来，团队将把GLTR技术拓展到更广泛的应用。比如为社交媒体增加一个自动分类器的功能，以使博主将机器水军的评论和真人评论区分开来。
该团队认为，GLTR不仅是一个工具，还对大众的媒介素养有教育意义。他们希望通过这个工具，能使人们能学会辨别机器生成语段和真人撰写语段的区别。
在电影《楚门的世界》中，人们不再分得清楚门生活的媒介拟态环境和现实世界有什么区别。在现实生活中，大众需要提升自己的媒介素养，以免被“机器人水军评论”、“机器生成的虚假舆论”牵着鼻子走。更需要警醒的是，由于媒介营造的拟态环境会作用于人类的主观世界进而影响客观世界，因此我们更需要警惕AI水军评论等虚假的媒介环境对人类命运的侵袭。
▲电影《楚门的世界》片段
