ChatGPT离人类专家还有多远?——对比语料集和ChatGPT内容检测器|AI新青年讲座

「AI新青年讲座」将邀请世界顶尖AI研究机构和大学的科研新青年,主讲他们在计算机视觉、机器学习等人工智能领域的最新重要研究成果。

AI新青年是加速人工智能前沿研究的新生力量。AI新青年的视频讲解和直播答疑,将可以帮助大家增进对人工智能前沿研究的理解,相应领域的专业知识也能够得以积累加深。同时,通过与AI新青年的直接交流,大家在AI学习和应用AI的过程中遇到的问题,也能够尽快解决。

「AI新青年讲座」目前已完结200讲;有兴趣分享学术成果的朋友,可以与智东西公开课教研团队进行邮件(class@zhidx.com)联系。

在3月20日(周一)的「AI新青年讲座」第200讲中,东南大学在读博士陆清屿就《ChatGPT如何成为优秀的翻译质量评估器?——错误分析与思维链结合的Prompt设计》,对ChatGPT的翻译评估能力进行了验证和讲解。

与此同时,人们一方面开始好奇ChatGPT是如何做到这样的实力,与人类专家的差距到底有多大。 另一方面,人们也开始担心像 ChatGPT 这样的大型语言模型 (LLM) 可能对社会产生的潜在负面影响。

针对这个问题,来自上海财经大学信息管理与工程学院AI Lab的在读博士郭必扬等人收集了4万余条问题和对应的专家回答,然后收集对应的ChatGPT回答,构造了Human-ChatGPT Comparison Corpus (HC3) 数据集。

在HC3数据集的基础上,他们进行了大量的统计语言学探究、人工测评(图灵测试,有用性测试),发现了很多有趣的结论。同时,郭必扬他们基于HC3开发了多种ChatGPT检测器,做了大量的实验,发现了影响检测效果的几个关键因素。

3月22日,AI新青年讲座第201讲邀请到上海财经大学信息管理与工程学院AI Lab在读博士郭必扬参与,主讲《ChatGPT离人类专家还有多远?——对比语料集和ChatGPT内容检测器》。

讲者
郭必扬,上海财经大学信息管理与工程学院AI Lab在读博士;曾在微软亚洲研究院访问实习。相关研究成果发表于人工智能顶会AAAI,数篇论文在顶会审稿中;“ChatGPT 对比与检测“项目发起人、负责人,带领团队开源首个人类-ChatGPT问答对比语料集HC3和首款中英双语ChatGPT 内容检测器,受到学界、业界广泛关注。

第201讲

主 题
《ChatGPT离人类专家还有多远?——对比语料集和ChatGPT内容检测器》
提 纲
1、对比专家与ChatGPT回答的HC3数据集
2、人工测评和语言学分析
3、基于HC3的开源双语ChatGPT检测器
4、实验结果及在线使用方法

直 播 信 息
直播时间:3月22日19:00
直播地点:智东西公开课知识店铺

成果
《How Close is ChatGPT to Human Experts? Comparison Corpus, Evaluation, and Detection》
https://arxiv.org/pdf/2301.07597.pdf
https://github.com/Hello-SimpleAI/chatgpt-comparison-detection