「AI新青年讲座」将邀请世界顶尖AI研究机构和大学的科研新青年,主讲他们在计算机视觉、机器学习等人工智能领域的最新重要研究成果。
AI新青年是加速人工智能前沿研究的新生力量。AI新青年的视频讲解和直播答疑,将可以帮助大家增进对人工智能前沿研究的理解,相应领域的专业知识也能够得以积累加深。同时,通过与AI新青年的直接交流,大家在AI学习和应用AI的过程中遇到的问题,也能够尽快解决。
「AI新青年讲座」目前已完结199讲;有兴趣分享学术成果的朋友,可以与智东西公开课教研团队进行邮件(class@zhidx.com)联系。
大型语言模型(如ChatGPT)在自然语言理解、机器翻译、文本摘要、问答等领域表现出了非凡的能力,那么它是否能用于评价AIGC文本创作(如翻译)等问题呢?
来自京东探索研究院、东南大学的研究者们围绕将ChatGPT用在翻译质量评估上的这个问题的进行了研究,并且发现将错误分析(error analysis)和思维链思想相结合,来设计出更好地提示模板,可以使ChatGPT具有翻译评估能力。此外,他们还发现,将ChatGPT 作为机器翻译评估器时的一些局限性,例如在单个查询中提供多个翻译时评分不稳定和偏差等。
3月20日晚7点,东南大学自动化学院在读博士陆清屿将参与到 AI 新青年讲座第200讲中,主讲《ChatGPT如何成为优秀的翻译质量评估器?——错误分析与思维链结合的Prompt设计》。
在本次讲座中,陆清屿博士首先会介绍自然语言生成模型发展、提示学习(Prompt Learning)和思维链(Chain-of-thought),然后对如何用语言模型评价AIGC文本创作(如翻译)及其常用方法进行概述;之后,也将重点讲解他们是如何将错误分析(error analysis)和思维链思想相结合起来并设计出更好地提示模板,使ChatGPT具有翻译评估能力的。最后,陆博也将讨论在探索ChatGPT各项能力时需要注意的问题,以及后续工作的方向。
讲者
陆清屿,东南大学自动化学院在读博士,与京东探索研究院联合培养,受谢利萍(校内)和丁亮(企业)导师指导;主要研究方向为自然语言处理、机器翻译等方面,目前侧重于自然语言生成的翻译质量评估问题相关的研究;参与京东探索研究院织女翻译模型Vega-MT的研发工作,赢得了国际计算语言协会ACL举办的WMT2022国际机器翻译评测中7个竞争激烈的赛道冠军。
第200讲
主 题
《ChatGPT如何成为优秀的翻译质量评估器?——错误分析与思维链结合的Prompt设计》
提 纲
1、大型语言模型中Prompt、思维链的研究概述
2、大型语言模型评估翻译质量的方法与挑战
3、结合错误分析设计Prompt实现ChatGPT翻译评估
4、ChatGPT各项能力的局限性分析及未来探索
直 播 信 息
直播时间:3月20日19:00
直播地点:智东西公开课知识店铺
成果
《Error Analysis Prompting Enables Human-Like Translation Evaluationin Large Language Models: A Case Study on ChatGPT》
http://liamding.cc/slides/ChatGPT4MTevaluation.pdf
https://github.com/Coldmist-Lu/ErrorAnalysis_Prompt