香港大学在读博士谢天宝:基于GPT-3 Codex的编程语言生成| AI新青年讲座

「AI新青年讲座」将邀请世界顶尖AI研究机构和大学的科研新青年,主讲他们在计算机视觉、机器学习等人工智能领域的最新重要研究成果。

AI新青年是加速人工智能前沿研究的新生力量。AI新青年的视频讲解和直播答疑,将可以帮助大家增进对人工智能前沿研究的理解,相应领域的专业知识也能够得以积累加深。同时,通过与AI新青年的直接交流,大家在AI学习和应用AI的过程中遇到的问题,也能够尽快解决。

「AI新青年讲座」目前已完结197讲。有兴趣分享学术成果的朋友,可以与智东西公开课教研团队进行邮件(class@zhidx.com)联系。

ChatGPT、DALL·E 2 等AI大模型的大火,让更多的人看到了 Prompt engineering 的价值。Prompt 就是如何让机器更好的领悟指令,从而精准完成任务的方法。Prompt 设计的好不好,也决定了这些 AI 大模型好不好用。

以 ChatGPT 和 NotionAI 为例,其底层用的都是 GPT 3.5,只不过两者各自进行了细微的微调,技术上的区别还是 Prompt Engineering,ChatGPT主要是为聊天设计的 Prompt,而 Notion AI 为了写作优化和单独设计了 Prompt。

为了更好的理解 Prompt 技术及其最新的研究成果,3月15日晚7点,AI新青年讲座第198讲邀请到香港大学在读博士谢天宝参与,主讲《基于GPT-3 Codex的编程语言生成》。

在 ICLR 2023 中,谢天宝博士等人提出了一种无需训练的神经符号框架Binder,它可以将任务输入映射到程序中,即允许将语言模型(LM)功能的统一 API 绑定到编程语言(如 SQL、Python)上,扩展其语法覆盖范围,从而解决更多样化的问题。同时 Binder 使用 GPT-3 Codex 作为 LM ,在仅需要少量上下文示例注释的情况下,Binder在WikiTableQuestions和TabFact数据集上取得了最新的最佳结果,同时提供了明确的输出程序,有利于人类调试。

本次讲座中,谢天宝博士也将从 Prompt 的应用及方法概述出发,讲解他们提出的无需训练的神经符号框架Binder,最后也将进行结果展示并对未来的研究进行探讨。

讲者
谢天宝,香港大学在读博士;由余涛教授(主要)和孔令鹏教授指导,获得港府奖学金资助,主要研究方向为结构化知识建模,代码生成和自然语言界面,目前侧重于大型语言模型相关的研究,多篇论文发表于EMNLP、ICLR等会议。

第198讲

主 题
《基于GPT-3 Codex的编程语言生成》

提 纲
1、Prompt的应用及方法概述
2、无需训练的神经符号框架Binder
3、将语言模型作为统一的API绑定到编程语言
4、结果展示及未来研究的探讨

直 播 信 息
直播时间:3月15日19:00
直播地点:智东西公开课知识店铺

成果

论文标题:《Binding Language Models in Symbolic Languages》
论文地址:https://arxiv.org/pdf/2210.02875
开源地址:https://github.com/hkunlp/binder