智猩猩机器人新青年讲座由AI与硬科技知识分享社区「智猩猩」全新企划,致力于邀请全球知名高校、顶尖研究机构以及优秀企业的青年学者,主讲在具身智能、强化学习、多智能体系统、建模仿真等机器人关键前沿技术上的研究成果和开发实践。

目前讲座已完结5讲,错过直播的朋友,可以点击文章底部“阅读原文”观看回放!

具身智能体可以与环境实时交互并进行自主决策,而大模型可以帮助具身智能体适应复杂的环境,并使具身多智能体之间通过自然语言进行交互与协作,进而使人类能够更轻易地了解具身智能体的任务进度,以及遇到的困难,为加速具身智能机器人等场景落地提供助力。

然而,具身多智能体间的有组织合作还面临着诸多挑战。在训练和微调过程中,大模型往往容易出现过度报告信息和过度服从指令的问题,难以像人类一样灵活,这可能会导致合作中的信息冗余和决策混乱。因此如何高效地进行信息交换,以达成更优的集体决策,还需要进一步探索。

那么,具身智能体是否能够像人类一样展现出领导力,并帮助整个系统达成更优的集体决策?针对这一问题,普林斯顿大学王梦迪教授团队在具身多智能体系统中探索了人类组织结构和领导力的实现,相关论文收录在 arXiv 上。其中,清华大学在读博士郭旭东为论文一作,普林斯顿大学王梦迪教授为通讯作者。

大模型在具身多智能体合作中的研究进展与展望|智猩猩机器人新青年讲座预告

该团队基于大模型多智能体框架 AutoGen和 CoELA实现了具身智能体的动作决策和通讯功能,并提出了一种具身多智能体系统组织结构的实现框架。具身多智能体通过观测模块将对环境和对队友状态的局部观测转变为自然语言。在大模型输出当前的决策规划后,进一步由执行模块分解为每一步在环境中执行的具体动作,从而实现了分层规划。由此构建的具身多智能体可以在虚拟公寓中合作完成各种家务。

在实验中,具有领导者的具身智能体系统相较没有领导者时,其完成任务的效率提高了30%,而额外增加的通讯量至多只有 3%。具身智能体也可以自行选举团队中的领导者,通过通讯实现领导者的轮替。

大模型在具身多智能体合作中的研究进展与展望|智猩猩机器人新青年讲座预告

此外,王梦迪团队沿着强化学习的思路设计了基于大模型的组织结构优化方法Criticize-Reflect。具身智能体不但可以按照人类设计的提示来实现组织结构,还可以引入额外的大模型进行迭代。这种迭代过程有助于形成更有效的团队结构,提高合作效率。

大模型在具身多智能体合作中的研究进展与展望|智猩猩机器人新青年讲座预告

5月23日晚7点,智猩猩邀请到论文一作、清华大学在读博士郭旭东参与「智猩猩机器人新青年讲座」第6讲,主讲《大模型在具身多智能体合作中的研究进展与展望》。

讲者

郭旭东

清华大学在读博士

清华大学自动化系在读博士生,师从范文慧教授。普林斯顿大学访问学生,师从王梦迪教授。研究方向为大模型智能体,多智能体系统建模与决策,强化学习,人工智能的社会影响。曾于CVPR、IJCAI等会议与SCI期刊发表多篇论文。

第6讲

主 题

大模型在具身多智能体合作中的研究进展与展望

提 纲

1、大模型在具身多智能体合作中的研究现状
2、具身多智能体系统组织结构的实现框架
3、基于大模型的组织结构优化方法Criticize-Reflect
4、实验结果及未来展望

直 播 信 息

直播时间:5月23日19:00
直播地点:智猩猩知识店铺

成果

论文标题
《Embodied LLM Agents Learn to Cooperate in Organized Teams》

论文链接
https://arxiv.org/abs/2403.12482

报名方式

对本次讲座感兴趣朋友,可以扫描下方二维码,添加小助手莓莓进行报名。已添加过莓莓的老朋友,可以给莓莓私信,发送“机器人讲座06”进行报名沟通。对于通过报名的朋友,莓莓将在直播当天为大家发送直播地址。

同时,针对本次讲座,也组建了学习群,直播开始前,将会邀请通过入群审核的相关朋友入群,进行学习和讨论。

大模型在具身多智能体合作中的研究进展与展望|智猩猩机器人新青年讲座预告