「智猩猩AI新青年讲座」由智猩猩出品，致力于邀请青年学者，主讲他们在生成式AI、LLM、AI Agent、CV等人工智能领域的最新重要研究成果。

AI新青年是加速人工智能前沿研究的新生力量。AI新青年的视频讲解和直播答疑，将可以帮助大家增进对人工智能前沿研究的理解，相应领域的专业知识也能够得以积累加深。同时，通过与AI新青年的直接交流，大家在AI学习和应用AI的过程中遇到的问题，也能够尽快解决。

「智猩猩AI新青年讲座」现已完结236讲，错过往期讲座直播的朋友，可以点击文章底部 “ 阅读原文 ” 进行回看！

目前，基于LLM的AI Agent正处于快速发展的阶段，但许多基于纯文本或游戏引擎设计的AI Agents，在虚拟仿真场景中接触到的世界和人类生活的真实世界有极大差距。为了开发能够在真实世界中灵活、可靠运行的AI Agents，我们必须缩小这一差距，实现AI Agent与真实世界感知与交互。

虽然该问题已在机器人领域得到了一定的研究，使AI Agent在物理世界中得到了具体化的应用。但真实硬件的物理限制和高昂成本，阻碍了其在实验室以外的多种环境中进行测试和规模化应用。

为了解决这个问题，香港大学CVMI Lab联合纽约大学提出了一个将真实世界融入虚拟环境的AI Agent平台V-IRL。该平台将真实世界的地图、街景等各种信息融入AI Agents所在的虚拟世界，让它们在此平台上获取真实世界的视觉数据，并与真实环境进行交互，加速了AI Agent以及具身智能机器人在真实世界的落地。

具体而言，V-IRL引入了一个可扩展的平台，利用地图、地理空间和街景图像等API，将AI Agents嵌入真实城市环境中进行交互，为它们提供了更真实且完整的生活体验。基于V-IRL平台展示了实例化的8个示例AI Agents，能够在城市中执行各种复杂任务，如城市导航、地点推荐、探索目标和互动等真实情况。

此外，通过AI Agents评估改进模型在处理现实世界数据和执行复杂任务方面的能力，也为全球范围内的AI Agent和开放世界中计算机视觉的研究提供了实践场所。

6月6日晚上7点，智猩猩邀请到论文一作、香港大学CVMI Lab在读博士杨霁晗参与「智猩猩AI新青年讲座」第238讲，主讲《V-IRL：根植于真实世界的AI Agents》。

讲者

杨霁晗，香港大学CVMI Lab在读博士

杨霁晗是香港大学四年级博士生，师从齐晓娟博士。曾于中山大学获得本科学位，师从林倞、李冠彬教授。研究方向为深度学习，计算机视觉，具身智能和多模态。他曾以一作或共一身份在CVPR,ICCV,ECCV,NeurIPS,T-PAMI等顶级会议和期刊发表多篇文章

第238讲

主 题
《V-IRL：根植于真实世界的AI Agents》

提 纲

1、AI Agent在真实世界中的研究进展
2、将真实世界融入虚拟环境的AI Agent平台
3、全球真实城市中的8个示例AI Agents
4、总结与未来展望

直 播 信 息

直播时间：6月6日19:00
直播地点：智猩猩知识店铺

成果

论文标题
《V-IRL: Grounding Virtual Intelligence in Real Life》

论文链接
https://arxiv.org/abs/2402.03310

项目地址
https://virl-platform.github.io

报名方式

对本次讲座感兴趣朋友，可以扫描下方二维码，添加小助手李宛儿进行报名。已添加过李宛儿的老朋友，可以给李宛儿私信，发送“238”进行报名沟通。对于通过报名的朋友，李宛儿将在直播当天为大家发送直播地址。

同时，针对本次讲座，也组建了学习群，直播开始前，将会邀请通过入群审核的相关朋友入群，进行学习和讨论。