上海交大助理教授李永露:视觉推理与具身智能|讲座预告

「智猩猩机器人新青年讲座」由AI与硬科技知识分享社区「智猩猩」于今年全新企划,旨在邀请全球知名高校、顶尖研究机构以及优秀企业的青年学者,主讲在具身智能、强化学习、多智能体系统、建模仿真等机器人关键前沿技术上的研究成果和开发实践。

目前讲座已完结3讲,错过直播的朋友,可以点击文章底部“阅读原文”观看回放!

对于人类行为的深入理解是具身智能发展的关键,这一过程可以被视为从行为的物理维度到语义维度的转换。研究者们通常基于特定的标准来定义行为类别构建各自的数据集。但这些数据集往往互不兼容,形成了一座座“孤岛”。

为解决当前问题,上海交大助理教授李永露及RHOS团队提出一种结构化的行为语义空间,该语义空间整合了图像、视频、骨架和动作捕捉数据集形成了统一的数据库,并采用统一标签系统将分散的“孤岛”连接成一片“盘古大陆”。相关论文《From Isolated Islands to Pangea: Unifying Semantic Space for Human Action Understanding》收录于CVPR 2024

上海交大助理教授李永露:视觉推理与具身智能|讲座预告

此外,对于具身智能而言,在学习更高层次的物体知识方面仍然面临困难。上海交大助理教授李永露及RHOS团队提出了一个具有挑战性的物体概念学习(Object Concept Learning,OCL)任务。通过分析OCL的因果结构,又提出了一个基准模型“物体概念推理网络”(OCRN)。与OCL相关的论文《Beyond Object Recognition: A New Benchmark towards Object Concept Learning》收录于ICCV 2023上。

上海交大助理教授李永露:视觉推理与具身智能|讲座预告

4月2日晚7点,智猩猩邀请到上海交通大学长聘教轨助理教授、博导李永露参与「智猩猩机器人新青年讲座」第4讲,主讲《视觉推理与具身智能》。

李老师将重点讲解RHOS团队在环境感知、视觉推理和具身智能相关领域的研究工作,以机器人、人、物体和环境为出发点,展示从团队know-what、know-how、practice三阶段的思路及最新成果。

主讲人

李永露,上海交通大学长聘教轨助理教授、博导

主要研究方向为人类行为理解、视觉推理、具身智能,代表工作为开源系统HAKE(http://hake-mvig.cn)、AlphaPose,发表顶刊顶会论文30余篇,涵盖行为知识库、行为理解、物体知识库、视觉推理、人与物体交互行为三维重建与生成、机器人与环境交互等方向。在多种AI顶级会议与期刊上发表研究成果20余篇(TPAMI、NeurIPS、CVPR、ICCV、ECCV、IJCV),开源项目20余项,总1.2万Stars。担任多种会议和期刊的审稿人(TPAMI、CVPR、NeurIPS、ICCV、ICLR、ICML、ECCV、AAAI)。

曾获吴文俊人工智能科学技术奖-优秀博士论文奖、百度奖学金(全球十人)、WAIC云帆奖-璀璨明星(全球十人)、WAIC云帆奖-明日之星(全球十人)、NeurIPS’21/22杰出审稿人、2020华人学生AI百人(机器学习top-10,全球十人)、上海市优秀毕业生、上海交通大学85届计算机系教育发展基金暨杨元庆教育基金优秀博士生等荣誉。

第4讲

主 题
《视觉推理与具身智能》
提 纲
1、具身智能的物体与人类行为概念理解
2、交互行为中的逻辑与推理
3、具身智能的初步应用
4、未来展望

直 播 信 息

直播时间:4月2日19:00
直播地点:智猩猩知识店铺

成果

论文标题
《From Isolated Islands to Pangea: Unifying Semantic Space for Human Action Understanding》
论文链接
https://arxiv.org/abs/2304.00553

论文标题
《Beyond Object Recognition: A New Benchmark towards Object Concept Learning》
论文链接
https://arxiv.org/abs/2212.02710

论文标题
《HAKE: A Knowledge Engine Foundation for Human Activity Understanding》
论文链接
https://arxiv.org/abs/2202.06851

报名方式

对本次讲座感兴趣朋友,可以扫描下方二维码,添加小助手莓莓进行报名。已添加过莓莓的老朋友,可以给莓莓私信,发送“机器人讲座04”进行报名沟通。对于通过报名的朋友,莓莓将在直播当天为大家发送直播地址。

同时,针对本次讲座,也组建了学习群,直播开始前,将会邀请通过入群审核的相关朋友入群,进行学习和讨论。

上海交大助理教授李永露:视觉推理与具身智能|讲座预告