针对当前问题，UMass Amherst淦创教授团队与MIT-IBM Watson AI Lab等联合提出一种用于评估具身智能体在动态情况下决策能力的框架HAZARD。与HAZARD相关的论文收录于ICLR 2024顶会上。
HAZARD框架提供了一个可靠的物理仿真系统以及一个多功能渲染器，能够产生与环境变化类型相匹配的视觉效果。该框架中包括三种意外灾害场景（火灾、洪水和大风），具身智能体在意外灾害场景中基于LLMs进行常识推理和决策。HAZARD能够在各种pipelines中测试、评估具身智能体的决策能力，包括动态变化环境中的强化学习 （RL）、基于规则和基于搜索的方法。
该团队还进一步开发了一个基于LLM的具身智能体，并对其解决这些问题进行了深入分析。在HAZARD Challenge中，一个具身智能体需要从灾害中营救给定的一组对象。具身智能体的观察包括RGB-D信号、温度或水位信号、目标对象信息和分割掩码。
为了应对感知方面的挑战，该团队提供了一个感知版本的HAZARD，在观察中排除了分割掩码。动作空间包括四个高级别动作：拾取、探索、放下和走到目标点，每个动作都代表了对多个低级别动作的压缩。具身智能体最终的性能通过价值、步数和损坏程度来进行评估。
6月25日晚7点，智猩猩邀请到论文一作、UMass Amherst在读博士周沁泓参与「智猩猩机器人新青年讲座」第9讲，主讲《在具身智能模拟器中针对动态灾害进行具身决策》。
讲者
周沁泓，UMass Amherst在读博士
导师为淦创教授，研究方向为具身智能、语言模型、多智能体。硕士与本科毕业于清华大学计算机系自然语言处理实验室。在ACL、NeurIPS、AAAI、ICLR等会议上发表多篇论文。
第9讲
主 题
《在具身智能模拟器中针对动态灾害进行具身决策》
提 纲
1、具身智能模拟器研究现状
2、基于物理仿真与视觉渲染的动态灾害模拟
3、救援任务设计与基线智能体算法
4、动态灾害中的具身决策测试与评估框架HAZARD
5、实验结果分析及展望
直 播 信 息
直播时间：6月25日19:00
直播地点：智猩猩GenAI视频号
成果
论文标题
《HAZARD Challenge: Embodied Decision Making in Dynamically Changing Environments》
论文链接
https://arxiv.org/abs/2401.12975
项目地址
https://vis-www.cs.umass.edu/hazard/
入群申请
针对本次讲座，也组建了学习群，讲者将会加入交流。希望入群学习和交流的朋友，可以扫描下方二维码，添加小助手莓莓进行报名。已添加过莓莓的老朋友，可以给莓莓私信，发送“机器人讲座09”申请入群。
