智东西(公众号:zhidxcom)
作者 | 杨京丽
编辑 | 李水青

智东西8月13日消息,近日,腾讯混元3D团队推出3D开放世界生成框架WorldClaw,相关论文已于8月5日公开。用户输入一句开放式文本描述,WorldClaw即可生成可自由探索、可继续编辑的大规模3D世界。

腾讯3D世界生成框架来了:一句话生成世界,支持修改编辑

▲WorldClaw的生成案例

WorldClaw采用由粗到细的Agentic 3D世界生成方式。多个Agent协作完成用户意图分析、场景规划和全局地形构建,再根据各区域的功能和地形条件,逐区生成建筑、车辆、植被等内容,并将其转换为可单独编辑、替换和复用的3D资产。

初始场景完成后,Agent还会根据多视角渲染结果,持续检查并修正物体尺度、姿态、悬浮和穿模等问题。

腾讯混元团队展示了四季村落、热带海盗岛屿、沙漠战场等生成案例,并将WorldClaw与SynCity、Marble、MajutsuCity、WorldGen和GPT-5.6 Sol进行了定性对比。结果显示,基于WorldClaw生成的复杂地形具有明显高差、连续边界和清晰的语义分区。

腾讯3D世界生成框架来了:一句话生成世界,支持修改编辑

论文链接:

https://arxiv.org/abs/2608.05248

项目网页:

https://tencent-hunyuan.github.io/Hunyuan3D-WorldClaw/

Github地址:

https://github.com/Tencent-Hunyuan/Hunyuan3D-WorldClaw

一、先搭全局再填细节,四阶段完成3D开放世界生成

生成式模型已能根据文本生成图像、视频和3D对象,但生成一段“看起来像世界”的画面,与构建一个可进入、可继续编辑和使用的3D世界并不相同。后者还需要连续一致的空间结构,以及可独立编辑、替换和扩展的建筑、道路、植被等场景元素。

针对这一问题,WorldClaw采用Global-to-Regional(从全局到区域)的生成方式:先规划整体布局、搭建全局地形,再根据不同区域的功能和地形条件生成局部内容。

这套方法有三大技术亮点:一是先建全局地形、再逐区生成细节;二是通过语义布局控制山地、森林、沙漠等地貌的分布与组合;三是以真实3D地形的渲染结果为条件,生成与当地环境匹配的建筑、车辆和植被等内容。

WorldClaw生成世界的过程主要分成四个阶段。

腾讯3D世界生成框架来了:一句话生成世界,支持修改编辑

▲Hunyuan3D-WorldClaw 场景生成的整体流程

第一阶段是意图分析和场景规划。WorldClaw首先理解用户想要的场景,将一句开放式描述整理为清晰的世界规划,明确场景包含哪些区域、采用什么地形、需要哪些物体,以及它们之间如何连接。

第二阶段是全局地形生成。系统根据规划生成整个世界的区域布局,并构建不同区域的地形、材质和环境资产,让山地、平原、森林和沙漠形成连续的三维空间。

第三阶段是区域对象生成。WorldClaw在全局地形上逐区生成建筑、车辆和植被等内容,并将图像中的物体转化为独立3D资产,再放置到相应的三维位置。

第四阶段是场景精修。初始场景完成后,Agent会从多个视角检查生成结果,识别物体尺度、姿态、几何质量,以及悬浮、穿模和地形接触等问题,并进行局部修改。

简单来说,这套流程就是先理解用户想要的世界,再搭建地形、填充内容,最后自动检查和精修。

二、多Agent协作完成,生成后还能自己找问题

一句文本通常只能描述世界的大致样貌,无法完整说明区域划分、地形参数和物体空间关系。WorldClaw首先使用两个Agent,将用户需求转化为可执行的场景规划。

其中,意图分析Agent负责提取用户已经明确给出的信息,如场景类型、视觉风格、关键区域、物体和空间关系,不主动补充用户没有提及的内容。场景规划Agent则在此基础上补全生成3D世界所需的信息,将区域、地形、物体及其关系整理成统一的场景规范。

生成地形时,WorldClaw会先准备一张划分不同区域的语义布局图、一套岩石和植被等可复用3D环境资产,以及一套草地、岩石、沙土等地表材质。后续生成过程均遵循同一套区域规划,避免地形、材质和场景资产各自生成、相互脱节。

腾讯3D世界生成框架来了:一句话生成世界,支持修改编辑

▲地形生成与优化过程

系统随后通过PCG(程序化内容生成)构建3D高度场。不同区域采用相应的地貌规则,让山地形成自然起伏、沙漠产生连续沙丘、平原保持相对舒缓,并使不同地貌自然衔接。岩石、植被等环境资产的分布也会参考区域类型、局部高度和坡度,过滤过陡或不合理的位置。

地形生成完成后,地形优化Agent会重新渲染场景,检查地形形态、材质尺度、资产密度和区域过渡,再对局部问题进行修改,形成“程序化生成—渲染检查—Agent修正”的闭环。

填充区域内容时,WorldClaw不会一次将整个世界塞满,而是先挑选需要内容且地形条件合适的区域。系统将对应地形渲染成二维图像,并让图像生成模型在图中加入建筑、车辆和植被等内容,以此确定对象的外观和空间布局。

随后,系统利用SAM3分割图中的不同对象,再通过SAM3D将它们重建为独立3D网格,并校准每个对象的尺度、位置和朝向。每个独立生成的对象均可继续编辑、替换和复用。

腾讯3D世界生成框架来了:一句话生成世界,支持修改编辑

▲对象精修原理

完成放置后,场景精修Agent会通过MCP接口连接Blender,根据多视角渲染结果检查对象。尺度或姿态不合理的对象会被重新调整,几何和纹理质量不足的对象则交由混元3D进一步优化。发现悬浮或穿模后,系统还可以调整对象位置,或在局部范围内抬升、平滑地形,让物体与地面稳定接触。

腾讯3D世界生成框架来了:一句话生成世界,支持修改编辑

▲地形精修原理

三、可生成海盗岛、沙漠战场,场景对象均可单独编辑

腾讯混元团队还将WorldClaw与SynCity、Marble、MajutsuCity、WorldGen和GPT-5.6 Sol进行了定性对比。

腾讯3D世界生成框架来了:一句话生成世界,支持修改编辑

▲WorldClaw与代表性3D场景生成方法定性对比

结果显示,WorldClaw能够生成具有明显高差、连续边界和清晰语义分区的复杂地形,保留全局地形与独立对象网格。同时,WorldClaw还支持自由探索及对象级编辑。

此外,腾讯混元团队展示了热带海盗岛屿和沙漠战场等代表性案例。

热带海盗岛屿案例中,WorldClaw生成了具有连续地形和明确区域划分的岛屿,并在其中布置了建筑、码头、植被和船只等场景元素。

腾讯3D世界生成框架来了:一句话生成世界,支持修改编辑

▲热带海盗岛屿案例

沙漠战场案例中,WorldClaw在起伏的沙漠地形上生成了建筑、载具和环境设施等内容,形成了可自由探索的完整战场场景。

腾讯3D世界生成框架来了:一句话生成世界,支持修改编辑

▲沙漠战场案例

结语:从生成3D资产走向构建3D世界

WorldClaw将全局规划、复杂地形生成、区域内容构建和渲染反馈串联起来,让大规模3D世界生成拥有了持续规划、生成、检查和修改的完整流程。最终产物由真实地形和独立3D资产组成,可以继续用于游戏引擎和内容生产。

随着基础模型的编程、空间理解和工具使用能力提升,Agent有望进入几何建模、材质与Shader构建、PCG、动画和交互逻辑等更多3D生产环节。3D生成也可能从“模型生成资产”逐步走向“Agent编程构建世界”,让创作者可以把更多精力放在定义想要创造的世界上。