智东西(公众号:zhidxcom)
作者 |  杨京丽
编辑 |  李水青

智东西11月18日报道,11月17日,蚂蚁技术研究院与杭州大模型公司西湖心辰发布并开源双向世界模型(Reciprocal World Model,RWM)Duo v1。它通过Intent(意图)和 Realization(实现) 两个紧密耦合的模块,将智能主体内化为世界的一部分。

Duo生成的场景中,虚拟主体能够持续接收用户的音视频输入,自主决定何时开口、何时倾听,并实时生成相应的声音和画面,与用户进行交互。例如,虚拟主体在运动后说自己口渴,用户递出冰水后,虚拟主体能够接过水瓶并饮用。

这个世界模型“活”了:你递出一瓶水,AI生成虚拟人接过去喝!

传统世界模型通常只模拟光影、材质、动态等物理场景。用户需要通过键盘、鼠标或文本输入指令。模型生成的世界虽然画面逼真,但内部缺少可主动回应的主体。

双向世界模型则同时覆盖物理现实和智能主体。在Duo v1的框架中,虚拟主体与世界共享同一交互时空:它持续接收用户的音频和视频输入,并生成与之一致的视听行为。在这种双向关系下,虚拟主体具备感知、推理和表达能力。

这个世界模型“活”了:你递出一瓶水,AI生成虚拟人接过去喝!

在30组真实交互的人类评估中,Duo v1通过了180项检查中的168项,总通过率为93.3%。其中,语言遵循性、语音可懂度和视觉身份稳定性三项指标的通过率均为100%,内容响应度为73.3%,内容响应度和长程一致性仍是当前版本的主要挑战。

目前,Duo v1的技术报告、训练代码和模型权重均已开放,开发者可以下载模型权重,在此基础上进一步拓展。

这个世界模型“活”了:你递出一瓶水,AI生成虚拟人接过去喝!

技术报告:

https://arxiv.org/abs/2611.15131

官网:

https://duo-v1.github.io/

代码:

https://github.com/inclusionAI/Duo

模型:

ModelScope:

https://www.modelscope.cn/collections/inclusionAI/Duo-v1

Hugging Face:

https://huggingface.co/collections/inclusionAI/duo-v1

一、每0.7秒决定开口或等待,意图和实现模块协同生成音视频

Duo包含Intent(意图)和Realization(实现)两个模块,分别承担交互决策和视听表达任务。

其中,Intent相当于虚拟主体的“大脑”,能够在统一时间线上进行连续交互推理决策。

在每个约0.7秒的时间块(chunk)内,Intent基于用户输入和交互历史,自主决策是选择开口说话<speak>或倾听等待<wait>,并同步生成对应的语言内容。

Intent传递的并非解码后的文本,而是模型内部的隐状态,用于直接指导Realization模块。

该团队称,这种设计让虚拟主体具备原生交互理性:它能够决定何时参与对话、何时保持沉默,以及被打断后如何回应。

Realization则是虚拟主体的“表达”,负责将决策转化为视听行为。它能够结合Intent的隐状态、用户输入和自身生成的历史内容,生成相匹配的音频和视频。

为保证流式交互中的因果正确性,Duo v1将用户输入、Intent决策和Realization生成严格对齐到统一时间线上,通过不同模块的注意力掩码限制信息访问范围,避免模型使用尚未发生的输入。此前生成的音视频则作为历史上下文,参与后续时间块的生成。

该团队称,这种因果同步由模型自身的推理节律来实现,每个时间块约0.7秒,Intent推理与Realization生成能够在统一管线中无缝衔接。

这个世界模型“活”了:你递出一瓶水,AI生成虚拟人接过去喝!

二、三阶段训练对齐意图理解和视听生成,蒸馏压缩至4步完成

Duo v1的训练分为三个阶段,分别为Intent训练、Realization训练和分布匹配蒸馏,逐步对齐“意图理解”与“视听生成”。

第一阶段训练Intent模块进行因果参与和文本预测。模型会在每个时间块预测开口或等待,以及对应的语言内容。由于多数时间块不包含新的角色发言,模型容易倾向于一直等待。团队通过动作感知重平衡(action-aware rebalancing),对不同类别的训练目标进行采样和加权,缓解“过度等待”的偏差。

同时,训练团队通过截断或重复历史文本,让模型学习如何从不完整或重复的上下文中恢复。

这个世界模型“活”了:你递出一瓶水,AI生成虚拟人接过去喝!

第二阶段训练Realization模块进行因果联合视听生成,Intent模块保持冻结。Realization基于 Intent提取的隐状态、录制媒体历史和用户输入,学习生成对应的音频和视频潜在表示。

这个世界模型“活”了:你递出一瓶水,AI生成虚拟人接过去喝!

这一阶段通过注意力掩码控制信息访问:带噪媒体表示只能访问参考图像、全局描述、历史干净媒体和当前Intent隐状态,不能访问自身对应的干净训练目标,也不能访问未来时间块。这种因果约束确保了训练和推理时的一致性。

这个世界模型“活”了:你递出一瓶水,AI生成虚拟人接过去喝!

第三阶段采用分布匹配蒸馏,将模型压缩为4步生成器。

这一阶段需要解决的关键问题是,训练时Realization使用录制的媒体历史,实际推理时却要依赖系统自身生成的历史,两者存在分布差异。

为此,团队加入Dual Rollout(双路展开)解决分布偏移:在每个训练窗口中,由冻结的Intent模块自回归生成角色文本,Realization则基于这些Intent特征及自身合成的视听历史继续生成。通过在自身生成的数据上训练,模型进一步适应实际交互时的输入分布。

这个世界模型“活”了:你递出一瓶水,AI生成虚拟人接过去喝!

三、60秒生成测试缓解画面退化,内容响应度仍是短板

Duo v1的训练数据包括合成数据和录制数据。

合成数据采用两阶段流程,先由大语言模型根据控制卡片生成结构化剧本,再通过视频生成模型逐块生成音视频。控制卡片涵盖时长、语言、人设和交互类型等维度,确保场景多样性。

视频合成面临的一项挑战是误差累积。如果每个区段仅使用前一区段的最后一帧作为参考,视觉误差可能逐步放大,导致画面质量持续退化。

Duo v1固定使用首个区段的开头视频作为质量参考,以缓解这一问题。在包含10个区段、总时长60秒的连续生成测试中,基线方法的亮度值从103.8降至69.6,下降34.2;采用该方法后,亮度值保持在约99,面部外观的一致性也得以维持。

这个世界模型“活”了:你递出一瓶水,AI生成虚拟人接过去喝!

生成完成后,团队通过首帧一致性、意外音频、镜头推近和大面积视觉变化四类自动质检,过滤低质量样本。

录制数据则包含六种类型,涵盖单人视频、同步双视角视频、异步双视角视频、直播互动、双工音频,以及筛选后的开源数据集。所有数据经过自动语音识别(ASR)、语音活动检测(VAD)、说话人分离和时间轴对齐处理,最终统一为因果交互格式。

性能方面,在30组真实交互、共180项检查的人类评估中,Duo v1通过168项,总通过率为93.3%。其中,语言遵循性、语音可懂度和视觉身份稳定性均为100%,视听情感一致性为96.7%,视听同步为90.0%,内容响应度为73.3%。

该团队称,内容响应度是最具挑战性的指标。模型需要在用户音视频仍持续输入时作出决策,对用户意图进行实时推断。复杂意图理解和长程一致性,将是后续版本重点优化的方向。

结语:世界模型中的虚拟主体开始自主参与交互

Duo v1尝试将交互决策与音视频生成放进同一模型框架,让虚拟角色在持续接收环境信息的同时,自主决定何时倾听、何时回应,并生成相应的视听行为。

当前版本在内容响应度和长时间会话稳定性方面仍有提升空间。随着训练代码和模型权重开放,这种将智能主体纳入世界模型内部的方案,也将接受更多场景下的检验。