智东西(公众号:zhidxcom)
编译 |  茄子
编辑 |  程茜

智东西7月9日消息,7月7日Meta正式发布首款由超级智能实验室(Meta Superintelligence Labs,MSL)研发的多模态生成模型——Muse Image。Meta同时亮相了视频生成模型Muse Video,并展示了其生成的视频。不过,该模型目前仍处于测试阶段,尚未正式开放。

Muse Image是Meta将Agent(智能体)能力引入图像生成领域一次探索。不同于传统AI绘图工具根据提示词直接生成图片,Muse Image更像一个AI智能体,不仅能够生成、编辑图片,还会根据任务需要自主搜索信息、调用代码工具,并不断优化生成的结果。

Meta放出了许多由Muse Image和Muse Video生成的图片和视频,包括在活动的人物、动物与人物同框的画面以及人物与食物、风景等元素结合的复杂场景。

下图均为Muse Image生成的图像,涵盖戴墨镜的人物吃汉堡、人物与动物共处一桌,以及人物与石柱、蓝天白云等风景的融合场景。

Meta全新自研图像模型来了!不用反复调提示词,首次引入Agent自动改图

▲Muse Image生成的人物及动物和风景图像(图源:Meta)

下图是Muse Video生成的人物在厨房倒水的视频片段。

Meta全新自研图像模型来了!不用反复调提示词,首次引入Agent自动改图

▲Muse Video生成的人物视频(图源:Meta)

据外媒TechCrunch报道,Muse Image此前内部代号为“Mango”,属于Meta正在打造的Muse系列AI模型。Meta超级智能实验室负责人Alexandr Wang称,Muse Image具备Agentic能力,能够与Muse Spark大语言模型协同工作,能在生成图片前完成推理、搜索和规划能力。

Meta全新自研图像模型来了!不用反复调提示词,首次引入Agent自动改图

▲Alexandr Wang对Muse Image的介绍(图源:Meta)

用户对Meta Muse Image的评价两级分化。不少用户认可Meta Muse Image的实用能力,认为它适配Instagram等社交场景,图片编辑、图像生成效果也不错。

但是,由于该模型支持调取他人公开账号照片生成AI图像,缺少完善授权与通知机制,引发用户关于肖像权、隐私泄露、深度伪造风险的担忧。

目前,Muse Image已经接入Meta AI应用、Instagram Stories(IG快拍)以及即时通讯软件WhatsApp,并将在后续登陆Facebook和该平台上的聊天工具Messenger。

一、Meta让AI生图具备Agent能力:会搜索、会写代码,还能自己修改图片

过去几年,AI图像生成模型主要遵循“输入提示词—输出图片”的单轮生成模式。而Meta称,Muse Image开始向“智能体式图像生成”(Agentic Image Generation)方向发展:它不仅能够根据提示词生成图像,还可以调用搜索和编程工具提升生成准确性,对自身输出进行迭代优化,并通过更多测试时计算不断改进生成结果。

例如,在生成包含复杂图表、二维码或精确视觉元素的图片时,Muse Image可以调用代码工具,自动编写并运行程序,生成准确结果,再将这些内容融合进最终图像。

Meta全新自研图像模型来了!不用反复调提示词,首次引入Agent自动改图

▲Muse Image可调用代码生成复杂图像(图源:Meta)

此外,Muse Image还能调用搜索工具。当用户提出涉及实时事件、现实世界信息或专业知识的问题时,该模型可以主动搜索网络资料,并利用相关视觉参考提升生成内容的准确性。

Meta全新自研图像模型来了!不用反复调提示词,首次引入Agent自动改图

▲Muse Image可通过搜索工具调查问题(图源:Meta)

Meta认为,搜索能力能够帮助模型减少知识密集型任务中的错误,尤其是在涉及新闻事件、现实地点和事实信息时。

除了工具调用,Muse Image还具备自我优化能力。在生成图片后,该模型还能够检查自身输出,并根据问题类型采取不同处理方式:

Meta全新自研图像模型来了!不用反复调提示词,首次引入Agent自动改图

▲Muse Image的自我优化(图源:Meta)

如果只是局部细节存在错误,模型可以直接修改当前图片;如果整体方向不符合要求,则重新生成;如果问题来自事实信息缺失,则可以进一步调用搜索工具。

Meta全新自研图像模型来了!不用反复调提示词,首次引入Agent自动改图

▲Muse Image的自我优化(图源:Meta)

Meta称,这种自我修正能力并非人工设计,而是在强化学习训练过程中自然形成的,因为不断优化结果能够获得更高奖励。

与此同时,Muse Image还能与Meta的大语言模型Muse Spark协同工作,通过结合代码生成和媒体生成能力,完成GIF动画、网页以及交互式视觉内容制作。

在Instagram中,Muse Image将支持更多AI创作功能,包括30种新的AI Stories特效。用户可以通过AI滤镜改变照片风格,也可以利用提示词生成新的视觉内容。

Meta全新自研图像模型来了!不用反复调提示词,首次引入Agent自动改图

▲用户可以在Instagram中使用Muse Image更换滤镜改变照片风格(图源:Meta)

Meta还将Muse Image应用到更多生活场景。例如,用户可以上传家具图片,让AI模拟家具摆放效果,帮助用户提前查看不同家具在空间中的呈现效果。

Meta全新自研图像模型来了!不用反复调提示词,首次引入Agent自动改图

▲Muse Image模拟家具摆放效果(图源:Meta)

此外,Muse Image还支持图片编辑功能。用户可以直接在照片上进行标记,让AI根据指定区域完成修改;也可以利用该模型生成邀请函、明信片、社交媒体图片等内容。

二、推理计算进入图像生成,让模型“想得越久,画得越好”

除了Agent能力,Muse Image另一个重要变化,是Meta正在尝试将大语言模型中的推理机制引入视觉生成。过去一年,推理模型通过增加测试阶段计算量(Test-Time Compute),让Muse Image在回答复杂问题时能获得更好的效果。

Meta称,Muse Image在生成过程中会投入更多计算资源,让模型进行更充分的推理、调用更多工具,并增加自我优化步骤。

随着推理强度提升,Muse Image在人类偏好评测中的Elo评分持续提升,Muse Image在Arena的文单张图像编辑、文本转图像和多张图像编辑方面均列第二,仅次于GPT Image 2。这说明,该模型在生成图像前“思考”时间越长,最终图片质量越高。

Meta全新自研图像模型来了!不用反复调提示词,首次引入Agent自动改图

▲Muse Image的单张图像编辑、文本转图像和多张图像编辑评分(图源:Meta)

这一“思考”过程同时涉及两类计算:一类是用于推理分析的文本Token,另一类是用于生成图片的视觉Token。Meta认为,最终效果取决于两类计算资源的综合投入,而不是单纯扩大视觉生成规模。

Meta还比较了两种提升生成质量的方法。一种方式是Best-of-N,即一次生成多张图片,再选择最好的一张;另一种方式则是增加模型推理时间。

测试结果显示,Best-of-N能够在早期提升效果,但很快进入瓶颈;相比之下,将计算资源投入到推理、工具调用和自我优化中,能够获得更持续的性能提升。

Meta全新自研图像模型来了!不用反复调提示词,首次引入Agent自动改图

▲Muse Image提升图像生成质量的测试结果(图源:Meta)

三、AI创作进入大众场景,但隐私争议同步出现

Muse Image接入Instagramd等社交场景被不少用户视为此次发布的最大亮点。有用户认为,当下许多主流AI绘图模型生成的画面脱离真实的社交场景,不懂得用户在Instagram等社交平台的实际使用语境。

Meta全新自研图像模型来了!不用反复调提示词,首次引入Agent自动改图

▲用户对Muse Image接入社交平台的评价(图源:X)

不过,Muse Image上线后,其涉及到的隐私问题也引起了用户讨论。据外媒The Verge报道,该模型允许用户在Instagram提示词中@其他公开账号,并利用相关账号公开照片生成新的AI图片。

▲Muse Image使用公开账号生成照片的隐私争议(图源:X)

有用户认为,在没有获得明确许可的情况下,将真实用户的形象用于AI生成图片,是一颗随时会引爆的隐私雷区。

对于此争议,Meta称,用户可以通过设置控制自己的内容是否能够被用于AI生成。但按照目前规则,被使用照片的用户不会收到相关通知,并且,已经创作的AI图像不会被删除。

Meta全新自研图像模型来了!不用反复调提示词,首次引入Agent自动改图

▲Muse Image使用公开账号生成照片的隐私争议的解决方案(图源:Meta)

这一设计引发部分用户担忧,他们认为,在未经明确授权的情况下,将真实用户形象用于AI生成可能带来身份滥用、肖像权以及深度伪造风险。

还有一些用户对Meta Muse Image的功能进行了体验。有些用户体验感良好,认为该模型在图像编辑领域具有强大功能。也有一些用户则在体验后给出了差评。

比如,这位用户测试Meta Muse Image图像生成功能,输入1988年乔丹扣篮画面需求,要求生成黏土动画+拆解工程分析图,该模型无需额外调试就直接能输出完整的成品。

Meta全新自研图像模型来了!不用反复调提示词,首次引入Agent自动改图

▲用户对Muse Image的体验(图源:X)

还有用户用相同的提示词分别测试了Gemini、Grok、Meta AI三款模型的图像功能,对比三者生成画面效果。

Meta全新自研图像模型来了!不用反复调提示词,首次引入Agent自动改图

▲用户对Gemini、Grok、Meta AI图像功能测试对比(图源:X)

当然,也有用户在体验之后认为Muse Image的绘图功能并没有它宣称的那么强大。这位用户想让Meta AI帮其生成一幅内耳解剖图,但该模型生成的图片并不精准,因而被用户吐槽。

Meta全新自研图像模型来了!不用反复调提示词,首次引入Agent自动改图

▲用户称Muse Image无法生成精良的内耳解剖图(图源:X)

结语:Muse Image,Meta探索智能创作的新方向

过去,Meta主要围绕大语言模型展开竞争,而此次Muse Image和Muse Video的推出,则进一步将AI能力扩展到图像、视频以及社交内容生产场景。

更重要的是,Muse Image展示了一种新的发展方向:未来AI模型可能不再只是等待用户指令,而是能够理解目标、调用工具、自主规划并完成复杂任务。

但与此同时,当AI开始处理真实用户身份、社交内容以及现实世界信息时,技术能力之外,数据边界、用户授权和内容安全,也将成为下一阶段AI竞争的重要议题。

来源:Meta、TechCrunch、The Verge