智东西(公众号:zhidxcom)
作者 | ZeR0
编辑 | 漠影
智东西6月12日报道,今日,美图推出一款能落地的AI视频产品MOKI,可以辅助创作者打造动画短片、网文短剧、故事绘本和MV,让人人都可以用AI轻松创作短片作品。
为了提升可控性,美图打造了AI短片工作流,只要输入一小段故事创意,就能用AI快速生成具有完整结构的脚本,然后进行视觉风格、角色形象、角色配音、旁白配音等前期设定的选择。
下一步,用AI根据前期设定生成分镜图,对分镜图进行局部修改,将分镜图转成视频素材,用台词驱动角色开口说话。
最后通过智能剪辑、AI配乐、AI音效、自动字幕等功能将所有素材自动串联成片,一条AI短片作品就完成了。
美图还与Ainimate Lab共创了一支AI短片。
MOKI将于7月31日上线,访问www.moki.cn可体验。
除了MOKI外,美图还推出专业级AI批量修图软件美图云修V2、用AI制作口播视频开拍V2、面向电商人的AI设计工具美图设计室V3、找优质设计服务的视觉创意平台站酷、游戏物料AI制作与投放平台奇觅。
6款产品覆盖商业摄影、口播视频、电商设计、设计服务、游戏营销、视频生成领域,将进一步完善美图的AI产品生态。
美图公司创始人、董事长兼首席执行官吴欣鸿宣布,美图奇想大模型(MiracleVision)已升级到V5版本,美图将正在通过将AI单点功能串联成“AI工作流”,进一步助力电商、广告、游戏、影视、动漫五大行业提高生产力。
随着大模型能力持续升级,未来美图将拓展更多视频创作场景,为创作者提供更加简单高效的AI短片工作流。
在以AI工作流助力行业和用户提效的同时,美图公司全球VIP会员数创下历史新高,截至6月11日,美图全球VIP会员数为1063万。
一、AI视频产品如何落地?美图升级大模型架构,6大亮点支撑AI短片创作
今年2月,OpenAI发布AI文生视频模型Sora,并引发文生视频领域的激烈竞赛。
在Sora发布后,美图第一时间升级了视频大模型技术架构,从U-Net架构升级到了更强的DiT架构,同时还升级了编解码技术,实现了空间域和时间域的同步压缩。
下面美图用其自研视频大模型的部分内测效果快剪的一个治愈向视频合集。
这只是近期的一个内测效果,下个月美图将推出效果更好的进阶版本。
美图基于与用户需求与产品追求自研视频大模型,升级后的美图视频大模型有6大亮点:更强的模型架构、更大的模型参数量、更准的语义理解、更长的视频时长、更好的动态连续性、更高的画面稳定性。
美图公司创始人、董事长兼首席执行官吴欣鸿谈道,美图通过AI短片创作工具MOKI解决了视频大模型“故事成片难”、“可控性较差”的问题。
在他看来,目前市场上的AI视频产品倾向于提供像文生视频这样的常规能力,但美图团队认为只有深度理解创作者的需求、提炼有共性的视频场景,才能打造辅助内容创作的工具。
以前用视频大模型辅助内容创作会遇到视觉风格、场景、角色不一致,无法用分镜进行整体把控,角色无法开口说话等难点。
与常规文生视频产品不同,MOKI深度理解视频创作者需求,实现内容和成本的双重可控,目前可以进行多种视频场景的AI短片创作。
美图根据制作成本和内容可控性分析了主流视频的形式。
空镜素材对内容可控性的要求最低,生成成本也最低,可灵活应用在各种各样的视频里面;专业影视制作,比如用视频大模型辅助电影电视剧的制作,对于内容可控性有极高的要求,制作成本也是最高的。
所以基于对内容可控性与制作成本的最大考量,MOKI不做常规的文生视频,而是聚焦于AI短片创作,专注于像动画短片、网文短剧、故事绘本MV等视频场景。
借助美图奇想大模型的底层能力,可构建一个从前期设定到AI内容生成再到后期制作的AI短片工作流。与传统工作流相比,MOKI大大提升了短片的制作效率,让视频创作更加简单高效。
二、美图奇想大模型升级到V5:覆盖图像、视频、音频、文本
吴欣鸿认为,在影像与设计行业,AI是推动创新和提升效率的重要力量。
美图奇想大模型(MiracleVision)发布于2023年6月,是国内首个懂美学的AI视觉大模型,为美图全系产品提供AI模型能力。
升级到V5版本的奇想大模型(MiracleVision)采用美图自研DiT技术架构,涵盖图像大模型、视频大模型、音频大模型和文本大模型,拥有更好的扩展性与更大的参数量,在语义理解、画面稳定性、动态连续性、主体一致性、内容可控性以及生成时长等方面,获得全方位提升。
据介绍,美图奇想大模型整合了Weitu AI的多模态能力,能理解图像、视频、音频、文本等信息,让用户使用自然语言交互实现影像创作。例如使用美图秀秀里的AI助手RoboNeo,用户只用简单的自然语言指令,就能完成一系列复杂的AI改图、AI消除等图像编辑功能。
目前,美图的AI产品生态已经进一步完善:
应用层有AI图像、AI视频、AI设计、AI营销四大模块的多款产品,生态层由中国领先的视觉创意平台站酷和美图AI助手RoboNeo提供服务,模型层由美图奇想大模型(MiracleVision)为全系产品提供AI模型能力。
“作为一家以美为核心的公司,我们对效果有着极高的要求。只有自研视频大模型,才能以高标准不断提升效果。同时,只有将模型与产品深度融合,做到模型即产品,才能给用户最好的体验。”吴欣鸿说。
三、多款新品发布:每小时修图1000张,十分钟做出高质量口播视频
结合美图的应用实践,吴欣鸿分享了三个观点:1)目前AI技术领先于AI应用,AI应用比想象中慢不少;2)好概念≠好产品,将AI概念转化为优秀产品的并不多;3)要让AI帮用户创收,用户愿意为能创造价值的AI产品付费。
对比传统工作流,AI工作流有五大优势:1)云端与客户端实现算力融合;2)一个人就是一支团队,AI能够自动化解决很多重复性的劳动,还能让非专业人士借助AI解决专业领域的问题;3)AI能提供近乎无限的灵感创意库;4)AI会像搭积木一样,按需调整,用不同的能力组成工作流,从而完成特定任务;5)AI工作流中模型能够基于数据自动迭代,速度远超人工。
除了MOKI外,美图今日还发布另外5款围绕影像与设计AI工作流的产品:
1、美图云修V2:专业级AI批量修图软件,年修图数量已超过5亿张,成功帮助商业摄影门店提升了12倍的精修效率。
新版美图云修升级了AI批量精修和AI批量调色能力,将修图效率提升到每小时1000张,已开放API服务,实现即传即修即用,进一步帮助商业摄影客户大幅提效。
2、开拍V2:用AI制作口播视频,月活跃用户数已接近70万,累计内容创作数超过4000万,订阅收入也高速增长,成为一款月毛利突破百万的AI应用。
新版开拍升级了AI脚本、AI数字人、视频翻译、一键包装等能力,10秒钟就能学会了综艺感剪辑,不到30分钟就能创作出一条高质量口播视频,解决口播视频创作者的策划、制作、变现等难题。
3、美图设计室V3:面向电商人的AI设计工具,拥有近1800万个月活跃用户,每月产生超过4000万的电商物料数。
新版美图设计室升级了AI批量化能力和AI商品视频创作能力,并支持团队多人协作,大幅提升电商物料设计产能。
4、站酷:找优质设计服务的平台,今年上半年加入美图大家庭,已有1700万视觉创意人入驻,拥有4.6亿的正版素材,与超过1500家知名品牌达成了深度合作。
站酷推出找人高效、流程简单、售后放心的设计服务平台,目前有14类设计服务,连接广大设计需求者和千万级专业设计师,以帮助每一位有设计需求的用户轻松搞定设计,今日正式上线。
5、奇觅:游戏物料AI制作与投放平台,融合了美图的AI影像技术与睿晟的游戏营销经验,为游戏营销行业提供广告的高效制作与精准投放,今日正式上线,并开启免费试用。
游戏广告有制作成本高、投放成本高两大痛点。奇觅AI灵感库提供了热点雷达,实时捕捉全网游戏热点,找到游戏玩家关注度最高的话题,帮助广告策划人员去激发创意;AI广告解析功能可以对热门广告的脚本、画面、配音、配乐进行全方位拆解,快速洞察广告火爆的原因。
在正式投放前,AI投前分析5分钟内就能完成数十条广告的预审核和投放潜力的评估,快速过滤掉高风险的广告,或者说投放潜力低的广告。还有批量创建投放计划,可针对不同的人群去搭建差异化的广告策略,仅需10分钟就可以完成3000多条不同广告计划的设置。奇觅现已覆盖巨量引擎、华为、OPPO、vivo等主流广告平台,只需1分钟就能直达这些游戏投放渠道。
结语:未来AI工作流将进化成AI平台生态
随着AI大模型的发展,AI应用将经历从点到线再到面的三阶段。美图打造了众多爆款的AI单点功能,希望把这些单点功能串成AI工作流,帮助电商、广告、游戏、影视、动漫等行业进一步提高生产力。
吴欣鸿说,美图将继续探索AI应用更深层次的价值,相信在不远的将来,AI工作流会进化成AI平台生态,深入影响我们的工作和生活。
美图在过去两届美图影像节发布的AI产品已得到用户和市场认可,多次登顶日本、韩国、泰国、越南等国App Store总榜第一。
此外,美图设计室全年收入过亿,Wink是视频工具赛道第二名,美图证件照是在线证件照赛道第一名,开拍是口播创作工具赛道第一名。
为持续推动AI应用落地实践,在第三届美图影像节现场,开拍宣布推出“开拍AI助农计划”,提供三农主题的AI脚本和素材,辅导新农人拍摄和制作视频,以AI技术助力农村经济发展。
美图设计室则推出“小微电商AI助力计划”,围绕义乌、广州、泉州等电商集中城市,助力电商个体创业者“一个人就是一支团队”,后续还将启动“电商AI设计课程”,帮助电商用户提升AI设计技能和订单转化。
“美图是一家成立16年,DNA里刻着对产品的热爱,并始终保持创业心态的公司。”吴欣鸿谈道,面对正在发生的技术与商业变革,美图将通过实践不断探索落地场景,深耕AI应用,为用户和客户打造更好的AI工作流,让每个人都能享受到AI的价值。