智东西(公众号:zhidxcom)
作者 | ZeR0
编辑 | 漠影
智东西8月20日报道,今日,字节跳动旗下PICO推出首款混合现实(MR)一体机PICO 4 Ultra。
12GB+256GB消费级售价4299元,今日开启预订,9月2日10点正式开售。
两个全新PICO体感追踪器,售价399元。
老用户以旧换新,全套最低只要2679元!
比起256GB存储容量、售价29999元的苹果Vision Pro国行版,这个价格过于良心。
面向已购机用户,PICO推出首个XR行业以旧换新活动,用户最高可获得300元现金补贴。
企业版头显售价7499元起,9月3日开售,为医疗、教育、LBE娱乐等领域量身定制。
PICO 4 Ultra采用高通第二代骁龙XR2芯片、12GB内存、双目3200万像素彩色透视摄像头、双目4K+超视感屏,支持Wi-Fi 7,搭配全新无环手柄,支持手柄、手势、键鼠交互操作,还引入了行业首个生成式AI虚拟场景。
这款全新头显设备不仅能互联电脑,支持同时打开20个应用窗口,窗口最大尺寸达280英寸,而且首次实现手机投屏操作,可以一边大屏打游戏,一边同时打开B站、抖音、小红书等App。
而且PICO 4 Ultra能播放用苹果iPhone或Vision Pro拍摄的空间视频,编辑也很方便,还支持一键上传到抖音。抖音2D转3D视频功能将在晚些时候上线。
此外,PICO公布了一部MR互动剧《达芬奇:狂想之翼》,并现场展示了《三体:远征》VR游戏画面。
企业版PICO 4 Ultra除了在性能显示和交互方面有很大提升外,还提供各种企业解决方案。硬件层面有多种产品,软件层面有一站式工具平台、客制化操作系统、企业套件,可以帮助企业客户打造定制化大空间解决方案,并向合作伙伴提供全周期支持。
一、硬件设计:定制精密传感器,双目4K+超视感屏,渲染分辨率提升62%
据PICO OS产品负责人马杰思分享,PICO 4 Ultra采用全新硬件设计,专门新增了为MR打造的3类精密传感器,包括4颗环境追踪摄像头、双目3200万像素彩色透视摄像头、1颗iToF深度感知摄像头。
PICO 4 Ultra彩色透视模式下,画质为800万像素,由3200万像素摄像头获取的初始画面四合一而成,是其他家产品的两倍,还实现了摄像头帧率和屏幕帧率的对齐,避免了画面撕裂问题,马杰思说这是其他家服务产品所没有的。
PICO研发团队很大程度上解决了透视畸变和扭曲问题,现场播放的视频显示整体画面非常稳定。
PICO 4 Ultra有一个iToF深度感知摄像头,最远测量范围达3米,最大测量角度60°,深度精度达厘米级。
在此基础上,PICO自研了一整套环境感知算法,包含实时创建3D地图、环境语义理解、长期记忆虚拟物体固定位置等功能。
PICO SDK在技术栈上的支持也比较全面,支持Unity、Unreal、WebXR及OpenXR多种开发方式。
还有一个重磅更新是Spatial ML机器学习框架。开发者可以把自己开发的模型部署到PICO 4 Ultra上,并可同时调用透视摄像头+端侧模型,实现一些有趣的效果。
PICO 4 Ultra整机重量约580克,前端主体重量305克(含泡棉),后侧整体重量276克(含顶部绑带、双侧绑带、电池仓体、头垫)。这种符合人体工程学的前后平衡设计,会让佩戴更加持久舒适。
手柄做了全新无灯环设计,高度约60毫米,比上一代高度降低50%、轻了约15克,重心偏手心位置,手感更舒适,还融合了光学+视觉多模态追踪算法。
PICO与高通长期深度合作。PICO 4 Ultra搭载高通第二代骁龙XR2平台,GPU性能提升2.5倍、AI性能提升8倍。内容提升到12GB,据马杰思分享,其他头部产品内存只有8GB。
芯片升级后,6款游戏大作有了更多性能空间,画面表现力大幅提升。
显示上,该头显搭载双目4K+超视感屏,双目分辦率为4320 x 2160,每块屏出厂都会做精准色彩校准,屏幕亮度比PICO 4提升25%,系統默认刷新率也从72Hz提升到90Hz,显示更加丝滑,同时每一块屏幕都在出厂时做了色彩校准。
显示清晰度进步很大,渲染分辨率提升到1920 x 1920,比PICO 4提升超过62%。
二、操作系统:360°全景屏,280英寸巨幕,可跨端互联电脑和手机
新版PICO操作系统主要围绕「更加高效、更多场景」的目标展开,一个重磅更新是全景屏工作台。
以前PICO 4主要被用来玩VR游戏,全景屏工作台将使用场景进一步扩展,使得用户在虚拟空间拥有更多像电脑、手机一样的功能体验。
在PICO 4 Ultra中打开部分原生应用或手机应用,多个应用窗口可在360°环形区域内摆放排列。
PICO 4 Ultra提供桌面级多窗口体验,最多可打开20个应用窗口。马杰思补充说,其他家产品只能打开6个应用窗口。
应用窗口的最大尺寸可达280英寸,合约6.3米 x 3.5米。
PICO 4 Ultra提供了多模态交互选择,支持手柄、手势、键盘鼠标操作。键鼠会在今年Q4更新,效果就像用电脑。
该头显全面兼容安卓生态,可以使用多种主流聊天、视频、游戏等App。
比如用户可以同时打开B站、抖音、小红书,B站还是一个巨幕效果。
用户还可以一边用巨幕玩手游,一边查看游戏媒体,同时看B站攻略视频。
这种多任务能力搭配上巨大的显示空间,为使用场景带来更多的可能性。
同时,PICO 4 Ultra支持沉浸/透视模式一键切换。
PICO还更新了沉浸模式下的虚拟场景,以春夏秋冬为主题,制作了4个高精度虚拟场景。
考虑到个性化审美需求,PICO 4 Ultra引入行业首个生成式AI虚拟场景。用户可通过文字框生成独特的360度虚拟场景,效果就像照片一样。
PICO此前已实现Windows/Mac双兼容的桌面互联,支持多桌面同时显示,并支持设定任意分辨率比例的虚拟屏幕。
PICO 4 Ultra不仅可以互联电脑,还能互联手机,首次支持镜像显示和操作手机,而且是对iPhone与安卓手机双兼容。
游戏串流方面也有很多升级,支持双路6K游戏串流,Wi-Fi 7无线串流传输延时低至5ms,有限串流有行业领先的1000Mbps码率,并推出全新AV1编解码,可在低端PC显卡上运行更高的码率。
空间视频能捕捉到现实世界的深度信息,拍摄出带有3D立体感的画面,比传统影像更能还原现实世界。
马杰思说,PICO 4 Ultra的各项参数都拥有“行业领先的最高规格”,希望它可以成为“市面上最亲民、高品质的空间视频拍摄设备”。
其空间影像功能支持空间视频、空间照片的拍摄和观看。
PICO 4 Ultra拥有4096×1536的空间视频双目分辨率,首度支持60fps帧率拍摄空间视频。马杰思说,其他家产品目前只能做到30fps。
该头显还率先至支持6DoF,空间音频录制功能将于后续OTA推送更新。
值得一提的是,PICO 4 Ultra能播放iPhone和Vision Pro拍摄的空间视频和照片。
用户可以用iPhone拍摄空间视频,然后通过PICO手机App将拍摄的空间视频和照片导入PICO 4 Ultra相册,把它相当于一个空间视频记录中心。
空间视频的编辑也十分方便,有专门的3D空间特效、抖音美颜算法、丰富配乐,还能一键发布到抖音。
PICO视频推出的完整版3D空间特效功能,将于后续OTA推送更新。
三、PICO应用商店:向所有开发者无门槛开放,今年下半年逐步完成
PICO应用商店负责人姚帅宣布,今年更开放的PICO即将到来,PICO进入全新开放生态阶段,PICO应用商店的开放将于2024年下半年内逐步完成。
PICO应用商店向所有开发者无门槛开放。只要通过平台测试、符合法规,就能上架。
目前PICO提供超过50款MR应用、超过900款VR应用,覆盖游戏、娱乐、音乐、工作生产力等多种场景。
例如玩治愈的《拼图巡游》游戏,自由走动和点选抓握,完成3D拼图挑战。
还有经典的《愤怒的小鸟》,在3D游戏场景中用手势操控弹弓射击。
更复杂的沙盘战略游戏《Demeo地城奇谭》也能通过MR实现,支持多人联机。
在MR环境中,《Spatial OPS》等动作游戏能带给玩家更加身临其境的体验。
姚帅还分享了PICO视频MR之路。只要戴上头显设备,用户就能拥有自己的电影院、俱乐部或多人客厅。
此外,PICO和佳能共同发起空间视频创作者计划,推动空间视频的内容生态发展。
姚帅宣布,PICO推出一部MR互动剧《达芬奇:狂想之翼》,展现一场穿越的旅行探险。
除了MR互动外,PICO自研AI技术可将2D视频转制成具有景深效果的3D空间视频,并通过全景视频流进行分发。
PICO还公布了三体VR游戏《三体:远征》,不过没透露具体上线日期。
四、PICO体感追踪器:“马卡龙”造型,重量比鸡蛋还轻,续航超过25小时
到One more thing环节,PICO产品经理唐贞展示了PICO体感追踪器。该追踪器与PICO头显无缝协作,只要将两个追踪器佩戴在脚踝上,就能实现全身追踪。
PICO体感追踪器拥有“马卡龙”造型,主体高度约1.52厘米,直径约3.85厘米,很轻便。
它采用人体工学弧度设计和亲肤软垫,舒适贴合。
追踪器的主体与底座重量只有27克,比鸡蛋还轻;续航长达25小时。如果每天只用1小时,则至少能连续使用3周。
开机即可自动配对,在体感追踪器App进入校准模式后,佩戴头显低头看向腿部追踪器,大约5秒就能完成校准。
PICO体感追踪器与PICO头显无缝协作,使用红外光帮助纠正长时间VR使用期间发生的漂移。
该追踪器搭载了多模态融合追踪方案,可实现高精度、低延时的全身动作捕捉。
其底座和主体共分布12颗红外传感器,主题装有1颗9轴IMU传感器,追踪时以200Hz频率追踪并传输动作数据。
体感追踪器加上手柄和头显,一共可输出全身24个骨骼节点6DoF数据。
全身动捕模式下,PICO体感追踪器对身体动作捕捉延时约20毫秒,平均位置误差5厘米,脚踏动作判定及还原准确度不低于98%。
PICO体感追踪器已接入VRChat,一体机版本和PC串流版本均可兼容。
有了全身追踪功能后,用户可以畅玩XR舞蹈、踢足球、节奏音游,或者体验燃脂健身运动。
PICO体感追踪器共支持超过20款游戏,覆盖节奏音乐、运动健身、社交等不同领域。
PICO今年还与英特尔合作举办了一场VR运动会。
这个小“马卡龙”可以被安装在家里的任何真实物体上,将真实物体代入虚拟环境。其独立追踪模式正式开放适配,开发者及企业用户可以探索更多新玩法。
结语:国内电商总销额第一,应用数量已超900个
PICO总裁周宏伟对PICO的战绩进行了阶段性总结:PICO在国内京东和天猫两大电商平台的总销售额一直排名第一,PICO 4在21个国家和地区销售。
PICO企业服务覆盖全球2600多所学校,为20多万名学生提供使用VR进行学习的支持,在医疗领域与合作伙伴一起为超过54万名患者提供辅助治疗。
截至目前,PICO应用商店上的应用数量超过900个,长期合作的开发者数量超过500个,覆盖超过60个国家和地区。
周宏伟相信,新推出的PICO 4 Ultra,会给用户带来前所未有的独特体验。