Facebook开发AR/VR触控手环,支持空中单击、无键盘打字

智东西(公众号:zhidxcom)
编译 | 李水青
编辑 | 心缘

智东西3月19日报道,近日,Facebook正在开发一种手环,用以匹配其新款智能眼镜,实现隔空控制操作。

只需戴上手环,用户就能被检测到神经信号,复杂的手势和动作都能被VR、AR设备识别。其中,情境化的AI将起到关键识别作用。

VR/AR成为亚马逊、谷歌、苹果等科技公司竞争激烈的领域,他们认为,未来眼镜有望取代智能手机的地位,手环可以说将为AR/VR设备腾飞插上翅膀。

一、隔空调节落地灯,无键盘徒手打字

在Facebook发布的一款模拟演示视频中,戴着手环的用户用大拇指在食指上前后摩擦,眼前的页面就随之滑动。

Facebook开发AR/VR触控手环,支持空中单击、无键盘打字

手环不仅能输入信号,还能给用户带来仿真的触感体验。比如当用户在AR体验中拉开一张弓,由于手环震动,他也会感觉到拉开工的力量感。

Facebook开发AR/VR触控手环,支持空中单击、无键盘打字

手环与物体的连接拓宽了交互边界。落地灯边出现调节开关,用户徒手滑动就能调节灯的亮度。

Facebook开发AR/VR触控手环,支持空中单击、无键盘打字

在色环页面上挪动手指,可以调节灯的亮度。

Facebook开发AR/VR触控手环,支持空中单击、无键盘打字

徒手打字更是手到擒来,眼前出现社交媒体对话框,用户只需要戴上两个这样的手环,就能徒手敲“键盘”,与对面在页面中顺畅对话。

Facebook开发AR/VR触控手环,支持空中单击、无键盘打字

不需要手机,不需要屏幕电脑,只需要手环配合AR设备。

Facebook开发AR/VR触控手环,支持空中单击、无键盘打字

拉拽社交媒体的视频,调节进度,输入文案等复杂动作也能完成。

Facebook开发AR/VR触控手环,支持空中单击、无键盘打字

这些酷炫操作有的已经可以初步实现,有的在未来可能实现,背后,都只需要通过一款触觉手环。

二、采用肌电图技术,识别毫秒级手指运动

根据Facebook的Reality Labs研究人员的说法,该想法是使用一种称为肌电图或EMG的技术。

为了研发这款首款,Facebook找到的潜在理想解决方案是EMG(肌电图)。EMG是一种应用电子学仪器记录肌肉静止或收缩时的电活动,及应用电刺激检查神经、肌肉兴奋及传导功能的方法。

通过手腕的信号非常清晰,以至于毫米级手指运动EMG都能理解到。更进一步,可以精确感受到移动手指的意图。

Facebook尚未公布这一手环的内部构造,不过,在2021版IEEE VR会议论文集中苏黎世联邦理工学院有一款类似研究成果。该手环的构造非常简单,主要由两块加速度计传感器和一颗微处理器构成,可以提供一些参考。

Facebook开发AR/VR触控手环,支持空中单击、无键盘打字

三、EMG手环发展分三步走,将带来人机交互变革

在初期,EMG只有一两个控制选项,例如通过大拇指揉搓食指,实现单击。这将成为AR中一个普遍存在的基本互动。

而下一步,EMG还需要发展更丰富的控制。比如以下演示视频,用户可以在VR场景中实现实际的触摸,移动模拟的对象。

Facebook开发AR/VR触控手环,支持空中单击、无键盘打字

但这仍是开始,在最终的计划里,用户将可以在桌子、膝盖等地方使用EMG高速打字。这在此前的研究中已有支撑,如创企CTRL-Labs主要是在为AR/VR和机器人研发下一代的神经界面,其在非侵入式脑机接口方面已有重要进展。

Facebook开发AR/VR触控手环,支持空中单击、无键盘打字

想象一下,当有一天不再需要实体的键盘,一个虚拟的键盘页面出现在随时随地,支持任意打字风格,且比任何机械键盘打字速度都快,人机交互方式将发生巨大革命。

四、依靠底层AI,进行意图预测和用户建模

那么短期内Facebook能实现什么?如何实现?

相关研究人员iHrvoje Benko说,当下可以尝试提供“单击”这类简单指令,要让这种指令起作用,就需要设备能识别用户所处的特定场景,弹出页面。为此,当下需要在意图预测和用户建模方面更进一步。

另一位研究人员Tanya Jonker解释说:“底层的AI对用户将做的事情有所了解。”

比如当用户在慢跑时,系统会根据用户过去的行为,预测其可能想听歌,然后就在页面上提示:“播放正在运行的播放列表?。” 然后,用户就可以用微手势选择确认或取消。每一次互动可能只节省几秒时间,但这些剩下的流程、时间汇聚起来,是非常可观的。

要实现这一阶段也还有许多挑战,建立一个可以识别理解用户周边场景的界面,需要机器学习技术、HCI(人机交互界面)、用户界面设计的进步。

五、反馈体感,实现交互闭环

除了输入手势指令,手环还需要体感反馈,这才能实现交互闭环。

比如,用户操作虚拟的弓箭,借助手环能够感受到接近拉弓的感觉,从而更加相信这是真实的。

Facebook开发AR/VR触控手环,支持空中单击、无键盘打字

FRL研究科学经理Nicholas Colonnese补充说:“触觉也可能能够传达不同的情感,我们将其称为触觉表情符号。” “如果您处在正确的环境中,则不同类型的触觉反馈可能与流行的表情符号相对应。这可能是改善社交沟通的一种新的好玩的方式。”

也就是说,将来这类触觉手环还能带来“小鹿乱撞、怦然心动”的感觉?

Facebook正在研究一些列原型,一个原型被称为“ Bellowband”(腕带),能以复杂的方式在时空上产生压力和振动。另一个原型为Tasbi(触觉和挤压手镯接口),采用六个触觉致动器和新颖的手腕挤压机制。

Facebook认为,有一个全新的空间刚刚开始开放,其中很大一部分是从手腕上更丰富的触觉系统开始的。

结语:小小触觉手环,有望变革人机交互方式

可以看到,关于触觉手环的研发通向一个新的世界,人们不需要在虚拟世界和现实世界中做选择,而是能通过AI驱动实现融合交互。

正如Facebook研发人员所说:“这是一个不可思议的时刻,为创新和发现奠定了基础,因为这是对旧世界的改变。”

来源:Facebook官网