智东西（公众号：zhidxcom）
编 | 董温淑
英伟达研发了一款全新的轻量级虚拟现实（VR）视线追踪系统，该系统利用了发光二极管（LED）既能发射光也能感知光的特性，简化了确定眼睛相对于显示器的位置的过程。
据论文介绍，这是LED第一次被用于视线追踪系统的发光和感知，该解决方案是现有头戴式显示器（HMD）中最简单、硬件更少、成本更低的视线追踪系统。
“我们相信，我们的硬件在超低成本视线跟踪器领域处于领先地位。”研究人员说。
同时，该视线追踪系统兼顾了准确性和采样率，在个人电脑、智能手机等传统移动平台上均能足够快地运行。
https://arxiv.org/abs/2003.08499
“视线追踪将是下一代VR硬件的基础”已是全球各大VR头显制造商的共识，但现有视线追踪硬件普遍价格高昂、体积较大，而英伟达研究人员提出的这一新方案，有望推动HMD在消费市场的普及。
一、传统视线追踪技术面临三大挑战
英伟达研究人员认为，传统视线追踪系统仍面临多种挑战。
首先，传统视线追踪系统依赖成像技术，这种技术对功率要求较高，并且可能不适合用于低功率的移动解决方案。
其次，成像设备通常会致使软件更复杂，需要在流水线中添加额外的图像处理模块。
此外，传统视线追踪系统与高维输入（高分辨率图像）一起使用，因此会在多个阶段引入延迟。
针对这些问题，英伟达研究人员希望通过降低硬件和软件的复杂性，找到更简单的高质量视线追踪解决方案。
二、迄今最简易的视线追踪硬件设计
在新研究中，英伟达将LED作为其视线追踪硬件设计的核心。
LED既能发光，又能感光，而且价格便宜，能从同一物理位置进行发光和感测，而且不需要专用的定制电路即可轻松控制。因此LED作为硬件解决方案是个不错的选择。
论文中写道，据英伟达研究人员所知，其设计是迄今为止最简单的视线追踪电子设计，既有超低成本，同时准确度和采样率可与现有设备匹配。
在HMD系统环境中，LED被置于使用者的眼睛前方用作视觉估计，通过使用一对放在HMD前的放大镜，在使用者前面一定距离处创建虚拟图像。
当使用者观察到虚拟图像后，系统以时分多路复用的方式，从不同角度用红外（IR）光照射用户的眼睛，通过高刷新率采集从不同角度从眼睛反射的红外光强度数据，然后进行数字化。
其数据采集硬件包含固定数量的LED，将数据采集向量传输到PC、智能手机等主机中，通过使用监督自适应模式识别算法，准确地估计使用者在虚拟图像上的视线聚焦位置。
试验结果表明，这种方法计算量小，在传统移动平台上运行速度快，能用更简单的硬件，达到和其他常见方法相同甚至更好的准确性。
研究人员将两个现成的HMD产品改造成不同的完整定制HMD系统原型，并进行了眼动追踪演示和主观测试。
▲第一个HMD原型
第一个原型包含一个智能手机、一个控制器和一个VR头显，视线追踪算法在智能手机中运行。每只眼睛内置一个微控制器和9个LED，其中3个LED作为光源、6个LED作为光传感器。
从上图可以看到，该原型俯视图放大区域中有一个微控制器，主视图放大区域有3个LED，中间的是发光模式，两边的是感测模式，该原型中所有LED都可以切换这两种模式。
▲第二个HMD原型
而在第二个原型有一个支持2K分辨率显示的HDMI、一个控制器和一个VR头显，视线追踪算法在台式电脑上运行。每只眼睛使用一个微控制器和6个LED（上图主视图放大区域），每个LED既作为传感器也作为光源。
三、更小体积、更少成本、更低延迟
相比传统使用摄像头的解决方案，这项新方案具有如下优势：
（1）LED比摄像头更小更轻，采用的硬件设计体积更小、重量更低；
（2）LED消耗功率低，避免摄像头可能引起的散热问题；
（3）所需的摄像头数量减少，可省掉相应的图像处理模块；
（4）仅使用少量的传感器，硬件和软件中的延迟有所降低，实时性更好；
（5）采用的视线估计方法是轻量级计算，适用于由电池供能（如智能手机）的应用程序；
（6）基于更简单的硬件设备达到还不错的精度，实验证明平均角度误差可以低至1.1度，中值角度误差为0.7度。
▲使用采集数据得出的每个使用者的平均值、中值和标准偏差值
尽管英伟达的视线追踪系统足以用于典型VR应用，但研究人员也提到，由于LED的传感特性比光电二极管差，可能不适用于准确性要求特别高（误差<0.5度）的应用，如心理学、神经学或阅读研究。
相比传统基于摄像头的视觉追踪系统，这一新方案需要更多的校准数据，因此校准的初始阶段相对较长，也就是说用户需要多次跟随系统指令“看这里、这里、这里、还有这里”来校准设备。
此外，如果使用者的脸部相对于感应硬件有所移动，则需要重新就校准。
受试者反馈的一个常见问题是，眨眼后会导致视线估计发生变化，未来研究人员计划尝试检测LED信号的闪烁、预测眼睑状态等方法来解决这一问题。
结语：实现更小HMD设备的有效方法
目前，市面上的同类产品有拓比科技公司（Tobii）推出的SDK视线追踪系统、笔克远东集团（Pico）推出的Neo 2 Eye无线VR头盔、以及Nreal与七鑫易维（7invensun）合作推出的Light系统等。
由于英伟达的LED视线追踪系统还处于原型阶段，暂时无法将它们进行比较。
如今HMD制造商争相研发出体积更小的HMD设备，而减少每个组件的体积显然是实现该目标的一个有效方法。
如果研究人员能够缩短校准时间，英伟达的LED视线追踪技术很可能会在下一代VR头戴设备领域占有一席之地，开发出一系列轻量、价格合理、性能优越的新型VR头显，进一步增强VR用户在虚拟世界中的沉浸式体验。
