这种装置具体有什么用呢？我们知道，目前市面上的一些消费级VR头显采用静态畸变校正方案，来优化透镜造成的画面失真，原理主要基于对渲染图像的预先扭曲。但这只能解决静态畸变，动态畸变（移动的眼球通过透镜看到的画面畸变）还需要配合眼球追踪技术，来实时校正。然而，现有的眼球追踪技术在准确性、延迟等方面还有待优化，因此即使采用眼球追踪和动态畸变校正算法（DDC），效果也不一定理想。甚至可能会因为眼球追踪系统、校正模型本身的误差而受到限制，部分图像不能得到校正。
因此，为了快速测试不同眼球追踪效率对于VR视觉效果的影响，Meta研发了这一套数字模拟装置，好处是省去了制造光学原型硬件的成本和时间，可以直接在测试中收集使用反馈。
解决哪些痛点
于VR显示技术来讲，光学透镜和屏幕是紧密关联的，因此更换或修改屏幕参数/类型，意味着透镜也需要改变。为了搭配不同类型的显示屏，Meta在VR头显中尝试了各种不同的透镜方案。比如Quest采用菲涅尔透镜、Half Dome 2原型则采用Pancake透镜、Holocake 2原型采用全息+Pancake透镜。
通常，由于光的折射特性，显示屏画面通过透镜会产生一定畸变。目前市面上的一些消费级VR头显采用静态畸变校正方案，即预先将图像扭曲，来补偿光线通过透镜产生的扭曲。但这种校正方式依赖于固定的出瞳位置，比如当人眼和VR头显的相对位置有所变化时，预校正可能会失效（比如出现pupil swim问题）。因此，VR需要一种根据人眼运动变化而适时调整的图像校正算法。而利用软件来模拟整个VR头显光学配置，便可以更好的训练光学畸变校正算法。
方案细节
细节方面，其硬件构成包括：120Hz OLED大屏电视（模拟畸变图像）、与电视同步的主动式快门3D眼镜（营造3D效果），还有一个固定头部的旋转支架。
当使用者将下巴放在支架上时，支架会根据他的头部旋转，来实时更新头部和眼球模型的位置。同时，算法会根据头部和眼球模型来计算前庭眼球反射运动（VOR），并合成对应的图像失真。而为了模拟头显适配度对pupil swim的影响，该方案还可以模拟不同显示屏角度对显示效果的影响，利用倾斜的屏幕来贴合人脸弧度。
Meta指出，这个VR显示系统模拟器可准确模拟任何光学元件组合的视觉失真效果，并通过3D眼镜搭配快速响应屏幕，来实现3D畸变预览。利用数字算法来模拟图像畸变，省去了制造光学原型的过程，可以更好的加速VR显示技术迭代。
用户测试
此外，Reality Labs还使用该模拟器来进行用户调研，让参与者测试并对比不同的光学设计和场景内容，来了解人眼对于光学失真的容忍度，寻找一种人眼可接受的畸变范围。结果发现即使移动头部和眼球造成一定程度的pupil swim，也不会严重影响VR视觉观感。
眼球追踪容忍度对比图
科研人员还利用LFP（光场入口）光场技术构建了一个基础的双目畸变度量标准，可根据用户调研的结果来制定光学设计的基础。光场入口作为一种通用的光学方案表示，主要是用于模拟光学器件内，光在任意角度的传输过程（将入瞳到显示器之间的光线进行映射）。同时，也用来观察人眼的前庭眼反射（VOR）运动，因为VOR运动代表了pupil swim造成的不良影响。而设备采用下巴托和咬合杆来固定头部，并与旋转编码器进行同步，以此来头部和眼球运动在试验中保持一致。
调研结果显示，当眼动追踪错误导致失真低于可检测阈值时，受试者会偶然（50%）识别出失真间隔，并且当眼动追踪错误导致容易检测到的失真时，受试者会以100%的几率识别出失真间隔。可接受的眼动追踪性能由眼动追踪误差值定义，当失真可以在75%的时间内准确识别时。
Pancake透镜采用二次反射面以最小化瞳孔游动，而折射镜片仅包含两个光学表面，通常表现出较大的瞳孔游动。因此，眼动追踪误差预计会对屈光镜片的DDC产生更大的负面影响，但影响程度未知。与折射镜片（绿色和紫色轮廓）相比，Pancake设计（黄色和蓝色轮廓）的眼动追踪要求显著放宽。
眼球追踪延迟的影响
另外，眼球追踪误差会对折射型透镜和动态畸变校正算法产生负面影响。动态畸变校正算法应用于折射型透镜时，在现有的眼球追踪误差基础上，会导致更多误差。
实验显示，Pancake透镜对眼球追踪误差的要求比折射型透镜更低，因为Pancake的结构特点可减少光学模组设计的pupil swim现象。此外还发现，校正文本显示时对眼球追踪效果要求高，高于3D内容显示。经过数千次试验，除了眼球追踪误差外，还需要弥补8毫秒延迟。当眼动追踪误差最小时，可以容忍较大的延迟。
不过，目前这项用户测试还存在局限，比如参与者少，测试的光学架构和场景内容有限。Meta认为，未来通过后续测试可以进一步了解图像畸变的机制，从而优化VR光学元件和畸变校正算法。也会计划在3D眼镜上加入眼球追踪设备，用于测试和优化眼球追踪技术。
参考：
每天五分钟，轻松了解前沿科技。——青亭网
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.