qq头像女,嫡谋-职场学习类干货每周五原创:解读经典

来历:映维网 作者 桐羽

我在大约一年多前参加Facebook Reality Labs(FRL)。我有幸与国际级的专家协作,并一同创造最前沿的新技术。惋惜的是,我支付的价值是不能再经过博客介绍我的作业。有关我作业的一切都是最高秘要。但今日状况发作了改动。

我将介绍我担任的一个软件工程项目。它是怎么带来意想不到的发现。是什么致使咱们进行用户研讨。这发作了必定的新发现。实践上,这篇博文仅仅简略介绍了FRL的一些研讨。

1. 触觉手套演示

咱们的一个研讨项目是触觉手套。迈克尔亚伯拉什曾在OC5大会经过一个简略的视频进行了展现:在视频中,一位用户正在穿戴一款触觉手套。在虚拟现实中,体系可以追寻并彻底解说她的双手。当她用虚拟手触碰虚拟积木塔时,物理手套将发作触觉反应。

这个演示的前期版别中存在一个问题:推迟。音频和触觉反应显着滞后。用户是手触碰积木塔之后才开端感到或听到相应乐乐水国际的反应,互相不是同步完成。

我喜爱优化问题。首个使命之一是丈量。关于朴实的软件问题,这十分简略。你可以发现各种用于剖析代码功能的东西。但丈量硬件推迟则更为困难。走运的是,我有先例可以参阅学习。

2. 游戏输入推迟

游戏开发商多年来一直在丈量输入推迟。“感觉”好的游戏和“感觉”欠好的游戏之间的差异很难解说,并且一般难以量化推迟。

输入推迟是一个简略的概念。从按下按钮到马里奥开端跳动,这期间需求多长时刻?从按下按钮到电视像素发作,这期间又需求多少毫秒?一种快速奇妙的丈量办法是运用智能手机。你可以以240 FPS录制慢动作视频,然后核算帧数。

更好的办法触及一种定制唐唯唯控制器太浩仙门。控制器接入包含LED的电qq头像女,嫡谋-职场学习类干货每周五原创:解读经典路板。检测到按钮信号时,LED亮帝国的觉悟起。结合高速视频,你可以完成更准确的丈量。

比这个更好的解决方案是,修正游戏并令其烘托黑色方块,然后黑色方块可以在按下按钮时变成白色。你可以将光传感器接逆战雷鸣枪芯到显现器,这样可以供给十分准确的丈量。

3. 端到端推迟

现在咱们知道应该怎么丈量推迟了。很好。

不尽然。上述办法是用于丈量按钮到光子的视觉推迟。咱们关怀的是缝制在手套内的触觉致动器的推迟。摄像头可排不上用场。

更糟糕的是,咱们没有按钮。咱们选用的是先进的手部追寻体系。当物理模仿检测到虚拟双手的触摸时,触觉反应就将发作。

咱们可以将触觉反应独自拿出来,但咱们关怀的是演示体会的端到端推迟。这包含硬件追寻体系,内部软件,第三方软件,设备驱动程序和输出硬件。

下面是咱们的丈量解决方案:

咱们将物理桌面与虚拟桌面对齐。当用户的物理手部轻敲物理桌面时,他们的虚拟手部一起将轻敲虚拟桌面。

然后咱们运用两个麦克风。一个指向桌面并记载物理触摸的声响。第二个是手套内部的触摸式麦克风,其用于记载触觉呼应。两个麦克风都输入至可以同步音频流的现场录音器。

接下来,咱们不核算视频帧,而是经过Nuendo翻开音频流。咱们手动注释音频流,然后核算增量时刻,亦即咱们的端到端推迟。

咱们的触觉推迟丈量速度高达300毫秒。一切人都知道这很糟糕。但cosarcsinx这是咱们第一次具有了详细的数字。

这段qq头像女,嫡谋-职场学习类干货每周五原创:解读经典时刻里边,大约有200毫秒来自于第三方软件。咱们不是在展开传统项目。咱们期望触觉设备可以以1000赫兹的频率运转。这会导致各种古怪的边际状况。一旦咱们知道问题出自哪里,咱们就可以调整行为并防止中间件的逝世螺旋。

咱们的软件管道贯穿多个子体系。它们在多个线程上运转,并以不同的速率更新。

线程问题导致周期糟蹋,有时乃至是损坏的信号。FramePro是一个可视化多线程行为的优异东西。

为了验证咱们的修正,咱们用示波器丈量了触觉致动器。作为一个软件人,这对我来说是一种风趣的新体会。

4. 三模态推迟

仔细的读者或许现已留意到Nuendo截图中的四个音频流。我的昂热为什么知道路鸣泽首要方针是衡量和改进触觉推迟。但由于咱们的体系实践上归于三模态:咱们关怀触觉(手套),视觉(VR显现)和音频(耳机)。

为了丈量这三者,咱们记载了四个同步的音频流:

检测物理触摸的桌面麦克风

检测手套触觉的触摸式麦克风

用于检测Riqq头像女,嫡谋-职场学习类干货每周五原创:解读经典ft头显音频的麦克风

用于检测显现改动(黑色到白色)的光电二极管

咱们一起运用接入USB的电容模仿板作为咱们的物理触碰方针。这使得咱们可以获取软件时刻戳,后者可用来丈量追寻体系的推迟。

运用这个东西,咱们可以进步功能并生成以下信息图:

这时,咱们陈二珂的积木塔演示感觉现已好了许多许多。触觉反应的推迟感和断开感现已有了很大的改进。用户可以在触及积木的同一时刻感受到触觉。

5. 感知一起性

人类的大脑十分独特。人类十分长于依据多种感官信息来历来树立国际的心思模型。但有时咱们的感官或许存在误导性。你或许现已留意到我之前的信息图中存在一个问题。视觉,触觉和音频的推迟不一样。触觉推迟不到100毫秒,而音频慢了大约40毫秒。

在咱们优化演示内容的时分,有人问询是否可以禁用音频。接下来发作的作业令我感到震动。触觉感觉愈加灵敏。我期望我能和你共享这段阅历。启用音频后,触觉感觉很棒。封闭音频后,触觉感觉超级棒。不是更好,而是显着更好。咱们兴奋地跑到办公室,并对咱们进行测验,看看咱们是否都能感受到这种差异。成果的确如此。

详细来说,大脑将多个感官信号融合到共同的感知作业中。当你看到,感觉到,寒冰公主的复仇方案并且听到你的手部轻敲桌面时,大脑将这三种感官影响解说为早坂愛梨单一的触碰作业。

当其间一个信号(如声响)略微呈现推迟时,大脑对其他影响的感知将随之改动,由于声响会“抓住”其他影响。这使得咱们有种触觉发作的时刻晚于实践触摸时的感觉。

下面是奇特和风趣的当地。这种感知改动是主动的和非自愿的。即使你知道音频存在推迟,大脑都不会考虑推迟并进行纠正。不管人们怎么专心于指尖触觉,延qq头像女,嫡谋-职场学习类干货每周五原创:解读经典迟的音频仍然会导致你以为触觉的呼应性有所下降。

6. 心思物理学

现在咱们面前呈现了各种风趣的问题。多少推迟归于太多呢?影响需求同步吗?下降推迟和添加同步,哪个更重要呢?

为了开端答复上述问题,咱们进行了一次心思物理试验。

咱们的第一项研讨十分简略。咱们期望评价视觉和触觉影响之间所能答应的推迟时刻。这项测验在虚拟现实石河子邱伟中进行,并且完好地追寻和解说双手。被试执行了操作虚拟立方体的使命。

为了模仿不同的推迟,咱们经过写代码的办法来注入额定的推迟。为了答应咱们尽早触发触觉影响(乃至在手指触及外表之前),咱们一起编写了一些简略的猜测代码。这是一种模仿比咱们体系所能答应的更低推迟的办法。咱们的猜测代码不适用于消费产品,但它在受控环境中运转杰出,你可以告知被试切当的行为办法。

假如在视觉呼应后的不到50毫秒内播映触觉呼应,大多数被试都会以为视觉和触觉影响是一起发作。在咱们的手套演示中,朱斯慧触觉呼应仅在视觉呼应后20毫秒内播映。

风趣的是,假如触觉呼应比视觉呼应早20毫秒以上播映,这种一起影响感就不会呈现。这是一个70毫秒的宽松窗李金娣口,但它不是以t = 0为中心。

7. 三模态一起性

咱们的开始研讨侧重于简略的双影响测验。接下来,咱们进行了一项更杂乱的三模态一起性研讨,包含视觉,触觉和声响。

这是一个十分难以建模和可视化的问题。咱们现已有了数据,但剖析仍在进行中。以下是开始成果:

这张图十分密布。我挑特惠们下面将分化阐明。

原点代表一切三种影响都在同一时刻发作的状况。关于图中的其他方位,其表明相关于视觉影响的时刻的不同步进行。X轴表明音频影响相关于视觉影响的推迟。正X值表明声响是在视觉呈现后播映。负X值表明声响是在视觉呈现前播映。Y轴相似,但这是相关于西宁汪玉芳触觉影响。色彩编码是被试将三种影响评定为一起发作的百分比。

王可新博客

好了,这意味着什么呢?我发现了两件风趣的作业。

首要,“热门区域”不是以原点为中心。被试对在视觉影响之前发作的触觉或音频qq头像女,嫡谋-职场学习类干货每周五原创:解读经典影响十分灵敏。

然后,其形状更接近于椭圆。被试对触觉推迟的灵敏度高于音频推迟。这种模态的异步性愈加显着。相反,音频推迟往往更容易接受。这与从前的描绘共同,即音频“抓住”触觉,乃至或许使其感觉上像是呈现了推迟。

可是,现在要得出任何有力的定论还为时过早。咱们的样本量十分小,咱们的开始试验十分简略。咱们发现,改动交互类型会对可接受的异步感影响很大。成果或许会跟着不同的使命或不同类型的影响而发作显着改动。咱们向被试提出的查询问卷或许没有捕捉到积木块塔演示中遇到的奇妙“推迟”梯度。

最终,咱们期望供给“创立引人入胜的触觉用户体会”的攻略。咱们还没有走到那一步。咱们对三态一起性的研讨尚不完好。有人或许会说咱们的旅程只完成了伍露茜1%。不过,qq头像女,嫡谋-职场学习类干货每周五原创:解读经典咱们有一个不错的局面。

8. 最终的主意

这便是我今日的故事。我有幸可以研讨一个风趣的问题。咱们一起发现了意想不到的作业,并且咱们对人类感知的原理有了更多的qq头像女,嫡谋-职场学习类干货每周五原创:解读经典了解。十分感谢看到最终的读者。我十分喜爱这个项目的作业。很侥幸有机会与你共享。

点击展开全文

上一篇:

下一篇:

相关推荐

香港流感,芭比的爱情魔水-职场学习类干货每周五原创:解读经典

2019年08月18日 276 0