首页 > 科技 > 七鑫易维VR/AR业务部总经理路伟成:眼球追踪将成为VR/AR标配功能

七鑫易维VR/AR业务部总经理路伟成:眼球追踪将成为VR/AR标配功能

本次大会邀请到七鑫易维VR/AR业务部总经理路伟成带来主题为“眼球追踪将成为VR/AR的标配功能”精彩分享。



以下为演讲实录:

眼球追踪除了知道在看哪儿,还知道瞳孔的变化,眼皮的变化,虹膜数据,眼睛相关的大部分数据,眼球追踪技术都可以获取到。


VR/AR硬件的需求


1. 注视点渲染


正常视觉人眼分辨最小视觉是60PPD,对于分辨率的要求非常高。但是人眼有一个特点,人眼睛看的地方是非常敏感的,眼睛感官细胞非常多,但是你们要关注点之外的地方是感知能力非常弱,没有必要去渲染的地方,就有了注视点渲染技术,只渲染盯着的这一小块,就把整体的渲染算力的要求给降下来了。

当然,这不光是我们一家企业要完成的事情,像英伟达这种厂家,像移动端的高通,从底层基于注视点进去渲染。现在已经有技术成果了,最新的VRS技术结合我们的注视点,已经实现了注视点渲染。当然,我们最终的目标是让所有内容开发者不需要做任何事情,就可以使用上注视点渲染的技术。

在移动端,高通从845开始,它是支持注视点渲染技术的。我们做过一些demo,我们和英伟达、HTC等一起合作,我们测过,原来算力只能渲染到大概45帧,用了注视点渲染可以提升90帧,渲染的效果非常明显。

2. Cloud XR注视点渲染


延迟大,用起来眩晕感很强,问题在于数据要跑到云端,云端数据再拿回来,整个流程会有很大的延迟。所以,注视点渲染仍然可以在这里面用。我们会有一个预测算法,我们的注视点可以提前30毫秒知道你的运动,把这个数据抛到云端,在云端仍然是基于注视点的一个渲染,缩短了渲染的延迟,甚至往回传的时候也可以基于注视点做一些工作,带宽延迟都会降低。

当然,大家会有一个技术上的疑问,注视点本身这个追踪会不会带来延迟?不会,它和渲染延迟是两个并行的失球。眼球追踪只会缩短延迟,如果我跟着眼睛移过去了,但是没有那么快,会不会造成眼睛感知上的影响?不会的。人眼对于高清区域的移动,是有一个50-70毫秒延迟的允许范围。为什么呢?人眼有一个特征叫扫视意志,你的眼睛在眼跳的时候,眼睛从一个点转移到另一个点的时候,你的视神经是关闭状态,这个时候你看不清东西。落到一个新的点,等看清之后,已经几十毫秒过去了。整体上使延迟降低,帧率提升,这是注视点起到的一个核心作用。

3.ID识别


  • 虹膜识别和眼球追踪


客户要把虹膜识别加到眼球追踪中去,这是比较特殊的一个点,为什么虹膜识别会放在这儿呢?用的硬件是一样的,我们的硬件设备能够识别虹膜识别。反过来不行,因为眼球追踪需要一些特殊的设计,虹膜识别的硬件不需要考虑这些方面。所以,我们在算法中加入了虹膜识别,它的好处是什么呢?


因为在VR/AR中,眼球追踪需要有一个校准,校准之后有一个用户管理,然后校准你的系数,有的虹膜识别可以自动地实现这一点,戴上之后就是你的系数,不需要手动地选择用户ID。这一点不仅仅在眼球追踪的用户中管理,家里可能好几人用VR/AR,可能有不同的账户使用,家里可能有小孩。就是说,在用户选择的时候还是有一些考虑的。

  • 应用程序用户管理


你自己在玩游戏的时候,自己保存的是自己的进度,这个用户的ID切换可以通过虹膜识别来自动地实现。

  • VR/AR电商支付认证


未来VR/AR电商会成为一种趋势,你输入密码是不方便的,指纹也不是特别方便,直接用虹膜支付是非常自然的事情。

  • VR/AR社交身份认证


VR/AR社交身份认证也是广泛的应用,至少能够识别出你的身份,不至于在网上去骗人。假如没有眼球追踪,VR/AR社交追踪中,需要使用眼球追踪复现人眼的状态,这样使Avatar看上去很好看。

4. 多焦距解决VAC



通过眼球追踪技术,你看远处的时候跳到远出,看近处的时候就跳到近处,这需要显示技术一块来改进,多平面技术还不成熟。看远处的时候,视觉线索都是不同的。

5. IPD自动调节


现在IPD都是死的或者做一个比较大的范围,但是对于某些人来说不适应还是感觉不舒服。但是我可以通过眼球追踪技术,实时地告诉你用户现在的IPD是多少,可以通过软件的方式对用户的IPD进行调节,用户使用起来就会非常舒服。

6.动态扫描重定向


这还处于一个实验室阶段理论,自由移动现在在VR中是非常难的难题,很难实现绝对自由的移动。但是在小空间中模拟无限空间的移动。怎么实现呢?用人眼的特征,扫视意志,眼睛从一个点移动到另一个点的时候,视神经关闭,这个时候角度忽然移动5度、10度是不知道的,这个时候可以把小空间模拟成大空间,包括眨眼睛的时候,视神经不那么好使的时候,做一个角度的变化,这样就实现了一个大空间。


VR/AR开发者需求


1.多模态自然交互


人希望解放双手,未来是一种眼、手、口自然交互。用眼睛去做指向性的很多交互是自然的,当双方被占用的时候,眼睛可以做很多事情,比如眼睛选中激活。


AR中显示了很多信息,容易信息过载,完全是可以吸引你眼睛注意力的,眼睛在哪儿这一块的相关信息展示出来。未来和AR的结合,知道你在想什么,就可以做相关的交互。

2.眼动数据分析


你看哪儿,你看了多长时间,看的顺序,瞳孔的变化等等,眼睛是人心灵的窗口,很多数据可以通过眼睛的数据获取到,拿到这些数据可以知道你的消费偏好,甚至于各方面的偏好,这些信息就可以拿来精准营销,这是商家比较感兴趣的,可以做很多事情,包括和AI的结合,再加上脑电、心电等。

3.专业领域应用:视觉训练、心理康复等


我们可以看小孩儿的康复训练恢复了多少,针对性地做康复性的计划。视觉训练是指对于一些人的弱视、斜视,针对儿童眼部的问题做一些训练。

总结


眼球追踪将成为VR/AR标准配置。


眼球追踪技术不管是从硬件的角度,还是从内容的角度,都可以提供很多有用的价值。最终是带给终端用户的是提高用户体验,给商家提高价值。我们眼球追踪技术,无论是硬件厂家还是内容厂家,都可以给你们带来更多的钱、更多的价值。


最终,眼球追踪技术会成为VR/AR的标准配置,我希望可以用我们的技术和大家的各个行业、各个产业,能够碰撞出火花,一块来挣钱。谢谢大家。

本文来自投稿,不代表本人立场,如若转载,请注明出处:http://www.souzhinan.com/kj/234747.html