vr技术与未来-pg电子娱乐平台

小米探索实验室一．vr现状二．vr技术三．vr未来一．vr现状什么是vr？是一种可以创建和体验虚拟世界的计算机仿真系统。通过相应的硬件和软件，为用户提供关于视觉，听觉，触觉等感官的模拟，让用户如同身临其境。vr的本质是“欺骗”，通过创建一个虚拟的世界来欺骗我们的大脑，获取身临其境的感觉。这里面还涉及另外两个学科：physiology（生理学）perceptualpsychology（感知心理学）vr最重要的关键字：immersion（沉浸感）问题来了：哪些因素影响vr的沉浸感？为什么在这两年爆发了？1935年，斯坦利温鲍姆（stanleyweinbaum），首次在自己小说中提出了“虚拟现实”的概念。1957年，莫顿海利希（mortonheilig）研发了第一台vr原型机，名为sensorama。图1-1：sensorama设备原貌到八十年代，vr理论和概念基本形成，组成vr的各种组件在技术上已十分成熟，都可以在市面上买到。九十年代，vr的理论已经非常成熟。任天堂1995年推出的virtualboy游戏主机，被《时代周刊》评为“史上最差的50个发明”之一。之后，沉寂了将近20年。没有公司将vr带入商业领域。直到，2012年，刚成立的公司oculus在kickstarter为其产品rift众筹。2014年3月，facebook以20亿美元收购oculus。彻底引爆vr行业。已上市的vr设备目前市场上vr设备大概可以分为三大类：基于pc的头戴式vr代表产品有：oculus的rift，htc的vive，以及sony的playstationvr。图1-2：oculusrift图1-3：htcvive图1-4：sonypsvr基于pc的头戴式vr优点：沉浸式体验较好缺点：不方便，贵htcviveoculusriftpsvr价格$799￥6888$599$399（不含camera和move）￥2999表1-1：三个设备价格还有一个不好的消息根据市场研究机构gartner统计，2016年全球使用中的电脑总数为14.3亿台，其中支持高端vr设备的电脑不足1%。图1-5：配套的pc主机基于手机的移动vr代表产品有：google的cardboard（目前最廉价的vr眼睛），三星的gearvr。图1-6：google的cardboard图1-7：小米vr的app截图图1-8：三星的gearvrvr一体机具有独立运算能力的vr设备，不依赖手机和pc等。主要分为集成式和分离式。国内的不少公司已经发布多款一体机产品。二．vr技术哪些因素影响vr的沉浸感？换句话说，真实强烈的沉浸感需要具备什么条件：awidefov(100degreesorbetter)highresolution(1080porbetter)-(2korbetter)lowpersistence(3msorless)ahighenoughrefreshrate(60hz,95hzisenoughbutlessmaybeadequate)lowlatency(20msmotiontophoton)accuratetracking–translationwithmillimeteraccuracyorbetter,orientationwithquarterdegreeaccuracyorbetterfieldofview（fov，视场角）fov是显示设备边缘与观察点(眼睛)连线的夹角。沉浸感的关键，则是全景，fov就代表着你所看到的全景角度。图2-1：角aob为水平视场角，角boc为垂直视场角图2-2：单眼水平和垂直fov人眼的特点是横向扫描活动比较多而且也比较轻松，大部分浏览行为，都是横向扫描，常人的双眼横向总视野角要接近200~220，但其中双眼可成像的清晰视角约为120。即在正常状态下，人眼最轻松的成像横向视野角为120图2-3：双眼的fov表2-1：主流设备的fovhtcviveoculusriftpsvrgearvrcardboardfov约110度约100-110度约100度96度90度highresolution（高分辨率）分辨率太低会产生纱门效应。纱门效应是由像素不足的情况下，实时渲染引发的细线条舞动、高对比度边缘出现分离式闪烁。场角中的1会能看到60个像素，才会分辨不出像素感。即ppd（pixelperdegree像素每度）=60才能达到视网膜级别的体验。如果按照水平fov210度和垂直fov100度，理想的情况下我们需要12,6006,000的画面。显然，目前是不可能的。实际中，单眼2k*2k体验已经很不错，gearvr和oculusrift均在单眼1k*1k左右，在内容好的基础上，人很大程度上不会太在意分辨率，沉浸感依然很好。（注意是在好的内容基础上）另外，4k屏产品已经上市了。表2-2：主流设备的分辨率htcviveoculusriftpsvrgearvrcardboard分辨率两块屏单眼：1080x1200两块屏单眼：1080x1200一块屏1920x1080无（手机）无（手机）lowpersistence（低余晖）余晖效应就是视觉暂留现象，是指人眼在观察事物时，光信号传入大脑神经需要一段短暂的时间，光信号消失后，视觉形象并没有立刻消失。余晖效应会导致晕动症（motionsickness）。把显示器上的像素点被点亮的时间成为余晖时间。必须使用oled屏。表2-3：主流设备的屏幕类型htcviveoculusriftpsvrgearvrcardboard屏幕oledoledoledamoledhighrefreshrate（高刷新率）刷新率是指屏幕刷新的速度，比如60hz就是每秒钟显卡向显示器输出60次信号，由屏幕决定。业界认为90hz以上的刷新率才能保证有效降低眩晕感。帧数是指画面改变的速度，60fps就是每秒钟显卡生成60张画面图片，由显卡决定。刷新率和帧数二者的关系？假设帧数是刷新率的1/2，那就意味着显卡每两次向屏幕输出的画面是同一幅画面。相反，如果帧数是刷新率的2倍，那么画面每改变两次，其中只有1次是被显卡发送到屏幕显示。即高于刷新率的帧数都是无效帧数，对画面效果没有任何提升。所以刷新率和帧数必须匹表2-4：主流设备的刷新率htcviveoculusriftpsvrgearvrcardboard刷新率90hz90hz90-120hz60hz60hzlowlatency（低延时）延时，特指motiontophotonlatency，即从用户运动开始到相应画面显示到屏幕上所花的时间。从用户的头和身体移动(motion)，假设为时间t1，到被更新的场景(对应于时间t1)被显示在屏幕上(photon)，假设为 时间t2，时间差，即t2-t1。如果t2-t1过 大，人就会感觉到看到的图像和自身的 移动不匹配，产生眩晕，真实感和沉浸 感也会大大下降，晕车也是类似原理。 低延时？ 整个系统的延时控制在50ms已经相对 不错，但还是能感觉到。 低于20ms，人就无法感知。 accuratetracking（精确的追踪）tracking包括位置追踪，手势追踪， 眼球追踪等方向。 其中，位置追踪是为了在虚拟空间中 获得和现实中一样的空间定位信息。 延时如何做到20ms以下的延时？ 图2-4：移动vr显示一帧图像的过程 优化分为两大块： 硬件层的优化使用的外置的imu，提高采样频率和 精度，减少采样数据的延迟。 屏幕采用oled，减少颜色切换的延迟。 采用有线传输数据。 提升屏幕刷新率。 软件层的优化渲染时直接使用front buffer，跳过 backbuffer（双缓冲机制）。 侧重点渲染，重点渲染fov中的画面， 之外的可以降低。 atw, asynchronous timewarp atw（异步时间扭曲） atw是一种生成中间帧的技术，当渲染 不能保持足够帧率的时候，atw能产生 中间帧，从而有效减少画面的抖动。 vsync，即垂直同步，使得显卡生成帧 的速度和屏幕刷新的速度的保持一致。 vsync(verticalsynchronization) 图2-5：没有vsync的渲染过程 图2-6：有vsync的渲染过程（fps大于刷新频率） 图2-7：有vsync的渲染过程（fps小于刷新频率） 图2-8：有vsync的渲染过程（三缓冲机制） 图2-9：atw过程 比如：位置抖动。目前，只考虑了旋 转，而平移却被忽略。 atw不是万能的，还有很多问题。 运动的物体和动画容易抖动。 它需要gpu硬件支持合理的抢占粒 atw需要注意的问题：它要求操作系统和驱动程序支持使 gpu抢占。 三、vr未来 vr未来是光明的，但是道路也 很曲折。 vr未来甚至是无限的(infinite)。 1、内容 2、多种感觉的模拟 3、健康与安全 4、相关硬件的发展 在探索未来的道路上我们从未放慢脚 步，在坚持做高品质高性价比的产品 理念上也从未动摇，让每个人都能享 受科技的乐趣。