虚拟、增强和混合现实系统和方法 -pg电子娱乐平台

(19)国家知识产权局(12)发明专利申请(10)申请公布号(43)申请公布日(21)申请号202080084086.4(22)申请日2020.12.03(30)优先权数据62/945,0272019.12.06us(85)pct国际申请进入国家阶段日2022.06.02(86)pct国际申请的申请数据pct/us2020/0631552020.12.03(87)pct国际申请的公布数据wo2021/113540en2021.06.10(71)申请人奇跃公司地址美国佛罗里达州(72)发明人rb泰勒　(74)专利代理机构北京市中咨律师事务所11247专利代理师王英杰　于静(51)int.cl.g02b27/01(2006.01)(54)发明名称虚拟、增强和混合现实系统和方法(57)摘要一种用于确定三维(“3d”)显示设备的用户的焦点深度的方法包括跟踪所述用户的第一注视路径。所述方法还包括分析3d数据以识别沿着所述用户的所述第一注视路径的一个或多个虚拟对象。所述方法还包括当仅一个虚拟对象与所述用户的所述第一注视路径相交时，将所述仅一个虚拟对象的深度识别为所述用户的所述焦点深度。权利要求书2页说明书15页附图16页cn1148300111.一种用于确定三维(“3d”)显示设备的用户的焦点深度的方法，包括：跟踪所述用户的第一注视路径；分析3d数据以识别沿着所述用户的所述第一注视路径的一个或多个虚拟对象；以及当仅一个虚拟对象与所述用户的所述第一注视路径相交时，将所述仅一个虚拟对象的深度识别为所述用户的所述焦点深度。2.根据权利要求1所述的方法，其中，所述一个或多个虚拟对象中的每一个在距所述用户的相应深度处显示。3.根据权利要求1所述的方法，其中，分析所述多个3d数据包括分析对应于3d数据的深度分割数据。4.根据权利要求1所述的方法，还包括：当多于一个虚拟对象与所述用户的所述第一注视路径相交时：跟踪所述用户的第二注视路径；分析所述3d数据以标识沿着所述用户的所述第二注视路径的一个或多个虚拟对象；以当仅一个虚拟对象与所述用户的所述第一注视路径和所述第二注视路径两者相交时，将所述仅一个2d图像帧的深度识别为所述用户的所述焦点深度。5.根据权利要求1所述的方法，还包括：对所述用户执行辐辏分析以生成所述用户的辐辏焦点深度；以及使用所述用户的所述辐辏焦点深度来改进所述用户的所述焦点深度的准确度。6.一种用于确定三维(“3d”)显示设备的用户的焦点深度的方法，包括：跟踪所述用户的第一注视路径；分析由所述显示设备显示的多个二维(“2d”)图像帧以识别沿着所述用户的所述第一注视路径的一个或多个虚拟对象；以及当所述多个2d图像帧中的仅一个2d图像帧包括沿着所述用户的所述第一注视路径的虚拟对象时，将所述仅一个2d图像帧的深度识别为所述用户的所述焦点深度。7.根据权利要求6所述的方法，其中，所述多个2d图像帧中的每一个在距所述用户的相应深度处显示。8.根据权利要求6所述的方法，其中，分析所述多个2d图像帧包括分析对应于所述多个2d图像帧的深度分割数据。9.根据权利要求6所述的方法，还包括：当所述多个2d图像帧中的多于一个2d图像帧包括沿着所述用户的所述第一注视路径的虚拟对象时：跟踪所述用户的第二注视路径；分析由所述显示设备显示的所述多个2d图像帧以识别沿着所述用户的所述第二注视路径的一个或多个虚拟对象；以及当所述多个2d图像帧中的仅一个2d图像帧包括沿着所述用户的所述第一注视路径和所述第二注视路径的虚拟对象时，将所述仅一个2d图像帧的深度识别为所述用户的所述焦点深度。10.根据权利要求6所述的方法，还包括：对所述用户执行辐辏分析以生成所述用户的辐辏焦点深度；以及cn114830011cn114830011虚拟、增强和混合现实系统和方法[0001]pg电子平台的版权声明[0002]本专利文件的公开的一部分包含受限于pg电子平台的版权保护的材料。pg电子平台的版权所有者不反对任何人以其在专利和商标局专利文件或记录中出现的方式对专利文件或专利公开进行传真复制，但是保留其他所有pg电子平台的版权。技术领域[0003]本公开涉及虚拟现实、增强现实和混合现实成像、可视化和显示系统和方法。特别地，本公开涉及用于确定观察者焦点的深度的虚拟现实、增强现实和混合现实成像、可视化和显示系统和方法。背景技术[0004]现代计算和显示技术促进了虚拟现实(vr)、增强现实(ar)和混合现实(mr)系统的发展。vr系统为用户创建模拟环境来体验。这可以通过头戴式显示器向用户呈现计算机生成的图像来完成。该图像创建了将用户沉浸在模拟环境中的感觉体验。vr场景通常涉及仅计算机生成的图像而不是还包括实际现实世界图像的呈现。[0005]ar系统通常用模拟元素来补充现实世界环境。例如，ar系统可以经由头戴式显示器向用户提供周围现实世界环境的视图。然而，计算机生成的图像也可以呈现在显示器上以增强现实世界环境。该计算机生成的图像可以包括与现实世界环境上下文相关的元素。这样的元素可包括模拟文本、图像、对象等。mr系统还将模拟对象引入现实世界环境中，但这些对象通常具有比ar系统中更大程度的交互性。模拟元素经常可以实时交互。[0006]图1描绘了示例ar/mr场景2，其中，用户看到了现实世界公园设置6，该设置以人、树、背景中的建筑物以及混凝土平台20为特征。除了这些项目之外，计算机生成的图像也被呈现给用户。计算机生成的图像可包括例如站在现实世界平台20上的机器人雕像10，以及飞行的卡通状的化身角色2，似乎是大黄蜂的化身，即使这些元素2、10在现实世界环境中实际上不存在。[0007]各种光学系统生成不同深度处的图像，用于显示vr、ar或mr场景。[0008]vr/ar/mr系统可以在各种显示模式下操作，包括混合光场模式和离散光场模式。在混合光场模式(“混合模式”)中，显示器呈现合成光场，其包括同时或几乎同时显示在两个或两个以上离散深度平面处的图像。在离散光场模式(“离散模式”)中，显示器呈现合成光场，其包括在单个深度平面处显示的图像。照明深度平面在离散模式下是可控的。一些vr/ar/mr系统包括用于确定观察者的焦点的眼睛跟踪子系统。这样的系统可以照射对应于观察者的焦点的深度平面。[0009]由于人类视觉感知系统是复杂的，因而产生利于其他虚拟或现实世界影像元素中间的虚拟图像元素的舒适的、自然感觉的、丰富呈现的vr/ar/mr技术是具挑战性的。三维(“3d”)图像显示系统经历辐辏‑调节(vergence‑accommodation)冲突问题。当两个光学深度相关的生物过程向用户/观察者的大脑发送冲突的深度信号时，该问题发生。辐辏与观察cn114830011者的眼睛旋转以将光轴(轴)与远处观察者注意的对象对准的趋势有关。在双目系统中，光轴相交的点可以称为“辐辏点”。观察者的眼睛在辐辏期间的旋转量由观察者的大脑解释为估计深度。调节与观察者眼睛的晶状体聚焦的趋势有关，使得观察者的注意力的对象在远 处。观察者的眼睛在辐辏期间的焦点由观察者的大脑解释为另一估计深度。当辐辏和调节 信号由观察者的大脑解释为相同或相似的估计深度时，3d观看体验对于观察者来说是自然 而舒适的。另一方面，当辐辏和调节信号由观察者的大脑解释为基本上不同的估计深度时， 3d观看体验对于观察者来说是次最佳的，并且可能导致不适(眼睛疲劳、头痛等)和疲劳。这 样的问题被称为辐辏‑调节冲突。 [0010] 便携式vr/ar/mr系统还具有其他限制，诸如尺寸和便携性问题、电池寿命问题、系 统过热问题、处理能力、存储器、带宽、数据源、组件延迟以及其他系统和光学挑战，这些可 能对vr/ar/mr系统性能产生负面影响。在实现3d图像渲染技术用于自然辐辏和调节时，必 须考虑这些其他限制。为了调节vr/ar/mr系统的这些硬件相关限制，确定用户/观察者的焦 点通常很有用。虽然一些系统将用户/观察者的焦点映射到用户/观察者的辐辏点，但是眼 睛跟踪硬件和快速用户/观察者眼睛运动的限制降低了使用该方法确定用户/观察者的焦 点的准确度。确定用户/观察者的焦点允许vr/ar/mr系统有效地分配有限的硬件资源。特别 地，确定用户/观察者焦点的深度允许vr/ar/mr系统将有限的硬件资源引导到与用户/观察 者焦点重合的特定平面。 [0011] 确定用户/观察者焦点深度的一种方法是使用深度感测生成整个视场的深度图， 然后使用眼睛跟踪使用视场的深度图识别用户/观察者焦点的深度。深度感测是确定三维 (“3d”)空间(例如传感器)中的已知点与对象表面上的兴趣点(“poi”)之间的距离。深度感 测也称为纹理感测，因为确定表面上多个poi的相应距离确定了该表面的纹理。深度或纹理 感测对于许多计算机视觉系统有用，包括混合现实系统。就硬件(例如红外相机和红外光投 射器)和处理能力而言，生成深度图可能是一个要求很高的过程。对于移动的vr/ar/mr系 统，深度图将需要以处理能力、存储器、通信信道等方面的代价不断更新。 [0012] 需要用于处理图像数据和显示图像的改进的系统和技术，包括例如用于确定用 户/观察者的焦点深度用于向观察者/用户渲染和显示3d图像同时最小化辐辏‑调节冲突的 系统和技术，以及用于最小化对便携式vr/ar/mr系统的有限图形处理能力的需求同时这样 做的系统和技术。需要改进的系统和技术用于解决这些问题。本文所描述的系统和方法被 配置为解决这些和其他挑战。 [0013] 需要的是一种或多种技术来改进遗留技术和/或其他考虑的方法。本背景部分中 描述的一些方法是可以追求的方法，但不一定是先前设想或追求的方法。 发明内容 [0014] 在一个实施例中，一种用于确定三维(“3d”)显示设备的用户的焦点深度的方法包 括跟踪用户的第一注视路径。该方法还包括分析3d数据以识别沿着所述用户的所述第一注 视路径的一个或多个虚拟对象。所述方法还包括当仅一个虚拟对象与所述用户的所述第一 注视路径相交时，将所述仅一个虚拟对象的深度识别为用户的焦点深度。 [0015] 在一个或多个实施例中，一个或多个虚拟对象中的每一个在距所述用户的相应深 度处显示。分析多个3d数据可包括分析对应于3d数据的深度分割数据。该方法还可包括对 cn114830011 所述用户执行辐辏分析以生成所述用户的辐辏焦点深度，以及使用所述用户的所述辐辏焦点深度来改进所述用户的所述焦点深度的准确度。 [0016] 在一个或多个实施例中，当多于一个虚拟对象与所述用户的所述第一注视路径相 交时，该方法还可包括跟踪所述用户的第二注视路径。该方法还可包括分析所述3d数据以 识别沿着所述用户的所述第二注视路径的一个或多个虚拟对象。该方法还可包括当仅一个 虚拟对象与所述用户的所述第一注视路径和所述第二注视路径两者相交时，将所述仅一个 2d图像帧的深度识别为所述用户的所述焦点深度。 [0017] 在另一实施例中，一种用于确定三维(“3d”)显示设备的用户的焦点深度的方法包 括跟踪所述用户的第一注视路径。该方法还包括分析由所述显示设备显示的多个二维 (“2d”)图像帧以识别沿着所述用户的所述第一注视路径的一个或多个虚拟对象。该方法还 包括，当多个2d图像帧中的仅一个2d图像帧包括沿着所述用户的所述第一注视路径的虚拟 对象时，将所述仅一个2d图像帧的深度识别为所述用户的所述焦点深度。 [0018] 在一个或多个实施例中，多个2d图像帧中的每一个在距所述用户的相应深度处显 示。分析多个2d图像帧可包括分析对应于多个2d图像帧的深度分割数据。该方法还可包括 对所述用户执行辐辏分析以生成所述用户的辐辏焦点深度；以及使用所述用户的所述辐辏 焦点深度来改进所述用户的所述焦点深度的准确度。 [0019] 在一个或多个实施例中，当多个2d图像帧中的多于一个2d图像帧包括沿着所述用 户的所述第一注视路径的虚拟对象时，该方法还可包括跟踪所述用户的第二注视路径。该