多服务器云虚拟现实(vr)流式传输 -pg电子娱乐平台

(19)国家知识产权局(12)发明专利(10)授权公告号(45)授权公告日(21)申请号201980048535.7(22)申请日2019.03.22(65)同一申请的已公布的文献号申请公布号cn112470483(43)申请公布日2021.03.09(30)优先权数据15/993,0642018.05.30us(85)pct国际申请进入国家阶段日2021.01.20(86)pct国际申请的申请数据pct/us2019/0236212019.03.22(87)pct国际申请的公布数据wo2019/231525en2019.12.05(73)专利权人索尼互动娱乐有限责任公司地址美国加利福尼亚州(72)发明人t.哈格兰德　(74)专利代理机构北京市柳沈律师事务所11105专利代理师(51)int.cl.h04n21/222(2011.01)g06f3/01(2006.01)h04n13/117(2018.01)h04n21/218(2011.01)h04n21/2187(2011.01)h04n21/6587(2011.01)h04n21/81(2011.01)h04n21/226(2011.01)h04l67/131(2022.01)g06t1/20(2006.01)g06t15/00(2011.01)g06t19/00(2011.01)(56)对比文件cn101197647a,2008.06.11cn106780769a,2017.05.31cn102414697a,2012.04.11cn106605407a,2017.04.26us2008/0291279a1,2008.11.27审查员(54)发明名称多服务器云虚拟现实(vr)流式传输(57)摘要一种分割层次图形处理器系统包括主节点，所述主节点响应于通过网络接收到的来自客户端装置的输入而执行虚拟现实(vr)应用，以生成用于vr环境中的图元。所述图形处理器系统包括渲染节点，所述渲染节点基于从所述vr环境中的位置获取的所述vr环境中的视图的图元来执行渲染，所述视图对应于所述vr环境的网格图。所述渲染节点中的每一者将相应视图的相应帧序列渲染、编码和流式传输到所述客户端装置。所述处理器系统包括资产库，所述资产库存储用于构建所述vr环境的对象的输入几何形状，其中所述资产库中的所述对象能够由所述主节点和所述渲染节点访问。权利要求书3页说明书24页附图11页cn1124704831.一种云系统中的分割层次图形处理器系统，其包括：在所述云系统的服务器处的主节点，其响应于通过网络接收到的来自用户的客户端装置的输入而执行虚拟现实(vr)应用，以生成vr环境中的多个对象的多个图元；在所述服务器处的多个渲染节点，其基于从所述vr环境中的位置获取的所述vr环境中的多个视图的多个图元来执行渲染，所述多个视图对应于所述vr环境的网格图，其中所述渲染节点中的每一者将所述多个视图中的相应视图的相应帧序列渲染、编码和流式传输到所述客户端装置，所述多个视图中的一个或多个被选择用于生成由所述客户端装置请求的所述vr环境中的视点的视图；以及资产库，其存储用于构建所述vr环境的所述多个对象的输入几何形状，其中所述资产库中的所述多个对象能够由所述主节点和所述多个渲染节点访问，其中所述网格图提供以所述vr环境中的所述位置为中心的所述vr环境的三维表示，其中所述网格图的多个侧面中的每一个对应于所述vr环境中所述多个视图中的一个。2.根据权利要求1所述的分割层次图形处理器系统，其中被流式传输的相应帧序列中的帧各自与识别符相关联，并且被配置成基于一个或多个帧序列和所述vr环境中的所述视点被解码和组装为所述vr环境的3d视图。3.根据权利要求1所述的分割层次图形处理器系统，其中所述主节点被配置成向所述多个渲染节点中的每一者同时广播所述多个图元。4.根据权利要求1所述的分割层次图形处理器系统，其中所述网格图包括立方体贴图，所述立方体贴图包括对应于所述多个视图的六个侧面。5.根据权利要求1所述的分割层次图形处理器系统，其中每一渲染节点专用于以一对一关系渲染所述网格图的相应视图。6.根据权利要求1所述的分割层次图形处理器系统，其中所述主节点包括物理模拟建模器，以用于将自然或所定义的物理定律的模拟应用于所述多个对象。7.根据权利要求1所述的分割层次图形处理器系统，其中每一渲染节点被配置成执行光栅化、片段着色、输出合并和帧缓冲。8.根据权利要求1所述的分割层次图形处理器系统，其中所述客户端装置包括一个或多个解码器，所述解码器被配置用于解码和缓冲从所述多个渲染节点接收的经编码流，并且其中所述客户端装置被配置用于基于所述vr环境中的视图的一个或多个经解码的经编码帧序列来生成在所述vr环境中的所述位置处的所述视点。9.根据权利要求1所述的分割层次图形处理器系统，其中所述渲染节点中的每一者被配置成将时间戳或帧号附加到所述相应帧序列的帧，以用于在所述客户端装置处同步来自不同帧序列的帧。10.根据权利要求1所述的分割层次图形处理器系统，其中所述渲染节点中的每一者在udp广播中将所述相应视图的相应帧序列流式传输到所述客户端装置。11.根据权利要求1所述的分割层次图形处理器系统，其中所述渲染节点中的每一者以全分辨率生成所述相应视图的所述相应帧序列。12.一种用于使用云系统的分割层次图形处理器系统来执行图形处理的方法，其包括：响应于来自用户的客户端装置的输入，在所述云系统的服务器处的主节点处执行虚拟cn112470483现实(vr)应用以生成所述vr应用的vr环境中的多个对象的多个图元；基于从所述vr环境中的位置获取的所述vr环境中的多个视图的多个图元，在所述服务器处的多个渲染节点处渲染多个帧序列，所述多个视图对应于所述vr环境的网格图；将所述多个对象的输入几何形状存储在资产库中，所述多个对象用于构建所述vr环境，其中所述资产库中的所述多个对象能够由所述主节点和所述多个渲染节点访问；以及在所述多个渲染节点中的每一渲染节点处编码与所述多个视图中的相应视图相关联的相应帧序列；以及从所述多个渲染节点中的每一渲染节点将所述相应帧序列流式传输到所述客户端装其中所述多个视图中的一个或多个被选择用于生成由所述客户端装置请求的所述vr环境中的视点的视图，其中所述网格图提供以所述vr环境中的所述位置为中心的所述vr环境的三维表示，其中所述网格图的多个侧面中的每一个对应于所述vr环境中所述多个视图中的一个。13.根据权利要求12所述的方法，其还包括：从所述主节点向所述多个渲染节点中的每一者同时广播所述多个图元。14.根据权利要求12所述的方法，其中所述网格图包括立方体贴图，所述立方体贴图包括对应于所述多个视图的六个侧面，并且每一渲染节点专用于以一对一关系渲染所述网格图的相应视图。15.根据权利要求12所述的方法，其还包括：在所述主节点处执行物理模拟以将自然或所定义的物理定律的模拟应用于所述多个 对象。 16.根据权利要求12所述的方法，其还包括： 在每一渲染节点处针对与所述相应视图相关联的所述相应帧序列中的帧执行光栅化、 片段着色、输出合并和帧缓冲。 17.根据权利要求12所述的方法，其中所述客户端装置被配置成： 解码多个经编码帧序列中的每一者；以及 将经解码的经编码帧序列存储在多个缓冲器中以供在被调用时显示；以及 基于所述vr环境中的视图的一个或多个经解码的经编码帧序列来生成在所述位置处 的所述视点。 18.根据权利要求12所述的方法，其还包括： 在所述渲染节点中的每一者处将时间戳或帧号附加到所述相应帧序列的帧，以用于在 所述客户端装置处同步来自不同帧序列的帧。 19.一种存储计算机程序的非暂时性计算机可读介质，所述计算机程序用于使用云系 统的分割层次图形处理器系统来执行图形处理，所述计算机可读介质包括： 用于响应于来自用户的客户端装置的输入在所述云系统的服务器处的主节点处执行 虚拟现实(vr)应用以生成所述vr应用的vr环境中的多个对象的多个图元的程序指令； 用于基于从所述vr环境中的位置获取的所述vr环境中的多个视图的多个图元来在所 述服务器处的多个渲染节点处渲染多个帧序列的程序指令，所述多个视图对应于所述vr环 境的网格图； cn112470483 用于将所述多个对象的输入几何形状存储在资产库中的程序指令，所述多个对象用于构建所述vr环境，其中所述资产库中的所述多个对象能够由所述主节点和所述多个渲染节 点访问； 用于在所述多个渲染节点中的每一渲染节点处编码与所述多个视图中的相应视图相 关联的相应帧序列的程序指令；以及 用于从所述多个渲染节点中的每一渲染节点流式传输所述相应帧序列的程序指令， 其中所述多个视图中的一个或多个被选择用于生成由所述客户端装置请求的所述vr 环境中的视点的视图， 其中所述网格图提供以所述vr环境中的所述位置为中心的所述vr环境的三维表示， 其中所述网格图的多个侧面中的每一个对应于所述vr环境中所述多个视图中的一个。 20.根据权利要求19所述的计算机可读介质，其还包括： 用于从所述主节点向所述多个渲染节点中的每一者同时广播所述多个图元的程序指 21.根据权利要求19所述的计算机可读介质，其中所述网格图包括立方体贴图，所述立方体贴图包括对应于所述多个视图的六个侧面，并且每一渲染节点专用于以一对一关系渲 染所述网格图的相应视图。 22.根据权利要求19所述的计算机可读介质，其还包括： 用于在所述主节点处执行物理模拟以将自然或所定义的物理定律的模拟应用于所述 多个对象的程序指令。 23.根据权利要求19所述的计算机可读介质，其还包括： 用于在每一渲染节点处针对与所述相应视图相关联的所述相应帧序列中的帧执行光 栅化、片段着色、输出合并和帧缓冲的程序指令。 24.根据权利要求19所述的计算机可读介质，其中所述客户端装置被配置成： 解码多个经编码帧序列中的每一者；以及 将经解码的经编码帧序列存储在多个缓冲器中以供在被调用时显示；以及 基于所述vr环境中的视图的一个或多个经解码的经编码帧序列来生成在所述位置处 的所述视点。 25.根据权利要求19所述的计算机可读介质，其还包括： 用于在所述渲染节点中的每一者处将时间戳或帧号附加到所述相应帧序列的帧以用 于在所述客户端装置处同步来自不同帧序列的帧的程序指令。 cn112470483 多服务器云虚拟现实(vr)流式传输技术领域 [0001] 本公开涉及计算机生成的图像，且更具体来说涉及计算机生成的图形的实时渲 背景技术[0002] 渲染管道中虚拟现实(vr)场景的计算机渲染需要中央处理单元 (cpu)和图形处 理单元(gpu)资源。vr场景可以在宽观看范围内渲染，但仅显示所述观看范围的较小部分。 此外，vr场景可能比传统场景更复杂，并且还可能需要更高的帧速率来进行图像处理，以避 免用户晕动病。 [0003] vr场景可以被生成为例如立方体贴图，所述立方体贴图用于将vr场景从给定位置 投影到立方体的侧面上。立方体围绕着生成视图的位置。特别地，立方体贴图的每一侧面通 过渲染vr环境中所述位置的相应视图的vr场景而生成。立方体贴图查看器会将给定视点的 一个或多个视图混合到vr环境中。 [0004] 通常，包括cpu和gpu的单个计算资源被用于执行立方体贴图的视图的渲染。然而， 计算资源可能无法在不引起用户晕动病的情况下处理vr场景，而在处理能力方面也没有实 现一些成本节省措施。例如，立方体贴图中的不用于生成用户在vr环境中的视点的视图可 以以比用于生成视点的那些视图更低的分辨率生成。也就是说，如果用户在280度到40度 (向前)的范围之间查看vr环境(例如，对应于角色的位置)，则以低分辨率渲染对应于180度 (向后)的立方体贴图视图。然而，当用户物理地转动他的头来查看vr环境的其他区域时(例