用于将vr 360视频下发给远程终端用户的可缩放fov -pg电子娱乐平台

(19)中华人民共和国国家知识产权局(12)发明专利(10)授权公告号(45)授权公告日(21)申请号201880082956.7(22)申请日2018.07.05(65)同一申请的已公布的文献号申请公布号cn111567052(43)申请公布日2020.08.21(30)优先权数据pct/ep2017/0844772017.12.22ep(85)pct国际申请进入国家阶段日2020.06.22(86)pct国际申请的申请数据pct/ep2018/0683132018.07.05(87)pct国际申请的公布数据wo2019/120638en2019.06.27(73)专利权人华为技术有限公司地址518129广东省深圳市龙岗区坂田华为总部办公楼(72)发明人(74)专利代理机构北京同立钧成知识产权代理有限公司11205代理人(51)int.cl.h04n21/2343(2006.01)h04n21/24(2006.01)h04n21/6587(2006.01)h04n21/81(2006.01)(56)对比文件wo2017127816a1,2017.07.27cn106358033a,2017.01.25cn105939482a,2016.09.14(54)发明名称用于将vr360视频下发给远程终端用户的可缩放fov (57)摘要一种用于将虚拟现实(virtualreality，简称vr)数据的选择的视口流下发给多个客户端设备中的每个客户端设备的分发设备，包括处理单元，用于：接收vr视频文件的多个扩展视口流，其中，每个扩展视口流包括扩展视场(extendedfieldview，简称efov)帧序列，所述扩展视场帧是为构成所述vr视频文件中定义的球体的多个重叠段中各自的重叠段创建的；在多次迭代中的每次迭代中，通过为所述客户端设备中的每个客户端设备执行以下操作，将所述多个扩展视口流中选择的一个扩展视口流下发给所述多个客户端设备中的每个客户端设备：(1)接收各自的所述客户端设备的当前方位数据；(2)根据所述当前方位数据，从所述多个扩展视口流中选择一个；(3)将所述选择的扩展视口流传输给各自的所述客户端设备。权利要求书3页说明书31页附图15页cn111567052(56)对比文件jillboyce等.sphericalviewportsetavc360video.《26thjct-vcmeeting；12-20january2017；geneva》.2017,(第jctvc-z0034期),1-5.lanxie等.360probdash：improvingqoe360videostreamingusingtile-basedhttpadaptivestreaming.《proceedings2017acmmultimediaconfrence》.2017,第10.145/3123266.3123291卷315-323.2/2[接上页]cn1115670521.一种用于生成虚拟现实vr数据的多个扩展视口流，以下发给多个客户端设备的编码装置，包括：处理单元，用于：将投影为等距柱状投影erp格式的vr视频文件中定义的球体分割成多个重叠段；在多次迭代中的每次迭代中，通过执行以下操作为所述vr视频文件创建多个扩展视口旋转所述球体的所述多个重叠段中的每个重叠段；从所述球体的多个旋转重叠段中的每个旋转重叠段裁剪各自的扩展视场efov帧；指示网络将所述多个旋转重叠段中的每个旋转重叠段各自的所述efov帧传输给一个或多个分发设备；所述处理单元还用于：根据所述efov帧的面积，将所述球体分割成所述多个重叠段，其中，所述efov帧的面积是根据所述装置与一个或多个所述分发设备之间通信的估计时延值计算；所述处理单元根据包括来自一个或多个所述分发设备的往返时延rtt数据的体验质量qoe消息中包含的时间戳计算所述估计时延值。2.根据权利要求1所述的编码装置，其特征在于，所述处理单元根据所述efov帧的面积，将所述球体分割成所述多个重叠段，其中，所述efov帧的面积是根据用于呈现所述多个扩展视口流中的一个扩展视口流的显示器的最大角速度计算。3.根据权利要求1或2所述的编码装置，其特征在于，所述处理单元用于按照多种投影格式中的一种对所述efov帧进行编码，其中，所述多种投影格式包括由以下一个或多个：erp、直线投影、立方体图投影cmp、等面积投影eap、八面体投影ohp以及柏拉图固体投影psp。4.根据权利要求1或2所述的编码装置，其特征在于，所述处理单元在将每个所述efov帧添加到所述多个扩展视口流中的各自的扩展视口流之前，将每个所述efov帧从等距柱状投影格式转换为直线格式。5.根据权利要求1或2所述的编码装置，其特征在于，所述处理单元还用于通过从所述vr视频文件的图像组gop的连续帧开始重复多个迭代中的每个迭代，为所述多个扩展视口流中的每个扩展视口流创建多个瞬时解码刷新idr移位视口流，其中，为所述多个扩展视口流中的每个扩展视口流创建的所述多个瞬时解码刷新idr移位视口流的数量等于所述gop中的帧的数量，使得所述多个扩展视口流中的每个扩展视口流的所述多个瞬时解码刷新idr移位视口流中的每个idr移位视口流包括所述gop中的不同帧位置的idr帧。6.根据权利要求1或2所述的编码装置，其特征在于，所述处理单元还用于将所述多个扩展视口流中的至少一个扩展视口流本地存储到所述编码装置中，直到由一个或多个所述分发设备请求为止。7.一种用于生成虚拟现实vr数据的多个视口流，以下发给多个客户端设备的方法，其特征在于，包括：操作编码装置中的处理单元以执行以下操作：将投影为等距柱状投影erp格式的vr视频文件中定义的球体分割成多个重叠段；在多次迭代中的每次迭代中，通过执行以下操作为所述vr视频文件创建多个扩展视口cn111567052旋转所述球体的所述多个重叠段中的每个重叠段；从所述球体的多个旋转重叠段中的每个旋转重叠段裁剪各自的扩展视场efov帧；指示网络将所述多个旋转重叠段中的每个旋转重叠段各自的所述efov帧传输给一个或多个分发设备；还操作编码装置中的处理单元以执行以下操作：根据所述efov帧的面积，将所述球体分割成所述多个重叠段，其中，所述efov帧的面积是根据所述装置与一个或多个所述分发设备之间通信的估计时延值计算；所述处理单元根据包括来自一个或多个所述分发设备的往返时延rtt数据的体验质量qoe消息中包含的时间戳计算所述估计时延值。8.一种用于将虚拟现实vr数据的多个视口流中选择的一个视口流下发给多个客户端设备中的每个客户端设备的分发设备，其特征在于，包括：处理单元，用于：通过网络接收vr视频文件的多个扩展视口流，其中，所述多个扩展视口流中的每个扩展视口流包括扩展视场efov帧序列，所述扩展视场efov帧是为构成所述vr视频文件中定义 的球体的多个重叠段中各自的重叠段创建的； 在多次迭代中的每次迭代中，通过为所述多个客户端设备中的每个客户端设备执行以 下操作，将所述多个扩展视口流中的一个扩展视口流下发给通过一个或多个其它网络连接 到所述分发设备的所述多个客户端设备中的每个客户端设备： 接收各自的所述客户端设备的当前方位数据； 根据所述当前方位数据，从所述多个扩展视口流中选择一个； 将所述选择的扩展视口流传输给各自的所述客户端设备； 所述处理单元还用于：接收来自各自的所述客户端设备的往返时延rtt数据，所述rtt 数据在包含时间戳的体验质量qoe消息中被接收；其中，所述处理单元根据所述时间戳来计 算各自的所述客户端设备和所述分发设备之间通信的估计时延值，其中，根据所述估计时 延值计算所述efov帧的面积。 9.根据权利要求8所述的分发设备，其特征在于，所述多个扩展视口流中的一个或多个 在接收后本地存储在所述分发设备中，直至被下发给一个或多个所述客户端设备。 10.根据权利要求8所述的分发设备，其特征在于，所述方位数据包括以下一个或多个： 各自的所述客户端设备的水平视场fov角度值、垂直fov角度值、偏航值、滚转值和俯仰值。 11.根据权利要求8所述的分发设备，其特征在于，各自的所述客户端设备的当前方位 数据包括所述时间戳。 12.根据权利要求8所述的分发设备，其特征在于，各自的所述客户端设备的当前方位 数据包括各自的所述扩展视口流的图像组(group pictures，简称gop)中当前呈现的帧的指示，各自的所述扩展视口流包括由各自的所述客户端设备的显示器当前呈现的efov。 13.根据权利要求8至12任一项所述的分发设备，其特征在于，对于所述多个客户端设 备中的每个客户端设备，所述处理单元还用于从为所述多个扩展视口流中的每个扩展视口 流接收的多个瞬时解码刷新idr移位视口流中选择一个，其中，为所述多个扩展视口流中的 每个扩展视口流接收的所述多个瞬时解码刷新idr移位视口流中的每个idr移位视口流包 括各自的所述扩展视口流在gop中的不同帧位置的idr帧； 所述处理单元在基于从各自的所述客户端设备接收的所述当前方位数据的情况下，根 cn111567052 据从各自的所述客户端设备接收的当前呈现的帧的指示选择所选择的idr移位视口流，所述处理单元确定从当前传输到各自的所述客户端设备的所述多个扩展视口流的当前扩展 视口流切换到所述多个扩展视口流的相邻视口流； 所述相邻视口流包括为所述多个重叠段中的重叠段创建的efov帧，所述重叠段与所述 当前扩展视口流中编码的所述多个重叠段中的当前重叠段相邻。 14.根据权利要求8至12任一项所述的分发设备，其特征在于，所述处理单元还用于：根 据为所述客户端设备估计的未来方位数据的预测，为所述多个客户端设备中的一个或多个 客户端设备选择所述扩展视口流。 15.根据权利要求8至12任一项所述的分发设备，其特征在于，所述处理单元还用于：根 据从各自的所述客户端设备接收的指示所请求的扩展视口流的请求，为所述多个客户端设 备中的一个或多个客户端设备选择所述扩展视口流。 16.一种用于将虚拟现实vr数据的多个视口流中选择的一个视口流下发给多个客户端 设备中的每个客户端设备的方法，其特征在于，包括： 使用分发设备中的处理单元以： 通过网络接收vr视频文件的多个扩展视口流，其中，所述多个扩展视口流中的每个扩 展视口流包括扩展视场efov帧序列，所述扩展视场efov帧是为构成所述vr视频文件中定义 的球体的多个重叠段中各自的重叠段创建的； 在多次迭代中的每次迭代中，通过为所述多个客户端设备中的每个客户端设备执行以 下操作，将所述多个扩展视口流中的一个扩展视口流下发给通过一个或多个其它网络连接 到所述分发设备的所述多个客户端设备中的每个客户端设备： 接收各自的所述客户端设备的当前方位数据； 根据所述当前方位数据，从所述多个扩展视口流中选择一个； 将所述选择的扩展视口流传输给各自的所述客户端设备； 还使用分发设备中的处理单元以：接收来自各自的所述客户端设备的往返时延rtt数 据，所述rtt数据在包含时间戳的体验质量qoe消息中被接收；其中，所述处理单元根据所述 时间戳来计算各自的所述客户端设备和所述分发设备之间通信的估计时延值，其中，根据 所述估计时延值计算所述efov帧的面积。 cn111567052 用于将vr360视频下发给远程终端用户的可缩放fov [0001] 相关申请案交叉申请 [0002] 本申请要求于2017年12月22日提交申请号为pct/ep2017/084477、发明名称为“为