鱼眼图像畸变矫正方法、装置和虚拟显示系统 -pg电子娱乐平台

(19)国家知识产权局(12)发明专利(10)授权公告号(45)授权公告日(21)申请号201910533932.5(22)申请日2019.06.19(65)同一申请的已公布的文献号申请公布号cn112116530(43)申请公布日2020.12.22(73)专利权人杭州海康威视数字技术股份有限公司地址310051浙江省杭州市滨江区阡陌路555号(72)发明人温武超　李佳宁　宋江新　毛慧　(74)专利代理机构北京三高永信知识产权代理有限责任公司11138专利代理师(51)int.cl.g06t5/00(2006.01)g06t5/50(2006.01)(56)对比文件cn106846410a,2017.06.13kr101912396b1,2018.10.26us2013257857a1,2013.10.03cn106464847a,2017.02.22cn107341787a,2017.11.10us2017195564a1,2017.07.06kr101916419b1,2019.01.30kr20140090775a,2014.07.18us2018150989a1,2018.05.31cn106651808a,2017.05.10cn107248178a,2017.10.13cn109769109a,2019.05.17cn109816587a,2019.05.28jp2012053602a,2012.03.15kr101915729b1,2018.11.06us2010053325a1,2010.03.04us2014125774a1,2014.05.08us2019012766a1,2019.01.10cn107545537a,2018.01.05肖朝等.基于鱼眼相机的全景显示系统几何校正方法.激光与光电子学进展.2016,第54卷(第02期),第021501-1021501-7页.审查员张文玉(54)发明名称鱼眼图像畸变矫正方法、装置和虚拟显示系(57)摘要本公开提供了一种鱼眼图像畸变矫正方法、装置和虚拟显示系统，涉及计算机视觉技术领域。包括：当对图像进行矫正时，获取第一鱼眼相机拍摄的第一图像；根据第一投影映射关系，将该第一图像中的像素点投影到多个第一虚拟视点相机的成像平面上，得到多个第一虚拟视点图像；将该多个第一虚拟视点图像拼接成该第一图像矫正后的第二图像。通过该多个第一虚拟视点相机可以得到该第一图像矫正后的第二图像。由于该多个第一虚拟视点相机的视域范围覆盖该第一鱼眼相机的视域范围，因此，通过该多个第一虚拟视点相机得到第一图像的矫正图像时，无需截取第一图像中的部分图像，不会减小可利用视域，得到的矫正后的第二图像中，保留的信息更加完整。权利要求书4页说明书28页附图5页cn1121165301.一种鱼眼图像畸变矫正方法，其特征在于，所述方法包括：当对图像进行矫正时，获取第一鱼眼相机拍摄的第一图像；根据第一投影映射关系，将所述第一图像中的像素点投影到多个第一虚拟视点相机的成像平面上，得到多个第一虚拟视点图像，所述第一投影映射关系用于存储所述第一鱼眼相机的像素位置与每个第一虚拟视点相机的像素位置之间的映射关系，所述多个第一虚拟视点相机组成的视域范围覆盖所述第一鱼眼相机的视域范围；将所述多个第一虚拟视点图像拼接成所述第一图像矫正后的第二图像；其中，确定所述第一投影映射关系的过程，包括：获取所述第一鱼眼相机拍摄的第三图像，以及获取所述多个第一虚拟视点相机拍摄的多个第二虚拟视点图像；根据所述第一鱼眼相机的第一投影参数和畸变参数，将所述第三图像映射到所述第一鱼眼相机的三维坐标系中，得到所述第三图像中的每个第一像素位置与所述三维坐标系中的每个第二像素位置之间的第一映射关系；确定所述多个第一虚拟视点相机的旋转矩阵的逆矩阵，得到多个第一逆矩阵，以及根据第二投影参数，确定所述多个第一虚拟视点相机的投影模型矩阵的逆矩阵，得到多个第二逆矩阵；对于任一第二虚拟视点图像中的任一像素点，确定所述任一第二虚拟视点图像中的任一像素点的第七像素位置；将所述第七像素位置乘以所述第二虚拟视点图像对应的第一虚拟视点相机的第一逆矩阵和第二逆矩阵，得到所述第七像素位置在所述三维坐标系中对应的第八像素位置；将所述第七像素位置处的像素点投影到所述第八像素位置处，得到所述每个第二像素位置与每个第二虚拟视点图像中的每个第三像素位置之间的第二映射关系；根据所述第一映射关系和所述第二映射关系，建立所述第一投影映射关系。2.根据权利要求1所述的方法，其特征在于，所述根据第一投影映射关系，将所述第一图像中的像素点投影到多个第一虚拟视点相机的成像平面上，得到多个第一虚拟视点图像，包括：对于每个第一虚拟视点相机的成像平面中的第一像素点位置，根据所述第一像素点位置和所述第一投影映射关系，确定与所述第一像素点位置对应的第二像素点位置；从所述第一图像中获取所述第二像素点位置对应的像素值，将所述像素值赋予所述第一像素点位置，得到第一虚拟视点图像。3.根据权利要求1所述的方法，其特征在于，所述根据所述第一鱼眼相机的第一投影参数和畸变参数，将所述第三图像映射到所述第一鱼眼相机的三维坐标系中，得到所述第三图像中的每个第一像素位置与所述三维坐标系中的每个第二像素位置之间的第一映射关系，包括：对于所述第三图像中的任一像素点，确定所述像素点的第四像素位置；根据所述畸变参数，对所述第四像素位置进行去畸变处理，得到第五像素位置；根据所述第一投影参数，对所述第五像素位置进行平移，得到所述第四像素位置在所述三维坐标系中对应的第六像素位置；将所述第四像素位置处的像素点投影到所述第六像素位置处，得到所述第一映射关cn1121165304.根据权利要求1所述的方法，其特征在于，所述根据所述第一映射关系和所述第二映射关系，建立所述第一投影映射关系，包括：根据所述第一映射关系和所述第二映射关系，确定所述三维坐标中，同一像素位置对应的第三图像中的第九像素位置和第二虚拟视点图像中的第十像素位置；建立所述第九像素位置与所述第十像素位置的映射关系，得到所述第一投影映射关5.根据权利要求1所述的方法，其特征在于，对图像进行矫正之前，所述方法还包括：获取所述多个第一虚拟视点相机配置参数；根据所述多个第一虚拟视点相机的配置参数，设置所述多个第一虚拟视点相机，所述多个第一虚拟视点相机在横向方向上组成的视域范围覆盖所述第一鱼眼相机在横向方向上的视域范围，且所述多个第一虚拟视点相机纵向方向上组成的视域范围覆盖所述第一鱼眼相机在纵向方向上的视域范围。6.根据权利要求1所述的方法，其特征在于，所述方法还包括：提取所述第二图像中的第一特征点，得到第一特征点集合；分别确定所述第一特征点集合中的每个第一特征点的第一描述子，得到第一描述子集根据所述第一投影映射关系，在所述第一图像中确定与所述第一特征点集合中的每个第一特征点对应的第二特征点，得到第二特征点集合； 将所述第二特征点集合和所述第一描述子集合确定为所述第一图像的特征点集合和 第一描述子集合。 7.根据权利要求6所述的方法，其特征在于，所述提取所述第二图像中的第一特征点， 得到第一特征点集合，包括： 在所述第二图像中确定所述第一图像所占的第一视场角覆盖范围内的图像区域； 提取所述图像区域中的第一特征点，得到所述第一特征点集合。 8.根据权利要求6所述的方法，其特征在于，所述方法还包括： 当对所述第一图像和第四图像进行匹配时，确定所述第四图像中的第三特征点集合以 及所述第三特征点集合对应的第二描述子集合； 根据所述第二特征点集合和所述第一描述子集合，以及所述第三特征点集合和所述第 二描述子集合，对所述第一图像和所述第四图像进行匹配。 9.根据权利要求8所述的方法，其特征在于，所述确定所述第四图像中的第三特征点集 合以及所述第三特征点集合对应的第二描述子集合，包括： 根据第二鱼眼相机的第二投影映射关系，对所述第四图像进行矫正，得到校正后的第 五图像，所述第二投影映射关系用于存储所述第二鱼眼相机的像素位置与多个第二虚拟视 点相机的像素位置之间的映射关系，所述多个第二虚拟视点相机组成的视域范围覆盖所述 第二鱼眼相机的视域范围； 提取所述第五图像中的第四特征点，得到第四特征点集合； 分别确定所述第四特征点集合中的每一个特征点的第二描述子，得到第二描述子集 cn112116530 根据所述第二投影映射关系，在所述第四图像中确定与所述第四特征点集合中的每一个特征点对应的第三特征点，得到第三特征点集合。 10.根据权利要求8所述的方法，其特征在于，所述根据所述第二特征点集合和所述第 一描述子集合，以及所述第三特征点集合和所述第二描述子集合，对所述第一图像和所述 第四图像进行匹配，包括： 对于所述第二特征点集合中的任一第二特征点，根据所述第二特征点在所述第一图像 中的第十一像素位置，从所述第三特征点集合中选择第三特征点，所述第三特征点为所述 第四图像中的第十一像素位置对应的特征点； 从所述第一描述子集合中选择与所述第二特征点对应的第一描述子，以及从所述第二 描述子集合中选择与所述第三特征点对应的第二描述子； 当所述第一描述子和所述第二描述子匹配时，确定所述第二特征点和所述第三特征点 匹配； 统计所述第一图像和所述第四图像匹配的特征点的第一数量； 当所述第一数量超过预设数量时，确定所述第一图像和所述第四图像匹配。 11.根据权利要求1‑10任一项所述的方法，其特征在于，所述第二图像所占的第二视场 角与所述第一图像所占的第一视场角的比值不小于预设数值；所述第二图像的边缘分辨率 不低于所述第二图像的中心分辨率。 12.根据权利要求1所述的方法，其特征在于，所述获取第一鱼眼相机拍摄的第一图像， 包括： 获取所述第一鱼眼相机拍摄的多个第六图像； 将所述多个第六图像，组成所述第一图像。 13.一种鱼眼图像畸变矫正装置，其特征在于，所述装置包括： 第一获取模块，用于当对图像进行矫正时，获取第一鱼眼相机拍摄的第一图像； 投影模块，用于根据第一投影映射关系，将所述第一图像中的像素点投影到多个第一 虚拟视点相机的成像平面上，得到多个第一虚拟视点图像，所述第一投影映射关系用于存 储所述第一鱼眼相机的像素位置与每个第一虚拟视点相机的像素位置之间的映射关系，所 述多个第一虚拟视点相机组成的视域范围覆盖所述第一鱼眼相机的视域范围； 拼接模块，用于将所述多个第一虚拟视点图像拼接成所述第一图像矫正后的第二图 第二获取模块，用于获取所述第一鱼眼相机拍摄的第三图像，以及获取所述多个第一虚拟视点相机拍摄的多个第二虚拟视点图像； 第一映射模块，用于根据所述第一鱼眼相机的第一投影参数和畸变参数，将所述第三 图像映射到所述第一鱼眼相机的三维坐标系中，得到所述第三图像中的每个第一像素位置 与所述三维坐标系中的每个第二像素位置之间的第一映射关系； 第二映射模块，用于确定所述多个第一虚拟视点相机的旋转矩阵的逆矩阵，得到多个 第一逆矩阵，以及根据第二投影参数，确定所述多个第一虚拟视点相机的投影模型矩阵的 逆矩阵，得到多个第二逆矩阵；对于任一第二虚拟视点图像中的任一像素点，确定所述任一 第二虚拟视点图像中的任一像素点的第七像素位置；将所述第七像素位置乘以所述第二虚 拟视点图像对应的第一虚拟视点相机的第一逆矩阵和第二逆矩阵，得到所述第七像素位置 cn112116530 在所述三维坐标系中对应的第八像素位置；将所述第七像素位置处的像素点投影到所述第八像素位置处，得到所述每个第二像素位置与每个第二虚拟视点图像中的每个第三像素位 置之间的第二映射关系； 建立模块，用于根据所述第一映射关系和所述第二映射关系，建立所述第一投影映射 关系。