虚拟几何纹理(下)
几何纹理既可以与底曲面相加得到阳刻浮雕,也可以与底曲面几何相减得到阴刻,如图10和11所示,
图10. 马头的颜色纹理,几何纹理。
图11. 阳刻几何纹理,阴刻几何纹理【4】。
同样,可以将龙或者玫瑰曲面制成几何图像,从而转换成几何纹理,做成三维刺青,如图12所示,
图12. 三维刺青Tatoo【4】。
图13.自然赖瓜的几何纹理提取。
自然的几何物体大多具有丰富的几何纹理。2006年,丘成桐先生、张松教授和老顾提出了基于结构光的几何纹理提取方法【4】。如图13所示,从农贸市场上买了一个赖瓜,用三维结构光方法获取三维几何曲面(左帧),再用数字几何方法将曲面光滑化(中帧),然后计算两张曲面的区别,从而提取赖瓜曲面的几何纹理(右帧)。在【4】中,提出用GPU来渲染基底曲面(中帧)和几何纹理(右帧),从而得到左帧的绘制效果。
虚拟几何纹理
图14. 每个雕像具有3300万个多边形。
GPU的显存很有限,无法存储尺寸巨大的几何纹理或者图像纹理。受到虚拟内存技术的启发,虚拟纹理技术将纹理图像切割成很多页面(tiles),动态将当前场景需要的纹理图像页面调入GPU显存,并且实时修改虚拟纹理地址和物理纹理地址之间映射的Lookup Table。程序开发者在虚拟地址空间上编写程序,底层虚拟纹理的软硬件系统对于程序员透明。因此,虚拟纹理系统可以支持无限巨大的纹理图像。同样,将传统纹理图像替换成几何纹理(几何图像),从而可以支持无限大的几何数据。
根据Eurogamer对Epic Game的采访【1】,Epic Game的演示中每个武士雕像都有3300万个多边形,如图1所示,其几何细节是由数字艺术家用ZBrush工具设计出来,其逼真程度令人惊叹!每个武士雕像的曲面分成八片,包括头部、躯干、胳膊、下肢等部分;每片曲面被三张纹理图像覆盖,每张纹理图片是8k乘以8k,纹理图像包括一张基本颜色,一张金属色泽/粗糙程度,第三张是Nanite技术的关键:几何纹理,表示成几何图像(貌似传统的法向贴图,但本质上是几何图像,区别请参看图3)。基于虚拟几何纹理技术,Nanite技术可以支持史无前例的几何复杂度,从而达到异常逼真的绘制效果,这极大地解放了艺术家的创意和才华。同时,法向贴图不再必需,曲面几何压缩、细节层次LOD、烘焙等传统技术也将被时代所扬弃。
虚拟阴影图
图15. 自我遮挡的阴影表面,几何细节不是法向贴图,而是几何纹理。
如果贴近观察,可以看到几何细节会产生复杂的自我遮挡阴影,这意味着几何细节并非由法向贴图逼近,而是货真价实的几何纹理。为了渲染复杂的几何纹理,Epic Game应用了虚拟阴影图(shadow map)技术。所谓阴影图(shadow map)原理如下,将镜头移到点光源处,绘制整个场景,用z-buffer计算相互遮挡关系。这样得到的图像就是阴影图,这里每个像素存储z-buffer中的深度信息。然后,将镜头移到原来位置,重新绘制。对于屏幕上的任意一个像素加上深度信息,计算其在阴影图中对应的像素,然后比较两个深度信息。如果两个深度信息不一致,则当前像素处于阴影之中。Epic Game为每一个点光源(例如太阳、手电筒)绘制一张16k的阴影图,存储成阴影图纹理。由于阴影图过大,超过GPU的内存,他们再度使用虚拟化技术,即用虚拟纹理技术来处理阴影图。虚拟阴影图技术突破了阴影图尺寸的限制,使得阴影的边缘如同刀片般的锋利,这极大地增强了绘制效果。
小结
Nanite虚拟微多边形几何技术本质是将传统的虚拟纹理技术与几何图像技术相结合,用纹理图像来表达几何纹理,从而可以支持无限复杂的几何数据,极大地解放了艺术家的创意和才华。
几何数据与图像数据的统一表达是这项技术的关键,将复杂几何曲面转换成粗糙的基底曲面与细致的几何纹理,需要用到曲面参数化技术,而曲面参数化技术的根基是共形几何【5】与最优传输、蒙日-安培方程理论【3】。相信依随虚幻引擎5的发布,游戏工业会对大规模曲面参数化的算法产生强烈需求,这将会推动年轻学子们对于学习几何理论知识的热情。【6】给出了线上共形参数化的演示,【7】给出了线上最优传输映射的演示。
【1】https://www.eurogamer.net/articles/digitalfoundry-2020-unreal-engine-5-playstation-5-tech-demo-analysis
【2】X. Gu, S. Gortler and H. Hoppe, Geometry Images, SIGGRAPH 2002, http://hhoppe.com/proj/gim/
【3】Gu, Luo, Sun, Yau, "Variational Principles for Minkowski Type Problems, Discrete Optimal Transport, and Discrete Monge-Ampere Equations", AJM Vol. 20, 2016.
【4】X. Gu, S. Zhang, R. Martin, P. Huang and Shing-Tung Yau, "Holoimages", Solid and Physical Modeling 2006.
【5】顾险峰,丘成桐,《计算共形几何-理论篇》,高等教育出版社,International Press,2020,5.
【6】https://www3.cs.stonybrook.edu/~gu/demo/index.html
【7】http://conformalgeometry.org/summer_school_2020/