2021年11月27日 | 移动GPU如何打造真实的光影游戏？

随着智能手机性能不断升级，手机游戏市场蓬勃发展，越来越多场景逼真的游戏深受游戏玩家喜爱，可以说，打造一个真实的游戏世界是人类不断追求的目标。随着元宇宙概念的走红，如果要在未来元宇宙的虚拟世界中重现真实环境，需要找到方法实现人眼对于这些目标的直觉感知，实时光线追踪技术或许就是关键的支撑技术之一。

一直以来，光线追踪技术主要应用在游戏领域，它通过模拟真实世界的光线变化、反射、倒影等特性，在游戏世界中展示与真实世界光影高度相似的3D场景，随着场景的不断增大，画面复杂程度的升高，光线追踪的效果会愈发明显。

在现实生活中，光源发出的虚拟光束会照射到物体上。然后光线会与该物体相互作用，并根据物体的表面性质再反射到另一个表面上。之后，光线会不停地进行反射，从而产生光和影。计算机中的光线追踪，更准确地说是“路径追踪”，其过程与真实世界中的光线照射路径是相反的。光线实际上是从摄像机的视角发射出来，照射到场景中的物体上，然后算法会根据光线所照射到的表面的性质来计算光线将如何与该表面相互作用。之后，会继续追踪每条光线照射到每个物体上的路径，直至返回光源。结果就是一个场景被照亮，就像其被真实世界中的太阳照亮一样：具有逼真的反射和阴影效果。

由于该技术对计算复杂性的高要求，最开始被运用在《阿凡达》、《头号玩家》、《失控玩家》等动画和电影中，其中的场景需要在专用服务器集群上用数月时间去渲染，这对于游戏来说并不适用。在游戏场景中必须以至少每秒30帧的速度实时生成，最好是两倍速度甚至更高。直到2018年，英伟达带着图灵架构的RTX系列显卡和DLSS等AI算法出现，才真正将光线追踪技术在PC和主机游戏中推向一轮高峰。

最近Imagination将光线技术引入了首个针对移动端优化的PowerVR Photon架构的IMG CXT系列中，这意味着移动端游戏玩家和开发者都将得到桌面级光线追踪功能的体验。

光线追踪引入移动端，Imagination GPU IP实现再次飞跃

在光线追踪问世之前，游戏中的画面主要采用“光栅化”技术进行渲染，可以实现一些局部照亮的光线效果，画面细节主要靠贴图。而光线追踪技术想要实现更加真实的画面，则需要显卡极高的图形运算能力。目前行业内已经有多个平台宣称支持光线追踪技术。

Imagination中国区战略市场与生态副总时昕表示，光线追踪可以在不同的性能和效率等级下执行，为了明确这一点，Imagination建立了光线追踪等级系统（RTLS），确定了从0级（Level 0）到5级（Level 5）共6个等级的光线追踪功能的要求。“0级代表传统解决方案，指早期碎片化的光追实现，包括Intel Embree、Caustic OpenRL等；1级代表传统GPU上的软件方案；2级开始加入面向光线追踪的专用硬件单元，包括ray-box和ray-triangle相交的处理问题等；3级代表具备硬件BVH处理能力；四级代表具体硬件BVH处理能力和相干性分类能力；5级代表带有BVH硬件生成器的相干性BVH处理功能。”他解释，“从1级到2级，加上硬件，性能有数十倍的提升，3级到5级则是固定功能硬件单元的逐渐增强。”

“2014年Imagination就创造了业界首个实时光线追踪硅架构，并演示了代号为‘Plato’的GR6500测试芯片。随后，Imagination一直在不断发展、完善和优化该架构，以实现最佳性能和功耗效率。但是当时整个生态还没有准备好，图形API没有与光线追踪相关的标准，相关的开发工具软件、游戏引擎等也没有光线追踪的功能。”时昕指出，“从2018年英伟达开始推出PC上的光线追踪开始，整个业界生态开始投入，在2020年Khronos图形标准化组织也推出了Vulkan API的光线追踪Extension，我们认为与合作伙伴一起推出具有光线追踪功能的芯片的时机已经到来。”

他指出，IMG CXT已经达到光线追踪L4等级，是“业界首款RTLS 4级光线追踪架构”，“全球第一个做到L4的硬件处理，而且是在移动端”，而且功耗比现有的RTLS 2/3级解决方案高2.5倍。

下图开启光线追踪后，用漂亮、真实、柔和的光线追踪阴影取代边缘生硬的阴影，所有物体都具有柔和的光线反射效果，有些阴影变得非常柔和，几乎看不见，但巧妙地增 加了照明的真实感。

根据官方资料，IMG CXT-48-1536 RT3 内核具有三个光线加速集群（RAC），可提供总体高达1.3 GRay/s的性能。这可以在移动设备的功耗预算下，以高帧率提供逼真的光线追踪阴影、反射、全局照明和环境光遮蔽效果。在光栅化图形处理性能方面也向前迈出了重要一步，与Imagination的上一代GPU IP相比，其计算、纹理和几何性能都提高了50%。它的低功耗超标量（superscalar）架构可在低时钟频率下提供高性能，从而实现卓越的帧率功耗比（FPS/W）效率，同时 Imagination图像压缩（IMGIC）技术可以大幅降低带宽需求。

RAC包含了光线存储（Ray Store）、光线任务调度器（Ray Task Scheduler）和相干性聚集器（Coherency Gatherer），并与两个128宽的统一着色器集群（USC）紧密耦合，USC拥有高速专用数据通路，可以实现最高效且功耗最低的光线追踪部署。Ray Store可以在处理过程中将光线数据结构保存在芯片上，并提供对 RAC中所有单元的高带宽读写访问，从而避免了将光线数据存储或读取至动态随机存取存储器（DRAM）所造成的速度降低或功耗增加。Ray Task Scheduler可以卸载着色器集群的任务，并通过专用硬件部署和追踪光线工作负载，同时保持高光线吞吐量和低功耗。独特的Coherency Gatherer单元可以分析所有传播中的光线，并将整个场景中的光线绑定成多个相干组，从而能够以更高的效率对它们进行处理。

目前， Imagination已完全支持主流API接口并跟应用厂商展开深度合作，支持OpenGL等渲染引擎。该公司透露正与完美世界、腾讯游戏、网易游戏等游戏大厂深入沟通、合作，同台探索光线追踪技术在游戏和其他场景中应用。

时昕强调，基于IMG A系列和B系列GPU打造的GPU IP产品C系列，将成为有史以来可用于所有游戏的最快移动GPU IP内核，同时由于其开放特性，IMG CXT支持多核扩展，可支撑互联网、云游戏所需的强大算力。

元宇宙和光线追踪

Imagination技术前瞻副总裁Kristof Beets强调，光线追踪作为一个很大的技术概念，各家平台实现它的技术都不一样，有一些通过软件模拟的方式去实现光线追踪的效果，但是Imagination是通过硬件化的手段来完成的，两者的效率不是一个级别，而且Imagination的效率高得多。

“采用软件方案也能在移动端实现光线追踪效果，但那只能在DEMO当中，如果应用于游戏，效果一定不太好。因为这种方案没办法在功耗和效果之间达到一个很好的平衡，软件仍然要使用大量的计算资源用于阴影和多边形的贴图。”Kristof Beets指出，“以前在复杂场景的光照效果，包括反射、阴影、全局照明等，都要靠着色器一个个去模拟计算，IMG CXT把渲染的负载转移到更为专用的硬件上面，效率更高的同时实现更低功耗。”

这次IMG CXT及其Photon架构的推出，意味着光线追踪技术的应用将扩展到游戏、移动、AR（增强现实）、数据中心和自动驾驶等更广泛领域中。例如，在汽车的人机界面（HMI）平台，IMG CXT能够让环绕视图、卫星导航和抬头显示器（HUD）等应用及设备实现更加逼真的图像和区域显示，还可为用户提供车内游戏和娱乐体验。

至于近来很火的元宇宙概念，Kristof  Beets认为，它还在不断进化，就如同他通过视频接入现场会议也是元宇宙的一部分。包括发展了很多年的VR/AR，仍然面临着很多技术困难，还没实现这个应用最理想的状态。“光线追踪很可能就是彻底实现VR/AR的一条途径，是VR/AR和相应的元宇宙所需一项技术，也让我们确信将光线追踪做得更高效、功耗更低是绝对正确的方向。未来，任何需要渲染的场景都可以加入光线追踪的技术让整个渲染效果看起来更加真实，具有更加自然的光影效果。”

针对中国市场需求，Imagination中国区董事长白农认为，首先，随着全球技术的不断进步，尤其是在5G、大数据时代，对于高性能计算、高算力的需求不断地快速提升。从处理器需求来看，除了传统的CPU之外，GPU、神经网络异构处理器的需求也跟随着应用场景在迅速提升，这方面GPU技术具有显著优势。另外，随着大数据算力的增加，对低功耗的需求也在不断增加，很多互联网公司和运营商最大的运营成本就是电费。

他还强调，中国云游戏市场正以肉眼可见的速度增长，这也是公司战略中非常重要的一块市场。“无论是在GPU、高性能计算的芯片还是低功耗方面，恰恰就是Imagination技术的核心优势。Imagination的商业模式就是支持客户的创新。并且提供GPU、CPU、AI加速、连接网络的全面产品组合，十分适应异构的发展趋势，满足客户多样化的需求。”他说，“Imagination希望把技术提供给中国市场、中国客户，让我们可以发展更多本土化的高性能计算芯片来支撑整个社会的发展。”

Imagination副总裁，中国区总经理刘国军补充说，中国市场在汽车、桌面计算机和数据中心等应用对图形、图像处理、AI等技术的需求十分强劲，大力推动了Imagination近几年的成长，2020年营业收入达到创纪录的1.25亿美元，今年预计再次创下新高，公司从总部到中国的管理层都有一个共识就是投入更多资源进行生态建设，帮助中国产业生态的成长。

据悉，目前已获得IMG CXT授权的客户从IP授权到集成进其SoC、流片，再进入到平台，推向市场，通常需要18-24个月，预计到2023年将有相关终端产品面市，届时消费者将能体验到硬件光线追踪技术带来的震撼效果。

在此之前，移动市场上的光线追踪产品仍然会在软件层面，直到硬件方案进入市场并呈现出巨大的优势