2021年11月25日 | 实现无限创意，解读Omniverse与Studio重要更新

近日，NVIDIA通过线下媒体沟通会，将NVIDIA Omniverse和 NVIDIA Studio两款产品的新变化、新技术、软硬件综合堆栈等相关内容，进行了详细诠释。

在刚刚闭幕的2021秋季GTC大会上，NVIDIA联合创始人及CEO黄仁勋先生演示了很多用NVIDIA Omniverse创建模拟仓库、模拟工厂，或者把物理和生物系统、5G的边缘部署、机器人、自动驾驶车辆，甚至数字孪生全部联结在一起的虚拟世界。

作为视觉运算领袖，GPU的发明者，NVIDIA在很多年前便提出了物理模型、物理加速的概念，使电脑渲染出的画面和图象逼真且更符合自然规律。NVIDIA致力于加速计算、智能计算，并把AI计算引入到Omniverse操作中，使其成为Omniverse的组件，最后把Omniverse变成创建和连接虚拟世界与真实世界的模拟引擎，这就是Omniverse的愿景和模拟引擎的初衷。

NVIDIA中国区高级技术市场经理施澄秋表示，以前的网站是非常简陋的，只有文字、MIDI音乐、 Flash等，与虚拟现实、虚拟世界、3D数字分身和虚拟数字人偶完全不同，且不具备AI。而NVIDIA Omniverse 能够创造一个全新且真正的虚拟世界，能够为科学家、创意工作者、大型商业公司建造并且遵循真实世界中物理定律的虚拟世界增加很多内容和创新。Omniverse是一个综合性平台，它能创造一个全新且真正的虚拟世界，将领先的图形计算、物理模拟和人工智能等技术全部融合在一起，让创意工作人员、科学家、物理学家以及电脑专家连接在虚拟世界里，是NVIDIA在整个工作体系中的巅峰之作。

从2020年秋季GTC大会上NVIDIA 推出Omniverse公测版至今，已拥有14个基于Omniverse Connect和扩展的程序，超过15款ISV专业应用程序和应用软件能支持USD（通用场景描述）。Omniverse与全球超过500位设计师进行合作，累计下载超过7万次。其中，还有 700 多家公司的专业人士使用。这些公司包括宝马集团、CannonDesign、Epigraph、Ericsson、建筑公司 HKS 和 KPF、Lockheed Martin 以及 Sony Pictures Animation。Omniverse的未来存在巨大发展潜力。

在2021秋季GTC大会上，Omniverse公布了几大全新特性：Showroom、Farm、AR和VR。

Omniverse Showroom：使用最新NVIDIA RTX技术的显卡，在Showroom里面可以看到Omniverse具体的作用是展示平台，让用户了解Omniverse的作用、给开发者提供灵感。它是NVIDIA的先导性、鼓舞性和启发性的演示场景。在NVIDIA看来，能够引导并启发Omniverse的开发者对Omniverse应用领域进行思考，对市场有一定的教育意义。

Omniverse Farm： 在Farm组件中，系统层（system layer）可以针对多GPU进行多节点渲染和模拟。在这次秋季GTC大会上超过6万帧的画面就是由Omniverse Farm来渲染和管理的，这些资源共跨越了大概800台设备去做整体的调度和管理，而且可以进行规模堆叠和拓展，资源伸缩非常弹性。这就是它的一个多节点的渲染和模拟的功能。

Omniverse AR：是用图形串流的方式，把增强型现实串流到设备上。至今已通过它来串流超过10个亿个iOS用户以AR的方式应用Omniverse平台去工作。

Omniverse VR：更加先进，支持全帧率的实时光线追踪，可以做到实时虚拟现实，目前还在开发中。

在此次GTC大会上，NVIDIA宣布主要针对大型企业用户的Omniverse Enterprise已进入正式发布阶段，Omniverse Enterprise允许跨多个软件套件工作的全球 3D 设计团队在共享虚拟空间中通过任意设备实时协作，提高远程协作能力，并对3D制作流程进行管理。Omniverse Enterprise是一个端到端的协作、仿真模拟平台，从软件到硬件都已经获得了NVIDIA的优化。NVIDIA从今年9月份开始，已经陆续完成对合作伙伴的认证，只要购买拥有认证贴纸的产品或参与这个项目的合作伙伴系统，就可以安全无忧地运行Omniverse Enterprise平台。目前已经有非常多的公司，顶级业界合作伙伴在使用Omniverse Enterprise平台，来帮助他们完成在分布式3D协同设计、工业级数字孪生等各行各业的应用。

Omniverse已经成为跨行业的数字孪生基础平台。这里展示两个基于Omniverse Enterprise应用例子，分别是爱立信的城市5G网络部署建设以及与洛克希德·马丁联合打造的美国西部山火预防与解决方案。

爱立信在使用NVIDIA数字孪生城市实景来帮助他们建造和部署5G网络进行优化。Omniverse可以生成很多物理参数匹配到数字孪生城市里，能实时地模拟和像素化波束和5G信号。利用RTX GPU光线追踪功能做路径渲染，调整不同颜色的光线确定信号的强弱、数据吞吐量等等。借助这种思路可以调整基站的位置、防止移动车辆、虚拟大流量对信号造成的影响，甚至可以借助Omniverse VR在虚拟世界中亲身验证。验证得到可行之后才到真实的物理世界去做，大大提高部署的效率，降低成本，提升经济性。

下面这个例子是讲洛克希德·马丁公司用数字孪生来研究美国西部山火的解决方案。

NVIDIA与美国洛克希德·马丁公司建立一个以人工智能为基础的实验室，把这个实验室和基础建设照搬到Omniverse Enterprise这个平台上来，结合洛克希德·马丁公司的很多实时传感软件，在数字孪生的模拟平台，去预测整个加州山火蔓延的路径和规模，告诉消防人员什么时间可以采取什么策略。

在这次GTC大会上，NVIDIA还宣布基于Omniverse Enterprise为数字孪生开发的物理人工智能开发框架NVIDIA Modulus和NVIDIA Omniverse Replicator。

NVIDIA Modulus可通过使用物理加速的机器学习和训练数据，并进行深度神经网络模型训练，同时把自然界的一些物理规律分装到数字孪生中，让其中虚拟出来的替代模型，能够拥有跟自然界真实物理定律相媲美的真实性。最后NVIDIA Modulus输出一个替代模型，应用在各种各样的应用程序上。NVIDIA Modulus平台已经在Omniverse Enterprise可用，现支持多节点多范围的训练，能支持千倍甚至达到十万倍数字的提升。专为数字分身训练和深度神经网络来做优化。

NVIDIA Omniverse Replicator是一款性能强大的合成数据生成引擎，能够生成用于训练深度神经网络的物理模拟合成数据。基于Omniverse Replicator还有两个用于生成合成数据的应用，它们分别是用于承载自动驾驶汽车数字孪生的虚拟世界——NVIDIA DRIVE Sim和用于可操纵机器人数字孪生的虚拟世界——NVIDIA Isaac Sim。

这两个Replicator应用使开发者能够以人类无法做到的方式引导AI模型、填补现实世界的数据空白，并标记真值数据。在这些虚拟世界中产生的数据可以涵盖各类不同场景，包括在现实世界中无法经常经历或安全体验的罕见和危险情况。使用这些数据构建的自动驾驶汽车和机器人可以在一系列虚拟环境中掌握技能，然后再应用到物理世界中。

在本届GTC大会上，黄仁勋展示了两个数字分身的例子： Project Tokkio和 Toy-me。这两个例子都是基于Omniverse Avatar开发。Omniverse Avatar能够连接NVIDIA在语音AI、计算机视觉、自然语言理解、推荐引擎和模拟方面的技术。在该平台上创建的虚拟形象是具有光线追踪3D图像效果的交互式角色，可以看到、说话、谈论各种主题，以及合理地理解表达意图。在第一个Project Tokkio演示中，黄仁勋展示了NVIDIA的同事们与一个黄仁勋的卡通虚拟形象进行互动——就生物学和气候科学等话题开展对话。

在第二个Project Tokkio演示中，黄仁勋着重介绍了餐厅自助服务亭中的一个客户服务虚拟形象。演示中，有两名顾客正在订购素食汉堡、薯条和饮料，该虚拟形象看到了他们、与他们交谈并理解了他们。这些演示由NVIDIA AI软件和目前全球最大的可定制语言模型——Megatron 530B驱动。

Project Maxine是基于NVIDIA Maxine的SDK去做视频会议、远程协作、远程呈现数字人偶、数字化身的对话。它应用在黄仁勋的数字分身Toy-me上。

Omniverse Avatar能够连接NVIDIA在语音AI、计算机视觉、自然语言理解、推荐引擎和模拟方面的技术。在该平台上创建的虚拟形象是具有光线追踪3D图像效果的交互式角色，可以看到、说话、谈论各种主题，以及合理地理解表达意图。

Omniverse Avatar为AI助手的创建开辟了道路，而且可以根据各个行业的需求轻松定制。AI助手可以帮助处理数十亿次日常客户服务互动，比如餐厅订单，银行交易，个人预约和预订等，带来更多商机并提升客户满意度。

除了Omniverse，NVIDIA Studio对于NVIDIA来说也非常重要。NVIDIA Studio是横跨了企业级和消费级的应用，最后会落地在Omniverse平台上。所有NVIDIA Studio的用户都可以通过NVIDIA Studio认证的设备，去使用NVIDIA Omniverse平台。

NVIDIA Studio的用户数量非常庞大，除了数以亿计PC爱好者，还有4500万专业人士和自由职业者。超过3千万的实时流媒体UP主可能会利用到NVIDIA Studio平台、Omniverse技术，来加速后期创意工作流程，以制作更好的特效，实现更逼真、更栩栩如生、更有亲和力的画面效果、数字内容。还有8500万的学生，其中学习媒体、工程、数学、技术、理工等科目的学生需要配备非常强大的GPU的PC。

前面介绍的NVIDIA Omniverse中的许多组件：Replicator、Maxine、Avatar都是通过Studio SDK进行随时调用的，无论是物理模拟、仿真、加速、光线追踪等，还是基于Maxine的人工智能视频会议加速、调用Riva做嘴形的匹配，都可以融合到 NVIDIA Studio SDK 中，进而加速应用程序，优化应用程序在 Omniverse、NVIDIA GPU 上的性能。

这次会上还展示了NVIDIA Broadcast的更新，利用NVIDIA Broadcast和NVIDIA Studio SDK可以做出各式各样的应用和功能，而这些功能还在不断的增强、迭代。比如把Riva加进SDK，拥有了对于自然语言处理能力NLAP，它能识别背景里的尖叫声不是自然语言，不是语音段落的一部分，不是一个真实的需要呈现出来的声音，利用AI的方式把背景里的杂音，比如小孩跑闹、尖叫的声音滤掉。

通过这次沟通会可以看出，NVIDIA基于AI智能的创作之路走得即扎实又全面，NVIDIA Omniverse为创意者们带来福音，NVIDIA Studio为打造无限创意可能提供了支持。专注于自身的技术、软件平台和硬件基础，NVIDIA正在为探索元宇宙世界、实现元宇宙世界贡献力量。