2020年12月15日 | NVIDIA InfiniBand NDR网络赋能E级AI和HPC平台 ，推动高效互联

在2020年全球数字超算大会（SC20大会）上，NVIDIA宣布推出NVIDIA® Mellanox® 400G InfiniBand产品，这是全球第一代400Gb/s网速的端到端网络解决方案，可为全球的AI和HPC用户提供最快的网络互连性能，同时将计算、可编程性和软件定义三种技术成功地融于一体，成为业界领先的软件定义、硬件加速的可编程网络，为全球的科研人员和工程人员设计新一代计算系统和提升应用性能提供了新的思路。

NVIDIA Mellanox InfiniBand NDR产品是第7代的InfiniBand产品，利用100Gb/s的PAM4 Serdes技术, 实现了400Gb/s的单端口传输带宽, 是上一代产品的两倍, 同时通过添加更多、更强大的加速引擎，实现了更强大的计算和通信能力。 

NVIDIA Mellanox NDR 400G InfiniBand产品系列

“Speed Of Light”是关于NDR InfiniBand技术的第一个特征，通过加倍的带宽、更快的包处理能力（Message Rate）， 让基于RDMA、GPU Direct RDMA和GPU Direct Storage等先进通信技术的应用性能得到了进一步提升。InfiniBand网络是天然的SDN网络，可以让用户根据应用的属性来选择各种不同的网络拓扑，以达到最优的性能，如Fat-Tree、DragonFly+、各种Torus等。如通过DragonFly+网络拓扑可以在4个交换机Hop内达到一百万个节点的同时通信，这个规模远远超出了E级机、甚至10E级机或百E级机需要的规模；同时其天然的SDN属性也让动态路由和网络拥塞控制变得更容易实现。InfiniBand动态路由已经被广泛地应用到各种网络拓扑当中，成为优化通信性能的关键手段，如美国橡树林国家实验室的Summit超级计算机就通过动态路由将超算中心全网的通信效率从60%提升到了96%。NDR InfiniBand交换机在1U空间内可以支持64个400Gb/s的端口或128个200Gb/s的端口，是上一代交换机端口密度的3倍；它还将框式交换机系统的聚合双向吞吐量提高了5倍，达到1.64 petabits/s，是全球端口数最多、交换容量最大的交换机。

硬件加速是InfiniBand网络的最大特色，随着越来越多的加速引擎被添加到InfiniBand硬件中来，进一步加大了其相对于其它网络技术的领先性。如NDR InfiniBand实现了对于业界最头疼的All2All和Allreduce通信的硬件卸载，能让MPI通信的性能提升四倍。NDR InfiniBand对于MPI Tag Matching的硬件卸载，实现了1. 8倍的MPI通信性能提升。NDR InfiniBand可以实现对于NVMeoF的全面卸载， NVMeoF的Target卸载可以让存储系统在几乎不消耗Target端CPU的前提下达到数以百万级的IOPS，NVME SNAP可以实现对于NVMeoF的Initiator端的卸载，同时可以将InfiniBand网络模拟成NVMe磁盘提供给主机CPU，可以解决目前很多OS还没有NVMeoF的Initiator支持的问题，实现了对任何OS， 无论是虚拟化还是物理机的全面NVMeoF的支持；InfiniBand FIO SNAP可以实现对于文件存储的本地模拟，让任何OS都可以享受最先进的分布式文件存储系统的性能优势。

InfiniBand SHARP (Scalable Hierarchical Aggregation and Reduction Protocol) 技术彻底消除了MPI或者NCCL的Allreduce操作中的多打一通信带来的Incast Burst问题，在保证所有端口全线速、共计12.8Tb/s或25.6Tb/s的数据输入的前提下，实现在交换机上的Allreduce、Barrier、Reduce和Broadcast计算，在NDR交换机上更是实现了相比上一代交换机32倍的计算性能提升。InfiniBand SHIELD (Self-Healing) 技术实现了网络中链路故障的自修复，让网络无需等待管理软件的参与来恢复链路故障，实现了比传统的软件故障恢复快千倍以上的性能，让应用不再受困链路故障的干扰，提升应用的性能。

InfiniBand安全卸载是面向Cloud Native的应用场景，InfiniBand已经得到了Open Stack的官方软件支持，通过自带的硬件IPSec、TLS、AES、Root of Trust等功能，可以让数据不论是在网络中流动时，还是在向存储中落盘时都能以线速性能得到加解密，实现了在虚拟化环境或者在容器化环境中的安全保障。

软件可编程让InfiniBand的应用场景得到了进一步的延伸，可编程的NDR InfiniBand不仅可以让用户处理数据的header，还可以对于数据的数据路径进行操作，如用户可以自定义规则对于数据路径进行操作；或是对于数据直接在网络中进行预处理而无需送到CPU做预处理。用户还可以对于数据的通信特征进行提取、然后利用AI技术对其进行训练，得到不同应用数据的通用通信特征，如果发现有异常通信信息，可以向管理员主动发出预警。

NVIDIA Mellanox NDR 400G InfiniBand亮点

NDR InfiniBand以其优异的性能和灵活广泛的使用场景吸引了众多的合作伙伴一起共建生态系统，包括Atos、戴尔科技、富士通、浪潮、联想和SuperMicro等服务器厂商，以及DDN、IBM Storage等存储厂商。各家公司都已开始研发其新一代产品，实现对于NDR InfiniBand的支持。而包括微软Azure公有云、美国Los Alamos国家实验室、欧洲Jülich超算中心等全球各顶级用户都纷纷表示，期待能尽快应用NDR InfiniBand到他们的业务中去，享受NDR的技术优势。

NVIDIA网络高级副总裁Gilad Shainer表示： “我们AI客户最重要的工作就是处理日益复杂的应用程序，这需要更快速、更智能、更具扩展性的网络。NVIDIA Mellanox 400G InfiniBand的海量吞吐量和智能加速引擎，帮助HPC、AI和超大规模云基础设施以更低的成本和复杂性，实现无与伦比的性能。”

E级AI和HPC时代已经来临，同时带来新的挑战，软件定义、硬件加速、面向网络计算的可编程NDR InfiniBand产品将于2021年第二季度提供样品。NDR产品的出现，将会大幅提升E级AI和HPC系统的性能和效率，简化系统的管理和操作，降低系统的TCO，进而保护数据中心的投资。