服务电话:

400-801-5670

NVIDIA Hopper首次亮相MLPerf 在AI推理基准测试中一骑绝尘

发表时间:2022年09月16日 作者: 浏览次数:542

在MLPerf行业标准AI基准测试中首次亮相的NVIDIA H100 Tensor Core GPU在所有工作负载推理中均创造了世界纪录,其性能比上一代GPU高出4.5倍。

这些测试结果表明,对于那些需要在高级AI模型上获得最高性能的用户来说,Hopper是最优选择。

此外,NVIDIA A100 Tensor Core GPU和用于AI机器人的NVIDIA Jetson AGX Orin模块在所有MLPerf测试中继续表现出整体领先的推理性能,包括图像和语音识别自然语言处理和推荐系统。

H100(又名Hopper)提高了本轮测试所有六个神经网络中的单加速器性能标杆。它在单个服务器和离线场景中展现出吞吐量和速度方面的领先优势。

NVIDIA Hopper首次亮相MLPerf 在AI推理基准测试中一骑绝尘
NVIDIA H100 GPU 在数据中心类别的所有工作负载上都树立了新标杆

NVIDIA Hopper架构的性能比NVIDIA Ampere架构高出4.5倍;Ampere架构GPU在MLPerf结果中继续保持全方位领先地位。

Hopper在流行的用于自然语言处理的 BERT 模型上表现出色部分归功于其 Transformer Engine。BERT是MLPerf AI模型中规模最大、对性能要求最高的的模型之一。

这些推理基准测试标志着H100 GPU的首次公开亮相,它将于今年晚些时候上市。H100 GPU还将参加未来的MLPerf训练基准测试。

A100 GPU展现领先优势

在最新测试中,NVIDIA A100 GPU继续在主流AI推理性能方面展现出全方位领先,目前主要的云服务商和系统制造商均提供A100 GPU。

在数据中心和边缘计算类别与场景中,A100 GPU赢得的测试项超过了任何其他提交的结果。A100还在6月的MLPerf训练基准测试中取得了全方位的领先,展现了其在整个AI工作流中的能力。

A100还在6月的MLPerf训练基准测试中取得了全方位的领先,展现了其在整个AI工作流程中的能力。

自2020年7月在MLPerf上首次亮相以来由于NVIDIA AI软件的不断改进,A100GPU的性能已经提升了6倍。

NVIDIA AI是唯一能够在数据中心和边缘计算中运行所有MLPerf推理工作负载和场景的平台。

用户需要通用性能

NVIDIA GPU在所有主要AI模型上的领先性能,使用户成为真正的赢家。用户在实际应用中通常会采用许多不同类型的神经网络。

例如,一个AI 应用可能需要理解用户的语音请求、对图像进行分类、提出建议,然后以人声作为语音信息提供回应。每个步骤都需要用到不同类型的AI模型。

MLPerf基准测试涵盖了所有这些和其他流行的AI工作负载与场景,比如计算机视觉、自然语言处理、推荐系统、语音识别等。这些测试确保用户将获得可靠且部署灵活的性能。

MLPerf凭借其透明性和客观性使用户能够做出明智的购买决定。该基准测试得到了包括亚马逊、Arm、百度、谷歌、哈佛大学、英特尔、Meta、微软、斯坦福大学和多伦多大学在内的广泛支持。

Orin在边缘计算领域保持领先

在边缘计算方面,NVIDIAOrin运行了所有MLPerf基准测试,是所有低功耗系统级芯片中赢得测试最多的芯片。并且,与4月在MLPerf上的首次亮相相比,其能效提高了50%。

在上一轮基准测试中,Orin的运行速度和平均能效分别比上一代Jetson AGX Xavier模块高出5倍和2倍。

NVIDIA Hopper首次亮相MLPerf 在AI推理基准测试中一骑绝尘
在能效方面,Orin边缘AI推理性能提升50%

Orin将NVIDIA Ampere架构GPU和强大的Arm CPU内核集成到一块芯片中。目前,Orin现已被用NVIDIA Jetson AGX Orin开发者套件以及机器人和自主系统生产模块,并支持完整的NVIDIA AI软件堆栈,,包括自动驾驶汽车平台(NVIDIAHyperion)、医疗设备平台(ClaraHoloscan)和机器人平台(Isaac)。

广泛的NVIDIA AI生态系统

MLPerf结果显示,NVIDIA AI得到了广泛的机器学习生态系统的支持。

在这一轮基准测试中,有超过70项提交结果在NVIDIA平台上运行。例如,Microsoft Azure提交了在其云服务上运行NVIDIA AI的结果。

此外,10家系统制造商的19个NVIDIA认证系统参加了本轮基准测试,包括华硕、戴尔科技、富士通、技嘉、慧与、联想、和超微等。

它们的结果表明,无论是在云端还是在自己数据中心运行的服务器中,用户都可以借助NVIDIA AI获得出色的性能。

NVIDIA的合作伙伴参与MLPerf是因为他们知道这是一个为客户评估AI平台和厂商的重要工具。最新一轮结果表明,他们目前向用户提供的性能将随着NVIDIA平台的发展而增长。

用于这些测试的所有软件都可以从MLPerf 库中获得,因此任何人都可以获得这些世界级成果。NGC(NVIDIA 的GPU加速软件目录)上正在源源不断地增加以容器化形式提供的优化。在这里,还会发现NVIDIATensorRT,本轮测试的每此提交都使用它来优化AI推断。