在MLPerf行业标准AI基准测试中首次亮相的NVIDIA H100 Tensor Core GPU在所有工作负载推理中均创造了世界纪录，其性能比上一代GPU高出4.5倍。

这些测试结果表明，对于那些需要在高级AI模型上获得*高性能的用户来说，Hopper是*优选择。

此外，NVIDIA A100 Tensor Core GPU和用于AI机器人的NVIDIA Jetson AGX Orin模块在所有MLPerf测试中继续表现出整体领先的推理性能，包括图像和语音识别自然语言处理和推荐系统。

H100（又名Hopper）提高了本轮测试所有六个神经网络中的单加速器性能标杆。它在单个服务器和离线场景中展现出吞吐量和速度方面的领先优势。

NVIDIA H100 GPU 在数据中心类别的所有工作负载上都树立了新标杆

NVIDIA Hopper架构的性能比NVIDIA Ampere架构高出4.5倍；Ampere架构GPU在MLPerf结果中继续保持全方位领先地位。

Hopper在流行的用于自然语言处理的 BERT 模型上表现出色部分归功于其 Transformer Engine。BERT是MLPerf AI模型中规模*大、对性能要求*高的的模型之一。

这些推理基准测试标志着H100 GPU的首次公开亮相，它将于今年晚些时候上市。H100 GPU还将参加未来的MLPerf训练基准测试。

A100 GPU展现领先优势

在*新测试中，NVIDIA A100 GPU继续在主流AI推理性能方面展现出全方位领先，目前主要的云服务商和系统制造商均提供A100 GPU。

在数据中心和边缘计算类别与场景中，A100 GPU赢得的测试项超过了任何其他提交的结果。A100还在6月的MLPerf训练基准测试中取得了全方位的领先，展现了其在整个AI工作流中的能力。

A100还在6月的MLPerf训练基准测试中取得了全方位的领先，展现了其在整个AI工作流程中的能力。

自2020年7月在MLPerf上首次亮相以来由于NVIDIA AI软件的不断改进，A100GPU的性能已经提升了6倍。

NVIDIA AI是唯一能够在数据中心和边缘计算中运行所有MLPerf推理工作负载和场景的平台。

用户需要通用性能

NVIDIA GPU在所有主要AI模型上的领先性能，使用户成为真正的赢家。用户在实际应用中通常会采用许多不同类型的神经网络。

例如，一个AI 应用可能需要理解用户的语音请求、对图像进行分类、提出建议，然后以人声作为语音信息提供回应。每个步骤都需要用到不同类型的AI模型。

MLPerf基准测试涵盖了所有这些和其他流行的AI工作负载与场景，比如计算机视觉、自然语言处理、推荐系统、语音识别等。这些测试确保用户将获得可靠且部署灵活的性能。

MLPerf凭借其透明性和客观性使用户能够做出明智的购买决定。该基准测试得到了包括亚马逊、Arm、百度、谷歌、哈佛大学、英特尔、Meta、微软、斯坦福大学和多伦多大学在内的广泛支持。

Orin在边缘计算领域保持领先

在边缘计算方面，NVIDIAOrin运行了所有MLPerf基准测试，是所有低功耗系统级芯片中赢得测试*多的芯片。并且，与4月在MLPerf上的首次亮相相比，其能效提高了50%。

在上一轮基准测试中，Orin的运行速度和平均能效分别比上一代Jetson AGX Xavier模块高出5倍和2倍。

在能效方面，Orin边缘AI推理性能提升50%

Orin将NVIDIA Ampere架构GPU和强大的Arm CPU内核集成到一块芯片中。目前，Orin现已被用NVIDIA Jetson AGX Orin开发者套件以及机器人和自主系统生产模块，并支持完整的NVIDIA AI软件堆栈,，包括自动驾驶汽车平台（NVIDIAHyperion）、医疗设备平台（ClaraHoloscan）和机器人平台（Isaac）。

广泛的NVIDIA AI生态系统

MLPerf结果显示，NVIDIA AI得到了广泛的机器学习生态系统的支持。

在这一轮基准测试中，有超过70项提交结果在NVIDIA平台上运行。例如，Microsoft Azure提交了在其云服务上运行NVIDIA AI的结果。

此外，10家系统制造商的19个NVIDIA认证系统参加了本轮基准测试，包括华硕、戴尔科技、富士通、技嘉、慧与、联想、和超微等。

它们的结果表明，无论是在云端还是在自己数据中心运行的服务器中，用户都可以借助NVIDIA AI获得出色的性能。

NVIDIA的合作伙伴参与MLPerf是因为他们知道这是一个为客户评估AI平台和厂商的重要工具。*新一轮结果表明，他们目前向用户提供的性能将随着NVIDIA平台的发展而增长。

用于这些测试的所有软件都可以从MLPerf 库中获得，因此任何人都可以获得这些世界级成果。NGC（NVIDIA 的GPU加速软件目录）上正在源源不断地增加以容器化形式提供的优化。在这里，还会发现NVIDIATensorRT，本轮测试的每此提交都使用它来优化AI推断。