NVIDIA英伟达H200人工智能

NVIDIA英伟达H200人工智能可大幅强化人工智慧和能运算工作负载。

NVIDIA H200 Tensor GPU 具备颠覆以往的效能和记忆体功能，可大幅强化生成式人工智慧和能运算工作负载。H200 是款搭载 HBM3e 的 GPU，大快的记忆体可加速生成式人工智慧和大型语言模型 (LLM)，同时强化能运算工作负载的科学运算。

NVIDIA英伟达H200人工智能配置：

NVIDIA H200 采用 NVIDIA Hopper 架构，是款能以每秒 4.8 TB 的速度提供 141 GB HBM3e 记忆体的 GPU，容量几乎是 NVIDIA H100 Tensor GPU 的两倍，记忆体频宽则提升 1.4 倍。H200 大、快的记忆体能加速生成式人工智慧和 LLM，同时提升能运算工作负载的科学运算，而且能源效、总体拥有。

透过能 LLM 推论洞察

在人工智慧不断演进的状况下，企业仰赖 LLM 来因应各种推论需求。为庞大的使用者大规模部署人工智慧推论时，必须运用的整体拥有成本达到的吞吐量。

与 H100 GPU 相比，H200 在处理类似 Llama2 的 LLM 时，可将推论速度大幅提升到 2 倍。

大幅强化能运算

就能运算方面的用途而言，记忆体频宽相当重要。因为这能加快资料传输速度，并减少复杂的处理瓶颈。对於需耗费大量记忆体的能运算应用程式，如模拟作业、科学研究和人工智慧，H200 的记忆体频宽较高，可资料存取和操作时的效率，因此结果的速度与 CPU 相比提升达 110 倍。

降低能源使用量与整体拥有成本

随著 H200 的推出，能源效率和整体拥有成本将达到全新境界。这项技术可提供**的效能，并且与 H100 Tensor GPU 使用相同的功耗设定。人工智慧工厂和级运算系统不仅速度快也环保，所具备的经济优势可推动人工智慧和科学界持续进步。