英伟达在2023年全球超级计算机会议(SC23)上推出了最新的人工智能芯片H200，用于人工智能大模型的培训。与前一代产品H100相比，H200的性能提高了约60%到90%。

H200是英伟达H100的升级版，与H100一样，它也是基于Hopper架构，主要升级为HBM3e显存141GB，显存带宽从H100的3.35TB/s增加到4.8TB/s。

在大模型推理性能方面，H200在700亿参数的Llama2模型中的推理速度是H100的两倍，H200的推理能耗直接比H100低一半。对于显存密集型HPC(高性能计算)的应用，H200更高的显存带宽可以保证数据的有效访问。与CPU相比，获得结果的时间最多可以增加110倍。

由于结构相同，H200在软件上与H100兼容，微芯半导体这意味着H200将具有H100的所有功能。英伟达声称H200是大型Llama 2、GPT-3.5的输出速度分别是H100的1.9倍和1.6倍。

英伟达加速计算总经理兼副总裁伊恩·巴克 （Ian Buck）“如果你想通过生成人工智能和HPC应用程序创建智能，你必须使用大型、快速的GPU来高速、高效地处理大量数据。在H200的帮助下，行业领先的端到端人工智能超级计算平台将变得更快，世界上一些最重要的挑战将得到解决。”

在过去，英伟达数据中心的人工智能芯片通常每两年更新一次芯片架构，最新的芯片架构是Hopper。然而，英伟达上个月向投资者透露，由于市场对人工智能芯片的强劲需求，该公司将从每两年发布一次新架构转向每年发布一次。 英伟达还告诉投资者，基于Blackwell架构的B100芯片将于2024年发布。

H200将于2024年第二季度发货。英伟达表示，从明年开始，亚马逊云技术、谷歌云、微软Azure 和甲骨文云将成为第一批基于H200实例部署的云服务提供商。

• GPU
• IC芯片代理分销
• 推出
• 新的
• 英伟