当今AI界谁是最大的赢家？毫无疑问，黄仁勋的英伟达，布局早，技术强，根本找不到对手，躺着也能赚大钱。现在，英伟达公布了最新一代Hopper H100计算卡在MLPerf AI测试中创造的新纪录。让我们来看看！

Hopper H100早在2022年3月就发布了，GH100 GPU核心，TSMC 4nm工艺，800亿晶体管，面积814平方毫米。

它集成了18432个CUDA内核、576个张量内核、60MB L2缓存和6个宽度为6144位的HBM3/HBM2e高带宽存储器，并支持第四代NVLink和PCIe 5.0总线。

与目前广泛使用的A100如ChatGPT相比，H100的理论性能提高了6倍。但直到最近H100才开始量产，微软、谷歌、甲骨文等云计算服务才开始批量部署。

MLPerf推理是测试AI推理性能的行业标准。最新版本3.0也是该工具诞生以来的第七次重大版本更新。

与半年前的2.1版本相比，NVIDIA H100在不同测试项目上的性能提升了7-54%，其中RetinaNet全卷神经网络测试和3D U-Net医学影像网络测试也能提升31%。

相比A100，跨代提升更为惊人。无延迟离线测试的变化幅度小至1.8倍，多至4.5倍，而延迟服务器测试的变化幅度小至1.7倍，多至4倍。其中，对DLRM和伯特训练模型的改进最为显著。

英伟达还可耻地列出了英特尔最新的数据中心处理器旗舰至强白金8480+。虽然有56核，但毕竟通用处理器运行AI训练有点困难。分数差的不值一提。BERT 99.9%连跑都跑不了，这是NVIDIA H100最强的一点。

此外，英伟达还首次公布了L4 GPU的性能。基于最新的Ada架构，只有张量张量核，支持FP8浮点计算，主要用于AI推理，还支持AI视频编码加速。

与上一代T4相比，L4的性能可以加速2.2-3.1倍。最重要的是它的功耗只有72W，加上单槽半高的设计，可谓小巧而强大。几乎所有大型云服务提供商都部署了T4。升级到L4只是时间问题，Google已经开始内测了。