计算机科学 > 分布式、并行与集群计算
[提交于 2025年1月21日
]
标题: 通过微基准测试和多级分析剖析NVIDIA Hopper架构
标题: Dissecting the NVIDIA Hopper Architecture through Microbenchmarking and Multiple Level Analysis
摘要: 现代GPU,拥有如张量核心等专用硬件,对于要求苛刻的人工智能和深度学习应用至关重要。 本研究对NVIDIA Hopper GPU架构进行了全面的多级微基准测试分析,深入探讨了其性能特征和新功能。 我们测试了Hopper的存储子系统延迟和吞吐量,将其L2分片缓存行为和全局内存访问模式与最近的GPU版本Ampere和Ada Lovelace进行了比较。 我们的分析揭示了Hopper在性能上的显著差异和架构改进。 本工作的核心贡献是对Hopper第四代张量核心的详细评估,包括其FP8精度支持和新型异步wgmma指令,评估它们对矩阵乘加运算的影响。 我们进一步研究了其他关键Hopper创新的性能影响:用于加速动态规划算法的DPX指令、用于SM间通信的分布式共享内存(DSM)以及用于异步数据移动的张量内存加速器(TMA)。 这种多级方法包括指令级微基准测试、Transformer Engine的库级分析,以及大型语言模型中张量核心性能的应用级基准测试。 我们的发现为软件开发人员提供了有价值的深入见解,帮助他们优化性能并为Hopper架构开发准确的性能模型,最终有助于更深入地理解其在加速人工智能和其他计算密集型工作负载方面的潜力。
文献和引用工具
与本文相关的代码,数据和媒体
alphaXiv (什么是 alphaXiv?)
CatalyzeX 代码查找器 (什么是 CatalyzeX?)
DagsHub (什么是 DagsHub?)
Gotit.pub (什么是 GotitPub?)
Hugging Face (什么是 Huggingface?)
带有代码的论文 (什么是带有代码的论文?)
ScienceCast (什么是 ScienceCast?)
演示
推荐器和搜索工具
arXivLabs:与社区合作伙伴的实验项目
arXivLabs 是一个框架,允许合作伙伴直接在我们的网站上开发和分享新的 arXiv 特性。
与 arXivLabs 合作的个人和组织都接受了我们的价值观,即开放、社区、卓越和用户数据隐私。arXiv 承诺这些价值观,并且只与遵守这些价值观的合作伙伴合作。
有一个为 arXiv 社区增加价值的项目想法吗? 了解更多关于 arXivLabs 的信息.