如何看懂GPU架构？一分钟带你了解GPU参数指标

6、卡间互联

卡间互联的作用是“高速专用通道”（比如 NVIDIA的NVLink、行业通用的PCIe 5.0），传输速度能达到每秒几百 GB（比如 NVLink 能到 400GB/s），和计算速度匹配，让所有卡 “算得快、传得也快”，不浪费算力。

NVLink是由NVIDIA研发的专用高速互联技术，专为解决“多 GPU 协同计算”的瓶颈 —— 当单张 GPU 算力不足时，多张 GPU 需快速交换数据，PCIe 的带宽和延迟成为瓶颈。

例如：训练千亿参数大模型时，8 张 GPU 需实时同步梯度数据，NVLink 让它们直接 “面对面沟通”。

7、流处理器（CUDA核心）

CUDA全称：CUDA 核心（Compute Unified Device Architecture Core）

它是NVIDIA GPU的基础计算单元。每个CUDA核心只处理简单的数学运算（如浮点加减乘除），但通过集成数千个这样的核心，GPU能同时处理海量数据，速度远超CPU。CUDA核心越多，并行处理能力越强。

8、张量核心（Tensor Core）

它是NVIDIA GPU中的一种专用计算单元，专门用于加速矩阵和张量运算，尤其在深度学习和高性能计算（HPC）中表现突出。

张量核心与CUDA相比，在于它能做矩阵运算，而CUDA一次只能算一个数字。所以张量核心效率更高。

9、Tensor性能

Tensor性能（Tensor TFLOPS）是衡量GPU或AI加速器在张量计算任务中的浮点运算能力的核心指标。专指通过上面的Tensor Core加速的浮点运算。数字越大，计算越快。

需要补充说明的是一般企业在做决策时不会太关注Tensor core的数量，而更看重Tensor性能。

10、英伟达GPU架构

英伟达数据中心级GPU名称中，首字母是架构的缩写。例如，B代表Blackwell、H代表Hopper，A代表Ampere、L代表Lovelace、都是用世界著名的科学家名字来命名。

数字往往代表GPU产品的等级或者性能表现。每一代的产品英伟达都会设计低中高不同价格、性能和功耗的GPU。数字部分越大，通常代表GPU越强大、价格越昂贵（A800和H800这类阉割版产品除外）。

比如：H100、A100、V100这类产品型号代表的同一代产品中的旗舰产品，价格最昂贵、性能最强大。也拥有最高的核心数和最大的显存，专为大型模型推理以及训练而设计。

Ampere架构

Ampere架构是继Volta和Turing架构之后的新一代技术，以540亿个晶体管打造，是有史以来最大的 7 纳米 (nm) 芯片，于2020年首次发布。

该架构具有更多的CUDA核心，并引入了第三代Tensor Core，针对AI和深度学习计算进一步优化，支持更高效的混合精度运算，显著提升了AI训练和推理的性能。

Ampere GPU使用了更快的内存技术(如GDDR6X)和更大的内存容量，并支持更高数据传输速度的PCI Express 4.0标准，从而能够更好地处理大规模数据集和复杂的应用程序。

典型卡型号:NVIDIA A100、A800

Hopper架构

Hopper 架构发布于 2022 年，拥有超过 800 亿个晶体管，并采用新型流式处理器。Hopper支持第四代Tensor Core，能够支持混合的 FP8 和 FP16 精度，与上一代相比，Hopper 将 TF32、FP64、FP16 和 INT8 精度的每秒浮点运算（FLOPS）提高了 3 倍，在矩阵运算中提供更高的吞吐量和效率。

Hopper Tensor Core 与 Transformer 引擎和第四代NVLink（GPU之间高达900GB/s的双向带宽）相结合，可使 HPC 和 AI 工作负载的加速实现数量级提升。

典型卡型号:NVIDIA H100、H200、H800、H20

Blackwell架构

Blackwell架构发布于 2024 年，具有2080亿个晶体管，采用了双倍光刻极限尺寸的裸片，通过10 TB/s的片间互联技术连接成一块统一的 GPU。

NVIDIA 还推出了第五代 NVLink，提供前所未有的并行性和 1.8TB/s 的芯片间通信带宽，性能远超Hopper架构。Blackwell GPU具备192GB的HBM3E，支持高达7400亿个参数的模型，提供了高达8TB/s的带宽。

此外，它还引入了第二代 Transformer 引擎，支持 FP4 精度和动态精度切换，有助于自动将模型转换为适当的格式以达到最佳性能。

典型卡型号:NVIDIA B100、B200、B300

GPU 计算能力已成为推动全球技术革命的核心引擎，其作用贯穿人工智能、科学研究、工业制造等关键领域，深刻改变着人类解决复杂问题的能力边界。

在这场算力革命中，谁尽早掌握GPU的核心技术，谁就能在人工智能、元宇宙、数智化转型中占据制高点。

本文转自：返回搜狐，查看更多