ai学术篇 2.模型精度
前言
本文主要介绍模型参数精度的相关知识,以及参数精度对模型训练的影响。
姑且将 AI 系列后续内容分为以下 4 个部分:
- 学术篇: LLM 基础知识、模型训练、各类算法的原理与实现等。
- 开发篇: Agent 框架、各类 AI 应用的开发等。
- 运维篇: Agent 应用的部署、推理参数测试等。
- 杂项: AI 渗透、视频生成、音频生成、超分辨率等其他内容。
这篇文章主要是帮自己理清:模型训练该用什么精度,以及这种精度该在哪类 GPU 上跑。 想直接看结论的,可跳到 4. 不同 GPU 上的精度选择。
1. 精度是什么
精度在本文中主要指浮点数的存储格式。一个浮点数占用多少位(bit),以及这些位如何分配给符号、指数和尾数,决定了它能够表示的数值范围和数值精细程度。
1.1 浮点数的表示原理
浮点数的本质是二进制科学计数法。一个规格化的二进制浮点数可以表示为: \[ \text{值}=(-1)^{\text{符号位}}\times 1.\text{尾数}\times 2^{\text{指数}} \] 其中:
- 符号位:决定数值的正负。
- 指数位:用于存储指数,决定浮点数能够表示的数值范围。
- 尾数位:用于存储有效数字的二进制部分,决定数值的精细程度。
以 FP32 为例,一个浮点数共占用 32 个二进制位:
- 1 位符号位
- 8 位指数位
- 23 位尾数位
假设存在二进制数\(1110.011_2\)
整数部分
1110:\(1\times2^3+1\times2^2+1\times2^1+0\times2^0=14\)小数部分
.011:\(0\times2^{-1}+1\times2^{-2}+1\times2^{-3}=0.375\)\(1110.011_2 = 14.375_{10}\)
假设我们要表示该二进制数 (\(1110.011_2\)),可以按照以下步骤理解浮点数的表示过程。
第一步:通过尾数表示有效数字。
先将数值规格化,将小数点左侧保留一位非零数字:
\[
1110.011_2=1.110011_2\times 2^3
\] 规格化后,整数部分必然是
1,因此这一位不需要存储。尾数位只需要保存小数点后面的
110011,其余未使用的尾数位补 0。
第二步:通过指数缩放数值。
上面的表达式中,指数为 3,表示将尾数 \(1.110011_2\) 乘以 \(2^3\),也就是将小数点向右移动 3 位:
在 FP32 中,指数位实际存储的是经过偏移量(Bias)处理后的指数。FP32 的 Bias 为 127,因此实际指数为 3 时,指数位存储的数值是:3+127=130。130 的 8 位二进制表示为
10000010。
1.2 为什么浮点数只存储部分尾数
浮点数采用二进制科学计数法表示数值。通过移动小数点,并调整指数,可以用统一的格式表示不同大小的数值。
规格化规定:对于非零的规格化二进制数,小数点左侧必须保留一位非零数字。由于二进制中非零数字只有 1,因此这一位必然是 1。
这带来了一个好处:最高位的 1 是固定的,不需要额外占用存储位,可以省下这一位用于保存更多有效数字。
例如,FP32 使用 23 位存储尾数,但实际有效数字还包括默认省略的最高位 1,因此规格化数的有效精度相当于 24 位二进制有效数字。
需要注意,这个规则适用于规格化数,零和非规格化数不使用默认省略最高位 1 的表示方式。
1.3 指数位:决定数值范围
指数位用于存储指数。指数位越多,通常能够覆盖的数值范围越大。
以 FP32、BF16 和 FP16 为例:
| 格式 | 指数位 | 最大有限值 | 最小正规格化正数 |
|---|---|---|---|
| FP32 | 8 | 约 \(3.4\times10^{38}\) | 约 \(1.2\times10^{-38}\) |
| BF16 | 8 | 约 \(3.4\times10^{38}\) | 约 \(1.2\times10^{-38}\) |
| FP16 | 5 | 65504 | 约 \(6.1\times10^{-5}\) |
FP32 和 BF16 都有 8 位指数,因此它们的数值范围基本相同;FP16 只有 5 位指数,可表示的数值范围更小。
需要注意,FP16 还支持非正规格化数,其最小正数约为 \(5.96\times10^{-8}\),低于最小正规格化正数。
1.4 尾数位:决定数值精细程度
尾数位越多,通常能够表示的相邻数值越接近,数值精细程度也越高。
以区间 ([1,2)) 为例,对于规格化二进制浮点数,若尾数有 (m) 位,则该区间被划分为 \(2^m\) 个等间隔的小区间。
| 格式 | 尾数位 | ([1,2)) 内的间隔数 | 1.0 后面的下一个可表示数 | 约十进制有效数字 |
|---|---|---|---|---|
| FP32 | 23 | (2^{23}),约 840 万 | 1.000000119 | 约 7 位 |
| FP16 | 10 | 1024 | 1.0009765625 | 约 3 位 |
| BF16 | 7 | 128 | 1.0078125 | 约 2 位 |
以 BF16 为例:
BF16 有 7 位尾数,因此在 1 到 2 之间有 (2^7=128) 个等间隔的小区间,每格间距为: \[ \frac{2-1}{128}=\frac{1}{128}=0.0078125 \] 例如,1.0 后面的下一个可表示数是:\(1.0+0.0078125=1.0078125\)
BF16 在这个区间内只能直接表示这些间隔对应的数值。如果某个数落在两个可表示数之间,就需要通过舍入,将其转换为一个可表示的数值,通常采用最接近的值。
例如,1.003 并不能被 BF16 精确表示,存储时需要舍入到附近的可表示值。
十进制有效数字是指一个数从第一个非零数字开始,能够保留的有效数字位数。将二进制有效位数换算成十进制,可以大致理解为:一个数有多少位十进制数字能够得到较可靠的表示,再往后的数字可能因浮点数的表示精度有限而产生舍入误差。
因此,在数值 1 附近,FP32 能够表示比 BF16 更接近的数值,数值精细程度也更高。
1.5 常见浮点数格式及位数分配
浮点数格式的名称通常包含格式类型和位数信息。
| 名称 | 全称 | 含义 |
|---|---|---|
| FP32 | 32-bit Floating Point | 32 位浮点数 |
| FP16 | 16-bit Floating Point | 16 位浮点数 |
| BF16 | Brain Floating Point 16 | 16 位 Brain Floating Point 格式 |
| TF32 | TensorFloat-32 | NVIDIA 面向 Tensor Core 计算设计的浮点格式 |
其中,FP32、FP16 和 BF16 的数字表示一个数的总存储位数。TF32 则是特殊情况:名称中的 32 表示其计算格式与 32 位浮点计算相关,但它并不是常规的 32 位存储格式。
FP32、FP16 和 BF16 都由符号位、指数位和尾数组成,但各部分的位数分配不同。
| 格式 | 符号位 | 指数位 | 尾数位 | 总位数 | 指数偏移量(Bias) |
|---|---|---|---|---|---|
| FP32 | 1 | 8 | 23 | 32 | 127 |
| FP16 | 1 | 5 | 10 | 16 | 15 |
| BF16 | 1 | 8 | 7 | 16 | 127 |
指数偏移量(Bias) 用于存储有正有负的指数。对于规格化数,实际指数等于存储的指数值减去 Bias。
从表格可以看出,FP16 和 BF16 虽然都占用 16 位,但位数分配不同:
- FP16:5 位指数、10 位尾数。数值范围较小,但数值精细程度高于 BF16。
- BF16:8 位指数、7 位尾数。数值范围接近 FP32,但数值精细程度较低。
因此,总位数相同,不代表数值范围和数值精细程度相同。不同格式对指数位和尾数位的分配,决定了它们各自的数值表示能力。
2. 精度对训练的影响
不同浮点数精度会影响模型训练的计算速度、显存占用、数值稳定性、收敛表现,以及不同硬件之间的性能差异。
2.1 计算速度
GPU 的 Tensor Core 对不同精度提供不同的计算吞吐量。通常情况下,FP16 和 BF16 的峰值算力高于 FP32,因此使用低精度进行训练,有机会显著提高计算速度。
实际加速效果取决于 GPU 型号、运算类型、算子实现和硬件利用率等因素。
2.2 显存占用
不同精度的浮点数占用不同的存储空间:
- FP32:每个数占用 4 字节。
- FP16、BF16:每个数占用 2 字节。
因此,在存储相同数量的数值时,使用 16 位精度可以将这部分显存占用降低约 50%。
训练时,模型权重、激活值、梯度和优化器状态都会占用显存。不过,实际节省的显存取决于各部分采用的存储精度。例如,混合精度训练可能保留 FP32 主权重或优化器状态,因此总显存占用不一定减半。
2.3 数值稳定性
低精度浮点数能够表示的数值范围和精细程度有限,可能影响训练过程中的数值计算。
- FP16:数值范围较小,较小的梯度可能发生下溢,变成 0。训练时通常可以使用 Loss Scaling(损失缩放)缓解这一问题。
- BF16:数值范围接近 FP32,不容易因数值范围不足而发生梯度下溢或溢出,但尾数位较少,数值精细程度较低。
因此,BF16 通常更容易处理训练中的数值范围问题,但并不意味着它在所有情况下都比 FP16 更稳定。
2.4 收敛表现
低精度计算会产生舍入误差,可能影响模型参数的更新。
例如,当参数更新量相对于当前参数值过小时,更新后的数值可能被舍入回原来的值,导致这次更新无法有效反映在参数中。
BF16 的尾数位较少,在某些情况下更容易出现这类精度损失。如果关键参数更新长期无法有效反映在参数值中,就可能影响训练进展。
需要注意,这并不意味着使用 BF16 就一定会导致 Loss 停滞。实际收敛表现还取决于模型结构、学习率、优化器和训练策略等因素。
2.5 不同 GPU 的性能差异
不同 GPU 对 FP32、FP16 和 BF16 的支持程度,以及各精度下的峰值算力,可能存在较大差异。
因此,同样两张 GPU,在 FP32 训练下性能差距可能较小,但在 FP16 或 BF16 训练下,差距可能明显增大。
选择训练精度时,需要结合目标 GPU 的硬件规格和对应精度的实际计算能力进行判断。
3. 什么是混合精度?代码为什么这样排布?
3.1 混合精度是什么
混合精度训练(Mixed Precision Training)是指在模型训练过程中,根据不同计算操作的特点,混合使用不同的浮点数精度。
例如,使用 FP16 或 BF16 执行矩阵乘法等计算密集型操作,以提高计算速度、减少显存占用;同时,在需要时使用 FP32 进行计算,以降低精度损失带来的影响。
使用 PyTorch 的 autocast 时,通常有以下特点:
- 模型参数:通常以 FP32 保存,作为参数更新的基础。
- 矩阵乘法、卷积等操作:根据自动混合精度规则,选择 FP16 或 BF16 等精度执行。
- 部分对数值精度敏感的操作:例如交叉熵损失,通常会使用 FP32 计算loss。
- 反向传播与参数更新:根据前向计算建立的计算图执行反向传播,再由优化器更新模型参数。
这里需要区分两件事:参数以什么精度保存,与计算时使用什么精度。 例如,模型权重可以保留为 FP32,而矩阵乘法在计算时使用 BF16。
3.2 代码示例
以下以 BF16 混合精度训练为例:
1 | import torch |
model = Model().cuda():创建模型并移动到 GPU。这里没有将模型转换为 BF16,因此模型参数通常仍然是 FP32。在这种混合精度训练方式中,模型参数以 FP32 保存,部分运算则可以使用 BF16 执行。
optimizer = torch.optim.AdamW(model.parameters()):创建优化器。优化器负责根据反向传播得到的梯度更新模型参数。在上述配置中,优化器直接管理模型的 FP32 参数。
x = x.cuda()和y = y.cuda():将数据移动到 GPU。optimizer.zero_grad():清除上一轮梯度。with torch.autocast(...):控制自动混合精度的范围。进入
autocast上下文后,PyTorch 会根据算子的精度规则,自动决定哪些操作使用 BF16,哪些操作使用 FP32。out = model(x):执行前向传播。模型接收输入
x,执行前向计算并得到输出out。在
autocast中,适合使用 BF16 的运算(例如矩阵乘法)通常会自动采用 BF16。即使模型参数仍然是 FP32,部分运算也可以使用 BF16,而不需要手动转换整个模型的参数。loss = loss_fn(out, y):计算损失。将损失计算放在
autocast内,可以让其中的算子遵循自动混合精度规则。例如,PyTorch 会将交叉熵损失等部分操作安排为 FP32 计算,以降低数值误差风险。但并不是所有损失函数都会自动使用 FP32,具体取决于内部算子及其精度规则。
loss.backward():计算梯度。反向传播放在
autocast外,是 PyTorch 推荐的使用方式。反向计算会根据前向传播建立的计算图执行,并使用与相应前向操作相关的计算规则,通常不需要再用
autocast包裹反向传播。optimizer.step():更新模型参数。优化器根据计算得到的梯度更新模型参数。在上述配置中,参数以 FP32 保存,因此更新作用于 FP32 参数,而不是直接将每次更新都舍入到 BF16 的精度。
这有助于保留较小的参数更新量,但不能消除所有数值误差。
4. 不同 GPU 上的精度选择
不同 GPU 架构对浮点格式的硬件支持不同;即使是同一种精度,不同显卡的实际吞吐也可能差异很大。因此,选择训练精度时,需要综合考虑 GPU 架构、硬件算力和软件框架的支持情况。
4.1 常见数值精度
| 精度方案 | 特点 | 典型用途 |
|---|---|---|
| BF16/FP32 混合精度 | 矩阵乘、卷积等适合低精度的算子使用 BF16,数值敏感的算子仍使用 FP32,权重和优化器状态通常保持 FP32。BF16 与 FP32 的指数位数相同,动态范围相近,通常不需要 GradScaler | 大语言模型训练与微调 |
| FP16/FP32 混合精度 | FP16 计算快、显存占用低,但数值范围小,容易下溢或溢出,通常需要配合 GradScaler | 不支持 BF16 的设备(如 Volta、Turing) |
| TF32 | 数据仍以 FP32 存储;矩阵运算时,Tensor Core 将输入尾数截断为 10
位参与乘法,并以 FP32 累加,在保留 FP32 数值范围的同时提高速度。需要
Ampere 及以上架构。PyTorch
中矩阵乘法默认不启用(torch.backends.cuda.matmul.allow_tf32
默认为 False),cuDNN 卷积默认启用;可通过
torch.set_float32_matmul_precision("high") 开启 |
Ampere 及更新架构上的 FP32 矩阵运算加速 |
| FP32 | 单精度浮点,数值范围和精度较为均衡,但显存占用和带宽开销较大 | 默认训练方案;对数值精度要求较高的任务 |
| FP8 | 8 位浮点,进一步降低显存占用、提高计算效率,但数值范围和精度有限,通常需要缩放因子和专门的库(如 Transformer Engine)。需要 Ada、Hopper 或 Blackwell 架构 | 支持 FP8 的 GPU 上的大规模训练与推理 |
| INT8/INT4/FP4 | 使用更低位宽表示数值,通常需要量化或专门的低精度计算流程。FP4 需要 Blackwell 架构 | 以模型量化与推理为主,部分格式(如 FP4)也在探索用于训练 |
PyTorch 默认创建的浮点张量使用 FP32,例如
torch.tensor([1.0])得到 FP32 张量(可通过torch.get_default_dtype()查看)。
4.2 各代 GPU 架构支持哪些精度加速
数据由 AI 总结提供,仅作参考。
图例:✓ 有原生硬件加速(Tensor Core 或全速 CUDA Core);△ 可以运行,但速度没有优势;✗ 无原生硬件支持。
| GPU 架构 | 代表型号 | FP32 | FP16 | BF16 | TF32 | FP8 | FP4 |
|---|---|---|---|---|---|---|---|
| Pascal | P40、GTX 1080 Ti(P100 除外,见说明) | ✓ | △ | ✗ | ✗ | ✗ | ✗ |
| Volta | V100、Titan V | ✓ | ✓ | ✗ | ✗ | ✗ | ✗ |
| Turing | T4、RTX 2080 Ti | ✓ | ✓ | ✗ | ✗ | ✗ | ✗ |
| Ampere | A100、A800、A10、A40、RTX 3090、RTX A6000 | ✓ | ✓ | ✓ | ✓ | ✗ | ✗ |
| Ada Lovelace | RTX 4090、L40S、L20、L4、RTX 6000 Ada | ✓ | ✓ | ✓ | ✓ | ✓ | ✗ |
| Hopper | H100、H200、H800、H20、GH200 | ✓ | ✓ | ✓ | ✓ | ✓ | ✗ |
| Blackwell | B200、B300、RTX 5090、RTX PRO 6000 | ✓ | ✓ | ✓ | ✓ | ✓ | ✓ |
说明:
- FP32 由 CUDA Core 原生计算,所有架构都支持;Tensor Core 加速 FP32 的方式是 TF32。
- Pascal 没有 Tensor Core。P40、GTX 1080 Ti 的 FP16 吞吐远低于 FP32(约 1/64),只有 P100 具备 2 倍速 FP16。
- Turing 没有 BF16 Tensor Core,BF16 可能回退到 FP32 路径,速度反而更慢。GTX 16 系列虽为 Turing 架构,但没有 Tensor Core。
- B300 属于 Blackwell Ultra,是 Blackwell 的升级版本。
- FP8、FP4 的实际可用性还取决于具体型号、框架及相关库的支持。
具体型号的支持情况请以 NVIDIA 官方规格为准。
4.3 总结
- Ampere 及以后(RTX 30/40/50、A100、H100 等): 优先使用 BF16/FP32 混合精度。BF16 的动态范围与 FP32 相近,通常不需要 GradScaler,是大多数大模型训练与微调场景下合适的默认选择。FP8、FP4 属于进阶选项,需确认具体型号与软件支持后再用。
- Volta、Turing(V100、T4、RTX 20 系列): 使用 FP16/FP32 混合精度,并配合 GradScaler 防止梯度下溢。这两代没有 BF16 Tensor Core,不建议使用 BF16,否则可能回退到 FP32 路径,速度反而更慢。
- Pascal 及更老的卡(P40、GTX 1080 Ti 等): 没有 Tensor Core,FP16 吞吐远低于 FP32,建议直接使用 FP32(P100 的 FP16 是个别例外)。
- PyTorch 的默认行为: 浮点张量默认是 FP32;启用
autocast后,才会按算子规则自动选择计算精度。 - TF32: 在 Ampere 及以后的显卡上,如果想加速 FP32 矩阵乘法,需要手动开启 TF32(PyTorch 中矩阵乘法默认不启用,cuDNN 卷积默认启用)。开启前最好确认对模型精度和收敛没有影响。
5. 实例:在 V100 上使用 BF16
现象: 在 V100 上使用 BF16
混合精度:
torch.autocast(device_type="cuda", dtype=torch.bfloat16),得不到
Tensor Core 加速。具体表现取决于 PyTorch
版本:有的版本直接报错,有的版本回退到 FP32 计算来模拟 BF16,速度与纯
FP32 相当,甚至更慢。
原因: Tensor Core 是 NVIDIA GPU 中专用的矩阵乘加硬件单元,从 Volta(V100)架构开始引入。只有当矩阵乘的输入是 Tensor Core 支持的格式时,计算才会走 Tensor Core,其理论峰值算力是 CUDA Core 的数倍到十余倍。这就是前面强调的"精度决定能否用上硬件算力"。
不同架构的 Tensor Core 支持的格式不同:V100 只支持 FP16,Ampere 起才增加 BF16 和 TF32。因此在 V100 上,BF16 的矩阵乘用不上 Tensor Core,应改用 FP16 混合精度。
检查方法: 在实际训练用的 GPU 机器上运行下面的命令,检查当前设备是否真正支持 BF16:
1 | python -c "import torch; print(torch.cuda.is_bf16_supported(including_emulation=False))" |
- 输出
True:设备原生支持 BF16(Ampere 及以后)。 - 输出
False:设备不支持 BF16,例如 V100、T4。
including_emulation 默认为
True,此时只要能创建 BF16 张量就会返回
True,即使底层只是用 FP32
模拟,所以检查硬件支持时需要显式设为 False。