BF16 与 FP16 区别？为何大模型训练偏好 BF16？

题目

现代大模型训练普遍采用 BF16 混合精度。请说明 BF16 与 FP16 的格式区别，以及为何 BF16 更适合大模型训练。

参考答案

浮点格式对比：

格式	符号位	指数位	尾数位	总位数	动态范围	精度
FP32	1	8	23	32	~$10^{\pm38}$	高
FP16	1	5	10	16	~$10^{\pm5}$	中
BF16	1	8	7	16	~$10^{\pm38}$	低

关键区别：

• FP16：指数位少（5 位）→ 动态范围小，最大约 65504，易溢出。
• BF16：指数位与 FP32 相同（8 位）→ 动态范围与 FP32 一致，但尾数位少（7 位）→ 精度低。
• BF16 本质是”FP32 的截断版”：直接砍掉 FP32 的低 16 位尾数，与 FP32 互转极简。

为何 BF16 更适合大模型训练：

1. 不溢出：大模型训练中梯度量级跨度大，FP16 易上溢（inf）或下溢（0），需复杂的 loss scaling。BF16 动态范围与 FP32 相同，几乎不溢出。
2. 无需 loss scaling：FP16 训练需动态调整 loss 放大梯度避免下溢；BF16 省去此工程复杂度。
3. 训练更稳定：千億级模型训练对数值稳定极敏感，BF16 的宽范围比 FP16 的高精度更重要——稳定性 > 精度。
4. 硬件支持：Ampere（A100）及以后 GPU 原生支持 BF16，无性能损失。

精度损失影响：BF16 尾数只有 7 位，相对误差大于 FP16，但实践证明对训练足够；权重存储与推理可再量化到 INT8/INT4 进一步省显存。

混合精度训练：通常用 BF16 做前向/反向计算，优化器维护一份 FP32 主权重（master weight）做参数更新，兼顾速度与精度。

面试加分点：

• 一句话总结：“BF16 用精度换范围，FP16 用范围换精度，大模型训练最怕溢出，所以选 BF16。”
• 指出 BF16 的设计哲学：训练阶段范围比精度重要，推理阶段精度可再降（量化）。
• A100/H100 时代 BF16 已成默认，FP16 多见于 V100 时代的旧模型。

出处：CSDN《2026 大模型面试圣经：预训练全流程深度解析》、HuggingFace 文档。