偏差-方差权衡是什么？

题目

请解释偏差-方差权衡（Bias-Variance Tradeoff），并说明它与过拟合/欠拟合的关系。

参考答案

总误差分解：对样本的期望预测误差可分解为三部分：

$\text{Error} = \text{Bias}^2 + \text{Variance} + \text{不可约噪声}$

• 偏差（Bias）：模型预测的期望与真实值的差距。反映模型”能力不足”的系统性误差。
• 方差（Variance）：不同训练集训练出的模型预测的波动。反映模型对训练数据变动的敏感度。
• 不可约噪声：数据本身的噪声，无法消除。

随模型复杂度的变化：

复杂度	偏差	方差	现象
过低	高	低	欠拟合——能力不足，训练/验证都差
过高	低	高	过拟合——记噪声，训练好验证差
适中	中	中	最佳权衡点，泛化最优

关系图（直觉）：复杂度从低到高，偏差单调下降、方差单调上升，总误差呈 U 形。最佳点在 U 形底部。

降低偏差的手段（治欠拟合）：

• 增加模型复杂度（加层/加特征）
• 减少正则化强度
• 训练更久

降低方差的手段（治过拟合）：

• 增加数据 / 数据增强
• 正则化（L1/L2/Dropout）
• 集成学习（Bagging 降方差）
• 早停

面试加分点：

• Bagging（如随机森林）主要降方差，适合高方差低偏差的强模型。
• Boosting（如 XGBoost）主要降偏差，逐步拟合残差。
• 能点出”偏差与方差常此消彼长，工程上靠验证集调参找平衡点”。

出处：机器学习算法工程师面试题集（人人文库《2026 人工智能算法工程师机器学习深度学习面试题》）。