- Objective: - Breadcrumb: # 概念阐释 过度拟合（overfitting），是指模型对于数据集学习得太过详细，以至于包括了异常值和随机噪声，但是对于新的、未见过的数据表现得不好。 过度拟合的主要特征和问题包括： 1. **高训练精度，低测试精度**：模型在训练集上的表现很好，但在测试集[^1]或验证集[^3]上的表现却差很多。（见[[数据集]]） 2. **泛化能力[^2]差**：由于模型过度学习了训练数据的细节和噪声，其泛化能力下降，这意味着它在处理新数据时的表现不佳。 为了避免过度拟合，可以采取以下措施： - **简化模型**：选择更简单的模型或减少模型中的[[weights 权重]](参数)数量。 - **增加数据量**：使用更多的训练数据，以覆盖更广泛的情况。 - **使用[[regularization 正则化]]**：例如L1或L2正则化，通过对模型参数施加约束来限制模型的复杂度。 - **交叉验证**：使用交叉验证来更好地评估模型的泛化能力。 - **剪枝**：在[[决策树]]等算法中使用剪枝技术来减少模型复杂度。 - **早停**：在训练过程中，当验证误差开始增加时停止训练，以避免模型对训练数据过拟合。 # 实例 我们可以把这一现象和应试教育做比较，就好像对学习者进行了题海战术，在题海范围内的题都能非常适应，但是一旦超出了题海范围就不会做了。 # 相关内容 ## 欠拟合 underfitting 模型过于简单，不能充分学习训练数据中的特征和规律时。这通常意味着模型没有很好地捕捉数据的基本结构，因此在训练集和测试集上的表现都不佳。 # 参考资料 [^1]: 测试集test set：测试集是一组独立于模型训练数据的的数据，用来评估模型的泛化能力。 [^2]: 泛化能力Generalization：模型对于新的、未见过的数据的处理能力。泛化能力是模型在实景应用中表现的关键指标。泛化能力差的模型不能很好得适应新的数据。 [^3]: 验证集：通常用于模型选择过程中，帮助设计者调整模型的超参数（如学习率、层数等），并进行模型间的比较和选择。