正则化是在训练模型时，除了要求它解释已有数据，还对过度复杂的解法施加代价。它主动放弃对训练样本的完美迎合，以换取面对新数据时更稳定的判断。
例如，用一条曲线穿过带有测量误差的所有数据点，训练误差可以降得很低，但曲线的剧烈弯折可能只是在记忆噪声。加入正则化后，模型倾向选择较平缓的曲线：它在旧数据上未必最精确，却可能更接近产生数据的稳定关系。
正则化不同于归一化；后者主要调整变量的尺度。它也不等于简单地缩小模型：限制可以惩罚过大的参数、过多的特征或过深的结构。限制过弱仍会过拟合，过强则会欠拟合。中心问题不是“越简单越好”，而是哪些复杂性得到证据支持。可靠的模型并非记住一切，而是拒绝把偶然细节当作规律。
https://scikit-learn.org/stable/auto_examples/model_selection/plot_train_error_vs_test_error.html
了解 Geoffrey Chen 的更多信息
订阅后即可通过电子邮件收到最新文章。