机器学习中的超参数优化方法
简介
机器学习模型严重依赖于众多可调参数，即超参数。找到这些超参数的最佳组合可以显著提升模型的性能和预测准确性。本文将深入探讨机器学习中各种超参数优化技术。这些技术将使机器学习算法能够有效地解决复杂问题。为这些参数选择合适的值将直接影响模型学习模式和泛化到未知数据的效果。
超参数
超参数定义了机器学习算法的行为和架构，而不是从训练数据本身中学习而来。
常用超参数
学习率:此参数影响每次更新模型内部权重时纳入的信息量。
正则化强度:通过对复杂的模型表示施加惩罚来控制过拟合。
隐藏层或单元的数量:分别确定神经网络的深度和宽度。
核类型或大小:这些超参数在支持向量机 (SVM) 中起着不可或缺的作用，它们定义输入样本之间的相似性测量函数。
树的深度或分裂标准:具体来说，它们与决策树或随机森林有关，控制树结构的构建。
网格搜索
网格搜索涉及使用交叉验证，对所有相关超参数在预定范围内的所有可能组合进行详尽评估。
考虑使用两个可调参数(C(正则化强度)和 gamma(核系数))拟合一个 SVM 分类器。网格搜索会详尽评估各个组合，例如 {C = 0.1, gamma = 0} 和 {C = 0.1, gamma = 0.01}，从而使我们能够根据交叉验证的性能指标(例如准确率或 F1 分数)选择最优值。
示例 - SVM 的网格搜索
Gamma |
0.1 |
|---|---|
0.01 |
{C = 0.1, gamma = 0.01} |
0.1 |
{C = 0.1, gamma = 0.01} |
1 |
{C = 0.1, gamma = 1} |
随机搜索
随机搜索通过从定义范围中随机采样超参数组合来补充网格搜索。通过设置迭代次数，用户可以控制探索与利用之间的权衡。
考虑到一个包含学习率 (η) 和隐藏单元数量等参数的神经网络模型，随机搜索通过随机选择组合，比网格搜索更有效地探索超参数空间，并有可能在无需进行详尽评估的情况下发现最优设置。
示例 - 神经网络的随机搜索
Number of hidden units |
Learning rate (η) |
|---|---|
100 |
0.1 |
200 |
0.01 |
300 |
0.001 |
贝叶斯优化
贝叶斯优化使用概率模型，根据先前评估的参数集来构建目标函数的先验分布。它利用这些模型，以迭代和智能的方式，在性能指标上最大化预期改进，从而提出新的配置建议。
通过连续的建议-评估循环，决策树的关键超参数(例如树深度或分裂标准)将以资源高效的方式进行微调，同时避免对所有可能的组合进行暴力求值。
示例 - 决策树的贝叶斯优化
分裂标准 |
树深度 |
|---|---|
Gini |
1 |
Gini |
2 |
Gini |
3 |
Gini |
4 |
Gini |
5 |
Entropy |
1 |
Entropy |
2 |
Entropy |
3 |
Entropy |
4 |
Entropy |
5 |
进化算法
进化算法从自然进化原理(例如选择和变异)中汲取灵感，有效地指导复杂空间中的探索——应用遗传算法等技术可以根据问题的复杂性或时间限制自动调整计算资源。
差分进化
差分进化是另一种流行的基于进化算法的技术，它使用向量差分，而不是遗传算法中常见的离散变异。
它从种群初始化开始，然后进行连续的世代，使用重组、变异和交叉创建新的种群，以探索并收敛到全局最优。
基于梯度的优化
利用梯度信息，我们可以利用基于梯度的优化算法(例如随机梯度下降 (SGD)、Adam 优化器或其他变体)在训练周期内有效地联合更新模型参数和超参数。
遗传算法
受自然进化原理的启发，遗传算法模拟交叉和变异等生物过程，以优化高度非线性函数，这些函数隐式地表示了各种超参数之间的复杂关系。
粒子群优化
粒子群优化从群体智能中汲取灵感，模拟鸟群或鱼群寻找最优解的行为。每个候选解都表示为粒子，这些粒子通过与其他粒子的相互作用来探索和利用搜索空间。
模拟退火
模拟退火利用冶金学原理在超参数调整过程中平衡探索和利用。它会随着时间的推移逐渐降低"温度"，允许偶尔接受较差的解，以避免陷入局部最优。
基于树的 Parzen 估计器 (TPE)
TPE 使用核密度估计构建两个模型:一个用于目标函数的最大值，另一个用于未成功试验的概率分布。然后，它会根据预期的改进对超参数进行采样，以提升性能，同时迭代收集新信息。
集成技术
集成方法将多个具有不同超参数集的模型组合在一起，通过利用每个组件贡献的不同视角来增强模型的鲁棒性和泛化能力。诸如 bagging、boosting 或 stacking 之类的技术可以通过智能地融合各种模型的预测来帮助实现卓越的性能。
自动超参数调优库
Optuna、Hyperopt 或 AutoML 等一些高级软件库提供了强大的框架，并配备了内置技术，可实现高效的超参数优化。这些库通常提供用户友好的 API 界面，并自动执行系统性探索中涉及的许多重复性任务。
结论
超参数优化对于释放机器学习的真正潜力至关重要。网格搜索、随机搜索和贝叶斯优化等技术使我们能够系统地探索广阔的参数空间，发现最优设置，同时提高模型的准确性和性能。随着实践者逐渐接受这些技术，并在清晰示例的帮助下将其融入到他们的工作流程中。
