使用 GridSearchCV 和 KerasClassifier 进行超参数调整

machine learningpythondata science更新于 2024/2/3 1:31:00

在机器学习领域，超参数调整在优化模型性能方面起着至关重要的作用，超参数调整的流行技术之一是将 GridSearchCV 与 KerasClassifier 结合使用。这种强大的组合使数据科学家和机器学习从业者能够有效地探索和确定其深度学习模型的最佳超参数集。在本文中，我们将深入探讨超参数调整的概念，了解 GridSearchCV 算法，并探索如何将其与 KerasClassifier 一起使用。

了解超参数

超参数是机器学习模型中的参数，由数据科学家或机器学习从业者设置，而不是从数据本身学习而来。它们定义了模型的行为和特征，并且可以极大地影响其性能。超参数的示例包括学习率、批量大小、神经网络中的隐藏层数量以及激活函数的选择。

超参数调整过程是开发机器学习模型的关键步骤。它涉及找到这些超参数的最优值，这些值直接影响模型如何从数据中学习和概括。通过仔细选择和微调这些超参数，我们可以提高模型的性能，使其在进行预测或分类时更加准确和可靠。

超参数调整的必要性

超参数调整非常重要，因为它使我们能够为机器学习模型选择最合适的超参数，从而显着提高其性能。通过微调超参数，我们可以提高模型的准确性，缓解过度拟合问题，并增强其对新数据和未见数据进行准确预测的能力。最终，这个过程使我们能够创建一个经过良好优化的模型，该模型性能更好，并且能够很好地泛化到训练数据之外。

GridSearchCV 简介

GridSearchCV 是一种用于超参数优化的技术。它系统地搜索一组预定义的超参数，并评估模型对每种组合的性能。它详尽地尝试了所有可能的组合，以确定最佳的超参数集。

GridSearchCV 工作流程

GridSearchCV 的工作流程包括以下步骤 −

定义模型 − 指定要调整的机器学习模型。
定义超参数网格 − 创建一个包含要探索的超参数及其对应值的字典。
定义评分指标 − 选择一个指标来评估模型的性能。
执行网格搜索 − 使用训练数据和超参数网格拟合 GridSearchCV 对象。
检索最佳超参数 − 访问 GridSearchCV 找到的最佳超参数。
评估模型 − 使用最佳超参数训练模型并评估其在测试数据上的性能。

使用 KerasClassifier 和 GridSearchCV 进行超参数调整

KerasClassifier 是 Keras 库中的一个包装器类，它允许我们将 Keras 模型与 Scikit-learn 的 GridSearchCV 一起使用。通过将 KerasClassifier 与 GridSearchCV 相结合，我们可以轻松调整使用 Keras 构建的深度学习模型的超参数。

要将 KerasClassifier 与 GridSearchCV 一起使用，我们需要将 Keras 模型定义为函数并将其传递给 KerasClassifier。然后，我们可以通过指定超参数网格和评分指标来继续常规 GridSearchCV 工作流程。

以下是我们将遵循的使用 KerasClassifier 和 GridSearchCV 进行超参数调整的步骤 -

算法

导入所需的库 − 此步骤导入必要的库和模块，例如 NumPy、scikit-learn 和 Keras，以使用 GridSearchCV 和 KerasClassifier 执行超参数调整。
加载数据集 −
将数据拆分为训练集和测试集 −
定义一个函数来创建 Keras 模型:定义一个名为 `create_model()` 的函数来创建一个简单的 Keras 模型。
创建 KerasClassifier 对象 −
定义超参数网格 − 下面的程序定义了一个名为"param_grid"的字典，它指定要调整的超参数及其对应的值
创建 GridSearchCV 对象
将 GridSearchCV 对象拟合到训练数据 −
打印最佳参数和分数:在测试数据上评估最佳模型 −

示例

# 导入所需库
import numpy as npp
from sklearn.model_selection import GridSearchCV
from sklearn.datasets import load_iris
from sklearn.model_selection import train_test_split
from keras.models import Sequential
from keras.layers import Dense
from keras.wrappers.scikit_learn import KerasClassifier

# 加载 Iris 数据集
irisd = load_iris()
X = irisd.data
y = irisd.target

# 将数据拆分为训练集和测试集
X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.2, random_state=42)

# 定义一个函数来创建 Keras 模型
def create_model(units=10, activation='relu'):
   model = Sequential()
   model.add(Dense(units=units, activation=activation, input_dim=4))
   model.add(Dense(units=3, activation='softmax'))
   model.compile(optimizer='adam', loss='sparse_categorical_crossentropy', metrics=['accuracy'])
   return model

# 创建 KerasClassifier 对象
model = KerasClassifier(build_fn=create_model)

# 定义要搜索的超参数网格
param_grid = {
'units': [5, 10, 15],
'activation': ['relu', 'sigmoid']
}

# 创建 GridSearchCV 对象
grid = GridSearchCV(estimator=model, param_grid=param_grid, cv=3)

# 将 GridSearchCV 对象拟合到训练数据
grid_result = grid.fit(X_train, y_train)

# 打印最佳参数和分数
print("最佳参数: ", grid_result.best_params_)
print("最佳分数: ", grid_result.best_score_)

# 在测试数据上评估最佳模型
best_model = grid_result.best_estimator_
test_accuracy = best_model.score(X_test, y_test)
print("测试准确率: ", test_accuracy)

输出

最佳参数:{'activation': 'sigmoid', 'units': 5}
最佳得分:0.42499999205271405
1/1 [==============================] - 0s 74ms/step - loss: 
测试准确率:0.1666666716337204