如何在不使用 Sklearn 的情况下使用 Python 将数据分为训练和测试
在机器学习或人工智能模型领域，数据是支柱。处理这些数据的方式决定了模型的整体性能。这包括将数据集分为学习集和验证集这一必不可少的任务。虽然 sklearn 的 train_test_split() 是一种常用方法，但在某些情况下，Python 爱好者可能无法使用它，或者好奇如何手动获得类似的结果。本文深入探讨了如何在不依赖 sklearn 的情况下将数据分为学习集和验证集。我们将依靠 Python 的内置库来实现这一目标。
示例 1:数据分离背后的原理
在深入讨论细节之前，让我们先解决原理。机器学习算法需要大量数据来收集。这些数据，即学习集，可帮助模型解读模式并制定预测。但是，要衡量模型的实力，我们需要模型之前未接触过的数据。这些未接触过的数据就是验证集。
使用相同的数据进行学习和验证会导致模型过度拟合 - 模型在学习数据上表现令人印象深刻，但在未接触过的数据上表现不佳。因此，数据通常被分成 70-30 或 80-20 的比例，其中较大的块用于学习，较小的块用于验证。
在 Python 中手动分离数据
我们将使用 Python 的内置操作开始一种简单而有效的数据分离方法。这里使用的样本是整数列表，但该技术适用于任何数据类型。
假设我们拥有以下数据集数据:
data = list(range(1, 101)) # data 是从 1 到 100 的整数列表
目标是将这些数据分为 80% 的学习数据和 20% 的验证数据。
首先，我们将导入必要的库。
random 模块提供了多种生成随机数的函数，我们将利用它来打乱我们的数据。随后，我们将对数据进行打乱。
打乱数据后，我们将数据分为学习集和验证集
split_index 决定了数据分叉的点。我们将其计算为 split_ratio 和数据集大小的乘积。
最终，我们使用切片来制作学习和验证数据集。
学习数据由从列表开始到 split_index 的元素组成，验证数据由从 split_index 到列表终止的元素组成。
示例
import random random.shuffle(data) split_ratio = 0.8 # 我们在这里使用 80-20 分割 split_index = int(split_ratio * len(data)) train_data = data[:split_index] test_data = data[split_index:]
输出
train_data = [65, 51, 8, 82, 15, 32, 11, 74, 89, 29, 50, 34, 93, 84, 37, 7, 1, 83, 17, 24, 5, 33, 49, 90, 35, 57, 47, 73, 46, 95, 10, 80, 59, 94, 63, 27, 31, 52, 18, 76, 91, 71, 20, 68, 70, 87, 26, 64, 99, 42, 61, 69, 79, 12, 3, 66, 96, 75, 30, 22, 100, 14, 97, 56, 55, 58, 28, 23, 98, 6, 2, 88, 43, 41, 78, 60, 72, 39] test_data = [45, 53, 48, 16, 9, 62, 13, 81, 92, 54, 21, 38, 25, 44, 85, 19, 40, 77, 67, 4]
由于代码涉及随机数据混洗，每次尝试运行时输出可能会有所不同。
示例 2:利用 Numpy 分离数据
另一种不使用 sklearn 分离数据的方法是利用 numpy 库。Numpy 是一个强大的数值计算库，可用于构建数组并有效地操作它们。
以下是使用 numpy 分离数据的方法:
首先，导入 numpy 库。随后，构建一个 numpy 数组。
混洗数组。最后，拆分数组。
索引表示我们的数据池被分成学习和验证子集的点。它是通过利用预定分割率(在我们的例子中为 80-20 分割，为 0.8)和数据点的累积计数的乘积得出的。
最后一步是使用计算出的分割索引创建训练和测试数据集。我们使用列表切片进行此操作。
示例
import numpy as np data = np.array(range(1, 101)) # data 是一个从 1 到 100 的整数的 numpy 数组 np.random.shuffle(data) split_ratio = 0.8 # 我们在这里使用 80-20 分割 split_index = int(split_ratio * len(data)) train_data = data[:split_index] test_data = data[split_index:]
输出
train_data = [52, 13, 87, 68, 48, 4, 34, 9, 74, 25, 30, 38, 90, 83, 54, 45, 61, 73, 80, 14, 70, 63, 75, 81, 97, 60, 96, 8, 43, 20, 79, 46, 50, 76, 18, 84, 26, 31, 71, 56, 22, 88, 64, 95, 91, 78, 69, 19, 42, 67, 77, 2, 41, 32, 11, 94, 40, 59, 17, 57, 99, 44, 5, 93, 62, 23, 3, 33, 47, 92] test_data = [49, 66, 7, 58, 37, 98, 100, 24, 6, 55, 28, 16, 85, 65, 51, 35, 12, 10, 86, 29]
结论
将数据分为学习集和验证集是机器学习和数据科学项目中至关重要的一步。虽然 sklearn 提供了一种简单的方法来执行此任务，但了解如何手动完成此任务至关重要。正如我们所展示的，这可以通过使用 Python 的内置操作或 numpy 库来实现。
您选择使用 sklearn、Python 的内置操作还是 numpy 取决于您的特定要求和限制。每种方法都有其优点和缺点。手动方法可以让您更好地控制流程，而 sklearn 的 train_test_split() 更易于使用，并包含分层等附加属性。
