Python 中的顶级 NLP 库
随着 Chat-GPT 的出现，人们可以看到自然语言处理的重要性以及通过人类语言与计算机对话的能力。Python 是 NLP 中最常用的编程语言之一，因为它有各种库可直接用于 NLP(如 NLTK)或间接(spaCy)。本文将介绍 7 个不同的 NLP 库，并详细说明它们提供的功能以及为什么它们对对 Python NLP 编程感兴趣的人有用。
NLTK - 自然语言工具包
NLTK 是大多数 NLP 任务的首选，实际上是用于处理 NLP 系统的库(包)的集合。这些库提供了很多功能，但主要用途如下 -
标记化 NLTK 提供单词和句子标记化，以及基于正则表达式拆分的标记器。
词形还原和词干提取 虽然 NLTK 可以同时完成这两项工作，但要注意词形还原，因为它将单词更改为其基本形式，而不仅仅是像词干提取那样删除后缀，这会花费更多时间来处理。
情感分析 NLTK 配备了多种工具来进行情感分析，从预训练分类器(如 NaiveBayesClassifier)到使用词汇技术的预训练分类器(如 VADER)。它们都使用各种机器学习技术和测量来确定文本的情感。
NLTK 非常适合学生和研究人员。对学生的好处在于它能够简单地实现更高级的编程任务，而对研究人员的好处在于能够执行各种任务并拥有庞大的用户社区来提供帮助。
SpaCy
与 NLTK 相比，我们有一个较新的库，可以很好地处理大规模文本并高效处理。对于大多数任务，spaCy 能够完成 NLTK 所做的工作，但速度更快，准确性更高。
该库采用面向对象方法构建，具有 OOP 的所有优点，例如模块化和灵活性等。spaCy 对于想要自定义 NLP 任务以制作特定和定制应用程序的用户非常有用。spaCY 配备了内置的基于规则的匹配功能，而 NLTK 没有。考虑到 spaCy 的先进程度和可用功能，对于初学者来说，它比 NLTK 更难使用是有道理的。
Pattern
Pattern 是一个基于 NLP 的库，虽然它也能执行与上述两个库类似的任务，但它也是专门为网络挖掘而设计的。这包括一般的网络抓取(从网站中提取数据)和执行 NLP 技术，例如语言检测、POS 标记和网站文本的情感分析。
Hugging Face Transformers
这是一个非常流行的库套件，专注于使用深度学习为从 NLP 到更远(即计算机视觉)的各种任务构建模型。例如，在上下文中，Hugging Face Transformer 库允许通过使用预先训练的模型来构建问答系统，这些模型可以针对特定任务进行微调。使用微调或根据上下文进行定制可以在仅用几行代码生成的问答系统中产生可靠的结果。
Scikit-Learn
虽然 Scikit-Learn 是一个非常通用的机器学习库，但它提供了执行 NLP 任务的功能，例如预处理、TF-IDF 计算和命名实体识别 (NER) 等。即使没有直接提到 NLP，scikit-learn 功能也可以用于 NLP 任务 - 例如使用朴素贝叶斯和 TF-IDF 来查找文本的类别。请记住，Scikit-Learn 是一个通用的机器学习库，它将提供评估为特定任务创建的 NLP 模型的方法。这包括准确度分数、精确度分数、召回率分数和 f1 分数。
AllenNLP
AllenNLP 是一个基于 NLP 的库，它建立在 PyTorch 上，有助于创建神经网络。AllenNLP 与 Hugging Face Transformers 类似，使用深度学习为各种 NLP 任务创建模型(因此 PyTorch 的神经网络具有相关性)。这个库包含高质量的预训练模型，可以修改这些模型以适合您的任何特定任务。除此之外，AllenNLP 还执行标准任务，例如数据预处理等。
Gensim
这个 NLP 库特别适合使用潜在狄利克雷分配 (LDA) 和潜在语义分析 (LSA) 进行主题建模。 Gensim 与其他库(例如，Pattern 确实具有内置的 Web 挖掘工具)结合使用时，可用于分析来自网页的文本。Gensim 非常适合处理大量文本，并已被许多学者引用。
结论
总而言之，NLP 是一个蓬勃发展的领域，许多 Python 库都为您提供了足够的支持，可用于开展项目。很明显，一些常规任务(如预处理和 NER)可能在多个库中可用。但是，某些任务可能比其他任务更有用，因为它们需要更定制的库，例如用于问答系统的 hugging face。在决定使用哪些库时，应该检查基本功能以及库的主要优势和它们在哪些方面有效。
