文本数据是数据分析和机器学习中最常用的数据类型之一。 然而，文本数据往往是杂乱无章的，需要清洗和预处理才能被有效分析。 Pandas 是一个强大的 Python 数据分析库，它提供了一个方便的 str 访问器来帮助您清理和操作文本数据。

Pandas 中的 str 访问器提供了许多有用的字符串操作，可以应用于 Pandas 系列的每个元素。 这些操作包括字符串拆分、连接、替换等。 在这里，我们将了解一些最有用的 str 操作，它们可以帮助您清理和操作文本数据。

让我们从使用文本数据创建示例数据框开始：

import pandas as pd

data = {"text_column": ["this is a text", "an example", "of text data", "in pandas"]}
df = pd.DataFrame(data)
print(df)

输出

text_column
0  this is a text
1      an example
2     of text data
3        in pandas

1.小写转换

有时，文本数据可能包含混合大小写字符，这会导致难以分析和比较。 str 访问器提供了一个 lower() 方法来将所有字符转换为小写。

df["text_column"] = df["text_column"].str.lower()
print(df)

输出

text_column
0  this is a text
1      an example
2     of text data
3        in pandas

2. strip方法

文本数据可能包含不需要的字符，如空格、制表符或换行符。 str 访问器提供了 strip() 方法来从系列中每个字符串的开头和结尾删除这些字符。

df["text_column"] = df["text_column"].str.strip()
print(df)

输出:

text_column
0  this is a text
1      an example
2     of text data
3        in pandas

3.替代法

str 访问器还提供了一种 replace() 方法，用于在系列的每个元素中用一个字符串替换另一个字符串。 当您想要替换文本数据中的特定单词或字符时，这很有用。

df["text_column"] = df["text_column"].str.replace("text", "string")
print(df)

输出:

text_column
0  this is a string
1      an example
2     of string data
3        in pandas

4.另一个重要的函数是extract()

此功能可用于从文本中提取特定模式。 extract() 函数将正则表达式模式作为参数，并返回一个或多个匹配项作为新的 DataFrame 列。 让我们看一个例子：

import pandas as pd

#创建示例 DataFrame
df = pd.DataFrame({'text': ['I love cats!', 'Dogs are the best', 'I love dogs and cats']})
# 使用 extract() 函数提取“love”这个词
df['love'] = df['text'].str.extract(r'(w+)s(w+)')
# Check the DataFrame
print(df)

这将产生以下输出：

text   love
0     I love cats!  love
1   Dogs are the best   NaN
2  I love dogs and cats  love

5.另一个有用的函数是split()

此函数可用于根据指定的分隔符将文本拆分为多个部分。 split() 函数返回从原始文本中拆分出来的子字符串列表。 让我们看一个例子：

import pandas as pd

#创建示例 DataFrame
df = pd.DataFrame({'text': ['I love cats!', 'Dogs are the best', 'I love dogs and cats']})
# 使用 split() 函数将文本拆分为单词
df['text'] = df['text'].str.split()
# Check the DataFrame
print(df

这将产生以下输出：

text
0    [I, love, cats!]
1  [Dogs, are, the, best]
2  [I, love, dogs, and, cats]

如您所见，split() 函数已将文本拆分为单词并返回子字符串列表。

6.去除标点符号和特殊字符

在文本数据中，我们经常会有很多与分析无关的标点符号和特殊字符。 要删除它们，我们可以使用 str.translate() 方法和 str.maketrans() 方法。

import string

#创建特殊字符和标点符号到 None 的映射
translator = str.maketrans("", "", string.punctuation)
# 将翻译器应用于文本列
df["text"] = df["text"].str.translate(translator)

7.删除停用词

停用词是对文本意义不大的常用词，通常会被删除以简化分析。 要删除停用词，我们可以使用 nltk 库。

import nltk
from nltk.corpus import stopwords

# 下载停用词语料库
nltk.download("stopwords")
# 获取停用词列表
stop_words = set(stopwords.words("english"))
# 从文本列中删除停用词
df["text"] = df["text"].apply(lambda x: " ".join([word for word in x.split() if word not in stop_words]))

8. 对文本进行词干化或词形还原

词干提取和词形还原是两种重要的 NLP 技术，用于将单词简化为基本形式。 它们有助于简化文本数据并使其更易于分析。

词干提取是将单词简化为基本形式或词根形式的过程。 它涉及删除词的后缀或词尾以得到词根。 例如，“running”、“runner”和“ran”都使用词干提取法简化为词根形式“run”。

另一方面，词形还原是使用基于字典的方法将单词简化为基本形式的过程。 与词干提取不同，词形还原考虑单词的上下文并将它们映射到最有意义的基本形式。 例如，“running”将简化为“run”，“is”将简化为“be”。

词干提取和词形还原都有各自的优点和缺点，它们之间的选择取决于用例。 词干化更快更简单，但词形还原更准确并产生更有意义的基本形式。

要在 Pandas 中对文本进行词干化或词形还原，我们可以使用 nltk 库。 以下是如何使用 nltk 执行词干提取的示例：

import nltk
from nltk.stem import PorterStemmer

# 初始化词干分析器
stemmer = PorterStemmer()
# 定义一个函数来阻止文本
def stem_text(text):
    return ' '.join([stemmer.stem(word) for word in text.split()])
# 将词干提取功能应用于文本列
df['text_stemmed'] = df['text'].apply(stem_text)

以下是如何使用 nltk 执行词形还原的示例：

import nltk
from nltk.stem import WordNetLemmatizer

#初始化词形还原器
lemmatizer = WordNetLemmatizer()
# 定义一个函数来对文本进行词形还原
def lemmatize_text(text):
    return ' '.join([lemmatizer.lemmatize(word) for word in text.split()])
# 将词形还原函数应用于文本列
df['text_lemmatized'] = df['text'].apply(lemmatize_text)

在这两种情况下，词干化或词形化的文本都存储在数据框中的新列中。 这个新列可用于进一步分析或建模。