Pandas使用教程 - 正则表达式在 Pandas 中的应用 - 海量技术好文一站式集结

在数据预处理工作里，文本数据的模式匹配、信息提取以及内容替换等问题屡见不鲜。正则表达式（Regular Expression）作为一款功能强大的文本匹配利器，能够精准描述字符串的匹配规则，在数据清洗、格式转换、特征提取以及文本挖掘等多个重要领域都发挥着不可替代的关键作用。

Pandas 库的 Series.str 模块独具匠心地将正则表达式功能与向量化字符串操作巧妙融合，这一创新设计让批量处理文本数据变得既高效又简洁，极大地提升了数据处理的效率和便捷性。

在本文中，我们将全方位、详细地介绍正则表达式的基本概念和常见语法规则。同时，会着重阐述如何在 Pandas 库中灵活运用正则表达式来完成各类操作。此外，还会结合多个生动的实例，为大家展示正则表达式在实际场景中的具体应用方式和显著效果。

1. 正则表达式简介

1.1 什么是正则表达式？

正则表达式（Regular Expression，简称为 regex）是一种强大的工具，专门用于描述和匹配字符串模式。借助正则表达式，你能够定义一个特定的模式，随后运用该模式对字符串进行搜索、替换或者拆分操作。从数学层面来看，正则表达式可被视作一种精准描述字符串集合$L$的有效方法。例如：

\[ L= { w ∣ w 满足正则表达式 R } \]

其中，$R$ 表示一个正则表达式，$w$ 为满足该模式的字符串。

正则表达式在文本数据处理中的常见应用包括：

匹配：判断字符串是否符合某个模式。
提取：从字符串中抽取符合模式的子串。
替换：将符合模式的部分替换为新的字符串。
拆分：根据匹配模式对字符串进行分割。

1.2 常见正则表达式语法

以下是一些常见的正则表达式语法规则及示例：

.：匹配除换行符外的任意字符。例如： a.c 可匹配 “abc”、“aXc”等。
*：匹配前一个字符出现 0 次或多次，例如 ab*c 可匹配 “ac”、“abc”、“abbc” 等。
+：匹配前一个字符出现 1 次或多次，例如 ab+c 必须至少出现一次 b。
?：匹配前一个字符出现 0 次或 1 次。
[]：匹配括号内的任一字符，例如 [abc] 匹配 “a”、“b” 或 “c”； [0-9] 匹配任一数字。
^ 与 $：分别匹配字符串的开头和结尾，例如 ^Hello 匹配以 “Hello” 开头的字符串； world!$ 匹配以 “world!” 结尾的字符串。
\d、 \w、 \s：分别匹配数字、字母数字下划线以及空白字符；其对应的大写形式 \D、 \W、 \S 匹配相反的情况。
{m,n}：匹配前一个字符至少出现 m 次，至多 n 次，例如 a{2,4} 匹配 “aa”、“aaa”、“aaaa”。
|：表示逻辑“或”，例如 cat|dog 匹配 “cat” 或 “dog”。
分组：使用小括号 () 对表达式进行分组，便于提取和引用。例如： (ab)+ 匹配 “ab”、“abab” 等。

这些语法构成了正则表达式的基础，通过组合这些规则可以构造出非常灵活的匹配模式。

2. Pandas 中的字符串方法与正则表达式

Pandas 为 Series 和 DataFrame 中的字符串操作提供了一整套向量化的方法，所有这些方法都位于 .str 访问器下。常见的方法包括：

str.contains()：判断每个字符串是否包含某个正则表达式模式，返回布尔 Series。
str.match()：判断字符串是否在起始位置匹配给定正则表达式，返回布尔 Series。
str.extract()：根据正则表达式提取捕获组，返回一个 DataFrame。
str.findall()：返回所有匹配正则表达式的子串，结果为列表形式。
str.replace()：使用正则表达式替换字符串中匹配部分。
str.split()：按照正则表达式拆分字符串，返回列表或 Series。

这些方法均支持传入参数 regex=True（默认启用正则表达式）以及各种标志参数（如 flags=re.IGNORECASE 等），从而实现灵活的文本匹配和转换。

2.1 str.contains()

str.contains() 方法用于检测字符串中是否存在匹配模式。示例：

import pandas as pd

s = pd.Series(["apple", "banana", "cherry", "date"])
# 检查是否包含字母 a（忽略大小写）
result = s.str.contains("a", case=False)
print(result)

输出：

0     True
1     True
2    False
3    False
dtype: bool

该方法常用于数据过滤，例如筛选出含有特定关键词的行。

2.2 str.extract()

str.extract() 用于从字符串中提取符合捕获组的部分。示例：

s = pd.Series(["Order 1234", "Invoice 5678", "Receipt 91011"])
# 提取数字部分
extracted = s.str.extract("(\d+)")
print(extracted)

输出：

可以看出，正则表达式 (\d+) 捕获了连续数字序列，返回结果为 DataFrame。

2.3 str.findall()

str.findall() 返回字符串中所有匹配正则表达式的子串，结果为列表形式：

s = pd.Series(["abc123def", "456ghi789", "no digits here"])
matches = s.str.findall("\d+")
print(matches)

输出：

0       [123]
1    [456, 789]
2          []
dtype: object

这种方法适用于需要获取字符串中所有符合条件的信息时使用。

2.4 str.replace()

str.replace() 方法支持正则表达式替换操作，可以将匹配到的子串替换成指定字符串：

s = pd.Series(["hello 123 world", "test 456 case"])
# 将所有数字替换为 #
replaced = s.str.replace("\d+", "#", regex=True)
print(replaced)

输出：

0    hello # world
1       test # case
dtype: object

这里，正则表达式 \d+ 匹配连续数字序列，替换为 “#”。

2.5 str.match()

str.match() 判断字符串是否从开头匹配给定模式，与 contains 不同，它只检查起始部分：

s = pd.Series(["abc123", "123abc", "abc456"])
# 判断是否以 abc 开头
match_result = s.str.match("abc")
print(match_result)

输出：

0     True
1    False
2     True
dtype: bool

3. 正则表达式在数据清洗中的常见应用

在实际数据预处理中，我们经常需要利用正则表达式解决以下问题：

3.1 清洗脏数据

在实际的数据处理过程中，数据里常常会夹杂一些不必要的字符，或者存在格式错误的情况。正则表达式在这种场景下就能发挥重要作用，它可以帮助我们去除多余的空格、特殊符号，或者对错误格式的数据进行替换。举个例子，当我们需要清洗电话号码时，就可以利用正则表达式去除其中的空格和横线。

phone_series = pd.Series(["(123) 456-7890", "123-456 7890", "1234567890"])
# 移除括号、空格和横线
clean_phone = phone_series.str.replace("[\(\)\-\s]", "", regex=True)
print(clean_phone)

输出：

0    1234567890
1    1234567890
2    1234567890
dtype: object

3.2 提取特定模式

下面以从文本里提取电子邮件地址为例进行说明。假定有一个数据集，其中包含了用户的评论内容，而这些评论中可能会嵌入邮箱地址。此时，我们就可以借助正则表达式来实现邮箱地址的提取操作：

comments = pd.Series([
    "请联系我，邮箱：[email protected]，谢谢！",
    "没有邮箱信息",
    "另一个邮箱：[email protected]，可用于反馈。"
])
emails = comments.str.extract("([\w\.-]+@[\w\.-]+\.\w+)")
print(emails)

输出可能为：

                 0
0   [email protected]
1               NaN
2  [email protected]

正则表达式 ([\w\.-]+@[\w\.-]+\.\w+) 用于匹配电子邮件地址格式。

3.3 替换不符合规范的字符

在文本数据中，有时需要将非 ASCII 字符、特殊符号等替换掉，或者统一格式。例如，将中文全角符号替换为半角：

text_series = pd.Series(["ＡＢＣ，１２３！", "测试，全角标点。"])
# 使用正则表达式替换全角逗号和句号为半角
converted = text_series.str.replace("，", ",", regex=True).str.replace("。", ".", regex=True)
print(converted)

输出：

0    ＡＢＣ,１２３!
1      测试,半角标点.
dtype: object

（注：实际应用中可能需要更复杂的映射，此处仅为示例。）

3.4 数据拆分

在处理数据时，我们常常会遇到一些合并在一起的数据，像地址信息、姓名这类内容就经常混合呈现。此时，正则表达式就能派上大用场，我们可以借助它将这些合并的数据拆分开来，从中提取出有价值的信息。比如，当面对带有分隔符的字符串时，就能够使用正则表达式将其拆分为多个部分。

address_series = pd.Series(["北京市-海淀区-中关村", "上海市-浦东新区-陆家嘴"])
split_addresses = address_series.str.split("-", expand=True)
print(split_addresses)

输出：

      0      1      2
0   北京市   海淀区   中关村
1   上海市  浦东新区   陆家嘴

4. 结合 Pandas 应用正则表达式的实战技巧

在 Pandas 里运用正则表达式，主要借助向量化的字符串方法。这种方式优势显著，一方面大幅提升了数据处理的速度，另一方面让代码更加简洁易读。接下来，为大家介绍几个在使用过程中常见的技巧以及需要留意的事项：

4.1 向量化操作

Pandas 的字符串方法都是向量化的，这意味着你可以一次性对整个 Series 应用正则表达式，而无需遍历每个元素。例如：

df["clean_text"] = df["raw_text"].str.replace(r"\s+", " ", regex=True)

此代码将 raw_text 列中所有连续空白字符替换为一个空格，既简洁又高效。

4.2 使用捕获组提取数据

利用 str.extract() 方法时，正则表达式中的括号用于捕获需要提取的部分。捕获组可以为数据提取提供命名：

# 命名捕获组提取日期：格式为 YYYY-MM-DD
df["date_extracted"] = df["text"].str.extract(r"(?P<date>\d{4}-\d{2}-\d{2})")

这样提取出的列名为 “date_extracted”，便于后续使用。

4.3 替换时使用反向引用

在使用 str.replace() 进行替换时，可以利用反向引用 $1、$2 等来引用捕获组。例如，假设需要将 “abc123” 形式的字符串转换为 “123abc”：

s = pd.Series(["abc123", "def456"])
# 将前三个字母和后面的数字交换位置
rearranged = s.str.replace(r"([a-zA-Z]{3})(\d+)", r"\2\1", regex=True)
print(rearranged)

输出：

0    123abc
1    456def
dtype: object

这里， \1 和 \2 分别表示第一个和第二个捕获组的内容。

4.4 配合 apply() 进行自定义处理

尽管 Pandas 所具备的内置字符串方法已然十分强大，但在某些情形下，我们可能需要开展更为复杂的正则处理工作。此时，我们可以将 apply() 方法与 lambda 表达式结合使用来达成目标。举例来说，当我们需要对某一列数据进行多步的正则匹配和替换操作时，就可以采用这种方式。

def custom_clean(text):
    # 首先移除所有 HTML 标签
    text = pd.Series(text).str.replace(r"<.*?>", "", regex=True).iloc[0]
    # 然后替换连续的空格为单个空格
    text = pd.Series(text).str.replace(r"\s+", " ", regex=True).iloc[0]
    return text

df["clean_text"] = df["raw_text"].apply(custom_clean)

这种方式灵活度较高，但在数据量较大时可能会略微降低性能。

5. 实战案例：利用正则表达式进行数据清洗与特征提取

下面通过一个实际案例，展示如何利用 Pandas 中的正则表达式方法对文本数据进行清洗和特征提取。

5.1 案例背景

假定我们拥有一份 CSV 文件，其中记录了用户的反馈信息。在这份文件里，有一个名为 “feedback” 的列，专门用于存储用户的评论内容。这些评论可能会包含电子邮件地址、电话号码，同时也可能夹杂着一些无关紧要的噪音信息。

为了使数据更加规整、便于后续分析，我们需要对 “feedback” 列的数据进行清洗处理。具体而言，一方面要从评论中精准提取出电子邮件地址；另一方面，要把评论里出现的电话号码统一替换为特定的格式。

5.2 数据读取与预览

首先读取数据：

import pandas as pd

# 模拟用户反馈数据
data_feedback = {
    "id": [1, 2, 3, 4],
    "feedback": [
        "请联系我，邮箱 [email protected]，电话：138-1234-5678。",
        "反馈不错，但我的号码是(010) 88886666，请回复。",
        "无有效联系方式。",
        "邮件：[email protected]; 电话：+86 139 8765 4321。"
    ]
}
df_feedback = pd.DataFrame(data_feedback)
print("原始反馈数据：")
print(df_feedback)

输出结果：

   id                                  feedback
0   1  请联系我，邮箱 [email protected]，电话：138-1234-5678。
1   2         反馈不错，但我的号码是(010) 88886666，请回复。
2   3                             无有效联系方式。
3   4    邮件：[email protected]; 电话：+86 139 8765 4321。

5.3 提取电子邮件地址

利用 str.extract() 提取反馈中的电子邮件地址：

# 提取电子邮件地址的正则表达式：匹配字母、数字、点、连字符组合的邮箱格式
df_feedback["email"] = df_feedback["feedback"].str.extract(r"([\w\.-]+@[\w\.-]+\.\w+)")
print("提取后的电子邮件地址：")
print(df_feedback[["id", "email"]])

输出结果：

   id                  email
0   1     [email protected]
1   2                   NaN
2   3                   NaN
3   4  [email protected]

可以看到，第 0 行和第 4 行成功提取了电子邮件地址。

5.4 替换电话号码为统一格式

针对电话号码的格式多样性，我们可以先用正则表达式匹配常见格式，然后将其替换为统一的格式（例如，所有数字连续形式）。示例：

import re

# 定义一个函数，将匹配到的电话号码中的非数字字符去除
def normalize_phone(text):
    # 使用正则表达式匹配电话号码（简单示例：匹配包含数字、空格、括号、加号、横线的组合）
    pattern = r"([\+\d\(\)\-\s]{7,})"
    # 替换操作：将匹配到的部分进行处理
    return re.sub(pattern, lambda m: re.sub(r"\D", "", m.group(0)), text)

# 对反馈文本中的电话号码进行替换
df_feedback["feedback_clean"] = df_feedback["feedback"].str.replace(r"([\+\d\(\)\-\s]{7,})", lambda m: re.sub(r"\D", "", m.group(0)), regex=True)
print("清洗后的反馈文本：")
print(df_feedback[["id", "feedback_clean"]])

运行后，反馈文本中的电话号码将被替换为仅包含数字的格式。例如，“138-1234-5678” 会变成 “13812345678”，“(010) 88886666” 变成 “01088886666”。这种统一格式便于后续数据存储或进一步分析。

5.5 综合清洗操作

我们还能够把多个清洗步骤组合起来，借助链式调用和 pipe() 方法，提升代码的可读性与可维护性。例如，针对反馈文本，我们可以同时完成提取电子邮件地址和规范电话号码格式这两项任务。

def clean_feedback(df):
    # 提取电子邮件地址
    df["email"] = df["feedback"].str.extract(r"([\w\.-]+@[\w\.-]+\.\w+)")
    # 替换电话号码中的非数字字符
    df["feedback_clean"] = df["feedback"].str.replace(r"([\+\d\(\)\-\s]{7,})", lambda m: re.sub(r"\D", "", m.group(0)), regex=True)
    return df

df_feedback_clean = df_feedback.pipe(clean_feedback)
print("综合清洗后的反馈数据：")
print(df_feedback_clean)

通过 pipe() 链式调用，可以使代码更具模块化和可维护性。

6. 进阶技巧与注意事项

在 Pandas 中使用正则表达式进行数据处理时，还有一些进阶技巧和常见注意事项需要掌握：

6.1 注意正则表达式的性能

正则表达式固然功能强大，但在处理大数据量时，计算开销相对较大。为提升处理效率，给出以下建议：

优先采用向量化字符串方法：尽量避免使用 Python 循环逐个处理元素，优先选用向量化的字符串方法，以实现批量处理，从而显著提高处理速度。
提前编译复杂正则表达式：对于复杂的正则表达式，建议使用 re.compile() 函数提前进行编译。这样在多次使用该正则表达式进行匹配时，能有效提高匹配效率。
简化简单匹配的模式：若仅需进行简单匹配，应尽量采用简单的正则表达式模式，避免过度使用贪婪匹配等可能导致性能下降的匹配方式，以减少不必要的性能损耗。

6.2 处理缺失值（NaN）

在使用 Pandas 字符串方法时，如果 Series 中存在 NaN 值，这些方法通常会返回 NaN。可以先使用 fillna() 方法填充缺失值：

df["feedback"] = df["feedback"].fillna("")

这样可以避免在正则操作中产生错误或不期望的结果。

6.3 使用 raw 字符串

在编写正则表达式时，建议使用 Python 的原始字符串（以 r 开头的字符串），这样可以避免转义字符问题。例如：

pattern = r"\d+"

而非 "\\d+"。

6.4 调试正则表达式

当面对复杂的正则表达式时，一种行之有效的方法是先在单个字符串上进行测试。通过这种方式，我们可以细致地观察正则表达式在特定字符串上的匹配效果，确保其能准确地实现预期的匹配逻辑。在确认正则表达式在单个字符串上表现无误后，再将其应用于整个 Pandas 的 Series 进行批量处理。

此外，在线正则表达式工具（例如 regex101.com）也是我们调试和验证正则表达式的得力助手。这些工具提供了直观的界面，能让我们快速输入正则表达式和测试字符串，实时查看匹配结果，从而高效地对正则表达式进行调试和验证，确保其正确性。

6.5 多步骤处理

在处理复杂的文本清洗任务时，为了提高代码的可调试性和可维护性，建议将正则处理过程拆分成多个步骤。具体而言，每个步骤可单独调用 Pandas 的字符串方法，或者使用自定义函数来完成特定的清洗操作。

借助 pipe() 或 apply() 方法，能够轻松实现这种模块化的设计思路。通过将不同的处理逻辑封装在独立的步骤中，一旦出现问题，我们可以更精准地定位并调试每个步骤；同时，当需求发生变化时，也能更方便地对某个步骤进行修改或替换，从而提高整个文本清洗流程的灵活性和可维护性。

7. 综合案例：从用户评论中提取关键信息

为加深理解，下面给出一个综合案例，假设我们有一份用户评论数据，评论中可能包含电子邮件、电话号码以及 URL。我们的目标是：

提取评论中的电子邮件地址。
将评论中的电话号码统一为纯数字格式。
提取 URL，并统计各个域名的出现频次。

7.1 数据准备

import pandas as pd
import re

data_comments = {
    "评论": [
        "联系我：[email protected]，电话：138-1234-5678，访问 https://www.example.com 获取更多信息。",
        "请发送邮件至 [email protected] 或拨打(010) 88886666。",
        "无联系方式，请访问 http://testsite.net。",
        "用户反馈: 邮件 [email protected]; 电话：+86 139 8765 4321; 更多请看 https://service.cn/about。"
    ]
}
df_comments = pd.DataFrame(data_comments)
print("原始评论数据：")
print(df_comments)

7.2 提取电子邮件地址

df_comments["email"] = df_comments["评论"].str.extract(r"([\w\.-]+@[\w\.-]+\.\w+)")

7.3 统一电话号码格式

电话号码可能有多种格式，统一方式为提取所有数字：

df_comments["phone"] = df_comments["评论"].str.extract(r"([\+\d\(\)\-\s]{7,})")
# 对提取到的电话号码去除所有非数字字符
df_comments["phone"] = df_comments["phone"].apply(lambda x: re.sub(r"\D", "", x) if pd.notna(x) else x)

7.4 提取 URL 信息

利用正则表达式提取 URL，并进一步解析域名：

# 提取 URL，简单模式示例：匹配 http 或 https 开头的 URL
df_comments["url"] = df_comments["评论"].str.extract(r"(https?://[\w\.-/]+)")
# 提取域名部分
df_comments["domain"] = df_comments["url"].str.extract(r"https?://([\w\.-]+)")

7.5 统计域名频次

利用 Pandas 的 value_counts 方法统计域名出现次数：

domain_counts = df_comments["domain"].value_counts()
print("域名出现频次：")
print(domain_counts)

7.6 整合输出

将所有提取结果整合输出：

print("综合清洗后的评论数据：")
print(df_comments[["email", "phone", "url", "domain"]])

通过这一系列操作，我们能够从用户评论中自动提取出关键信息，为后续的数据分析和建模提供有效特征。

8. 总结

本文详细讲解了正则表达式在 Pandas 中的应用，主要内容包括：

正则表达式基础：介绍了正则表达式的基本概念和常用语法，如字符匹配、数量词、捕获组、反向引用等。
Pandas 字符串方法：重点说明了 Pandas 中的 str.contains、str.extract、str.findall、str.replace 和 str.match 等方法，并展示了如何利用这些方法实现批量文本匹配、提取和替换。
应用场景：通过清洗电话号码、提取电子邮件地址、拆分地址信息等案例，展示了正则表达式在数据清洗、格式统一和特征提取中的实际应用。
进阶技巧：讨论了使用向量化操作、捕获组、反向引用以及结合 apply() 实现自定义正则处理的高级方法，同时强调了性能优化、缺失值处理和调试技巧。
综合实战案例：以用户评论数据为例，展示了如何一步步利用正则表达式提取电子邮件、规范电话号码、提取 URL 并统计域名频次，最终得到清洗后的数据，为后续分析打下基础。
流程图示意：利用 Mermaid 语法绘制了数据清洗的基本流程图，帮助读者直观理解各个步骤之间的关系。

正则表达式是一种极为灵活且高效的文本处理工具，当它与 Pandas 的向量化字符串方法相结合时，能为大规模文本数据的清洗和特征提取工作带来极大的便利。无论是数据科学家、数据分析师，还是机器学习工程师，熟练掌握正则表达式的应用，都是提升数据处理效率和质量的一项关键技能。

在实际项目操作中，给出以下建议：

善用内置方法：要充分借助 Pandas 的内置字符串方法，以此实现向量化的正则处理，从而提升处理效率。
合理拆分任务：当面对复杂的文本处理任务时，应合理地将处理步骤进行拆分，并结合自定义函数逐步进行调试，这样能增强代码的可维护性和可调试性。
关注性能优化：要留意正则表达式的性能问题，对于大规模数据，建议提前使用 re.compile() 对正则表达式进行预编译，以减少重复匹配的开销。
巧用在线工具：可使用 regex101.com 这类在线工具对正则表达式进行测试和验证，确保其准确性和有效性。
结合可视化工具：结合数据可视化工具，直观地展示正则处理前后的数据对比情况，进而验证数据清洗的实际效果。

综上所述，正则表达式在 Pandas 中的应用为数据清洗和特征提取提供了强有力的支持。希望本文能助力你全面理解并灵活运用正则表达式技术，在实际的数据处理过程中高效地提取和清洗文本数据，为后续的数据分析和建模工作奠定坚实的基础。