正则表达式是Python爬虫中提取网页关键信息的高效工具，适用于手机号、邮箱、URL等数据匹配。1. 使用\re模块基本语法可快速定位文本模式，如\d{11}匹配手机号，\w+匹配字母数字；2. 提取HTML内容时，通过src=["'](1+.jpg)等模式抓取图片链接，结合非捕获分组提升效率；3. 贪婪匹配.会导致跨标签错误，应使用.?实现非贪婪匹配，并利用分组提取多字段信息；4. 处理含换行的HTML需添加re.DOTALL标志，使.匹配换行符，确保多行内容正确提取。合理运用正则可显著提升爬虫解析效率。"' ↩
在Python爬虫开发中，提取网页中的关键信息是核心任务之一。虽然有BeautifulSoup、lxml等解析工具，但面对结构不规范或只需提取简单内容时，正则表达式（re模块）依然是高效且灵活的选择。掌握re模块的使用技巧，能让你快速定位并提取所需数据。
1. 基本语法：匹配常见数据格式
正则表达式通过特定模式描述文本规则。在爬虫中常用于提取手机号、邮箱、URL、价格、标题等信息。
常用元字符与示例：
- \d 匹配数字 —— 如 \d{11} 可匹配11位手机号
- \w 匹配字母、数字、下划线
- . 匹配任意字符（除换行符）
- * 零次或多次重复
- + 一次或多次重复
- ? 非贪婪匹配
- [] 字符集合，如 [0-9a-f]
示例：提取邮箱地址
立即学习“Python免费学习笔记（深入）”；
import retext = "联系我：admin@example.com 或 support@site.org"
emails = re.findall(r'[\w\.-]+@[\w\.-]+\.\w+', text)
print(emails) # 输出: ['admin@example.com', 'support@site.org']
2. 提取HTML中的关键信息
网页源码通常包含大量HTML标签，使用正则可绕过解析树直接抓取内容。
注意：避免过度依赖正则处理复杂HTML，但对于简单提取非常高效。
示例：提取所有图片链接
html = '''
'''imgs = re.findall(r'src=["\'](https?://[^"\']+\.(?:jpg|png|gif))["\']', html)
print(imgs) # 输出: ['http://example.com/1.jpg', 'http://example.com/2.png']
说明：
- 使用非捕获分组 (?:...) 提升效率
- [^"\']+ 表示不包含引号的内容，防止跨标签匹配
3. 非贪婪匹配与分组提取
默认情况下，.* 是贪婪匹配，会尽可能多地匹配内容。在提取HTML标签内容时容易出错。
解决方案：使用 .*? 实现非贪婪匹配。
示例：提取标题内容
html = "这是标题1
这是标题2
"titles = re.findall(r'
(.*?)
', html)print(titles) # 输出: ['这是标题1', '这是标题2']
若写成 (.*)
，会匹配从第一个开始到最后一个结束的全部内容，结果错误。
使用分组提取多字段：
html = '新闻1新闻2'results = re.findall(r'([^', html)
print(results) # 输出: [('link1.html', '新闻1'), ('link2.html', '新闻2')]
4. 处理换行与多行模式
网页源码通常包含换行和缩进，普通模式下 . 不匹配换行符，导致匹配失败。
解决方法：使用 re.DOTALL 标志让 . 匹配包括换行在内的所有字符。
html = '''这是第一段描述
还有第二行
desc = re.search(r'
(.*?)
', html, re.DOTALL)if desc:
print(desc.group(1).strip()) # 输出多行文本
也可使用 re.MULTILINE 配合 ^ 和 $ 处理多行开头结尾。
基本上就这些。合理使用re模块能让爬虫更轻便高效，关键是写对模式、避免贪婪、善用标志位。不复杂但容易忽略细节。
