Python网络爬虫：利用CSS选择器精准提取与过滤复杂网页数据

1. 引言：网络爬虫中的数据提取挑战

在进行网络爬虫时，我们经常会遇到网页结构复杂、信息重复或混杂的情况。一个常见的挑战是，目标数据（例如，一个医生在不同地点的服务诊所）可能共享相同的html标签和类名。如果仅仅通过类名进行简单的选择，往往会抓取到所有相关数据，包括我们不想要的部分（例如，线上咨询服务）。本教程将展示如何利用python的requests库和beautifulsoup库，结合高级css选择器，精确地从这类复杂结构中提取和过滤所需信息。

2. 问题场景：多重服务地点与数据筛选需求

假设我们需要从一个医生信息网站上抓取医生的执业地点。网站上的每个医生可能在多个地点提供服务，并且这些地点在HTML结构中都使用相同的类名标识。更具体地，某些地点可能是物理诊所，而另一些则可能是“在线视频咨询”。我们的目标是：

1. 获取每个医生的姓名。
2. 获取每个医生提供的所有物理服务地点，排除“在线视频咨询”这类非物理地点。

仅仅通过listing-locations类名选择，将无法区分物理地点和在线咨询，导致数据冗余。

3. 解决方案：利用CSS选择器进行精准过滤

为了解决上述问题，我们可以利用BeautifulSoup强大的CSS选择器功能，特别是其对伪类（pseudo-classes）的支持，来实现更精细的数据筛选。

3.1 核心技术点

• requests库：用于发送HTTP请求，获取网页内容。
• BeautifulSoup库：用于解析HTML文档，并提供多种查找和导航HTML元素的方法。
• CSS选择器：
  • 类选择器 (.classname)：选择所有具有指定类名的元素。
  • 后代选择器 (parent child)：选择作为parent元素后代的child元素。
  • :not(selector) 伪类：排除符合selector条件的元素。
  • :-soup-contains('text') 伪类：这是BeautifulSoup特有的一个伪类，用于选择包含特定文本内容的元素。

3.2 示例代码

下面是实现上述目标的代码：

立即学习“Python免费学习笔记（深入）”；

import requests
from bs4 import BeautifulSoup

# 目标网页URL
url = "https://oladoc.com/pakistan/lahore/gynecologist"

try:
    # 发送HTTP GET请求获取网页内容
    response = requests.get(url)
    response.raise_for_status()  # 检查请求是否成功，如果失败则抛出HTTPError

    # 使用BeautifulSoup解析HTML内容
    soup = BeautifulSoup(response.content, "html.parser")

    # 遍历页面上每个医生的信息块
    # 每个医生信息都包含在class为"gynecologist"的div中
    for doctor_block in soup.select(".gynecologist"):
        # 提取医生姓名
        # 医生姓名通常在每个医生信息块的h2标签中
        name_element = doctor_block.h2
        if name_element:
            doctor_name = name_element.get_text(strip=True)
            print("姓名:", doctor_name)
        else:
            print("未找到医生姓名")
            continue # 如果没有姓名，则跳过当前医生

        # 提取医生的服务地点
        # 关键步骤：使用CSS选择器过滤掉“在线视频咨询”
        # .listing-locations:not(:-soup-contains('Online Video Consultation'))
        # 解释：
        #   - .listing-locations: 选择所有class为"listing-locations"的元素
        #   - :not(...): 排除符合括号内条件的元素
        #   - :-soup-contains('Online Video Consultation'): Beautiful Soup特有的伪类，
        #     选择包含文本"Online Video Consultation"的元素。
        # 综合起来，这个选择器会选择所有class为"listing-locations"的元素，
        # 但会排除那些内容包含"Online Video Consultation"的元素。
        hospital_elements = doctor_block.select(
            ".listing-locations:not(:-soup-contains('Online Video Consultation'))"
        )

        # 从过滤后的地点元素中提取医院名称
        hospitals = []
        for h_elem in hospital_elements:
            span_text = h_elem.span.text if h_elem.span else ''
            if span_text:
                hospitals.append(span_text.strip())

        # 打印医生的物理服务地点列表
        print("物理地点:", hospitals)
        print("-" * 30) # 分隔线，方便阅读

except requests.exceptions.RequestException as e:
    print(f"请求失败: {e}")
except Exception as e:
    print(f"处理数据时发生错误: {e}")

3.3 代码解析

1. 导入库和设置URL：

   • requests用于发送网络请求。
   • BeautifulSoup用于解析HTML。
   • url是我们要爬取的目标网页地址。

2. 获取网页内容：

   • requests.get(url)发送GET请求。
   • response.raise_for_status()是一个好习惯，用于检查HTTP请求是否成功（状态码200），如果不是则抛出异常。
   • BeautifulSoup(response.content, "html.parser")将获取到的HTML内容解析成BeautifulSoup对象，方便后续操作。

3. 遍历医生信息块：

   

   虎课网

   虎课网是超过1800万用户信赖的自学平台，拥有海量设计、绘画、摄影、办公软件、职业技能等优质的高清教程视频，用户可以根据行业和兴趣爱好，自主选择学习内容，每天免费学习一个...

   62

   查看详情
   • soup.select(".gynecologist")使用CSS类选择器选中页面上所有类名为gynecologist的div元素。每个这样的div通常代表一个医生的完整信息块。
   • 我们通过for循环逐一处理每个医生的信息。

4. 提取医生姓名：

   • 在每个doctor_block内部，医生姓名通常位于h2标签中。doctor_block.h2直接获取第一个h2子标签。
   • get_text(strip=True)提取标签内的文本内容，并去除首尾空白字符。

5. 核心过滤逻辑——提取服务地点：

   • doctor_block.select(".listing-locations:not(:-soup-contains('Online Video Consultation'))")是实现精准过滤的关键。
     • .listing-locations：首先选择所有类名为listing-locations的元素，这些元素代表医生的一个服务地点。
     • :not(...)：这是一个CSS伪类，用于排除符合其内部选择器条件的元素。
     • :-soup-contains('Online Video Consultation')：这是BeautifulSoup扩展的伪类，用于匹配包含指定文本内容的元素。在这里，它会匹配所有文本内容中包含“Online Video Consultation”的listing-locations元素。
   • 结合起来，这个选择器会选择所有服务地点元素，但会排除那些文本内容中包含“Online Video Consultation”的元素，从而只保留物理服务地点。

6. 提取医院名称并打印：

   • 遍历过滤后的hospital_elements列表。
   • 每个hospital_element内部，实际的医院名称通常在span标签中。h.span.text提取span标签的文本。
   • 将提取到的医院名称添加到hospitals列表中，并最终打印。

3.4 运行结果示例

运行上述代码，您将获得类似以下格式的输出，其中每个医生只列出其物理服务地点，不包含在线咨询：

姓名: Dr. Ayesha Azam Khan
物理地点: ['National Hospital & Medical Centre (DHA)', 'Surgimed Hospital (Gulberg)']
------------------------------
姓名: Dr. Maliha Amjad
物理地点: ['Omar Hospital & Cardiac Centre (Johar Town) (Johar Town)', 'Shalamar Hospital (Mughalpura)']
------------------------------
姓名: Dr. Sara Rasul
物理地点: ['Hameed Latif Hospital (New Garden Town)', 'Hameed Latif Medical Center (DHA)']
------------------------------
...

4. 注意事项与最佳实践

• 网页结构变化：网站的HTML结构可能会更新。如果代码突然失效，请检查目标网页的HTML结构是否发生了变化，并相应调整CSS选择器。
• 错误处理：在实际项目中，应加入更完善的错误处理机制，例如处理网络连接问题、解析失败、元素不存在等情况。try-except块是必不可少的。
• 用户代理 (User-Agent)：某些网站可能会检查请求头中的User-Agent。在requests.get()中添加headers参数可以模拟浏览器行为，例如：headers = {'User-Agent': 'Mozilla/5.0...'}。
• 爬取频率：避免对网站造成过大压力，遵守网站的robots.txt协议，并设置合理的请求间隔（例如使用time.sleep()）。
• 动态内容：本教程适用于静态HTML内容。如果网站内容通过JavaScript动态加载，您可能需要使用Selenium等工具来模拟浏览器行为。
• 目标唯一性：原始问题中提到“我只想要一个地点”，而本解决方案返回了所有符合条件的物理地点。如果确实只需要一个物理地点（例如，列表中的第一个），可以在获取hospitals列表后，通过hospitals[0]（在确认列表非空后）来获取。

5. 总结

通过本教程，我们学习了如何利用requests和BeautifulSoup库，结合高级CSS选择器（特别是:-soup-contains()和:not()），有效地处理网络爬虫中相同标签类名下的多重数据，并实现对特定信息的精准过滤。这种方法使得从复杂网页结构中提取所需数据变得更加灵活和强大，是进行高效和精确网络爬虫的关键技能之一。掌握这些技术将帮助您在数据采集项目中应对各种挑战。

以上就是Python网络爬虫：利用CSS选择器精准提取与过滤复杂网页数据的详细内容，更多请关注php中文网其它相关文章！