Web scraping中同名标签的处理：多地点信息提取与过滤

1. Web scraping中同名标签的挑战

假设我们需要从一个医生列表中提取每位医生的姓名及其服务地点。网站的html结构可能如下：

    
Dr. Ayesha Azam Khan
    

        National Hospital & Medical Centre (DHA)
    
    

        Surgimed Hospital (Gulberg)
    
    

        Online Video Consultation
    

在这个例子中，National Hospital、Surgimed Hospital和Online Video Consultation都使用了相同的listing-locations类。如果我们的目标是仅获取物理服务地点，并排除在线咨询，那么简单的通过select(".listing-locations")会把所有三项都抓取出来，这不符合我们的需求。

2. 核心工具：Requests与BeautifulSoup

为了解决上述问题，我们将使用以下Python库：

• requests: 用于向网页发送HTTP请求，获取网页的HTML内容。
• BeautifulSoup: 一个强大的Python库，用于从HTML或XML文件中提取数据。它能够解析文档，并提供多种查找和导航节点的方式。

3. 解决方案：精准定位与条件过滤

解决同名标签问题的关键在于结合上下文信息，并利用BeautifulSoup强大的CSS选择器功能进行条件过滤。

3.1 遍历父节点

首先，我们需要识别每个独立的数据单元（例如，每个医生信息块）。通常，这些单元会有一个共同的父级类名。在本例中，每个医生的信息都包含在class="gynecologist"的div标签中。我们可以先遍历这些父节点。

import requests
from bs4 import BeautifulSoup

url = "https://oladoc.com/pakistan/lahore/gynecologist"
response = requests.get(url)
soup = BeautifulSoup(response.content, "html.parser")

# 遍历每个医生信息块
for doctor_block in soup.select(".gynecologist"):
    # 在这里处理每个医生的数据
    pass

3.2 提取医生姓名

在每个医生信息块内部，我们可以很容易地提取出医生的姓名，通常它会有一个独特的标签或类名。

    # 提取医生姓名
    doctor_name = doctor_block.h2.get_text(strip=True)
    print("Name:", doctor_name)

3.3 使用CSS选择器 :-soup-contains() 进行排除

BeautifulSoup支持多种CSS选择器，其中一个非常有用的伪类是:-soup-contains()。它允许我们选择包含特定文本内容的元素。结合:not()伪类，我们可以排除掉包含特定文本的元素。

在本例中，我们要排除包含“Online Video Consultation”的地点信息，因此可以使用选择器： .listing-locations:not(:-soup-contains('Online Video Consultation'))

这个选择器的含义是：选择所有类名为listing-locations的元素，但排除掉那些内部包含文本“Online Video Consultation”的元素。

PixarAI

PixarAI是一个AI驱动的皮克斯风格海报生成器，可以帮助用户创建迪士尼皮克斯风格的海报

下载

3.4 完整示例代码

下面是结合上述步骤的完整代码示例：

import requests
from bs4 import BeautifulSoup

# 目标URL
url = "https://oladoc.com/pakistan/lahore/gynecologist"

# 发送HTTP请求并获取网页内容
response = requests.get(url)
soup = BeautifulSoup(response.content, "html.parser")

# 遍历每个医生信息块
for doctor_block in soup.select(".gynecologist"):
    # 提取医生姓名
    doctor_name = doctor_block.h2.get_text(strip=True)
    print("Name:", doctor_name)

    # 提取所有物理服务地点，排除“Online Video Consultation”
    # 使用CSS选择器 :-soup-contains() 结合 :not() 进行过滤
    physical_hospitals = doctor_block.select(
        ".listing-locations:not(:-soup-contains('Online Video Consultation'))"
    )

    # 提取每个物理地点的文本
    hospital_names = [h.span.text for h in physical_hospitals]
    print("Hospitals:", hospital_names)
    print("-" * 30) # 分隔线，便于阅读

示例输出（部分）：

Name: Dr. Ayesha Azam Khan
Hospitals: ['National Hospital & Medical Centre (DHA)', 'Surgimed Hospital (Gulberg)']
------------------------------
Name: Dr. Maliha Amjad
Hospitals: ['Omar Hospital & Cardiac Centre (Johar Town) (Johar Town)', 'Shalamar Hospital (Mughalpura)']
------------------------------
Name: Dr. Sara Rasul
Hospitals: ['Hameed Latif Hospital (New Garden Town)', 'Hameed Latif Medical Center (DHA)']
------------------------------
...

4. 代码详解与工作原理

1. requests.get(url): 发起GET请求，获取网页的原始HTML内容。
2. BeautifulSoup(response.content, "html.parser"): 将获取到的HTML内容解析成一个BeautifulSoup对象，方便后续的数据查找和提取。
3. soup.select(".gynecologist"): 使用CSS选择器.gynecologist来查找页面上所有类名为gynecologist的div元素。这通常代表了页面上的每个医生信息块。
4. doctor_block.h2.get_text(strip=True): 在每个医生信息块内部，查找h2标签，并使用get_text(strip=True)方法提取其文本内容，strip=True用于去除文本两端的空白字符。
5. doctor_block.select(".listing-locations:not(:-soup-contains('Online Video Consultation'))"): 这是核心过滤步骤。
   • doctor_block.select(...): 表示在当前的doctor_block（即当前医生信息块）内部进行查找，确保我们只处理当前医生的地点信息。
   • .listing-locations: 选择所有类名为listing-locations的元素。
   • :not(:-soup-contains('Online Video Consultation')): 这是一个组合选择器。
     • :-soup-contains('...'): 是BeautifulSoup特有的伪类，用于选择包含指定文本内容的元素。
     • :not(...): 是CSS的否定伪类，用于排除符合其内部选择器条件的元素。
     • 因此，整个表达式的含义是：选择所有类名为listing-locations的元素中，不包含文本“Online Video Consultation”的元素。
6. [h.span.text for h in physical_hospitals]: 这是一个列表推导式，用于遍历所有筛选出的物理地点元素，并提取每个地点span标签内的文本内容。

5. 进一步思考：如何仅获取一个地点

原始问题中提到“I just want one location for every doctor”。虽然上述解决方案提供了所有物理地点，如果确实只需要一个地点（例如，只取第一个可用的物理地点），可以在获取physical_hospitals列表后，再进行一步处理：

    # ... (前面的代码保持不变) ...

    # 提取所有物理服务地点
    physical_hospitals = doctor_block.select(
        ".listing-locations:not(:-soup-contains('Online Video Consultation'))"
    )

    # 如果只需要一个地点，可以取列表的第一个元素
    if physical_hospitals:
        single_location = physical_hospitals[0].span.text
        print("Single Location:", single_location)
    else:
        print("Single Location: N/A")

这样，即使医生有多个物理地点，也只会提取第一个。

6. 注意事项与最佳实践

• 网站结构变化：Web scraping高度依赖于目标网站的HTML结构。如果网站更新，选择器可能会失效，需要重新检查和调整。
• User-Agent：某些网站可能会阻止默认的requests请求。可以尝试在请求头中添加User-Agent，模拟浏览器访问：

  headers = {
      "User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/91.0.4472.124124 Safari/537.36"
  }
  response = requests.get(url, headers=headers)

• 错误处理：在实际项目中，应加入错误处理机制，例如try-except块来处理网络请求失败、元素未找到等情况。
• 遵守Robots.txt：在进行Web scraping之前，务必检查网站的robots.txt文件，了解网站对爬虫的限制和规定。
• 请求频率：避免对网站发起过高频率的请求，以免给服务器造成负担，甚至导致IP被封禁。可以加入time.sleep()来控制请求间隔。

7. 总结

通过本文的讲解，我们学习了如何在Web scraping中处理同名标签带来的挑战。关键在于利用BeautifulSoup的强大功能，特别是通过遍历父节点、结合CSS选择器（如:-soup-contains()和:not()）进行精准定位和条件过滤。这种方法不仅能够帮助我们从复杂网页中提取所需数据，还能提高数据清洗的效率和准确性，是Web scraping中一项非常实用的技巧。