解决BeautifulSoup网页抓取空列表问题：深入理解选择器与优化实践

本文旨在解决使用beautifulsoup进行网页抓取时常遇到的空列表问题。核心原因在于选择器未能准确匹配目标html元素。教程将详细分析常见错误，并提供一套基于css选择器的优化方案，通过精确的元素定位和迭代处理，确保数据能够被正确提取，从而有效避免空列表的出现，提升爬虫的稳定性和效率。

在进行网页数据抓取时，开发者常会遇到BeautifulSoup返回空列表的情况。这通常不是因为网站反爬机制过于严格，而是因为我们用于定位元素的HTML选择器不够精确，或者对BeautifulSoup的选择方法理解有误。本教程将深入探讨这一问题，并提供一套健壮的解决方案。

问题分析：为何返回空列表？

原始代码尝试通过以下方式获取标题和文章内容：

headlines = soup.find('div', class_=['news-card-title', 'news-right-box'])
articles = soup.find('div', class_=['news-card-content', 'news-right-box'])

这里存在几个关键问题：

1. find() 方法的误用： soup.find() 方法用于查找HTML文档中第一个匹配的标签，并返回一个Tag对象。如果未找到，则返回None。它不会返回一个标签列表。因此，headlines和articles变量很可能是一个Tag对象或None，而非期望的ResultSet（标签列表）。
2. class_ 参数的理解： 当class_参数被赋予一个列表时（如['news-card-title', 'news-right-box']），BeautifulSoup会尝试查找同时拥有这些所有类的标签。如果目标标签不完全符合这个条件，或者这些类通常分散在不同的父子元素上，则可能无法找到。
3. zip() 操作的失败： 即使find()方法返回了Tag对象，它们也不是可迭代的标签列表。因此，随后的列表推导式中zip(headlines, articles)操作会因为headlines或articles不是可迭代对象而失败，或者即便不报错，也无法按预期迭代，最终导致news_data列表为空。
4. .string 属性的局限性： find_all(...).string 这样的链式调用也是不规范的。find_all返回的是一个列表，列表没有.string属性。即便找到了单个元素，.string属性也只适用于标签内仅包含文本内容且没有其他子标签的情况。更通用的文本提取方法是.get_text()。

解决方案：使用CSS选择器进行精确匹配

为了解决上述问题，我们需要采用更精确、更灵活的元素选择方法，并确保正确地迭代每个目标数据块。BeautifulSoup的select()和select_one()方法支持CSS选择器，这为复杂的HTML结构提供了强大的定位能力。

AI建筑知识问答

用人工智能ChatGPT帮你解答所有建筑问题

22

查看详情

核心思路

1. 定位文章容器： 识别网页中每个新闻文章的独立容器。通常，这些容器会有一个共同的属性或类。
2. 遍历容器： 遍历每个文章容器，将每个容器视为一个独立的子文档。
3. 提取子元素： 在每个文章容器内部，使用更具体的选择器提取标题和文章内容。

优化后的代码示例

以下是根据上述思路优化后的代码：

import requests
from bs4 import BeautifulSoup

url = 'https://inshorts.com/en/read/technology'
news_data = []
news_category = url.split('/')[-1]

headers = {'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/91.0.4472.124 Safari/537.36'}
data = requests.get(url, headers=headers)

if data.status_code == 200:
    soup = BeautifulSoup(data.content, 'html.parser')

    # 使用CSS选择器定位所有新闻文章容器
    # 根据目标网站结构，每个新闻文章通常由一个具有特定itemtype属性的div或其他元素包裹
    # 检查HTML发现每个新闻卡片都有itemtype="http://schema.org/NewsArticle"
    for article_container in soup.select('[itemtype="http://schema.org/NewsArticle"]'):
        # 在每个文章容器内部，使用select_one定位标题和文章内容
        # itemprop="headline" 用于标题
        # itemprop="articleBody" 用于文章主体
        headline_element = article_container.select_one('[itemprop="headline"]')
        article_body_element = article_container.select_one('[itemprop="articleBody"]')

        # 确保元素存在，并使用.get_text()提取文本内容
        news_headline = headline_element.get_text(strip=True) if headline_element else "N/A"
        news_article = article_body_element.get_text(strip=True) if article_body_element else "N/A"

        news_data.append(
            {
                'news_headline': news_headline,
                'news_article': news_article,
                'news_category': news_category
            }
        )

print(news_data)

代码详解

1. soup.select('[itemtype="http://schema.org/NewsArticle"]')：
   • select() 方法接收一个CSS选择器作为参数，并返回所有匹配的标签列表（ResultSet）。
   • [itemtype="http://schema.org/NewsArticle"] 是一个属性选择器，它会查找所有具有itemtype属性且其值为http://schema.org/NewsArticle的标签。通过检查目标网站的HTML结构，我们发现每个新闻卡片都使用这个属性来标识。这是一个非常精确且语义化的选择方式。
2. for article_container in ...：
   • 我们现在可以安全地遍历每个找到的article_container，因为select()返回的是一个列表。
3. article_container.select_one('[itemprop="headline"]')：
   • select_one() 方法与select()类似，但它只返回第一个匹配的标签，如果未找到则返回None。这在确定某个元素只会出现一次时非常有用。
   • [itemprop="headline"] 和 [itemprop="articleBody"] 同样是属性选择器，它们用于在当前article_container内部查找新闻标题和文章主体。这种“先大后小”的定位方式，大大提高了选择器的准确性和效率。
4. .get_text(strip=True)：
   • get_text() 方法用于提取标签及其所有子标签中的文本内容。strip=True参数可以去除文本两端的空白字符，使结果更整洁。
   • 我们还加入了if headline_element else "N/A"这样的条件判断，以防止select_one()返回None时调用get_text()引发错误，提高了代码的健壮性。

注意事项与最佳实践

1. 检查HTML结构： 在编写任何爬虫代码之前，务必使用浏览器开发者工具（F12）仔细检查目标网页的HTML结构。理解元素的层级关系、类名、ID和属性是编写有效选择器的关键。
2. 选择器的多样性： Beautiful Soup支持多种选择器：
   • 标签名： soup.find_all('div')
   • 类名： soup.find_all(class_='my-class') 或 soup.select('.my-class')
   • ID： soup.find(id='my-id') 或 soup.select_one('#my-id')
   • 属性： soup.find_all(attrs={'data-id': '123'}) 或 soup.select('[data-id="123"]')
   • CSS选择器： soup.select('div.my-class > p:first-child') 根据具体情况选择最合适、最稳定的选择器。通常，CSS选择器能提供最大的灵活性和精确度。
3. 错误处理： 始终考虑选择器可能找不到元素的情况。使用条件判断（如if element: ...）或try-except块来处理None值，避免程序崩溃。
4. 用户代理（User-Agent）： 在请求头中设置User-Agent是良好的爬虫习惯，模拟浏览器访问，减少被网站屏蔽的风险。
5. 遵守爬虫道德： 尊重网站的robots.txt文件，不要对网站造成过大负担，并遵守相关法律法规。

总结

解决BeautifulSoup返回空列表的问题，核心在于理解HTML结构和选择器的工作原理。通过从find()的局限性转向select()和select_one()的强大CSS选择器功能，结合对HTML属性的精确匹配，我们可以构建出更稳定、更高效的网页抓取程序。始终牢记在动手编码前进行充分的HTML结构分析，是提升爬虫成功率的关键。

以上就是解决BeautifulSoup网页抓取空列表问题：深入理解选择器与优化实践的详细内容，更多请关注php中文网其它相关文章！