使用 Beautiful Soup 从非结构化 HTML 中精确提取特定文本

    

        

            

                
Swan
                
Flower
            
            

                

                    
Playground
                
            
            

                

                    Animal:
                    
aaa
            
            

                

                    Fish:
                    
bbb
            
            

                

                    

                        
                        
                        
                    
                
            
        
    

初始尝试可能包括使用 find_all('td', {'colspan': '2', 'strong': True})，但这种方式无法正确匹配，因为 'strong': True 并非 td 标签的有效属性。即使能够找到

解决方案：利用 Beautiful Soup 的 CSS 选择器

Beautiful Soup 提供了 select() 方法，允许我们使用强大的 CSS 选择器来定位元素，这在处理复杂结构时非常有效。特别是 :has() 伪类，它允许我们选择包含特定子元素的父元素。

贝特协同办公系统(BetterCOS)

具备更多的新特性： A.具有集成度更高的平台特点，集中体现了信息、文档在办公活动中交流的开放性与即时性的重要。 B.提供给管理员的管理工具，使系统更易于管理和维护。 C.产品本身精干的体系结构再加之结合了插件的设计思想，使得产品为用户度身定制新模块变得非常快捷。 D.支持对后续版本的平滑升级。 E.最价的流程管理功能。 F.最佳的网络安全性及个性化

下载

立即学习“前端免费学习笔记（深入）”；

核心思路

1. 定位目标 标签： 使用 CSS 选择器 td:has(strong) 来精确选择所有内部包含 标签的 元素。这避免了直接检查 td 的属性，而是关注其内容结构。
2. 提取文本内容： 对于每个匹配到的 元素，使用 stripped_strings 属性。这个属性会迭代元素及其所有子孙节点中的文本字符串，并自动去除多余的空白字符。由于我们知道目标文本 "aaa" 或 "bbb" 总是位于 和
   之后，它将是 stripped_strings 迭代器中的最后一个有效字符串。

   示例代码

   from bs4 import BeautifulSoup
   
   html_text = """\
   
   
   
       
   
           
   
               
   
                   
   Swan
                   
   Flower
               
               
   
                   
   
                       
   Playground
                   
               
               
   
                   
   
                       Animal:
                       
   aaa
               
               
   
                   
   
                       Fish:
                       
   bbb
               
               
   
                   
   
                       
   
                           
                           
                           
                       
                   
               
           
       
   """
   
   # 使用 Beautiful Soup 解析 HTML
   soup = BeautifulSoup(html_text, "html.parser")
   
   # 使用 CSS 选择器定位包含  标签的  元素
   # ":has(strong)" 伪类确保我们只选择那些内部确实有  标签的 td
   target_td_elements = soup.select("td:has(strong)")
   
   # 遍历所有匹配的  元素并提取所需文本
   extracted_texts = []
   for td in target_td_elements:
       # stripped_strings 会迭代元素及其子孙节点中的所有文本字符串，并去除空白
       # 由于目标文本 'aaa'/'bbb' 是在  和 
    之后，
       # 它将是 stripped_strings 迭代器中的最后一个有效字符串。
       # 将迭代器转换为列表并取最后一个元素
       text = list(td.stripped_strings)[-1]
       extracted_texts.append(text)
       print(text)
   
   print("\n所有提取的文本:", extracted_texts)

   输出结果：

   aaa
   bbb
   
   所有提取的文本: ['aaa', 'bbb']

   关键概念解析

   • soup.select("td:has(strong)"):
     • soup.select() 是 Beautiful Soup 中用于执行 CSS 选择器的方法。
     • td 匹配所有的 标签。
     • :has(strong) 是一个 CSS 伪类，它会过滤掉那些不包含 子元素的 标签。这使得选择器非常精确，只关注我们感兴趣的 结构。
     • td.stripped_strings:
       • 这是一个生成器，它会遍历当前标签 td 及其所有后代标签中的文本内容。
       • 它会自动去除文本字符串两端的空白字符，并且会跳过完全由空白组成的字符串，这使得提取的文本非常干净。
       • 对于 Animal:
         aaa 这个结构，stripped_strings 会按顺序生成 'Animal:' 和 'aaa'。
     • list(td.stripped_strings)[-1]:
       • 将 stripped_strings 生成器转换为一个列表。
       • [-1] 索引用于获取列表中的最后一个元素，即我们需要的 "aaa" 或 "bbb"。这种方法对于这种特定结构非常可靠，因为它确保了我们总是获取到
         之后、 结束之前的最后一个文本片段。

         注意事项与最佳实践

         1. CSS 选择器的灵活性： :has() 伪类在 Beautiful Soup 4.7.0 及以上版本中支持。如果遇到更复杂的嵌套或兄弟节点关系，可以结合其他 CSS 选择器，如 + (相邻兄弟选择器)、~ (通用兄弟选择器)、> (子元素选择器) 等，来构建更精确的匹配规则。
         2. HTML 解析器： 示例中使用了 html.parser，这是一个 Python 内置的解析器。对于格式不佳的 HTML，lxml (需要单独安装) 通常更快且更健壮，可以替换为 BeautifulSoup(html_text, "lxml")。
         3. 错误处理： 在实际应用中，如果 td.stripped_strings 可能为空或者不包含预期数量的字符串，直接访问 [-1] 可能会导致 IndexError。可以增加条件判断或 try-except 块来增强代码的健壮性。

            strings = list(td.stripped_strings)
            if strings:
                text = strings[-1]
                extracted_texts.append(text)

         4. 动态内容： 如果网页内容是通过 JavaScript 动态加载的，仅使用 requests 和 Beautiful Soup 可能无法获取到完整内容。此时需要考虑使用 Selenium 或 Playwright 等工具来模拟浏览器行为。

         总结

         通过本文的介绍，我们学习了如何利用 Beautiful Soup 结合强大的 CSS 选择器（尤其是 :has() 伪类）和 stripped_strings 属性，高效且精确地从非结构化 HTML 中提取特定文本。这种方法比简单的属性匹配或 DOM 遍历更加灵活和鲁棒，尤其适用于处理那些文本内容被包裹在复杂标签结构中的场景。掌握这些技巧将极大地提升你在网页数据抓取任务中的效率和成功率。