挑战：非标准HTML属性的选择
在进行网页抓取时，我们经常会遇到一些非标准的HTML属性，例如像[class]="revealtel?'':'invisible'"这样的结构。这种属性名中包含方括号，且其值可能是动态表达式的模式，通常在现代JavaScript框架（如Angular、Vue）中出现。对于标准的CSS选择器而言，直接通过[class="revealtel?'':'invisible'"]或[class*="revealtel"]等方式进行选择会遇到困难，因为[class]本身被解析为一个属性名，而不是一个普通属性。当多个元素共享相同的标准属性（如itemprop="telephone"）但又需要根据这些非标准属性进行区分时，问题变得更加复杂。
CSS选择器的局限性
标准的CSS选择器主要针对符合W3C规范的HTML结构。对于[class]这种带有方括号的属性名，CSS选择器通常无法直接识别或有效匹配。例如，你不能直接使用span[[class]*="revealtel"]这样的语法。虽然CSS选择器在处理标准属性及其值时非常强大，但在面对这种动态或非标准的属性定义时，其表达能力显得不足。
XPath：更强大的选择工具
XPath（XML Path Language）提供了比CSS选择器更强大的路径表达式，能够更灵活、更精确地选择XML或HTML文档中的节点。当CSS选择器无法满足需求时，XPath往往是更好的选择。对于上述问题，我们可以结合XPath的遍历能力和Python的字符串处理能力来解决。
解决方案：XPath结合正则表达式进行筛选
核心思路是：首先使用XPath进行一个较为宽泛的选择，获取所有可能的候选元素；然后，遍历这些候选元素，将每个元素的完整HTML内容提取出来，再利用Python的正则表达式对这些HTML字符串进行模式匹配，以识别出真正需要的元素。
立即学习“前端免费学习笔记（深入）”；
以下是具体的实现步骤和示例代码：
-
初步XPath选择 首先，使用XPath选择所有具有共同标准属性的元素。例如，所有itemprop="telephone"的元素。
# 在Scrapy的response对象上执行XPath查询 numbers = response.xpath('//span[@itemprop="telephone"]')这里，//span[@itemprop="telephone"]会选择文档中所有itemprop属性值为telephone的元素。
-
遍历元素并提取HTML 获取到元素列表后，我们需要遍历每个元素。对于每个元素，使用.extract()方法（在Scrapy中）获取其完整的HTML字符串。
import re faxnum = None telnum = None numbers = response.xpath('//span[@itemprop="telephone"]') for element in numbers: # 提取当前元素的完整HTML字符串 html_content = element.extract() # 使用正则表达式匹配非标准属性中的特定模式 if re.search('revealmainfax', html_content): # 如果匹配到'revealmainfax'，则提取传真号码 faxnum = element.xpath('./text()').get() elif re.search('revealtel', html_content): # 添加对revealtel的匹配 # 如果匹配到'revealtel'，则提取电话号码 telnum = element.xpath('./text()').get() print(f"电话号码: {telnum}") print(f"传真号码: {faxnum}")代码解释：
- numbers = response.xpath('//span[@itemprop="telephone"]'): 这一行获取了所有itemprop="telephone"的元素的选择器列表。
- for element in numbers:: 遍历这个列表中的每一个元素。
- html_content = element.extract(): 这是关键一步。它将当前element所代表的整个HTML标签及其内容（包括属性）作为一个字符串提取出来。这样，即使[class]是一个非标准属性，其内容也会包含在这个字符串中。
- if re.search('revealmainfax', html_content):: 使用Python的re.search()函数在html_content字符串中查找是否包含子字符串'revealmainfax'。如果存在，则说明这个元素是传真号码。
- faxnum = element.xpath('./text()').get(): 如果匹配成功，我们使用./text()XPath表达式来获取当前元素的文本内容。.get()方法用于从XPath选择器结果中获取第一个匹配项的字符串值。
- elif re.search('revealtel', html_content):: 类似地，匹配'revealtel'来识别电话号码。
注意事项与最佳实践
- 正则表达式的精确性： 使用re.search()时，请确保你的正则表达式足够精确，以避免误匹配。如果'revealmainfax'或'revealtel'可能出现在其他不相关的文本中，你需要更复杂的正则表达式来限定匹配范围（例如，匹配[class]="[^"]*revealtel[^"]*"）。
- 性能考量： 这种方法涉及提取整个HTML字符串并进行正则表达式匹配，对于非常大的HTML文档和大量的元素，可能会比纯粹的XPath或CSS选择器略慢。但在处理少量特定复杂元素时，这种性能开销通常可以接受。
- 健壮性： 这种方法对于处理非标准属性和动态属性值非常健壮，因为它不依赖于解析器对这些非标准语法的直接支持，而是将其视为普通字符串进行处理。
- 错误处理： 在实际应用中，建议对element.xpath('./text()').get()的结果进行空值检查，以防某些元素没有文本内容。
总结
当面对非标准或动态的HTML属性，特别是那些属性名本身包含特殊字符（如方括号）的情况时，标准的CSS选择器往往力不从心。此时，结合XPath的强大选择能力与Python的正则表达式进行字符串匹配，提供了一种灵活且有效的解决方案。通过先进行宽泛的XPath定位，再对元素的完整HTML字符串进行二次筛选，我们可以精确地提取所需数据，这在Web scraping，尤其是使用Scrapy等框架时，是一个非常有用的技巧。
