BeautifulSoup进阶：灵活处理多变属性名的HTML元素数据提取

<meta content="Title of the article" property="og:title"/>
<meta content="Title of the article" property="title"/>
<meta name="Title of the article" property="og:title"/>
<meta name="Title of the article" property="title"/>

from bs4 import BeautifulSoup
import re

html_doc = '''
<meta content="Title of the article A" property="og:title"/>
<meta content="Title of the article B" property="title"/>
<meta name="Title of the article C" property="og:title"/>
<meta name="Title of the article D" property="title"/>
<meta title="Title of the article E" property="title"/>
<meta description="Some description" property="description"/>
'''

soup = BeautifulSoup(html_doc, 'html.parser')

# 使用CSS选择器定位所有property属性包含"title"的meta标签
# meta[property*="title"] 表示选择所有'meta'标签，且其'property'属性值中包含子字符串"title"
target_meta_tags = soup.select('meta[property*="title"]')

print("通过CSS选择器找到的潜在标题meta标签：")
for tag in target_meta_tags:
    print(tag)

通过CSS选择器找到的潜在标题meta标签：
<meta content="Title of the article A" property="og:title"/>
<meta content="Title of the article B" property="title"/>
<meta name="Title of the article C" property="og:title"/>
<meta name="Title of the article D" property="title"/>
<meta property="title" title="Title of the article E"/>

def get_title_from_meta(meta_tag):
    """
    从给定的meta标签中提取标题。
    优先检查'content', 'name', 'title'属性。
    """
    # 定义可能包含标题的属性名及其优先级
    possible_title_attrs = ['content', 'name', 'title']
    for attr_name in possible_title_attrs:
        if meta_tag.has_attr(attr_name):
            return meta_tag.get(attr_name)
    return None # 如果没有找到任何匹配的属性

# 遍历筛选出的meta标签并提取标题
extracted_titles = []
for tag in target_meta_tags:
    title = get_title_from_meta(tag)
    if title:
        extracted_titles.append(title)

print("\n通过辅助函数提取的标题：", extracted_titles)
# 注意：由于一个页面通常只有一个主标题，这里可能会有重复或多个候选标题，需要进一步去重或选择最佳项。

通过辅助函数提取的标题： ['Title of the article A', 'Title of the article B', 'Title of the article C', 'Title of the article D', 'Title of the article E']

# 定义可能包含标题的属性名列表
possible_attrs_for_title = ['content', 'name', 'title']

# 结合CSS选择器和列表推导式，一步到位提取所有可能的标题
# 外层循环：遍历所有符合CSS选择器条件的meta标签
# 内层循环：遍历每个meta标签的所有属性名
# 条件判断：如果属性名在possible_attrs_for_title列表中，则提取该属性的值
all_potential_titles = [
    t.get(a)
    for t in soup.select('meta[property*="title"]')
    for a in t.attrs # t.attrs 是一个字典，迭代它会得到属性名
    if a in possible_attrs_for_title
]

print("\n通过列表推导式提取的标题：", all_potential_titles)

通过列表推导式提取的标题： ['Title of the article A', 'Title of the article B', 'Title of the article C', 'Title of the article D', 'Title of the article E']