为什么用 Python 获取的网址带有括号和单引号？-Python教程-PHP中文网

为什么用 Python 获取的网址带有括号和单引号？

霞舞

发布： 2024-11-10 13:43:59

原创

740人浏览过

为什么用 python 获取的网址带有括号和单引号？

我用 python 获取的网址为何带有括号和单引号？

在编写爬虫程序时，你可能会遇到获取的网址中包含括号和单引号的情况，这可能会给后续处理带来不便。下面我们将探讨导致这种情况的原因并提供解决方案：

原因：

你使用的解析工具（如 beautifulsoup）在解析 html 时，会将原始的 html 字符串转换为 python 对象。html 中的某些特殊字符，如 <、>、& 和 ', 在 python 中具有特殊的含义，因此在解析时需要进行转义。

立即学习“Python免费学习笔记（深入）”；

虎课网

虎课网是超过1800万用户信赖的自学平台，拥有海量设计、绘画、摄影、办公软件、职业技能等优质的高清教程视频，用户可以根据行业和兴趣爱好，自主选择学习内容，每天免费学习一个...

查看详情

默认情况下，beautifulsoup 使用 html5 的解析器，它会将这些特殊字符转义成对应的 html 实体，如 < 表示 <、> 表示 >、& 表示 & 和 ' 表示 '. 这些转义对于避免在 python 中产生语法错误很重要。

解决方案：

要获取不带括号和单引号的网址，你可以执行以下操作：

使用正则表达式去除 html 实体：使用正则表达式 re.sub('&.*?;', '', link) 将 html 实体替换为空字符串。
使用 lxml 解析器：lxml 是另一个流行的 html 解析库，其默认解析器不会将特殊字符转义成 html 实体。只需将 beautifulsoup(html, "html5lib") 替换为 etree.html(html) 即可。
手动解码转义字符：你可以使用 html.unescape() 函数手动解码转义字符，即将 '<a href="url">' 解码为 '<a href="url">'。

修改后的代码示例如下：

import requests
from lxml import etree

url = 'http://www.prnasia.com/m/mediafeed/rss?id=2303&t=240'
headers = {
    'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/87.0.4280.66 Safari/537.36'
}
res = requests.get(url, headers=headers)
res_dome = etree.HTML(res.text)
for link in res_dome.xpath('//h3/a/@href'):
    print(link)  # 无括号和单引号的网址

登录后复制

以上就是为什么用 Python 获取的网址带有括号和单引号？的详细内容，更多请关注php中文网其它相关文章！