如何用Python爬取XML网站数据-XML/RSS教程-PHP中文网

如何用Python爬取XML网站数据

月夜之吻

发布： 2025-12-19 11:11:02

原创

237人浏览过

Python爬取XML数据核心是获取内容并解析，需注意编码、命名空间和请求细节：用requests发带headers的请求，检查状态码和content-type，推荐ET.fromstring(res.content)解析，处理命名空间需传入字典，常见问题包括乱码、反爬和大文件内存溢出。

如何用python爬取xml网站数据

用Python爬取XML网站数据，核心是“获取XML内容 + 解析结构化数据”，不需渲染页面，比HTML简单，但要注意编码、命名空间和网络请求细节。

发送HTTP请求获取XML内容

多数XML数据通过URL直接提供（如RSS、API接口、Sitemap），用requests最稳妥：

设置headers模拟浏览器（部分站点会拒绝默认User-Agent）
检查响应状态码（res.status_code == 200）和res.headers.get('content-type')是否含xml
显式指定res.encoding = 'utf-8'或用res.content配合解析器自动检测编码（更可靠）

用xml.etree.ElementTree解析XML

Python标准库xml.etree.ElementTree（简称ET）轻量高效，适合大多数场景：

用ET.fromstring(res.content)解析字节流（推荐，避免编码错误）
用root.findall('.//item')按XPath查找元素；注意find()只返回第一个匹配项
访问文本用elem.text，属性用elem.get('attr_name')
若XML含命名空间（如xmlns:dc="http://purl.org/dc/elements/1.1/"），需传入命名空间字典：namespaces={'dc': 'http://purl.org/dc/elements/1.1/'}，再写.find('dc:creator', namespaces)

处理常见问题

实际中容易卡在几个地方：

ViaooChain 维奥连锁招商网站系统

网站功能资讯模块资料模块会员模块产品展示模块产品订购模块购物车模块留言模块在线加盟模块多级后台管理系统网站环境本系统为 asp.net开发donet版本为1.1框架数据库为acdess2000授权方式为免费，本版本本地可直接运行（使用http://localhost或http://127.0.0.1访问）如需放到外网通过域名访问，则需通过qq联系我免费索取钥匙文件，将钥匙文件放到网站空间根目录即可

查看详情

立即学习“Python免费学习笔记（深入）”；

编码乱码：优先用res.content而非res.text；若仍出错，可尝试res.content.decode('gbk', errors='ignore')（中文站点常见）
反爬拦截：加headers = {'User-Agent': 'Mozilla/5.0...'}；必要时加time.sleep(1)控制频率
大文件内存溢出：改用xml.etree.ElementTree.iterparse()边读边处理，适合解析超大XML（如百万级Sitemap）
SSL证书错误：临时加verify=False（仅调试），生产环境应更新证书或配置信任路径

简单示例：抓取RSS标题列表

以常见的博客RSS为例：

import requests
import xml.etree.ElementTree as ET

url = "https://example.com/feed.xml"
res = requests.get(url, headers={'User-Agent': 'Mozilla/5.0'})
res.raise_for_status()

root = ET.fromstring(res.content)
for item in root.findall('.//item'):
    title = item.find('title')
    link = item.find('link')
    if title is not None and link is not None:
        print(title.text.strip(), '→', link.text.strip())

登录后复制

以上就是如何用Python爬取XML网站数据的详细内容，更多请关注php中文网其它相关文章！