如何使用 Scrapy Xpath 获取 div 标签下的完整 HTML 内容?

心靈之曲
发布: 2024-10-26 12:45:47
原创
424人浏览过

如何使用 Scrapy Xpath 获取 div 标签下的完整 HTML 内容?

如何用 scrapy xpath 获取指定标签下的完整 html 内容?

给定以下 html 片段:

<div class="contson">
    这是文本
    <p>aaaa</p><p><span>立即学习</span>“<a href="https://pan.quark.cn/s/cb6835dc7db1" style="text-decoration: underline !important; color: blue; font-weight: bolder;" rel="nofollow" target="_blank">前端免费学习笔记(深入)</a>”;</p>
                    <div class="aritcle_card">
                        <a class="aritcle_card_img" href="/xiazai/code/10503">
                            <img src="https://img.php.cn/upload/webcode/000/000/004/176243220273825.jpg" alt="NetShop网店系统">
                        </a>
                        <div class="aritcle_card_info">
                            <a href="/xiazai/code/10503">NetShop网店系统</a>
                            <p>NetShop软件特点介绍: 1、使用ASP.Net(c#)2.0、多层结构开发 2、前台设计不采用任何.NET内置控件读取数据,完全标签化模板处理,加快读取速度3、安全的数据添加删除读取操作,利用存储过程模式彻底防制SQL注入式攻击4、前台架构DIV+CSS兼容IE6,IE7,FF等,有利于搜索引挚收录5、后台内置强大的功能,整合多家网店系统的功能,加以优化。6、支持三种类型的数据库:Acces</p>
                            <div class="">
                                <img src="/static/images/card_xiazai.png" alt="NetShop网店系统">
                                <span>0</span>
                            </div>
                        </div>
                        <a href="/xiazai/code/10503" class="aritcle_card_btn">
                            <span>查看详情</span>
                            <img src="/static/images/cardxiayige-3.png" alt="NetShop网店系统">
                        </a>
                    </div>
                
     这是文本2
     <br>
      这是文本3
</div>
登录后复制

我们希望获取 div.contson 中的所有内容,包括 html 标签。

'这是文本<p>aaaa</p><p><span>立即学习</span>“<a href="https://pan.quark.cn/s/cb6835dc7db1" style="text-decoration: underline !important; color: blue; font-weight: bolder;" rel="nofollow" target="_blank">前端免费学习笔记(深入)</a>”;</p>这是文本2<br>这是文本3'
登录后复制

通常方法,如 string(.),只能获取纯文本。然而,node() 函数可以获取指定元素下的所有节点、元素和内容。

使用以下 xpath 表达式:

xx.xpath('//div[@class="contson"]/node()').extract()
登录后复制

然后将列表转换为字符串:

"".join(xx)
登录后复制

即可得到所需的完整 html 内容。

以上就是如何使用 Scrapy Xpath 获取 div 标签下的完整 HTML 内容?的详细内容,更多请关注php中文网其它相关文章!

相关标签:
HTML速学教程(入门课程)
HTML速学教程(入门课程)

HTML怎么学习?HTML怎么入门?HTML在哪学?HTML怎么学才快?不用担心,这里为大家提供了HTML速学教程(入门课程),有需要的小伙伴保存下载就能学习啦!

下载
来源:php中文网
本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系admin@php.cn
最新问题
开源免费商场系统广告
热门教程
更多>
最新下载
更多>
网站特效
网站源码
网站素材
前端模板
关于我们 免责申明 举报中心 意见反馈 讲师合作 广告合作 最新更新
php中文网:公益在线php培训,帮助PHP学习者快速成长!
关注服务号 技术交流群
PHP中文网订阅号
每天精选资源文章推送

Copyright 2014-2025 https://www.php.cn/ All Rights Reserved | php.cn | 湘ICP备2023035733号