扫码关注官方订阅号
如题,最近在做一个从网上抓内容的工具,发现需要的内容刚好是ajax动态加载的,不知道有什么办法可以搞定这个问题?
有什么推荐使用的Java库么?我找了找,发现有人说htmlunit好像可以,还在琢磨。
谢谢了!
小伙看你根骨奇佳,潜力无限,来学PHP伐。
这个我当时遇到的一个情况是,ajax传回来的是一大堆json,然后前端js动态解析这些出来,我的目的是获取解析之后的数据,这样比较直观。 我用的selenium webdriver,自动化测试的一个东西。
可以直接用浏览器查看ajax请求的URL,直接down这个就好了
如果说是要抓js生成的页面,貌似没有这方面的类库(本人去年在用程序模拟新浪微博登录的时候找过,没找到。。。) 不过有可以解析javascript语句的java类库
你可以先对页面进行分析,然后确定哪些数据是必须的,即使是ajax动态加载的,数据也是可以获取到的,只是展现形式不同罢了
微信扫码关注PHP中文网服务号
QQ扫码加入技术交流群
扫描下载App
Copyright 2014-2025 https://www.php.cn/ All Rights Reserved | php.cn | 湘ICP备2023035733号
PHP学习
技术支持
返回顶部
这个我当时遇到的一个情况是,ajax传回来的是一大堆json,然后前端js动态解析这些出来,我的目的是获取解析之后的数据,这样比较直观。
我用的selenium webdriver,自动化测试的一个东西。
可以直接用浏览器查看ajax请求的URL,直接down这个就好了
如果说是要抓js生成的页面,貌似没有这方面的类库(本人去年在用程序模拟新浪微博登录的时候找过,没找到。。。)
不过有可以解析javascript语句的java类库
你可以先对页面进行分析,然后确定哪些数据是必须的,即使是ajax动态加载的,数据也是可以获取到的,只是展现形式不同罢了