怎样用Java实现爬虫？Jsoup解析HTML

要实现简单的java爬虫推荐使用jsoup解析html，具体步骤如下：1. 添加jsoup依赖，maven用户在pom.xml中加入对应代码，gradle用户添加implementation语句，无构建工具则手动导入jar包；2. 使用jsoup.connect方法获取网页内容，并通过useragent和timeout设置请求头与超时时间，将结果解析为document对象；3. 利用类似css选择器的方式提取数据，例如遍历所有链接或指定类名的元素内容；4. 注意jsoup无法处理动态加载内容，若需应对javascript渲染页面，应配合selenium或playwright等工具。整个流程清晰稳定，适用于结构固定的网页抓取需求。

要实现一个简单的Java爬虫，用 Jsoup 解析 HTML 是个不错的选择。它简单易用，功能又足够满足大多数网页抓取和解析的需求。下面我们就一步步来看怎么用 Java + Jsoup 来写一个基础但实用的爬虫。

1. 添加 Jsoup 依赖

首先你需要在项目中引入 Jsoup 库。如果你使用的是 Maven 项目，只需要在 pom.xml 文件里加上这行：

<dependency>
    <groupId>org.jsoup</groupId>
    <artifactId>jsoup</artifactId>
    <version>1.16.1</version>
</dependency>

Gradle 用户则加这个：

立即学习“Java免费学习笔记（深入）”；

implementation 'org.jsoup:jsoup:1.16.1'

如果没有用构建工具，也可以直接下载 jar 包手动导入。

2. 获取网页内容并解析

Jsoup 提供了很方便的方法来连接网页并获取 HTML 内容。比如这样：

Document doc = Jsoup.connect("https://example.com").get();

这段代码会发起一个 GET 请求，获取页面内容，并自动解析成一个 Document 对象。你可以把它理解为整个 HTML 页面的结构化表示。

• 如果目标网站需要设置 User-Agent 或者有反爬机制，可以加上一些请求头：

Document doc = Jsoup.connect("https://example.com")
                    .userAgent("Mozilla/5.0")
                    .get();

• 还可以设置超时时间防止卡住：

Document doc = Jsoup.connect("https://example.com")
                    .timeout(10 * 1000)
                    .get();

3. 使用选择器提取数据

Jsoup 支持类似 CSS 选择器的方式来提取元素。这是最常用、也最方便的方式。

举个例子，假设你想提取所有链接（a 标签中的 href）：

Elements links = doc.select("a");
for (Element link : links) {
    System.out.println(link.attr("href"));
}

再比如，提取某个类名下的所有标题：

Elements titles = doc.select(".article-title");
for (Element title : titles) {
    System.out.println(title.text());
}

你还可以组合选择器，比如查找某个 div 下的所有段落：

Elements paras = doc.select("div.content p");

熟悉 CSS 选择器的话，这部分基本没有门槛。

4. 处理动态加载的内容？

这里要注意一点：Jsoup 只能处理静态 HTML，不能执行 JavaScript。也就是说，如果网页内容是通过 JS 动态加载的（比如很多现代前端框架做的 SPA），那 Jsoup 抓下来的就是空白或者不完整的内容。

这种情况下，你可以考虑配合 Selenium 或者 Playwright 等工具来做渲染，然后再用 Jsoup 做解析。不过这就复杂多了，属于进阶玩法了。

基本上就这些。
整个流程其实很清晰：发请求 → 拿 HTML → 选元素 → 提数据。
只要网页结构稳定，用 Jsoup 就能轻松搞定。

以上就是怎样用Java实现爬虫？Jsoup解析HTML的详细内容，更多请关注php中文网其它相关文章！