如何使用Java实现简单爬虫程序_Java网络基础项目解析

HttpURLConnection最轻量适合基础抓取，需设User-Agent、处理重定向、指定UTF-8编码；Jsoup更可靠，自动解析HTML并支持CSS选择器；多页爬取须限速控并发；文件保存需注意路径、编码与特殊字符处理。

用 HttpURLConnection 发起 GET 请求最轻量

不需要引入第三方库，JDK 自带的 HttpURLConnection 就能完成基础页面抓取。适合学习网络通信原理或做一次性小任务。

关键点在于设置请求头、处理重定向、读取响应流——很多初学者卡在没设 User-Agent 被 403 拒绝，或忽略 setInstanceFollowRedirects(false) 导致跳转后丢失原始响应。

• 必须调用 connect() 才真正发起连接，仅 new 出对象不发包
• 响应码要用 getResponseCode() 判断，getInputStream() 在非 2xx/3xx 时会抛 IOException
• 中文乱码常见原因是没指定字符集，建议统一用 new String(bytes, "UTF-8") 解码

URL url = new URL("https://example.com");
HttpURLConnection conn = (HttpURLConnection) url.openConnection();
conn.setRequestMethod("GET");
conn.setRequestProperty("User-Agent", "Mozilla/5.0");
conn.setConnectTimeout(5000);
conn.setReadTimeout(5000);
int code = conn.getResponseCode();
if (code == 200) {
    InputStream is = conn.getInputStream();
    String html = new String(is.readAllBytes(), "UTF-8");
}

用 Jsoup.connect() 解析 HTML 更可靠

纯 HTTP 工具（如 HttpURLConnection）只负责拿回字符串，要提取标题、链接、表格等内容，得自己写正则或 DOM 解析逻辑——极易出错且维护成本高。直接上 Jsoup 是更务实的选择。

它内置了 HTML 解析器、CSS 选择器支持，还能自动处理编码、标签闭合、XSS 过滤等细节。注意别漏掉 .userAgent() 和 .timeout()，否则默认超时是 3 秒，很多网站会断连。

立即学习“Java免费学习笔记（深入）”；

速创猫AI简历

一键生成高质量简历

下载

• select("a[href]") 比手写正则 href="([^"]+)" 更稳定，能正确处理换行、属性顺序、引号类型
• 用 abs("href") 获取绝对 URL，避免相对路径拼接错误
• 如果目标页有 JS 渲染内容（如 Vue/React），Jsoup 无法执行脚本，此时需换用 Selenium 或 Puppeteer

Document doc = Jsoup.connect("https://example.com")
        .userAgent("Mozilla/5.0")
        .timeout(10000)
        .get();
Elements links = doc.select("a[href]");
for (Element link : links) {
    String url = link.absUrl("href"); // 不是 link.attr("href")
    System.out.println(url);
}

爬取多页时必须控制并发和延迟

写个 for 循环连续请求 100 个页面，看似简单，实则大概率被封 IP 或触发反爬。服务器端看到密集短连接，会直接返回 429 或 503，甚至拉黑整个出口 IP。

最简单的缓解方式是加固定延时 + 限速，但比这更重要的是理解“为什么不能快”：HTTP 连接复用、DNS 缓存、TCP 握手开销都会被高频请求放大。盲目加线程反而加剧问题。

• 单线程下用 Thread.sleep(1000) 控制每秒 1 次请求，已能满足多数静态站点
• 若必须并发，用 ExecutorService 限定线程数（如 Executors.newFixedThreadPool(3)），并为每个任务单独设 timeout
• 不要复用同一个 Connection 实例跨请求，每次 Jsoup.connect() 都新建连接更安全

保存数据到文件时注意编码和路径安全

把抓到的 HTML 写进本地文件，看似一步操作，实际容易踩三个坑：路径含中文导致 FileNotFoundException、Windows 默认 GBK 写入 UTF-8 内容变乱码、文件名非法字符（如 /、:）引发异常。

Java 8+ 推荐用 Files.write() 替代老式 FileWriter，它强制指定字符集，且对路径处理更健壮。

• 用 URLEncoder.encode(filename, "UTF-8") 处理文件名中的特殊字符
• 路径用 Paths.get("data", "page.html") 构造，避免手动拼接 / 或 \
• 写入前确保目录存在：Files.createDirectories(Paths.get("data"))

String content = doc.html();
String safeName = URLEncoder.encode("example.com", "UTF-8") + ".html";
Path path = Paths.get("data", safeName);
Files.createDirectories(path.getParent());
Files.write(path, content.getBytes(StandardCharsets.UTF_8));