如何使用Java获取网页源码 Java读取HTML源代码方式分享

import java.io.BufferedReader;
import java.io.InputStreamReader;
import java.net.URL;
import java.net.URLConnection;
import java.io.IOException; // 明确导入IOException

public class WebSourceFetcher {

    /**
     * 获取指定URL的HTML源代码
     * @param urlString 网页URL字符串
     * @return HTML源代码，如果发生错误则返回空字符串
     */
    public static String getHtmlSource(String urlString) {
        StringBuilder htmlContent = new StringBuilder();
        try {
            URL url = new URL(urlString);
            URLConnection connection = url.openConnection();

            // 增强鲁棒性：设置连接和读取超时，避免程序长时间阻塞
            connection.setConnectTimeout(8000); // 8秒连接超时
            connection.setReadTimeout(8000);    // 8秒读取超时

            // 模拟浏览器User-Agent，避免部分网站拒绝非浏览器请求
            connection.setRequestProperty("User-Agent", "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/91.0.4472.124 Safari/537.36");

            // 使用InputStreamReader指定字符编码，这非常关键
            // 大多数现代网站使用UTF-8，但也有例外
            try (BufferedReader reader = new BufferedReader(new InputStreamReader(connection.getInputStream(), "UTF-8"))) {
                String line;
                while ((line = reader.readLine()) != null) {
                    htmlContent.append(line).append("\n");
                }
            }
        } catch (IOException e) {
            // 这里我们只是打印错误，实际应用中可能需要更复杂的错误处理，比如抛出自定义异常
            System.err.println("读取网页源码时发生IO错误: " + e.getMessage());
            // 对于网络问题，尝试打印URL，方便排查
            System.err.println("尝试访问的URL: " + urlString);
            return ""; // 发生错误时返回空字符串
        } catch (Exception e) {
            // 捕获其他可能的异常，比如MalformedURLException
            System.err.println("发生未知错误: " + e.getMessage());
            return "";
        }
        return htmlContent.toString();
    }

    // 可以在main方法中测试这个功能
    public static void main(String[] args) {
        String targetUrl = "https://www.baidu.com"; // 替换成你想获取源码的网址
        System.out.println("正在尝试获取 " + targetUrl + " 的源码...");
        String source = getHtmlSource(targetUrl);
        if (!source.isEmpty()) {
            // 打印前500个字符，避免输出过长的内容
            System.out.println("成功获取源码 (部分):\n" + source.substring(0, Math.min(source.length(), 500)) + "...");
        } else {
            System.out.println("未能获取源码。");
        }
    }
}

import org.jsoup.Jsoup;
import org.jsoup.nodes.Document;
import org.jsoup.nodes.Element;
import org.jsoup.select.Elements;
import java.io.IOException;

public class HtmlParserExample {

    public static void main(String[] args) {
        String url = "https://www.baidu.com"; // 替换成你想解析的网址
        try {
            // 使用Jsoup直接连接并获取Document对象
            // 同样可以设置User-Agent和超时
            Document doc = Jsoup.connect(url)
                                .userAgent("Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/91.0.4472.124 Safari/537.36")
                                .timeout(8000) // 8秒超时
                                .get();

            // 示例1：获取网页标题
            String title = doc.title();
            System.out.println("网页标题: " + title);

            // 示例2：通过CSS选择器查找所有链接
            Elements links = doc.select("a[href]"); // 选择所有带有href属性的a标签
            System.out.println("\n所有链接:");
            for (Element link : links) {
                System.out.println("  文本: " + link.text() + ", URL: " + link.attr("abs:href"));
            }

            // 示例3：查找特定ID的元素
            Element elementById = doc.getElementById("head"); // 假设百度首页有个id为head的元素
            if (elementById != null) {
                System.out.println("\nID为'head'的元素内容 (部分):\n" + elementById.outerHtml().substring(0, Math.min(elementById.outerHtml().length(), 200)) + "...");
            }

            // 示例4：查找所有图片并获取其src
            Elements images = doc.select("img[src]");
            System.out.println("\n所有图片链接:");
            for (Element img : images) {
                System.out.println("  图片URL: " + img.attr("abs:src"));
            }

        } catch (IOException e) {
            System.err.println("Jsoup连接或解析错误: " + e.getMessage());
        }
    }
}

<dependency>
    <groupId>org.jsoup</groupId>
    <artifactId>jsoup</artifactId>
    <version>1.17.2</version> <!-- 使用最新稳定版本 -->
</dependency>