python爬虫java怎么调用-Python教程-PHP中文网

python爬虫java怎么调用

小老鼠

发布： 2024-09-18 00:33:56

原创

853人浏览过

Java 中调用 Python 爬虫有两种方法：使用 subprocess 或 os 模块直接运行 Python 脚本。将 Python 爬虫部署为 Web 服务，通过 HTTP 请求调用。

python爬虫java怎么调用

Python 爬虫如何由 Java 调用

直接调用

使用 Python 外部库，如 subprocess 或 os 模块，在 Java 中运行 Python 脚本。
例如：

import java.io.IOException;

public class CallPythonCrawler {

    public static void main(String[] args) throws IOException {
        // 替换为 Python 爬虫脚本的路径
        String pythonScriptPath = "/path/to/python_crawler.py";

        // 根据需要传递参数
        String[] arguments = {"arg1", "arg2"};

        // 运行 Python 爬虫
        ProcessBuilder processBuilder = new ProcessBuilder("python", pythonScriptPath, arguments);
        Process process = processBuilder.start();

        // 获取爬虫输出
        String output = process.getInputStream().toString();

        // 处理输出
        // ...
    }
}

登录后复制

通过 HTTP 请求调用

将 Python 爬虫部署为 Web 服务（例如 Flask 或 Django），并从 Java 发送 HTTP 请求。
使用 Java 的 HttpURLConnection 或 HttpClient 等库发送请求。
例如：

import java.io.BufferedReader;
import java.io.InputStreamReader;
import java.net.HttpURLConnection;
import java.net.URL;

public class CallPythonCrawlerViaHTTP {

    public static void main(String[] args) throws Exception {
        // 替换为 Python 爬虫服务的 URL
        String url = "http://localhost:8080/crawl";

        // 创建 HTTP 请求连接
        URL obj = new URL(url);
        HttpURLConnection con = (HttpURLConnection) obj.openConnection();

        // 发送请求
        con.setRequestMethod("POST");
        con.setRequestProperty("Content-Type", "application/json");

        // 根据需要添加查询参数或 JSON 负载

        // 获取响应
        BufferedReader in = new BufferedReader(new InputStreamReader(con.getInputStream()));
        String output = in.readLine();

        // 处理输出
        // ...
    }
}

登录后复制

注意事项

立即学习“Java免费学习笔记（深入）”；