Apache Flink中安全高效地将JSON字符串映射为JSONObject-java教程-PHP中文网

apache flink中安全高效地将json字符串映射为jsonobject

本文旨在解决Apache Flink数据流处理中，将JSON格式字符串转换为JSONObject时常见的NullPointerException问题。通过对比错误的JSONObject.parseObject()方法和正确的new JSONObject(String)构造器，提供了一种可行的解决方案，并强调了引入org.json依赖的重要性。同时，文章还提出了在实际生产环境中，为提升性能和优化序列化，应优先考虑将JSON数据反序列化为POJO（Plain Old Java Object）的最佳实践。

Flink中JSON字符串到JSONObject转换的挑战

在Apache Flink应用中，处理JSON格式的字符串数据是一种常见的需求。开发者通常需要将接收到的字符串解析成结构化的JSONObject，以便进行进一步的字段提取或业务逻辑处理。然而，在使用某些JSON库进行转换时，可能会遇到意料之外的运行时错误，例如NullPointerException，尤其是在尝试通过Collector收集转换后的对象时。

常见问题与错误示例

考虑以下场景：我们有一个包含JSON字符串的DataStreamSource，并尝试使用ProcessFunction将每个字符串元素转换为JSONObject。一个常见的误区是使用类似于JSONObject.parseObject()（通常来自Fastjson等库）的方法进行解析。

以下是可能导致运行时错误的示例代码：

import com.alibaba.fastjson.JSONObject; // 假设使用了Fastjson
import org.apache.flink.streaming.api.datastream.DataStreamSource;
import org.apache.flink.streaming.api.datastream.SingleOutputStreamOperator;
import org.apache.flink.streaming.api.environment.StreamExecutionEnvironment;
import org.apache.flink.streaming.api.functions.ProcessFunction;
import org.apache.flink.util.Collector;

public class FlinkJsonParseErrorExample {
    public static void main(String[] args) throws Exception {
        StreamExecutionEnvironment env = StreamExecutionEnvironment.getExecutionEnvironment();
        env.setParallelism(1);

        DataStreamSource<String> inputDS = env.fromElements(
            "{\"bill_info\":{\"ADD_TIME\":\"2022-11-12 16:05:28:418\",\"ORDER_ID\":\"f3e60c5f-78f6-4ec6-bab6-98b177f7cb67\",\"ADDER_NO\":\"0706\",\"UPDATER_NO\":\"0706\",\"S_USER_ID\":\"s68\",\"B_USER_ID\":\"b77\",\"BILL_ID\":\"8687b584-038c-498c-8f97-ec1ca197da96\",\"ADDER_NAME\":\"sss\",\"UPDATE_TIME\":\"2022-11-12 16:05:28:418\",\"UPDATER_NAME\":\"ssss\"}}"
        );

        SingleOutputStreamOperator<JSONObject> jsonObjDS = inputDS.process(new ProcessFunction<String, JSONObject>() {
            @Override
            public void processElement(String value, ProcessFunction<String, JSONObject>.Context ctx, Collector<JSONObject> out) throws Exception {
                // 尝试使用JSONObject.parseObject()进行解析
                JSONObject jsonObject = JSONObject.parseObject(value); // 此处可能引发问题
                out.collect(jsonObject);
            }
        });
        jsonObjDS.print();

        env.execute();
    }
}

登录后复制

当运行上述代码时，可能会遇到以下错误：

Exception in thread "main" org.apache.flink.runtime.client.JobExecutionException: Job execution failed.
Caused by: org.apache.flink.runtime.JobException: Recovery is suppressed by NoRestartBackoffTimeStrategy
Caused by: java.lang.RuntimeException: Assigned key must not be null!
Caused by: java.lang.NullPointerException: Assigned key must not be null!

登录后复制

尽管调试显示字符串已成功解析为JSONObject对象，但在Collector尝试收集这些对象时，却抛出了NullPointerException，提示“Assigned key must not be null!”。这通常表明在Flink的内部序列化或类型处理机制中，JSONObject对象在某些情况下未能被正确识别或处理，尤其是在没有明确指定序列化器或使用了不兼容的JSONObject实现时。

解决方案：使用org.json库的正确构造器

解决此问题的关键在于选择一个与Flink环境兼容且能够正确处理字符串到JSONObject转换的JSON库及其API。org.json库提供了一个简单直接的JSONObject(String)构造器，可以有效避免上述问题。

1. 引入org.json依赖

首先，确保你的项目中引入了org.json库的Maven依赖：

<dependency>
    <groupId>org.json</groupId>
    <artifactId>json</artifactId>
    <version>20180130</version> <!-- 可以根据需要选择最新稳定版本 -->
</dependency>

登录后复制

2. 使用new JSONObject(String)构造器

在ProcessFunction中，直接使用org.json.JSONObject的构造器来解析字符串：

import org.apache.flink.streaming.api.datastream.DataStreamSource;
import org.apache.flink.streaming.api.datastream.SingleOutputStreamOperator;
import org.apache.flink.streaming.api.environment.StreamExecutionEnvironment;
import org.apache.flink.streaming.api.functions.ProcessFunction;
import org.apache.flink.util.Collector;
import org.json.JSONObject; // 注意：这里使用的是org.json.JSONObject

public class FlinkJsonParseCorrectExample {
    public static void main(String[] args) throws Exception {
        StreamExecutionEnvironment env = StreamExecutionEnvironment.getExecutionEnvironment();
        env.setParallelism(1);

        DataStreamSource<String> inputDS = env.fromElements(
            "{\"bill_info\":{\"ADD_TIME\":\"2022-11-12 16:05:28:418\",\"ORDER_ID\":\"f3e60c5f-78f6-4ec6-bab6-98b177f7cb67\",\"ADDER_NO\":\"0706\",\"UPDATER_NO\":\"0706\",\"S_USER_ID\":\"s68\",\"B_USER_ID\":\"b77\",\"BILL_ID\":\"8687b584-038c-498c-8f97-ec1ca197da96\",\"ADDER_NAME\":\"sss\",\"UPDATE_TIME\":\"2022-11-12 16:05:28:418\",\"UPDATER_NAME\":\"ssss\"}}"
        );

        SingleOutputStreamOperator<JSONObject> jsonObjDS = inputDS.process(new ProcessFunction<String, JSONObject>() {
            @Override
            public void processElement(String value, ProcessFunction<String, JSONObject>.Context ctx, Collector<JSONObject> out) throws Exception {
                // 使用org.json.JSONObject的构造器
                JSONObject jsonObject = new JSONObject(value);
                out.collect(jsonObject);
            }
        });
        jsonObjDS.print();

        env.execute();
    }
}

登录后复制

通过上述修改，程序将能够成功运行并打印出解析后的JSONObject内容：

Find JSON Path Online

Easily find JSON paths within JSON objects using our intuitive Json Path Finder

查看详情

{"bill_info":{"ADDER_NAME":"sss","ADDER_NO":"0706","UPDATER_NAME":"ssss","UPDATER_NO":"0706","BILL_ID":"8687b584-038c-498c-8f97-ec1ca197da96","ADD_TIME":"2022-11-12 16:05:28:418","ORDER_ID":"f3e60c5f-78f6-4ec6-bab6-98b177f7cb67","S_USER_ID":"s68","B_USER_ID":"b77","UPDATE_TIME":"2022-11-12 16:05:28:418"}}

登录后复制

这表明org.json库的JSONObject在Flink环境中具有更好的兼容性，其内部结构和序列化行为能够被Flink正确处理。

最佳实践与性能考量

虽然直接将JSON字符串转换为JSONObject可以解决眼前的问题，但在生产环境中，尤其是在处理大量数据时，直接传递JSONObject并不是最佳实践。原因如下：

序列化开销大：JSONObject通常是一个基于HashMap的实现，其序列化和反序列化成本较高，会消耗更多的CPU和网络带宽。
类型不安全：直接操作JSONObject意味着在运行时通过字符串键访问字段，缺乏编译时类型检查，容易引入运行时错误。
可读性差：代码中充斥着字符串键，降低了代码的可读性和维护性。

推荐方案：反序列化为POJO

为了提升性能、增强类型安全性和代码可读性，强烈建议将JSON数据反序列化为POJO（Plain Old Java Object）。POJO是具有明确结构和字段的Java对象，其序列化效率远高于通用的JSONObject。

例如，可以定义一个与JSON结构对应的POJO类：

public class BillInfo {
    public String ADD_TIME;
    public String ORDER_ID;
    public String ADDER_NO;
    public String UPDATER_NO;
    public String S_USER_ID;
    public String B_USER_ID;
    public String BILL_ID;
    public String ADDER_NAME;
    public String UPDATE_TIME;
    public String UPDATER_NAME;

    // 默认构造函数是必需的，以便Flink或JSON库进行反序列化
    public BillInfo() {}

    // 带有所有字段的构造函数（可选，但通常有助于创建对象）
    public BillInfo(String ADD_TIME, String ORDER_ID, String ADDER_NO, String UPDATER_NO, String S_USER_ID, String B_USER_ID, String BILL_ID, String ADDER_NAME, String UPDATE_TIME, String UPDATER_NAME) {
        this.ADD_TIME = ADD_TIME;
        this.ORDER_ID = ORDER_ID;
        this.ADDER_NO = ADDER_NO;
        this.UPDATER_NO = UPDATER_NO;
        this.S_USER_ID = S_USER_ID;
        this.B_USER_ID = B_USER_ID;
        this.BILL_ID = BILL_ID;
        this.ADDER_NAME = ADDER_NAME;
        this.UPDATE_TIME = UPDATE_TIME;
        this.UPDATER_NAME = UPDATER_NAME;
    }

    // Getter和Setter方法（可选，但通常推荐）
    // ...
}

public class BillContainer {
    public BillInfo bill_info;

    public BillContainer() {}

    public BillContainer(BillInfo bill_info) {
        this.bill_info = bill_info;
    }

    // Getter和Setter方法
    // ...
}

登录后复制

然后，可以使用Jackson、Gson或Fastjson等成熟的JSON库将字符串反序列化为这些POJO对象。Flink本身也提供了SimpleStringSchema、JsonRowSerializationSchema等工具来辅助JSON数据的处理。

import org.apache.flink.api.common.serialization.DeserializationSchema;
import org.apache.flink.api.common.typeinfo.TypeInformation;
import org.apache.flink.shaded.jackson2.com.fasterxml.jackson.databind.ObjectMapper; // 示例使用Jackson

import java.io.IOException;

public class JsonToPojoDeserializationSchema implements DeserializationSchema<BillContainer> {

    private transient ObjectMapper objectMapper;

    @Override
    public void open(DeserializationSchema.InitializationContext context) throws Exception {
        objectMapper = new ObjectMapper();
    }

    @Override
    public BillContainer deserialize(byte[] message) throws IOException {
        return objectMapper.readValue(message, BillContainer.class);
    }

    @Override
    public boolean is  EndOfStream(BillContainer nextElement) {
        return false;
    }

    @Override
    public TypeInformation<BillContainer> getProducedType() {
        return TypeInformation.of(BillContainer.class);
    }
}

登录后复制

在实际应用中，可以结合ProcessFunction或MapFunction来执行反序列化操作，并直接操作POJO对象。

总结

在Apache Flink中将JSON字符串转换为JSONObject时，若遇到NullPointerException，应首先检查所使用的JSON库及其API。使用org.json库的new JSONObject(String)构造器通常能有效解决此问题，并需要确保正确引入了org.json的Maven依赖。然而，从长远来看，为了获得更好的性能、类型安全性和代码可维护性，强烈建议将JSON数据反序列化为POJO对象进行处理。这不仅能够优化数据流的序列化开销，还能使业务逻辑更加清晰和健壮。

以上就是Apache Flink中安全高效地将JSON字符串映射为JSONObject的详细内容，更多请关注php中文网其它相关文章！