如何使用 @json2csv/node 进行高效的JSON到CSV转换

const { createWriteStream } = require("fs");
const { Transform } = require("@json2csv/node");

// 1. 定义要转换的JSON数据
// 这些是具有相同结构的对象，每个对象代表CSV中的一行
const jsonData = [
  {
    "Date_time": "2023-06-08T00:00:00Z",
    "ch1_data_P": 42.1
  },
  {
    "Date_time": "2023-06-09T00:00:00Z",
    "ch1_data_P": 41.3
  },
  {
    "Date_time": "2023-06-10T00:00:00Z",
    "ch1_data_P": 43.234
  }
];

// 2. 初始化 @json2csv/node Transform 实例
// `fields` 选项定义了CSV文件的列头及其顺序
const json2csvTransform = new Transform({
  fields: ["Date_time", "ch1_data_P"], // 明确指定CSV文件的列名和对应的JSON属性
});

// 3. 创建一个文件写入流，用于将CSV数据保存到文件
const outputWriteStream = createWriteStream("testoutput.csv", { encoding: "utf8" });

// 4. 将 json2csvTransform 的输出管道连接到文件写入流
// 这意味着 json2csvTransform 生成的CSV数据将直接写入 testoutput.csv 文件
json2csvTransform.pipe(outputWriteStream);

// 5. 监听错误事件，确保程序健壮性
json2csvTransform.on("error", (err) => {
  console.error("JSON2CSV Transform Error:", err);
});
outputWriteStream.on("error", (err) => {
  console.error("Output Write Stream Error:", err);
});

// 6. 将JSON数据逐个写入 json2csvTransform 实例
// 重点：这里写入的是JSON对象，而不是预格式化的CSV字符串
jsonData.forEach((item) => {
  json2csvTransform.write(item);
});

// 7. 调用 end() 方法，通知 json2csvTransform 没有更多数据要处理了
// 这将触发转换器完成所有挂起的转换，并刷新其内部缓冲区，
// 最终关闭管道中的 outputWriteStream。
json2csvTransform.end();

console.log("CSV conversion complete. Check testoutput.csv");

"Date_time","ch1_data_P"
"2023-06-08T00:00:00Z",42.1
"2023-06-09T00:00:00Z",41.3
"2023-06-10T00:00:00Z",43.234

const { createReadStream, createWriteStream } = require("fs");
const { Transform } = require("@json2csv/node");
// 如果需要从JSON文件读取，可能需要一个JSON解析流
const { StreamParser } = require("@streamparser/json"); // 这是一个示例，可能需要安装

// 假设我们有一个JSON文件，每行一个JSON对象，或者是一个JSON数组
// 为了简化，我们直接模拟一个JSON对象流
// 实际应用中，您会从文件读取或网络接收JSON流

// 示例：从一个模拟的JSON流（或实际的JSON文件读取流）
// 注意：如果JSON文件是一个大数组，需要一个能流式解析JSON数组的库
// 例如，使用 @streamparser/json 来解析大型JSON数组
const inputJsonStream = createReadStream("large_input.json", { encoding: "utf8" });

// 假设 large_input.json 包含一个JSON数组，例如:
// [
//   {"Date_time": "...", "ch1_data_P": ...},
//   {"Date_time": "...", "ch1_data_P": ...}
// ]
// StreamParser 将把这些对象逐个推送出来
const jsonParser = new StreamParser(); // 配置 StreamParser 以处理您的JSON结构

const json2csvTransform = new Transform({
  fields: ["Date_time", "ch1_data_P"],
});

const outputWriteStream = createWriteStream("large_output.csv", { encoding: "utf8" });

// 建立管道：JSON读取流 -> JSON解析流 -> JSON到CSV转换流 -> CSV文件写入流
inputJsonStream
  .pipe(jsonParser) // 将原始JSON数据流解析成JSON对象流
  .pipe(json2csvTransform) // 将JSON对象流转换为CSV数据流
  .pipe(outputWriteStream) // 将CSV数据流写入文件
  .on("finish", () => {
    console.log("Large CSV conversion complete.");
  })
  .on("error", (err) => {
    console.error("Stream processing error:", err);
  });

// 实际的 large_input.json 文件内容可能需要是：
// {"Date_time": "2023-06-08T00:00:00Z", "ch1_data_P": 42.1}
// {"Date_time": "2023-06-09T00:00:00Z", "ch1_data_P": 41.3}
// ... (每行一个JSON对象，或者一个大的JSON数组，需要StreamParser正确配置)