在 Node.js 中，如何创建一个可读写的双工流来处理大规模数据转换？-js教程-PHP中文网

在 Node.js 中，如何创建一个可读写的双工流来处理大规模数据转换？

狼影

发布： 2025-10-22 17:59:01

原创

813人浏览过

双工流可实现边读边写的数据转换，通过继承stream.Duplex并实现_write和_read方法，结合this.push推送处理后数据，适用于大文件处理等内存敏感场景。

在 node.js 中，如何创建一个可读写的双工流来处理大规模数据转换？

在 Node.js 中处理大规模数据转换时，使用双工流（Duplex Stream）可以有效控制内存占用，实现边读边写的数据处理。双工流同时具备可读流和可写流的特性，非常适合中间转换场景，比如数据压缩、编码转换或实时处理。

理解双工流的核心机制

双工流允许你一边接收输入（通过 _write 方法），一边产生输出（通过 _read 方法）。对于数据转换任务，通常你在写入端接收原始数据，在读取端推送处理后的数据。

关键点：

继承 stream.Duplex 类
实现 _write() 方法处理输入
实现 _read() 方法提供输出
使用 this.push() 将处理后数据送入可读端

创建自定义双工流进行数据转换

以下是一个将字符串转为大写并逐行处理的双工流示例：

// upperCaseTransform.js

const { Duplex } = require('stream');

class UpperCaseDuplex extends Duplex {
  constructor(options) {
    super(options);
    this.buffer = '';
  }

  _write(chunk, encoding, callback) {
    // 将接收到的数据拼接到缓冲区
    this.buffer += chunk.toString();
    
    // 按行分割处理
    const lines = this.buffer.split('\n');
    this.buffer = lines.pop(); // 保留未完整行

    lines.forEach(line => {
      this.push(line.toUpperCase() + '\n');
    });

    callback();
  }

  _read() {
    // 不需要主动读取，由写入触发
    // 可在此模拟生成数据，但通常依赖 _write 推送
  }
}

登录后复制

在实际场景中使用双工流处理大文件

结合文件流使用，可高效处理大文件而不加载全部内容到内存：

天工大模型

中国首个对标ChatGPT的双千亿级大语言模型

115

查看详情

const fs = require('fs');
const upperStream = new UpperCaseDuplex();

// 读取大文本文件，转换后写入新文件
const readStream = fs.createReadStream('large-input.txt');
const writeStream = fs.createWriteStream('output-uppercase.txt');

readStream.pipe(upperStream).pipe(writeStream);

writeStream.on('finish', () => {
  console.log('数据转换完成');
});

登录后复制

这种方式适用于日志处理、ETL 流水线、编码转换等场景。每一块数据被逐步处理，内存始终保持在可控范围。