如何用Node.js处理大文件的流式读写？-js教程-PHP中文网

如何用Node.js处理大文件的流式读写？

betcha

发布： 2025-10-22 20:16:02

原创

654人浏览过

使用Node.js流可高效处理大文件，避免内存溢出。通过fs.createReadStream和fs.createWriteStream创建读写流，利用pipe方法自动传输数据并处理背压，简化代码且提升稳定性。可在管道中插入Transform流实现数据转换，如文本转大写。需注意监听错误和完成事件，确保健壮性。

如何用node.js处理大文件的流式读写？

处理大文件时，直接读取整个文件到内存中会导致内存溢出或性能严重下降。Node.js 提供了流（Stream）机制，可以实现高效、低内存占用的文件处理方式。通过流式读写，你可以一边读取数据一边处理并写入目标文件，适合处理 GB 级别的大文件。

使用 fs.createReadStream 和 fs.createWriteStream

Node.js 的 fs 模块支持创建可读流和可写流，是处理大文件的基础工具。

下面是一个将大文件从源路径复制到目标路径的示例：

const fs = require('fs');
const path = require('path');

const readStream = fs.createReadStream(path.join(__dirname, 'large-file.txt'));
const writeStream = fs.createWrite7Stream(path.join(__dirname, 'copied-file.txt'));

readStream.on('data', (chunk) => {
  console.log(`读取了 ${chunk.length} 字节的数据`);
  writeStream.write(chunk);
});

readStream.on('end', () => {
  writeStream.end();
  console.log('文件复制完成');
});

readStream.on('error', (err) => {
  console.error('读取错误:', err);
});

writeStream.on('error', (err) => {
  console.error('写入错误:', err);
});

登录后复制

使用 pipe 方法简化流操作

pipe() 是流最常用的优化方式，它能自动处理背压（backpressure），无需手动监听 data 和 end 事件。

用 pipe 改写上面的例子会更简洁且健壮：

小绿鲸英文文献阅读器

英文文献阅读器，专注提高SCI阅读效率

199

查看详情

const fs = require('fs');
const path = require('path');

const readStream = fs.createReadStream(path.join(__dirname, 'large-file.txt'));
const writeStream = fs.createWriteStream(path.join(__dirname, 'copied-file.txt'));

// 自动处理数据流动和错误
readStream.pipe(writeStream);

writeStream.on('finish', () => {
  console.log('文件写入完成');
});

readStream.on('error', (err) => {
  console.error('读取失败:', err);
});

writeStream.on('error', (err) => {
  console.error('写入失败:', err);
});

登录后复制

在流中加入中间处理逻辑

你还可以在读写之间插入转换流（Transform Stream），比如压缩、解压、替换内容等。

例如：边读取边将文本转为大写：

const fs = require('fs');
const path = require('path');
const { Transform } = require('stream');

const uppercaseTransform = new Transform({
  transform(chunk, encoding, callback) {
    callback(null, chunk.toString().toUpperCase());
  }
});

const readStream = fs.createReadStream(path.join(__dirname, 'large-file.txt'));
const writeStream = fs.createWriteStream(path.join(__dirname, 'uppercase-file.txt'));

readStream.pipe(uppercaseTransform).pipe(writeStream);

writeStream.on('finish', () => {
  console.log('转换并保存完成');
});

登录后复制

基本上就这些。利用 Node.js 流机制，你可以轻松应对大文件读写，避免内存问题，同时保持良好的性能表现。关键是使用 createReadStream 和 createWriteStream，配合 pipe 进行高效传输，必要时插入自定义转换逻辑。不复杂但容易忽略细节，比如错误监听和结束事件处理。

以上就是如何用Node.js处理大文件的流式读写？的详细内容，更多请关注php中文网其它相关文章！