使用Files.lines()可高效读取大文件,它返回Stream实现惰性加载,避免内存溢出;支持指定字符集如GBK;结合Stream API可过滤、统计或转换数据;需用try-with-resources防止资源泄漏;避免collect到List以防加载全部内容;也可用BufferedReader替代以获得更细粒度控制。

使用 Java 的 Files.lines() 方法读取大文件是一种高效且内存友好的方式,因为它返回一个 Stream
1. 基本用法:Files.lines() 读取文件
下面是一个简单的例子,展示如何使用 Files.lines() 逐行处理大文件:
import java.nio.file.*;
import java.io.IOException;
import java.util.stream.Stream;
public class ReadLargeFile {
public static void main(String[] args) {
Path path = Paths.get("large-file.txt");
try (Stream lines = Files.lines(path)) {
lines.forEach(System.out::println);
} catch (IOException e) {
System.err.println("读取文件时出错:" + e.getMessage());
}
}
}
这个方法适用于 UTF-8 编码的文本文件。如果文件使用其他编码(如 GBK),可以传入第二个参数指定字符集:
Charset charset = Charset.forName("GBK");
try (Stream lines = Files.lines(path, charset)) {
lines.forEach(System.out::println);
}
2. 处理过程中过滤或转换数据
利用 Stream API,可以在读取时进行过滤、统计或转换,而不会增加内存负担:
立即学习“Java免费学习笔记(深入)”;
try (Streamlines = Files.lines(path)) { long count = lines .filter(line -> line.contains("ERROR")) .count(); System.out.println("包含 ERROR 的行数:" + count); }
这样即使文件有几十 GB,也只会逐行处理,不会 OOM(内存溢出)。
3. 注意事项与最佳实践
- 必须使用 try-with-resources:Files.lines() 返回的 Stream 底层持有文件句柄,不关闭会导致资源泄漏。
-
避免 collect 到 List:不要调用
.collect(Collectors.toList()),这会把所有行加载到内存,失去流式处理优势。 - 异常处理:文件不存在或权限不足时会抛出 IOException,需妥善捕获。
- 性能考虑:虽然流式读取节省内存,但大量 IO 操作仍可能较慢,可结合并行流(谨慎使用)或缓冲优化。
4. 替代方案:BufferedReader 配合流
如果需要更细粒度控制,也可以用 BufferedReader 的 lines() 方法:
try (BufferedReader reader = Files.newBufferedReader(path)) {
reader.lines().forEach(System.out::println);
}
这种方式同样支持指定编码,并且在某些复杂场景下更灵活。
基本上就这些。只要记得及时关闭流、合理使用 Stream 操作,Files.lines() 是处理大文本文件的简洁又安全的选择。










