推荐用 BufferedReader 配合 Files.newBufferedReader() 按行读取大文本文件,兼顾性能、简洁和资源安全;需显式指定编码、避免 Scanner,超大文件分片处理可选 Apache Commons IO。

Java 按行读取大文本文件,核心是避免一次性加载全部内容到内存,推荐用 BufferedReader 配合 Files.newBufferedReader(),兼顾性能、简洁和资源安全。
用 try-with-resources + BufferedReader(最常用)
这是标准、高效且不易出错的方式。底层使用默认 8KB 缓冲区,IO 效率高,自动关闭流。
- 直接传入
Path,无需手动创建FileInputStream - 指定字符集(如
StandardCharsets.UTF_8),避免乱码 - 逐行处理,内存占用稳定,适合 GB 级文件
Path path = Paths.get("huge.log");
try (BufferedReader reader = Files.newBufferedReader(path, StandardCharsets.UTF_8)) {
String line;
while ((line = reader.readLine()) != null) {
// 处理每一行,例如过滤、解析、写入数据库等
processLine(line);
}
}
用 Stream API 流式处理(JDK 8+,适合函数式风格)
如果只需遍历、过滤或映射,Files.lines() 返回的 Stream 更简洁,内部也基于 BufferedReader,同样懒加载。
- 必须用
try包裹或确保close(),否则可能泄露资源 - 不适合需要随机访问或多次遍历的场景(Stream 只能消费一次)
- 对超大文件做简单转换(如去空行、提取字段)很顺手
try (Streamlines = Files.lines(path, StandardCharsets.UTF_8)) { lines.filter(line -> !line.trim().isEmpty()) .map(String::toUpperCase) .forEach(System.out::println); }
注意缓冲区大小和编码(容易被忽略的关键点)
默认缓冲区够用,但遇到超长行(如单行几 MB)或特殊编码(如 GBK、ISO-8859-1),需显式调整。
立即学习“Java免费学习笔记(深入)”;
- 自定义缓冲区:用
new BufferedReader(new InputStreamReader(…), bufferSize) - 务必显式指定编码,尤其在 Windows 和 Linux 间迁移时,默认 charset 可能不同
- 避免用
Scanner读大文件——它没有内置缓冲,且nextLine()在某些边界下有性能陷阱
超大文件 + 需要分块/并行?考虑第三方库(如 Apache Commons IO)
如果业务要求跳过前 N 行、按固定行数切片、或多线程处理不同段,原生 API 支持弱。此时可引入 commons-io 的 LineIterator 或封装分片逻辑。
-
LineIterator内存友好,自动 close,适合简单遍历 - 真要并行读取同一文件?不建议——磁盘寻道会拖垮性能;更合理的是先分片(如用
split -l命令预处理),再分别处理 - 日志类场景可考虑 Log4j2 的
RandomAccessFile实现,支持追加与快速定位
基本上就这些。日常开发中,BufferedReader + try-with-resources 足够应对绝大多数大文件按行读取需求,不复杂但容易忽略编码和资源释放细节。










