java - 读取大量文本文件然后进行逻辑处理，请问用什么方法效率高一点？-PHP中文网问答

讲师中心微信公众号

首页

文章

后端开发 web前端数据库开发工具 php框架常见问题科技 Java 系统教程电脑教程硬件教程手机教程软件教程游戏教程自媒体新闻

专题

后端开发 web前端数据库开发工具 php框架科技 Java 系统教程电脑教程硬件教程手机教程软件教程游戏教程新闻

AI工具

AI 聊天问答 Agent智能体 AI 文本写作 AI 绘画作图 AI 设计工具 AI 视频创作 AI 音频制作 AI 办公学习 AI 编程开发 Prompt指令

学习

大前端后端开发数据库移动端运维开发计算机基础

编程手册

大前端后端开发数据库移动端运维开发计算机基础

下载

js特效网站源码工具下载类库下载网站素材学习资源插件扩展手机游戏

最近更新

java - 读取大量文本文件然后进行逻辑处理，请问用什么方法效率高一点？

高洛峰 2017-04-17 17:19:03

[Java讨论组]

742

描述你的问题
有160个文本文件，每个大约5M，需要一一读取进行相应处理。
贴上相关代码
贴上报错信息
我一次性全部读取后会内存溢出。
贴上相关截图
已经尝试过哪些方法仍然没解决（附上相关链接）

高洛峰

拥有18年软件开发和IT教学经验。曾任多家上市公司技术总监、架构师、项目经理、高级软件工程师等职务。网络人气名人讲师，...

全部回复(9)

伊谢尔伦2017-04-17 17:21:03 9楼

一个文件才5m，你可以使用多线程加队列或者多进程加队列提高效率。如果是python的话，我会创建一个队列，然后开4个进程不断的从队列取文件名，然后在主进程读入文本名放入队列中。这样同时就会处理多个文件了，读取文件可以按行读，读完以后关闭文件。这样保证每次最多读取一定数目的文件，不会因为打开文件过多而报错。

赞 +0

添加回复

黄舟2017-04-17 17:21:03 8楼

hash是一个很不错的选择，将文件按照某种规则进行hash

赞 +0

添加回复

黄舟2017-04-17 17:21:03 7楼

全部读入会溢出，那就读一半啊

赞 +0

添加回复

怪我咯2017-04-17 17:21:03 6楼

这应该是个比较典型的map reduce场景。先利用hash等策略进行map，然后各自分布计算出中间结果，最后再根据之前的hash策略将中间结果进行reduce，获取最终结果。

赞 +0

添加回复

阿神2017-04-17 17:21:03 5楼

1、文件内存映射、窗口移动
2、多线程并发

赞 +0

添加回复

PHP中文网2017-04-17 17:21:03 4楼

JAVA NIO你可以试一下、、大文件

赞 +0

添加回复

迷茫2017-04-17 17:21:03 3楼

hadoop

赞 +0

添加回复

阿神2017-04-17 17:21:03 2楼

除非逻辑非常复杂或者依赖第三方库，否则优先考虑awk。速度应该是最快的，跟c语言写的程序一样快，另外完全不用考虑内存占用或释放的问题。

赞 +0

添加回复

PHP中文网2017-04-17 17:21:03 1楼

        try{
            BufferedReader reader = Files.newBufferedReader(Paths.get("D:\\","a.txt"), Charset.forName("UTF-8"));
            for(String line = reader.readLine(); line != null; line = reader.readLine()){
                // 一行一行处理，不会占用整个文件内容 
            }
        }catch(IOException e){
        }

赞 +0

添加回复

专题推荐

更多>

热门话题

热门教程

更多>