c++ - linux下如何用C语言读取大于10G的文件?
PHP中文网
PHP中文网 2017-04-17 15:25:39
[C++讨论组]

需求**:

 有一个15G左右的日志文件,文件中每一行都是一串数字。长度在3——12位之间不等。现在需要算出在日志文件中数字出现次数最多的前10个。**

遇到的问题:

while(!feof(fp)){
    fgets(mid,1000,fp); //读取一行内容  
    }

我用这种方法读取文件,一直报 Segmentation fault (core dumped)。gbd调试情况如下:

需要能读取大文件的方法。求高手支招。

PHP中文网
PHP中文网

认证高级PHP讲师

全部回复(3)
PHP中文网

你这个文件写法效率实在太低了,而且场合也不使用。超大文本文件单词频率排序是Hadoop解决的最典型问题。

这里是类似功能的源程序写法:
用C语言写Hadoop单词统计的程序

如果实在不愿意学习Hadoop,那么针对你这种情况即使不用Hadoop,直接用管道命令一样可以运行:
cat numbers.txt | ./mapper | sort | ./reducer
其中的mapper和reducer分别是原文的那两个映射器和总结器。

你如果坚持想知道怎么用文件读取这种数据,还有两种选择,其一是使用64位整数:

while(!feof(fp)) {
   long long x = 0; // 定义一个64位整型变量
   fscanf(fp, "%lld", &x);
   // .... 可以处理数据了
}

另外一种方式是用字符串:

while(!feof(fp)) {
   char mid[256]; 
   memset(mid, 0, 256);
   fscanf(fp, "%s", mid);
}

总之不要用行读取。我很好奇读完了之后你是怎么处理的?我感觉是在内存分配时崩的,难道是你打算把所有内容读到内存来处理吗?

PHP中文网

按撸主的题目要求Linux+C,提供一种思路,如下:
可以考虑使用共享内存(mmap),每次映射文件的一部分,依次处理即可

PHP中文网

可以考虑用split分割文件,然后sort排序:

#large.txt文件每100行进行分割,分割后文件前缀为prefix_
split -l 100 large.txt prefix_
#对文件里的行按数字逆序排序
sort -rn prefix_ab
热门教程
更多>
最新下载
更多>
网站特效
网站源码
网站素材
前端模板
关于我们 免责申明 意见反馈 讲师合作 广告合作 最新更新
php中文网:公益在线php培训,帮助PHP学习者快速成长!
关注服务号 技术交流群
PHP中文网订阅号
每天精选资源文章推送
PHP中文网APP
随时随地碎片化学习
PHP中文网抖音号
发现有趣的

Copyright 2014-2025 https://www.php.cn/ All Rights Reserved | php.cn | 湘ICP备2023035733号