java - 从100万行log记录中筛选有价值的信息
伊谢尔伦
伊谢尔伦 2017-04-17 17:48:07
[Java讨论组]

问题:从100万行log记录中筛选有价值的信息,需要用到什么知识?是大数据么?具体是大数据的哪部分知识?把他们筛选出来,用什么工具?对它们分析,用什么工具?想自学这方面的东西,希望懂的人给个指点。多谢~~

伊谢尔伦
伊谢尔伦

小伙看你根骨奇佳,潜力无限,来学PHP伐。

全部回复(3)
PHP中文网

100万行正常的日志,真的不大,grep即可

迷茫

你可以试试HOOLI 是一款专门用于实时log数据分析的工具,支持日志数据收集 分析 索引 可视化等功能
登陆 www.hoolix.com 申请试用

PHP中文网

我在这儿说一下,大数据不仅仅是数据量大,况且你的数据量也不大。无论是互联网时代还是大数据时代,技术永远是工具,去更好帮助人们解决生活社会问题的工具。就目前而言面对大量的数据,我认为我们可以做两件事,一,目标明确的查询检索,那可能会用到hadoop或者spark这些分布式运算引擎帮你快速计算出你要的结果;二,挖掘潜在价值,也就是你说的”筛选有价值的信息“,这可能需要机器学习算法,那么你得根据业务建模,然后把多维度,大量的数据导入训练。简单如上,如果像进一步学习可以相互交流。

热门教程
更多>
最新下载
更多>
网站特效
网站源码
网站素材
前端模板
关于我们 免责申明 举报中心 意见反馈 讲师合作 广告合作 最新更新
php中文网:公益在线php培训,帮助PHP学习者快速成长!
关注服务号 技术交流群
PHP中文网订阅号
每天精选资源文章推送

Copyright 2014-2025 https://www.php.cn/ All Rights Reserved | php.cn | 湘ICP备2023035733号