讲师中心 微信公众号
首页
文章
后端开发 web前端 数据库 开发工具 php框架 常见问题 科技 Java 系统教程 电脑教程 硬件教程 手机教程 软件教程 游戏教程 自媒体 新闻
专题
后端开发 web前端 数据库 开发工具 php框架 科技 Java 系统教程 电脑教程 硬件教程 手机教程 软件教程 游戏教程 新闻
AI工具
AI 聊天问答 Agent智能体 AI 文本写作 AI 绘画作图 AI 设计工具 AI 视频创作 AI 音频制作 AI 办公学习 AI 编程开发 Prompt指令
学习
大前端 后端开发 数据库 移动端 运维开发 计算机基础
编程手册
大前端 后端开发 数据库 移动端 运维开发 计算机基础
下载
js特效 网站源码 工具下载 类库下载 网站素材 学习资源 插件扩展 手机游戏
最近更新
首页 > 数据库 > mysql教程 > 正文

[转]缓存大量小文件？Redis是首选！

php中文网
发布： 2016-06-07 16:31:08
原创
1237人浏览过

现在有3KW的数据，单条数据都很小的，如果按key-value来看的话，key就是32位的MD5字符串，value按平均算大概是100字节左右。 现在需要将这些数据做缓存以在高并发的时候依然可以快速响应。 因为这些数据基本没有冷热数据之分，所以需要将全部数据都放到缓存

现在有3KW的数据，单条数据都很小的，如果按key-value来看的话，key就是32位的MD5字符串，value按平均算大概是100字节左右。

现在需要将这些数据做缓存以在高并发的时候依然可以快速响应。

因为这些数据基本没有冷热数据之分，所以需要将全部数据都放到缓存中。

1、直接生成静态文件，利用nginx对静态文件的高效做静态缓存。

  • 当时服务器硬件资源有限，所以就采用这种方式，一直源用至今。
  • 服务器间通过NFS来共享
  • 太多小文件，不方便管理
  • NFS不方便运维与扩展
  • 文件内容很小(100字节左右)，3KW大概就是2.5G大小左右
    • 不过文件存储的时候和硬盘分区的族大小有关，在这里磁盘分区的族大小为8K，所以尽管文件内容只有100字节，但是实际存储到磁盘上的时候单个文件其实是8K
    • 所以3KW的文件世界占的磁盘空间大约为：200G左右（ 严重浪费空间啊）

2、Redis(V2.2.11)【KV数据库】

  • 听同事说开启VM会使性能急剧下降，所以基本无视VM，数据全放内存。
  • key为32位MD5字符串
  • 测试数据：10W数据大概占内存20M
  • 测试数据：500W数据大概占内存1G，持久化的rdb数据文件大概350M
  • 推算3KW数据：内存6G，持久化的rdb数据文件大概为2G(压缩了？)
  • 因为Redis在持久化的时候内存会加倍，和考虑到数据的增长，所以需要1台20G内存的机器基本就没问题了（容灾啥的另算）。
  • Redis非常快，如果硬件条件没问题，基本选这个最好了。

3、Moosefs(MFS)【分布式文件存储系统】

  • mfs支持NFS的方式mount到本地直接操作（如使用mfs，则现在的架构基本不用改）
  • 最基本的需要一台主控服务器(Master Server)、一台数据服务器(Chunk Server)
  • 文件和目录的索引需要全部加载到主控服务器的内存中，所以对主控服务器的内存有一定的要求
  • 写入30W文件，到20W的时候写入就开始下降得厉害了（我的5400转的笔记本硬盘）
  • 30W文件，4W目录，主控服务器占用大概120M内存
  • 文件存储方式貌似和普遍的文件一样单个存储的（不确定），30W文件大概占了2.4G的磁盘空间（同样是8K一个文件）。
  • 小文件一样很多，不方便维护与迁移(不知是否我设置不对？)。
  • 内存、硬盘都占用得比较多，而且性能相对来说不是很出众。
  • 所以这个基本不考虑了。

作者：QLeelulu??出处： http://QLeelulu.cnblogs.com/

作者：zeo112140 发表于2013-7-11 10:28:48 原文链接

阅读：7 评论：0 查看评论

[转]缓存大量小文件？Redis是首选！

ghiblitattoo
ghiblitattoo

用AI创造独特的吉卜力纹身

ghiblitattoo 175
查看详情 ghiblitattoo

原文地址：[转]缓存大量小文件？Redis是首选！, 感谢原作者分享。

相关标签：
redis

大家都在看：

最佳 Windows 性能的顶级免费优化软件
最佳 Windows 性能的顶级免费优化软件

每个人都需要一台速度更快、更稳定的 PC。随着时间的推移，垃圾文件、旧注册表数据和不必要的后台进程会占用资源并降低性能。幸运的是，许多工具可以让 Windows 保持平稳运行。

下载
来源：php中文网
收藏 点赞
上一篇：Redis Cluster 下一篇：HBase：迁移到新的监测系统Metrics2
本文内容由网友自发贡献，版权归原作者所有，本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容，请联系admin@php.cn
最新问题
为什么mysql默认使用innodb_mysql默认存储引擎原因分析 MySQL默认使用InnoDB是因其满足现代业务对可靠性、并发与一致性的硬性需求：支持ACID事务、行级锁、外键约束、聚簇索引及自动崩溃恢复。
2025-12-23 09:33:07
443
mysql归档表怎么设置自动清理_mysql归档表自动清理机制的配置方法 通过事件调度器、分区表、外部脚本等方式实现MySQL归档表自动清理，结合索引优化与分批删除策略，根据数据量选择合适方案。
2025-12-23 09:25:00
542
mysql如何使用缓存提升性能_mysql缓存使用优化 MySQL8.0已移除查询缓存，主流优化转向InnoDB缓冲池、操作系统页缓存及应用层缓存；需合理配置缓冲池大小与实例数、利用OS缓存、引入Redis等应用层缓存，并调整相关参数提升内存效率。
2025-12-23 09:19:02
763
mysqlbinlog无法解析怎么办_mysql日志解析问题 mysqlbinlog无法解析需分四步排查：先核对binlog文件路径与存在性；再检查系统用户读权限；接着处理损坏或格式异常，可用--start-position或--force-if-open跳过；最后确认/tmp空间充足并用重定向输出。
2025-12-23 08:51:43
830
如何在mysql中使用函数查询_mysql函数查询基础讲解 MySQL常用函数分四类：字符串函数（如CONCAT、SUBSTRING、UPPER）、数值函数（如ROUND、FLOOR、MOD）、日期函数（如NOW、DATE_ADD、DATEDIFF）、条件与转换函数（如IF、CASE、COALESCE、CAST），提升查询效率与可读性。
2025-12-23 08:28:55
901
什么是mysql数据库_mysql数据库基础概念解析 MySQL是开源RDBMS，以表结构组织数据，通过SQL操作；其三层架构为服务器（管理员）、数据库（文件夹）、表（二维结构）；建表生成.frm（结构）和.ibd（数据+索引）文件；SQL含DDL、DML等语句；相比文件存储，MySQL具备并发安全、索引加速、事务可靠、结构清晰四大优势。
2025-12-23 05:55:08
601
mysql如何优化分页查询_mysql分页查询性能优化 MySQL深分页性能差的根源是OFFSET大时需扫描大量无用行，优化应采用基于主键/唯一索引的游标分页（如WHEREid>125ORDERBYidLIMIT20）或覆盖索引+延迟关联，确保ORDERBY字段有合适索引，避免函数、跨索引排序及无索引字段分页。
2025-12-23 05:07:11
876
mysql如何开启事务_mysql事务开启方法 MySQL开启事务主要有显式启动（STARTTRANSACTION/BEGIN）和关闭自动提交（SETautocommit=0）两种方式，前者逻辑清晰、可控性强，后者需手动提交且易导致长事务；默认autocommit=1，DDL会隐式提交；推荐优先使用显式事务并注意异常回滚与事务粒度控制。
2025-12-23 04:45:24
986
如何设置mysql时区_mysql时区配置方法 MySQL默认使用系统时区，需统一设为UTC+8以避免时间偏差；应通过配置文件永久设置default-time-zone=‘+08:00’并重启服务，同时区分TIMESTAMP（自动时区转换）与DATETIME（无转换）的适用场景。
2025-12-23 04:13:10
679
mysql版本升级前需要准备什么_mysql升级前检查清单 MySQL版本升级前须确保数据安全、兼容性与业务连续性，需完成全量备份（含系统库、配置、复制状态）、兼容性验证（参数/SQL/认证变更）、测试环境压测及可回滚方案。
2025-12-22 20:27:39
487
相关专题
更多>
热门推荐
开源免费商场系统广告
热门教程
更多>
相关推荐
热门推荐
最新课程
最新下载
更多>
网站特效
网站源码
网站素材
前端模板
关于我们 免责申明 举报中心 意见反馈 讲师合作 广告合作 最新更新
php中文网：公益在线php培训，帮助PHP学习者快速成长！
关注服务号 技术交流群
PHP中文网订阅号
每天精选资源文章推送

Copyright 2014-2025 https://www.php.cn/ All Rights Reserved | php.cn | 湘ICP备2023035733号

  • PHP学习

  • 技术支持

  • 返回顶部