数据存储方案评估标准RDBMSorKV

php中文网

发布： 2016-06-07 16:12:19

原创

1390人浏览过

本文主要介绍常见的数据存储方案及相应选型的评估标准的介绍。 Guideline：针对不同应用场景，针对性选择存储方式。 1. 数据存储方案 SQL： MySQL 5.5/5.6/MariaDB(对于Dev绝大多数场景下透明)；Oracle|MS SQL暂不考虑； NoSQL： Memcached 1.4.21；Redis 2.

<span style="font-family: Arial, Verdana, sans-serif;">本文主要介绍常见的数据存储方案及相应选型的评估标准的介绍。</span>

登录后复制

Guideline：针对不同应用场景，针对性选择存储方式。

登录后复制

1. 数据存储方案

SQL：

MySQL 5.5/5.6/MariaDB(对于Dev绝大多数场景下透明)；
Oracle|MS SQL暂不考虑；

登录后复制

NoSQL：

Memcached 1.4.21；
Redis 2.8；
MongoDB 2.6.6；
Hbase 0.96/0.98；

登录后复制

2. 评估标准

RDBMS：(MySQL):
要求数据持久化存储；用户提交数据就不能丢失；
要求事务保证；
应用复杂，数据结构复杂，数据一致性要求高；
分布式实现时复杂度高，分库分表代价较大。
适合需要严格事务保证的OLTP类系统和MIS类系统;

典型场景：

以电商网站为例，
所有后端子系统(比如ERP，物流，财务，仓储，人事，VIS等）；
网站核心数据存储（比如用户，商品，库存，购物车，订单）；

登录后复制

KV(Memcache/Redis)：

数据结构简单；只是按照简单的Key来查询和update记录；
数据不需要持久化存储(persistent on disk)，是secondary data；一般不是用户直接写入；（比如由后端job生成，可以由应用实现双写）
不需要transaction事务支持；
可能有很高的QPS/TPS(for example, 10k+ query/transaction per second);
有非常高的响应速度要求（典型场景：

各类计数器；
各类cache层（商品列表页，各类配置信息，商品描述信息等）；

登录后复制

Analytics Platform:

SecLists

SecLists是最终安全测试人员的伙伴。它是一个包含各种类型列表的集合，这些列表在安全评估过程中经常使用，都在一个地方。SecLists通过方便地提供安全测试人员可能需要的所有列表，帮助提高安全测试的效率和生产力。列表类型包括用户名、密码、URL、模糊测试有效载荷、敏感数据模式、Web shell等等。测试人员只需将此存储库拉到新的测试机上，他就可以访问到所需的每种类型的列表。

查看详情

Hadoop：ETL；科学分析；
GP：BI分析；各类报表；
Hbase：在线系统；OLAP分析；
DocDB：应用相对简单，数据结构相对复杂，支持快速开发，非事务类处理的信息处理系统。如知识问答、社区等；

登录后复制

3. 性能优化

已有系统碰到性能瓶颈时，优化次序依次为：

容量评估
性能优化（系统优化，代码逻辑优化，SQL优化）
硬件升级（从低端硬件到高端硬件，从低端存储到高端存储）
垂直拆分（按照不同的模块拆分数据库）
水平拆分（对某个模块，在系统里面再也跑不动，就需要对该模块按照主键或者其他逻辑拆分）

大家都在看：

mysql去重怎么提高效率_mysql去重效率提升实用方法 mysql去重怎么用触发器_mysql使用触发器去重方法介绍 mysql归档数据怎么导出为csv_mysql归档数据导出为csv文件的方法 mysql怎么查询数据_mysql基础查询语句使用教程 mysql导入sql文件能分批导入吗_mysql分批次导入大sql文件的实用技巧