0

0

GridFS:基于MongoDB的分布式文件存储系统

php中文网

php中文网

发布时间:2016-06-07 17:29:50

|

1282人浏览过

|

来源于php中文网

原创

GridFS是MongoDB之上的分布式文件系统,其利用了MongoDB的分布式存储机制并通过MongoDB来存储文件数据和文件元数据,兼具文档型数

gridfs是mongodb之上的分布式文件系统,其利用了mongodb的分布式存储机制并通过mongodb来存储文件数据和文件元数据,兼具文档型数据库和文件系统的优势。gridfs是当前大数据潮流和复杂数据分析需求的产物。
 
简单来说,gridfs通过将文件数据和文件元数据保存在mongodb里来实现文件系统,通过复制(replication)来应对故障切换,数据集成,还可以用来做读扩展,热备份或者作为离线批处理的数据源,通过分片来实现自动切分数据,实现大数据存储和负载均衡,通过数据库对集合中文档的管理和查询(包括mapreduce)实现轻量级文件系统接口和搜索与分析。
 
gridfs的一个基本思想是可以将大文件分成很多块,每一块作为一个单独的文档存储,则有就能存储大文件了。由于mongodb支持在文档中存储二进制数据,可以最大限度减小块的存储开销。gridfs使用mongodb的复制,分片等机制来实现分布式文件存储,使用mongodb进行管理和复杂分析。
 
gridfs使用两个文档来存储文件,一个用来存储文件本身的块,另外一个用来存储分块的信息和文件的元数据,默认对应的集合分别为fs.chunks和fs.files.
 
chunks集合:
 
{
 
“_id”:,
 
“files_id”: ,
 
“n”: ,
 
“data”:
 
}
 
块集合中文档包含以下属性:chunk_id:块id。chunks.files_id:对应files集合中文档的_id。chunks.n:块的编号,由gridfs管理,从0开始。chunks.data:文件数据,是bson二进制类型。
 
chunks集合使用files_id和n作为混合索引,files集合:
 
{
 
“_id”: ,
 
“length”: ,
 
“chunksize”:,
 
“uploaddate”: ,
 
“md5”: ,
 
“filename”: ,
 
“contenttype”: ,
 
“aliases”: ,
 
“metadata”:
 
}
 
files集合中的文档包含以下属性,应用还可以创建额外任意的属性:files_id:唯一的文件表示。mongodb的默认值是bosn objectid。files.length: 文件的字节数大小。files.chunksize:每个块的大小,默认为256kb,gridfs根据这个值将文件分成多个快,files.uploaddate:gridfs第一次存储此文件的时间,类型为isodate。files.md5: 文件的md5散列值,是字符串。 files.filename:可选。人类可读的文件名。files.contenttype: 可选。合法的文件mime类型。files.aliases:可选。别名的字符串数组。files.metadata:可选。自定义存储的文件元数据。
 
可以通过mongofiles工具或者mongodb驱动程序来使用gridfs,gridfs主要提供5种操作接口:
 
list:获取文件列表
 
get:获取文件
 
put:写入文件
 
search:根据文件名搜索文件
 
delete:删除文件
 
因为gridfs文件的元数据存储在files集合中,因此gridfs可以非常方便地进行文件管理,比如根据文件名,上传时间,文件大小或者自定义的文件元数据进行查询,还可以利用mapreduce做复杂数据分析。这是gridfs把传统文件系统和数据库相结合得到的众多好处之一。
 
对比传统文件系统的优势
 
分布式:gridfs是基于mongodb的分布式文件系统,可以直接使用mongodb replication和sharding机制,数据可靠性和水平扩展性都得到保证。gridfs不产生磁盘碎片,因为mongodb分配数据文件空间时以2gb为一块。
 
mapreduce:可以进行复杂管理和查询分析。
 
索引和缓存:元数据存储在mongodb中,非常方便索引,,并且可以对文件和文件元数据进行索引,能提高系统效率。
 
checksum: gridfs会为文件产生散列值,可用于校验文件以检查完整性。
 
开发者友好:利用grid可以简化需求,减小开发成本。要是已经用了mongodb,gridfs就可以不需要使用独立文件存储架构,并且使代码和数据真正分离,方便管理。
 
其他: gridfs可以避免用于存储用户上传内容的文件系统出现的某些问题。例如,gridfs在同一个目录下防止大量的文件是没有任何问题的。gridfs不产生磁盘碎片,因为mongodb分配数据文件空间时以2gb为一块。

linux

华友协同办公自动化OA系统
华友协同办公自动化OA系统

华友协同办公管理系统(华友OA),基于微软最新的.net 2.0平台和SQL Server数据库,集成强大的Ajax技术,采用多层分布式架构,实现统一办公平台,功能强大、价格便宜,是适用于企事业单位的通用型网络协同办公系统。 系统秉承协同办公的思想,集成即时通讯、日记管理、通知管理、邮件管理、新闻、考勤管理、短信管理、个人文件柜、日程安排、工作计划、工作日清、通讯录、公文流转、论坛、在线调查、

下载

相关专题

更多
Golang gRPC 服务开发与Protobuf实战
Golang gRPC 服务开发与Protobuf实战

本专题系统讲解 Golang 在 gRPC 服务开发中的完整实践,涵盖 Protobuf 定义与代码生成、gRPC 服务端与客户端实现、流式 RPC(Unary/Server/Client/Bidirectional)、错误处理、拦截器、中间件以及与 HTTP/REST 的对接方案。通过实际案例,帮助学习者掌握 使用 Go 构建高性能、强类型、可扩展的 RPC 服务体系,适用于微服务与内部系统通信场景。

8

2026.01.15

公务员递补名单公布时间 公务员递补要求
公务员递补名单公布时间 公务员递补要求

公务员递补名单公布时间不固定,通常在面试前,由招录单位(如国家知识产权局、海关等)发布,依据是原入围考生放弃资格,会按笔试成绩从高到低递补,递补考生需按公告要求限时确认并提交材料,及时参加面试/体检等后续环节。要求核心是按招录单位公告及时响应、提交材料(确认书、资格复审材料)并准时参加面试。

44

2026.01.15

公务员调剂条件 2026调剂公告时间
公务员调剂条件 2026调剂公告时间

(一)符合拟调剂职位所要求的资格条件。 (二)公共科目笔试成绩同时达到拟调剂职位和原报考职位的合格分数线,且考试类别相同。 拟调剂职位设置了专业科目笔试条件的,专业科目笔试成绩还须同时达到合格分数线,且考试类别相同。 (三)未进入原报考职位面试人员名单。

58

2026.01.15

国考成绩查询入口 国考分数公布时间2026
国考成绩查询入口 国考分数公布时间2026

笔试成绩查询入口已开通,考生可登录国家公务员局中央机关及其直属机构2026年度考试录用公务员专题网站http://bm.scs.gov.cn/pp/gkweb/core/web/ui/business/examResult/written_result.html,查询笔试成绩和合格分数线,点击“笔试成绩查询”按钮,凭借身份证及准考证进行查询。

11

2026.01.15

Java 桌面应用开发(JavaFX 实战)
Java 桌面应用开发(JavaFX 实战)

本专题系统讲解 Java 在桌面应用开发领域的实战应用,重点围绕 JavaFX 框架,涵盖界面布局、控件使用、事件处理、FXML、样式美化(CSS)、多线程与UI响应优化,以及桌面应用的打包与发布。通过完整示例项目,帮助学习者掌握 使用 Java 构建现代化、跨平台桌面应用程序的核心能力。

65

2026.01.14

php与html混编教程大全
php与html混编教程大全

本专题整合了php和html混编相关教程,阅读专题下面的文章了解更多详细内容。

36

2026.01.13

PHP 高性能
PHP 高性能

本专题整合了PHP高性能相关教程大全,阅读专题下面的文章了解更多详细内容。

75

2026.01.13

MySQL数据库报错常见问题及解决方法大全
MySQL数据库报错常见问题及解决方法大全

本专题整合了MySQL数据库报错常见问题及解决方法,阅读专题下面的文章了解更多详细内容。

21

2026.01.13

PHP 文件上传
PHP 文件上传

本专题整合了PHP实现文件上传相关教程,阅读专题下面的文章了解更多详细内容。

35

2026.01.13

热门下载

更多
网站特效
/
网站源码
/
网站素材
/
前端模板

精品课程

更多
相关推荐
/
热门推荐
/
最新课程
MongoDB 教程
MongoDB 教程

共17课时 | 2万人学习

黑马云课堂mongodb实操视频教程
黑马云课堂mongodb实操视频教程

共11课时 | 3.1万人学习

MongoDB 教程
MongoDB 教程

共42课时 | 25.4万人学习

关于我们 免责申明 举报中心 意见反馈 讲师合作 广告合作 最新更新
php中文网:公益在线php培训,帮助PHP学习者快速成长!
关注服务号 技术交流群
PHP中文网订阅号
每天精选资源文章推送

Copyright 2014-2026 https://www.php.cn/ All Rights Reserved | php.cn | 湘ICP备2023035733号