本文旨在解决在不同AWS EC2实例间安全高效地共享文件列表的问题。通过引入S3FS-FUSE工具，将Amazon S3存储桶挂载为EC2实例上的本地文件系统，即使文件物理上存储在远程S3，也能在多个EC2实例上实现无缝的文件访问和管理。此方案利用S3的可靠性和可扩展性，提供了一种简便且安全的跨实例文件共享策略。
1. 理解跨EC2实例文件访问的挑战
在AWS环境中，当您拥有多个EC2实例，并希望其中一个实例（例如管理界面）能够查看或操作另一个实例上特定目录中的文件时，直接通过HTTP路径访问远程实例的文件通常不是一个可行或安全的方案。例如，尝试使用PHP的scandir()函数直接访问http://xx.xxx.xxx.xx/upload_directory/这样的URL路径会失败，因为scandir()设计用于本地文件系统路径，而不是HTTP资源。
传统的解决方案可能涉及FTP、NFS或其他网络文件共享协议，但这会增加配置复杂性、安全风险以及维护成本。更优化的方法是利用AWS自身的存储服务，并将其无缝集成到EC2实例的文件系统中。
2. S3FS-FUSE简介
S3FS-FUSE是一个基于FUSE（用户空间文件系统）的工具，它允许用户将Amazon S3存储桶作为本地文件系统挂载到Linux、macOS等操作系统上。这意味着您可以像操作本地硬盘上的文件一样，对S3桶中的对象进行读写、列出目录、创建文件等操作。
S3FS的优势在于：
- 无缝集成： 将云存储转换为本地文件系统，简化应用程序的开发和部署。
- 高可用与持久性： 继承S3服务本身的99.999999999%对象持久性和高可用性。
- 可扩展性： S3存储容量几乎无限，无需担心本地磁盘空间限制。
- 成本效益： 按需付费，避免预置大量存储资源。
- 安全性： 结合IAM策略，可以精细控制对S3桶的访问权限。
3. 前提条件
在开始部署S3FS之前，请确保满足以下条件：
- AWS EC2实例： 至少两个运行Linux操作系统的EC2实例（本文以Ubuntu为例）。
- Amazon S3存储桶： 一个用于存储和共享文件的S3桶。
-
IAM角色： 一个具有对目标S3桶进行读写权限的IAM角色。强烈建议将此IAM角色附加到您的EC2实例，而不是直接使用Access Key和Secret Key。
- 所需的S3权限示例：s3:GetObject, s3:PutObject, s3:ListBucket, s3:DeleteObject等。
4. S3FS-FUSE部署与配置
本节将详细介绍如何在EC2实例上安装、配置和使用S3FS-FUSE。
4.1 安装S3FS-FUSE
首先，在需要访问S3桶的每个EC2实例上安装S3FS-FUSE。对于Ubuntu系统，可以通过以下命令进行安装：
sudo apt update sudo apt install s3fs -y
如果您的系统没有s3fs包，或者需要最新版本，可以参考S3FS-FUSE的GitHub页面（https://github.com/s3fs-fuse/s3fs-fuse）进行编译安装。
4.2 创建本地挂载点
在每个EC2实例上，创建一个用于挂载S3桶的本地目录。例如：
sudo mkdir -p /mnt/s3fs/shared_files
此目录将作为S3桶的入口点。
4.3 挂载S3存储桶
推荐使用附加了IAM角色的EC2实例来挂载S3桶，这样可以避免在实例上存储敏感的AWS凭证。
使用IAM角色挂载：
如果您的EC2实例已经附加了一个具有S3读写权限的IAM角色，可以使用以下命令挂载S3桶：
sudo /usr/local/bin/s3fs -o allow_other -o iam_role='your-iam-role-name' your-s3-bucket-name /mnt/s3fs/shared_files
- -o allow_other：允许其他非root用户访问挂载的文件系统。
- -o iam_role='your-iam-role-name'：指定附加到EC2实例的IAM角色名称。
- your-s3-bucket-name：您的S3桶名称。
- /mnt/s3fs/shared_files：之前创建的本地挂载点。
请确保在所有需要访问共享文件的EC2实例上执行此挂载操作。
验证挂载：
挂载成功后，您可以使用df -h命令查看挂载点：
df -h
您应该能看到类似/dev/fuse或s3fs的条目，指向您的S3桶和挂载点。
同时，尝试列出挂载点下的内容，以确认可以访问S3桶中的文件：
ls /mnt/s3fs/shared_files
4.4 自动化启动时挂载
为了确保EC2实例重启后S3桶能自动挂载，您可以将挂载命令添加到/etc/rc.local文件中。
-
编辑/etc/rc.local文件：
sudo nano /etc/rc.local
-
在exit 0行之前，添加您的S3FS挂载命令。确保使用_netdev选项，以确保网络服务可用后再进行挂载。
#!/bin/bash # ... 其他命令 ... # 挂载S3桶 /usr/local/bin/s3fs -o allow_other -o iam_role='your-iam-role-name' -o _netdev your-s3-bucket-name /mnt/s3fs/shared_files exit 0
-
保存并关闭文件。确保/etc/rc.local具有执行权限：
sudo chmod +x /etc/rc.local
注意： 对于较新的Ubuntu版本（如Ubuntu 18.04及更高版本），/etc/rc.local可能不再默认启用或存在。在这种情况下，更推荐使用systemd服务单元来管理S3FS的自动挂载。
5. 访问共享文件
一旦S3桶成功挂载到EC2实例的本地文件系统，您的应用程序就可以像访问本地文件一样访问S3桶中的文件。
例如，如果您有一个PHP脚本需要列出upload_directory中的文件，现在可以将$path指向本地挂载点：
";
foreach($nothidden as $file) {
echo "6. 注意事项与最佳实践
- IAM权限最小化： 确保附加到EC2实例的IAM角色只拥有访问所需S3桶的最小权限集。
- 性能考量： S3FS通过网络传输数据，因此其性能会受到网络延迟和S3吞吐量的影响。对于需要极低延迟或高IOPS的工作负载，可能需要考虑AWS EFS或EC2实例存储等其他方案。
- 缓存策略： S3FS支持客户端缓存，可以通过-o umask=0007,gid=1001,noatime,use_cache=/tmp/s3cache等选项进行配置，以提高重复访问的性能。
- 错误处理： 在生产环境中，应考虑S3FS挂载失败的情况，并实现相应的监控和告警机制。
- 安全： 确保S3桶的ACL和桶策略配置正确，以防止未经授权的访问。同时，保护EC2实例的安全，防止未经授权的用户访问挂载点。
- 成本： S3FS会产生S3存储费用、数据传输费用（特别是跨区域或出站传输）以及S3请求费用。请监控这些成本。
- 目录结构： 尽量保持S3桶内的目录结构扁平化，或优化访问模式，以减少ListBucket操作的开销。
7. 总结
通过S3FS-FUSE，您可以有效地解决AWS EC2实例之间共享文件列表的挑战。此方案不仅利用了Amazon S3的高可用性、持久性和可扩展性，还通过将S3桶挂载为本地文件系统，简化了应用程序的开发和维护。正确配置IAM角色并遵循最佳实践，可以构建一个安全、高效且易于管理的跨实例文件共享环境。
