本文旨在解决在aws ec2多实例环境中，一个ec2实例如何安全、高效地访问并展示另一个ec2实例上文件列表的问题。传统的直接http路径或本地文件系统操作无法满足需求。通过引入s3fs工具，将aws s3存储桶挂载为本地文件系统，我们可以在多个ec2实例间实现文件内容的同步访问与展示，从而构建分布式且易于管理的应用程序架构。
在分布式应用架构中，尤其是在AWS EC2环境下，经常会遇到一个EC2实例（例如管理界面）需要访问并展示另一个EC2实例（例如文件存储服务器）上特定目录文件列表的需求。直接通过HTTP路径访问远程实例上的文件目录，或者尝试将远程路径视为本地文件系统路径进行操作，通常会导致失败，因为这不符合文件系统访问的机制。
挑战分析
考虑以下场景： 一个管理界面EC2实例（实例A）需要显示另一个文件存储EC2实例（实例B）上 /upload_directory/ 目录中的文件列表。 如果实例A尝试使用PHP的 scandir() 函数并指定一个本地路径，例如 upload_directory/，它只能访问实例A自身的文件。 如果实例A尝试将路径更改为实例B的HTTP地址，例如 http://xx.xxx.xxx.xx/upload_directory/，scandir() 函数将无法解析此URL作为一个可扫描的文件系统路径，因为它是一个网络资源而非本地目录。
// 在本地测试时，此脚本可以工作
$path = "upload_directory/";
$files = scandir($path);
foreach($files as $file) {
if ($file[0] != '.') {
$nothidden[] = $file;
}
}
for ($x=0;$x";
}
// 当尝试访问远程HTTP路径时，此方法无效
// $path = "http://xx.xxx.xxx.xx/upload_directory/";
// $files = scandir($path); // 会失败 这种情况下，仅仅调整安全组出站规则是不足以解决文件系统层面的访问问题的。我们需要一个能够将远程存储“本地化”的解决方案。
解决方案：利用S3FS实现S3存储桶的本地挂载
最有效且推荐的方法是利用AWS S3存储桶作为共享存储介质，并结合S3FS-FUSE工具将其挂载到EC2实例的本地文件系统。这样，两个EC2实例都可以将同一个S3存储桶视为本地目录进行读写操作，从而实现文件列表的共享与展示。
1. 准备AWS S3存储桶
首先，您需要在AWS中创建一个S3存储桶。这个存储桶将用于存储您的文件，并且两个EC2实例都将访问它。
2. 配置IAM权限
为了安全地访问S3存储桶，您应该为EC2实例配置适当的IAM角色。此IAM角色应至少包含对目标S3存储桶的读写权限（例如 s3:GetObject, s3:ListBucket, s3:PutObject, s3:DeleteObject 等）。将此IAM角色附加到您的EC2实例上，这比直接在实例上配置AWS访问密钥更安全。
如果您选择不使用IAM角色，则需要配置AWS访问密钥和秘密访问密钥，但这通常不推荐用于生产环境。
3. 安装S3FS-FUSE
S3FS-FUSE是一个开源工具，允许您将S3存储桶挂载为本地文件系统。在每个需要访问S3存储桶的EC2实例（即实例A和实例B）上，都需要安装S3FS。
请参照S3FS-FUSE的官方GitHub仓库获取最新的安装指南： https://www.php.cn/link/523d6984fa5aa355c0f4b63b564ce892
通常，在Ubuntu等基于Debian的系统上，安装过程可能涉及安装依赖、编译和安装：
# 安装依赖 sudo apt-get update sudo apt-get install automake autotools-dev fuse g++ git libcurl4-gnutls-dev libfuse-dev libssl-dev libxml2-dev make pkg-config # 克隆s3fs仓库 git clone https://www.php.cn/link/523d6984fa5aa355c0f4b63b564ce892.git cd s3fs-fuse # 编译和安装 ./autogen.sh ./configure make sudo make install
4. 挂载S3存储桶
安装S3FS后，您可以在两个EC2实例上将S3存储桶挂载到指定的本地目录。
使用IAM角色挂载（推荐）：
如果您的EC2实例已附加具有S3读写权限的IAM角色，则可以使用以下命令进行挂载：
sudo /usr/local/bin/s3fs -o allow_other -o iam_role='您的IAM角色名称' 您的S3桶名称 /mnt/s3fs/pathlocal
- 您的S3桶名称: 替换为您的S3存储桶的实际名称。
- /mnt/s3fs/pathlocal: 替换为您希望在本地挂载S3存储桶的目录。请确保此目录已存在（例如 sudo mkdir -p /mnt/s3fs/pathlocal）。
- -o allow_other: 允许非root用户访问挂载点。
- -o iam_role='您的IAM角色名称': 指定EC2实例的IAM角色名称。
使用AWS访问密钥挂载（不推荐用于生产环境）：
如果您没有使用IAM角色，或者出于特定测试目的，您可以在 /etc/passwd-s3fs 文件中存储AWS访问密钥和秘密访问密钥，并设置文件权限为 600。
echo "您的AWS访问密钥ID:您的AWS秘密访问密钥" > /etc/passwd-s3fs sudo chmod 600 /etc/passwd-s3fs sudo /usr/local/bin/s3fs -o allow_other 您的S3桶名称 /mnt/s3fs/pathlocal
重要提示： 上述挂载操作需要在两个EC2实例上都执行。这意味着实例A和实例B都将把同一个S3存储桶挂载到它们各自的 /mnt/s3fs/pathlocal 目录。
5. 配置开机自动挂载
为了确保EC2实例重启后S3存储桶能自动挂载，您可以将挂载命令添加到 /etc/rc.local 文件中。
编辑 /etc/rc.local 文件（如果不存在可能需要创建并赋予执行权限 sudo chmod +x /etc/rc.local）：
sudo nano /etc/rc.local
在 exit 0 行之前添加您的挂载命令，例如：
#!/bin/sh -e # # rc.local # # This script is executed at the end of each multiuser runlevel. # Make sure that the script will "exit 0" on success or any other # value on error. # # In order to enable or disable this script just change the execution # bits. # # By default this script does nothing. # 确保挂载点存在 mkdir -p /mnt/s3fs/pathlocal # 使用IAM角色自动挂载S3桶 /usr/local/bin/s3fs -o allow_other -o iam_role='您的IAM角色名称' 您的S3桶名称 /mnt/s3fs/pathlocal exit 0
保存并退出。
6. 更新PHP脚本
一旦S3存储桶在两个EC2实例上都成功挂载到 /mnt/s3fs/pathlocal 路径，并且您将文件上传到S3存储桶（通过实例B，或者直接通过AWS控制台），实例A上的PHP脚本就可以像访问本地文件一样访问这些文件了。
如果您的文件在S3存储桶中是直接位于根目录，或者位于 /upload_directory/ 路径下，那么实例A上的PHP脚本可以修改为：
// 假设S3桶挂载在 /mnt/s3fs/pathlocal
// 并且您的文件在S3桶的根目录或子目录
$path = "/mnt/s3fs/pathlocal/upload_directory/"; // 确保此路径与S3桶内的实际文件路径对应
$files = scandir($path);
if ($files !== false) {
foreach($files as $file) {
if ($file[0] != '.') { // 排除隐藏文件
echo $file . "
";
}
}
} else {
echo "无法读取目录或目录不存在。";
}现在，当实例A运行此PHP脚本时，它实际上是在访问通过S3FS挂载的S3存储桶中的文件，从而实现了远程文件列表的展示。
注意事项与最佳实践
- 数据一致性： S3FS提供了对S3的访问，S3本身是一个最终一致性存储。这意味着在某些情况下，文件操作（如上传、删除）后，立即尝试读取可能不会立即反映最新状态。对于文件列表展示，这通常不是大问题，但在高并发写入和即时读取场景下需要注意。
- 性能： 通过S3FS访问S3的性能会受到网络延迟和S3服务本身的影响，可能不如直接访问本地SSD。对于需要极高性能文件操作的应用，可能需要考虑其他方案（如EFS）。
- 成本： 使用S3会产生存储费用、数据传输费用和请求费用。确保了解这些成本模型。
- 安全： 始终优先使用IAM角色来授权EC2实例访问S3，避免在实例上硬编码AWS访问密钥。确保IAM角色的权限是最小必需权限。
- 错误处理： 在您的PHP脚本中，添加对 scandir() 返回值的检查，以优雅地处理目录不存在或无法访问的情况。
- 文件路径： 仔细管理S3存储桶中的文件结构，并确保PHP脚本中的路径与S3FS挂载后的本地路径准确对应。
总结
通过S3FS-FUSE工具将AWS S3存储桶挂载到EC2实例的本地文件系统，我们成功地解决了在分布式EC2环境中访问和展示远程文件列表的难题。这种方法不仅提供了灵活的文件共享机制，还利用了S3的高可用性和持久性。通过合理配置IAM权限和开机自动挂载，可以构建出健壮且易于管理的文件服务架构。
