通过S3FS-FUSE在AWS EC2分布式环境下统一管理和显示文件列表-php教程-PHP中文网

通过S3FS-FUSE在AWS EC2分布式环境下统一管理和显示文件列表

聖光之護

发布： 2025-11-10 12:28:31

原创

412人浏览过

通过S3FS-FUSE在AWS EC2分布式环境下统一管理和显示文件列表

本教程详细介绍了如何在aws ec2分布式环境中，利用s3fs-fuse工具将amazon s3存储桶挂载为本地文件系统，从而实现在不同ec2实例间共享文件并轻松显示远程文件列表。文章将涵盖s3fs的安装、配置iam权限或aws访问密钥，以及挂载s3桶的具体步骤，最终允许php等脚本通过本地文件路径访问和操作s3中的文件。

在AWS EC2的分布式架构中，当应用部署在不同的实例上，而又需要访问另一实例上的特定目录文件时，直接通过HTTP路径访问通常无法满足文件系统操作的需求，例如使用PHP的scandir()函数。这种场景下，文件访问需要一种更接近本地文件系统的方式。S3FS-FUSE提供了一个优雅的解决方案，它允许我们将Amazon S3存储桶挂载为EC2实例上的本地文件系统，从而实现跨实例的文件共享与访问。

S3FS-FUSE简介与工作原理

S3FS-FUSE是一个基于FUSE（Filesystem in Userspace）的工具，它允许用户将Amazon S3存储桶作为标准文件系统挂载到Linux、macOS等操作系统上。一旦S3桶被挂载，它就表现得像一个本地目录，使得应用程序可以直接使用标准的文件系统API（如ls、cp、scandir等）来访问和操作S3中的对象，而无需直接调用AWS S3 SDK。

其核心优势在于：

统一访问接口：将远程S3存储抽象为本地文件系统，简化了文件操作逻辑。
跨实例共享：多个EC2实例可以同时挂载同一个S3桶，实现文件数据的实时共享。
高可用与持久性：文件存储在S3中，具备S3本身的高可用性、持久性和可扩展性。

环境准备

在开始安装和配置S3FS之前，需要确保以下环境已准备就绪：

Amazon S3存储桶：创建一个S3存储桶，用于存放需要共享的文件。例如，可以创建一个名为 your-shared-bucket 的存储桶。

AWS IAM权限配置：

推荐方式：IAM角色：为EC2实例配置一个IAM角色，该角色需具备对目标S3桶的读写权限。这是最安全且推荐的方式，因为AWS凭证不会直接存储在实例上。

{
    "Version": "2012-10-17",
    "Statement": [
        {
            "Effect": "Allow",
            "Action": [
                "s3:ListBucket",
                "s3:GetBucketLocation",
                "s3:GetObject",
                "s3:PutObject",
                "s3:DeleteObject",
                "s3:AbortMultipartUpload",
                "s3:ListMultipartUploadParts",
                "s3:ListBucketMultipartUploads"
            ],
            "Resource": [
                "arn:aws:s3:::your-shared-bucket",
                "arn:aws:s3:::your-shared-bucket/*"
            ]
        }
    ]
}

登录后复制

将此策略附加到EC2实例的IAM角色上。

备用方式：AWS访问密钥：如果无法使用IAM角色，则需要生成一对AWS访问密钥（Access Key ID和Secret Access Key），并确保这些密钥所属的用户或角色具有对S3桶的相应权限。请注意，直接在实例上存储密钥存在安全风险，应谨慎使用。

S3FS-FUSE安装

S3FS-FUSE的安装通常通过从GitHub仓库克隆源代码并编译进行。以下是在Ubuntu EC2实例上的安装步骤：

更新系统并安装依赖：

sudo apt update
sudo apt install -y automake autotools-dev fuse g++ git libcurl4-gnutls-dev libfuse-dev libssl-dev libxml2-dev make pkg-config

登录后复制

克隆S3FS-FUSE仓库并编译安装：

git clone https://github.com/s3fs-fuse/s3fs-fuse.git
cd s3fs-fuse
./autogen.sh
./configure --prefix=/usr/local
make
sudo make install

登录后复制

这些步骤应在需要挂载S3桶的所有EC2实例上执行。

挂载S3存储桶

安装S3FS后，即可将S3存储桶挂载到EC2实例上的指定目录。首先，在每个EC2实例上创建一个作为挂载点的目录，例如 /mnt/s3fs/pathlocal：

sudo mkdir -p /mnt/s3fs/pathlocal

登录后复制

接下来，根据您的权限配置选择合适的挂载命令。

使用IAM角色挂载（推荐）

如果EC2实例已附加具有S3读写权限的IAM角色，可以使用以下命令挂载：

sudo /usr/local/bin/s3fs -o allow_other -o iam_role='your-iam-role-name' your-shared-bucket /mnt/s3fs/pathlocal

登录后复制

请将 your-iam-role-name 替换为实际的IAM角色名称，your-shared-bucket 替换为您的S3桶名称。

使用AWS访问密钥挂载

如果使用AWS访问密钥，需要将密钥信息写入一个文件，并设置正确的权限。例如，在 ~/.passwd-s3fs 文件中：

echo "YOUR_ACCESS_KEY_ID:YOUR_SECRET_ACCESS_KEY" > ~/.passwd-s3fs
chmod 600 ~/.passwd-s3fs

登录后复制

然后使用以下命令挂载：

文心一言

文心一言是百度开发的AI聊天机器人，通过对话可以生成各种形式的内容。

1008

查看详情

sudo /usr/local/bin/s3fs -o allow_other -o passwd_file=~/.passwd-s3fs your-shared-bucket /mnt/s3fs/pathlocal

登录后复制

请将 YOUR_ACCESS_KEY_ID 和 YOUR_SECRET_ACCESS_KEY 替换为您的实际密钥。

参数解释：

-o allow_other：允许非root用户访问挂载的S3文件系统。这对于Web服务器（如Apache或Nginx的用户）访问S3文件至关重要。
your-shared-bucket：您要挂载的S3存储桶的名称。
/mnt/s3fs/pathlocal：本地文件系统中的挂载点目录。

这些挂载操作同样需要在需要访问共享文件的所有EC2实例上执行。

配置开机自动挂载

为了确保EC2实例重启后S3桶能够自动挂载，可以将挂载命令添加到 /etc/rc.local 文件中。

编辑 /etc/rc.local 文件：
```
sudo nano /etc/rc.local
```
登录后复制

在 exit 0 行之前添加挂载命令：例如，使用IAM角色：

#!/bin/sh -e
#
# rc.local
#
# This script is executed at the end of each multiuser runlevel.
# Make sure that the script will "exit 0" on success or any other
# value on error.
#
# In order to enable or disable this script just change the execution
# bits.
#
# By default this script does nothing.

/usr/local/bin/s3fs -o allow_other -o iam_role='your-iam-role-name' your-shared-bucket /mnt/s3fs/pathlocal

exit 0

登录后复制

保存并退出。

请注意，在某些较新的Linux发行版中，/etc/rc.local 可能默认不启用或不存在。如果遇到问题，可以考虑使用 systemd 服务来管理S3FS的自动挂载。

在EC2实例上访问文件

一旦S3桶成功挂载，/mnt/s3fs/pathlocal 目录将包含S3桶中的所有文件。现在，您的PHP脚本或其他应用程序就可以像访问本地文件一样访问这些文件了。

例如，原始问题中提到的PHP脚本，现在可以直接作用于挂载点：

<?php
$path = "/mnt/s3fs/pathlocal/"; // 指向S3FS挂载点
$files = scandir($path);
$nothidden = [];
foreach($files as $file) {
    if ($file[0] != '.') { // 排除隐藏文件
        $nothidden[] = $file;
    }
}

// 示例：打印所有非隐藏文件
foreach($nothidden as $file) {
    echo $file . "<br>";
}
?>

登录后复制

通过这种方式，原本无法直接处理HTTP路径的 scandir() 函数，现在能够无缝地列出S3桶中的文件，解决了分布式EC2环境下文件列表显示的问题。

注意事项与最佳实践

安全性：始终优先使用IAM角色进行权限管理。如果必须使用访问密钥，请确保密钥文件权限设置严格（chmod 600），并考虑使用AWS Secrets Manager进行密钥管理。
性能：S3FS通过网络访问S3，其性能受限于网络带宽和S3的API响应时间。对于频繁、小文件的读写操作，可能会有性能瓶颈。可以考虑在应用层进行缓存优化。
数据一致性：S3FS对S3的最终一致性模型提供支持，但在某些极端情况下，对文件系统的操作可能不会立即反映在S3FS中。
错误处理：在生产环境中，应考虑S3FS挂载失败、网络中断等情况，并在应用程序中加入相应的错误处理逻辑。
监控：监控S3FS的运行状态以及S3桶的访问日志，以便及时发现和解决问题。

总结

S3FS-FUSE为AWS EC2分布式环境下的文件共享提供了一个强大且灵活的解决方案。通过将Amazon S3存储桶挂载为本地文件系统，我们能够克服传统远程文件访问的局限性，使得应用程序可以利用标准文件系统API无缝地操作存储在S3中的文件。正确配置IAM权限、安装S3FS并设置开机自动挂载，将大大简化跨实例文件管理的复杂性，提升系统的可用性和可维护性。

以上就是通过S3FS-FUSE在AWS EC2分布式环境下统一管理和显示文件列表的详细内容，更多请关注php中文网其它相关文章！