Lambda部署限制的挑战
AWS Lambda对部署包的大小有严格的限制：压缩后最大50MB，解压后最大250MB。对于包含复杂科学计算库（如numpy）或计算机视觉库（如opencv-python-headless）的Python应用而言，这些库及其依赖项的体积往往远超250MB的解压限制。即使尝试通过S3上传或Lambda层来管理依赖，也无法绕过250MB的解压后总大小限制，这使得许多数据科学和机器学习相关的Lambda函数难以直接部署。
解决方案：AWS Lambda容器镜像
为了应对这一挑战，AWS Lambda提供了使用容器镜像作为部署包的选项。通过将函数代码和所有依赖项打包到一个Docker镜像中，Lambda函数的部署限制可以大幅提升至10GB，这为包含大型库的应用提供了充足的空间。
构建和部署容器镜像
使用容器镜像部署Lambda函数的流程主要包括：创建Dockerfile、构建Docker镜像、将镜像推送到AWS ECR (Elastic Container Registry)，以及配置Lambda函数使用该镜像。
1. 创建Dockerfile
Dockerfile是定义如何构建Docker镜像的文本文件。以下是一个针对Python Lambda函数的Dockerfile示例，用于安装numpy和opencv-python-headless等大型依赖：
立即学习“Python免费学习笔记（深入）”；
# 使用AWS Lambda官方提供的Python基础镜像
# 这里的版本号可能需要根据实际需求更新，请查阅AWS ECR Public Gallery获取最新版本
FROM public.ecr.aws/lambda/python:3.9-x86_64
# 将本地的requirements.txt文件复制到容器中
COPY requirements.txt ./
# 安装requirements.txt中列出的所有Python依赖
# 使用--no-cache-dir可以避免缓存，减小镜像大小，但可能增加构建时间
# 使用--upgrade确保安装最新版本
RUN pip install -r requirements.txt --no-cache-dir --upgrade
# 复制Lambda函数代码到容器中
# 假设你的Lambda处理程序文件名为 app.py
COPY app.py ${LAMBDA_TASK_ROOT}
# 设置Lambda函数的入口点（handler），格式为 [文件名].[函数名]
# 例如，如果你的处理函数是 app.py 中的 handler 函数
CMD [ "app.handler" ]requirements.txt 示例： 请确保此文件列出了所有外部Python依赖，例如：
numpy opencv-python-headless Pillow pydicom
注意事项：
- 基础镜像选择： 务必使用AWS Lambda官方提供的Python基础镜像（public.ecr.aws/lambda/python:版本-架构），这些镜像已经针对Lambda环境进行了优化，并包含了Lambda运行时接口。
- 依赖安装： pip install -r requirements.txt 命令会安装所有列出的依赖。对于opencv这类库，建议使用opencv-python-headless以避免不必要的GUI依赖。
- 代码复制： 确保将你的Lambda处理程序文件（例如app.py）复制到${LAMBDA_TASK_ROOT}目录。
- CMD指令： CMD指令定义了Lambda函数被调用时执行的入口点。
2. 构建与推送Docker镜像到ECR
在包含Dockerfile和requirements.txt的目录下，执行以下命令来构建Docker镜像并将其推送到AWS ECR。
-
登录到ECR：
aws ecr get-login-password --region your-aws-region | docker login --username AWS --password-stdin your-aws-account-id.dkr.ecr.your-aws-region.amazonaws.com
将your-aws-region和your-aws-account-id替换为你的实际信息。
-
创建ECR仓库（如果尚未创建）：
aws ecr create-repository --repository-name my-lambda-image --region your-aws-region
-
构建Docker镜像：
docker build -t my-lambda-image .
这会在当前目录下的Dockerfile构建一个名为my-lambda-image的本地镜像。
-
标记镜像：
docker tag my-lambda-image:latest your-aws-account-id.dkr.ecr.your-aws-region.amazonaws.com/my-lambda-image:latest
-
推送镜像到ECR：
docker push your-aws-account-id.dkr.ecr.your-aws-region.amazonaws.com/my-lambda-image:latest
推送完成后，你的Docker镜像将存储在ECR中，可供Lambda函数使用。
3. 配置Lambda函数使用容器镜像
在AWS Lambda控制台中创建或更新函数时，选择“容器镜像”作为部署包类型，并指定ECR中你的镜像URI。
-
在Lambda控制台创建新函数：
- 选择“容器镜像”选项。
- 点击“浏览镜像”，选择你刚刚推送到ECR的镜像。
- 配置函数名称、内存、超时等其他设置。
-
对于现有函数：
- 进入函数配置页面。
- 在“代码”部分，选择“部署包”为“容器镜像”。
- 指定ECR中你的镜像URI。
优势与考量
优势：
- 大幅提升部署限制： 从250MB（解压后）提升至10GB，轻松应对大型库。
- 环境一致性： Docker镜像确保了开发、测试和生产环境的一致性，减少了“在我机器上可以运行”的问题。
- 复杂依赖管理： 简化了具有复杂编译依赖（如某些机器学习库）的包的安装和管理。
- 自定义运行时： 理论上允许使用任何编程语言或运行时，只要能在容器中运行。
考量：
- 学习曲线： 需要一定的Docker知识。
- 构建时间： 首次构建和推送大型镜像可能需要较长时间。
- 冷启动时间： 理论上，较大的镜像可能会导致略长的冷启动时间，但AWS已对此进行了优化。
- 成本： ECR存储镜像会产生费用。
总结
当传统的Lambda部署包限制成为瓶颈时，尤其是对于包含numpy、opencv等大型Python库的应用，AWS Lambda容器镜像提供了一个强大且灵活的解决方案。通过遵循本文提供的Dockerfile示例和部署流程，开发者可以有效地将大型Python应用部署到Lambda，充分利用其无服务器的优势，同时克服了部署大小的限制。
