优化Pytest在AWS SAM Docker容器中的运行：避免重复执行的策略

本文旨在解决pytest在aws sam docker容器内运行时出现测试用例重复执行的问题。核心原因在于dockerfile中不当的`entrypoint`配置与aws lambda基镜像及`sam local invoke`命令的交互冲突。通过移除自定义的`entrypoint`并利用`cmd`正确指定lambda处理器，可以有效避免测试重复运行，确保测试流程高效准确。

引言

在使用AWS Serverless Application Model (SAM) 结合Docker容器进行Lambda函数测试时，开发者可能会遇到一个常见且令人困惑的现象：Pytest测试框架在容器内部会执行两次。这不仅浪费计算资源和时间，还可能导致测试结果的混淆。本文将深入分析这一问题的根源，并提供一套清晰、专业的解决方案，帮助开发者优化其测试流程。

问题现象与根源分析

当开发者在AWS SAM项目中使用Docker容器运行Pytest测试时，可能会观察到以下输出模式：Pytest的测试会话（"test session starts"）完整地出现两次，尽管测试用例只定义了一次。这种重复执行并非预期行为。

Pytest重复运行的观察

典型的重复运行输出示例如下：

Invoking Container created from dockerpytestinteraction:latest                                                                                              
Building image.................
Using local image: dockerpytestinteraction:rapid-x86_64.                                                                                                    

START RequestId: b265e3b7-73c9-410d-a66c-c7e609fda97d Version: $LATEST
============================= test session starts ==============================
platform linux -- Python 3.11.6, pytest-7.4.4, pluggy-1.3.0
rootdir: /var/task
collected 1 item

test_lambda.py .                                                         [100%]

============================== 1 passed in 0.03s ===============================
02 Jan 2024 22:08:48,347 [ERROR] (rapid) Init failed error=Runtime exited without providing a reason InvokeID=
============================= test session starts ==============================
platform linux -- Python 3.11.6, pytest-7.4.4, pluggy-1.3.0
rootdir: /var/task
collected 1 item

test_lambda.py .                                                         [100%]

============================== 1 passed in 0.02s ===============================
END RequestId: 22600007-3ac4-4b48-80a4-fe11d1592f4b
REPORT RequestId: 22600007-3ac4-4b48-80a4-fe11d1592f4b  Init Duration: 1.11 ms  Duration: 1946.25 ms    Billed Duration: 1947 ms        Memory Size: 10240 MB       Max Memory Used: 10240 MB

可以看到，test session starts 和 1 passed 的信息出现了两次。

Dockerfile中的ENTRYPOINT与AWS Lambda基镜像的冲突

问题的核心在于Docker镜像的ENTRYPOINT指令。AWS Lambda官方提供的Python基镜像（例如public.ecr.aws/lambda/python:3.11）已经预定义了一个ENTRYPOINT，用于启动Lambda运行时环境。这个预定义的ENTRYPOINT负责初始化Lambda函数并等待调用事件。

当我们在自定义的Dockerfile中添加如下指令时：

ENTRYPOINT [ "python3.11", "-m", "pytest" ]

这会覆盖掉AWS Lambda基镜像原有的ENTRYPOINT。此时，Pytest本身成为了容器的“入口点”。

sam local invoke的工作机制

sam local invoke命令在本地模拟Lambda函数的调用。当它与一个自定义了ENTRYPOINT为Pytest的容器交互时，会发生以下情况：

1. 第一次执行： Docker容器启动时，其ENTRYPOINT（此时是python3.11 -m pytest）会被立即执行一次。由于没有明确指定要测试的文件，Pytest可能会根据其默认行为（例如查找test_*.py或*_test.py文件）运行所有找到的测试。
2. 第二次执行： sam local invoke命令通常会尝试将Lambda处理器的路径作为参数传递给容器的ENTRYPOINT。如果ENTRYPOINT被设置为python3.11 -m pytest，那么sam local invoke -e test_lambda.py中的test_lambda.py就会被当作参数传递给Pytest，导致Pytest再次运行，并执行test_lambda.py中的测试。

因此，Pytest被“意外地”执行了两次：一次是容器启动时由自定义ENTRYPOINT触发，另一次是sam local invoke将测试文件作为参数传递给这个ENTRYPOINT时触发。

Flawless AI

好莱坞2.0，电影制作领域的生成式AI工具

32

查看详情

解决方案：优化Dockerfile配置

解决此问题的关键在于恢复AWS Lambda基镜像的预期行为，并正确地将Lambda处理器指定给运行时环境。

移除自定义ENTRYPOINT

最直接且有效的方法是从你的Dockerfile中移除任何自定义的ENTRYPOINT指令，特别是那些将Pytest设置为入口点的指令。让AWS Lambda基镜像的默认ENTRYPOINT生效，它将负责启动Lambda运行时。

正确使用CMD指定Lambda处理器

在Docker中，CMD指令用于为ENTRYPOINT提供默认参数，或者在没有ENTRYPOINT时作为默认执行命令。对于AWS Lambda容器，CMD通常用于指定Lambda函数的处理器（handler）。

当移除自定义ENTRYPOINT后，你应该使用CMD来指定你的Lambda处理器。例如，如果你的Lambda函数处理器定义在test_lambda.py文件中的handler函数，那么CMD应该设置为：

CMD [ "test_lambda.handler" ]

这样，当sam local invoke调用容器时，它会使用AWS Lambda基镜像的默认ENTRYPOINT，并根据CMD中指定的test_lambda.handler来查找并执行你的Lambda函数。

示例：优化后的Dockerfile

以下是一个经过优化的Dockerfile示例，它遵循了上述原则：

FROM public.ecr.aws/lambda/python:3.11

# 复制 requirements.txt 文件
COPY requirements.txt ./

# 安装指定的依赖包
RUN python3.11 -m pip install -r requirements.txt
# 单独安装 pytest
RUN python3.11 -m pip install pytest

# 复制 Lambda 函数代码和测试文件
COPY test_lambda.py ./

# 设置 CMD 为你的 Lambda 处理器。
# 注意：CMD 可以通过 sam local invoke 的参数进行覆盖，
# 但在这里提供一个默认值是良好的实践。
CMD [ "test_lambda.handler" ]

操作步骤与注意事项

1. 更新Dockerfile： 根据上述示例修改你的Dockerfile，确保移除了自定义的ENTRYPOINT，并正确设置了CMD为你的Lambda处理器。
2. 构建与调用：
   • 首先，使用sam build命令构建你的SAM项目，这将根据你的template.yaml和Dockerfile构建Docker镜像。

     sam build -t template_pytest.yaml

     登录后复制
   • 然后，使用sam local invoke命令调用你的Lambda函数。注意，此时-e参数（事件文件）将触发Lambda处理器的执行，而不是直接触发Pytest。

     sam local invoke -e event.json YourLambdaFunctionName

     登录后复制

     如果你希望在容器内运行测试，你需要将测试逻辑包含在Lambda处理器中，或者采用更高级的测试策略（例如，在CI/CD管道中单独的测试阶段运行Pytest）。

最佳实践

• 分离职责： 理想情况下，Lambda函数容器应该只包含运行Lambda函数所需的代码和依赖。测试代码和测试框架（如Pytest）最好在开发环境或CI/CD管道的单独阶段运行，而不是作为Lambda容器的ENTRYPOINT。
• 理解ENTRYPOINT与CMD： 深入理解Docker中ENTRYPOINT和CMD的区别至关重要。ENTRYPOINT定义了容器启动时执行的命令，而CMD提供了ENTRYPOINT的默认参数，或者在没有ENTRYPOINT时作为默认执行命令。
• 参考官方文档： 始终查阅AWS Lambda官方关于自定义运行时和容器镜像的文档，以获取最新的配置指南和最佳实践。例如，AWS Lambda Python 镜像说明提供了详细的Dockerfile设置信息。

总结

Pytest在AWS SAM Docker容器中重复运行的问题，根本原因在于错误地配置了Dockerfile的ENTRYPOINT，使其与AWS Lambda基镜像的默认行为以及sam local invoke命令的交互发生冲突。通过移除自定义的ENTRYPOINT并使用CMD指令正确指定Lambda处理器，可以有效解决这一问题。遵循这些最佳实践，不仅能避免测试重复执行，还能确保Lambda函数容器的配置更加符合AWS Lambda的运行模型，从而提高开发效率和系统稳定性。

以上就是优化Pytest在AWS SAM Docker容器中的运行：避免重复执行的策略的详细内容，更多请关注php中文网其它相关文章！