
snakemake 本身不直接暴露 `--slurm` 等命令行标志为 python 可访问变量,但可通过环境变量(如 `$slurm_job_id`)、配置文件(`config.yaml`/`profile/*.yaml`)及 `snakemake` 模块的 `workflow` 对象间接获取运行时上下文,实现条件化逻辑控制。
在 Snakemake 管道开发中,常需根据执行环境(如本地、SLURM、Kubernetes)动态调整行为——例如:启用作业分片(job splitting)、设置资源限制、切换日志路径或跳过特定规则。虽然 Snakemake 不提供类似 snakemake.args.slurm 的原生 API 来直接读取 --slurm 标志,但有以下可靠且生产就绪的实践方案:
✅ 推荐方案一:通过环境变量检测调度器类型
SLURM、PBS、LSF 等主流调度器会在作业启动时自动注入环境变量。最常用、最轻量的方式是检查 SLURM_JOB_ID 是否存在:
# Snakefile
import os
# 判断是否运行在 SLURM 环境中
ON_SLURM = bool(os.getenv("SLURM_JOB_ID"))
rule process_samples:
input: "data/{sample}.fastq"
output: "results/{sample}.processed.txt"
threads: 4 if ON_SLURM else 2 # SLURM 上分配更多线程
resources:
mem_mb = 8000 if ON_SLURM else 4000
shell:
"echo 'Running on SLURM: {ON_SLURM}' && "
"your_processing_tool {input} > {output}"⚠️ 注意:ON_SLURM 仅表示当前进程由 SLURM 启动(即在计算节点上),不等价于 --slurm 命令行参数本身。若需严格区分“是否启用了 Snakemake 的 SLURM 执行器”,请结合方案二。
✅ 推荐方案二:显式传递运行模式(推荐用于复杂逻辑)
在 --profile slurm 或 --slurm 调用时,同步写入一个明确的配置项:
# 调用时显式声明模式 snakemake --profile slurm --config runner=slurm # 或 snakemake --slurm --config runner=slurm
然后在 Snakefile 中读取:
RUNNER = config.get("runner", "local") # 默认 local
if RUNNER == "slurm":
MAX_JOBS_PER_NODE = 4
SPLIT_FACTOR = 3
else:
MAX_JOBS_PER_NODE = 1
SPLIT_FACTOR = 1
rule split_and_process:
input: "data/{sample}.bam"
output: expand("results/{sample}_part_{i}.txt", i=range(SPLIT_FACTOR))
threads: MAX_JOBS_PER_NODE
shell:
"samtools view -@ {threads} {input} | split -l 1000000 - results/{wildcards.sample}_part_"✅ 补充:访问 profile YAML 中定义的参数
若你在 ~/.config/snakemake/slurm/config.yaml 中定义了自定义字段(如 cluster_config: {mem-per-cpu: "4G"}),可通过 config 对象直接读取:
# ~/.config/snakemake/slurm/config.yaml
cluster_config:
mem-per-cpu: "4G"
partition: "short"
# Snakefile
MEM_PER_CPU = config.get("cluster_config", {}).get("mem-per-cpu", "2G")? 总结与最佳实践
- ❌ 避免依赖未文档化的内部属性(如 snakemake.args),它们可能随版本变更而失效;
- ✅ 优先使用 os.getenv() 检测调度器环境变量(健壮、无需额外配置);
- ✅ 对关键分支逻辑,强制通过 --config 显式声明运行模式,提升可复现性与可读性;
- ✅ 结合 config + os.getenv() 可覆盖 99% 的动态适配场景,无需侵入 Snakemake 内部机制。
通过以上方法,你不仅能准确识别 --slurm 执行上下文,还能构建真正可移植、易调试、跨平台的 Snakemake 工作流。










