高性能计算中qsub数组任务的并发文件输出策略

#!/bin/bash
#PBS -N my_java_array_job
#PBS -l walltime=00:10:00
#PBS -l nodes=1:ppn=1
#PBS -t 1-100  # 定义一个包含100个任务的数组
#PBS -o output_logs/job_output_${PBS_ARRAY_INDEX}.log # 每个任务的stdout/stderr输出到独立文件
#PBS -e error_logs/job_error_${PBS_ARRAY_INDEX}.err

# 创建输出目录（如果不存在）
mkdir -p /path/to/my/results

# 定义每个任务的独立输出文件名
OUTPUT_FILE="/path/to/my/results/task_output_${PBS_ARRAY_INDEX}.txt"

# 运行Java程序，并将独立输出文件名作为参数传递
# 假设myJavaProgram接受一个参数作为输出文件路径
java -jar myJavaProgram.jar --output "$OUTPUT_FILE"

# 或者，如果Java程序直接打印到标准输出，可以重定向到独立文件
# java -jar myJavaProgram.jar > "$OUTPUT_FILE"

import java.io.FileWriter;
import java.io.IOException;
import java.io.PrintWriter;

public class MyJavaProgram {
    public static void main(String[] args) {
        String outputFilePath = "default_output.txt"; // 默认输出文件
        // 解析命令行参数
        for (int i = 0; i < args.length; i++) {
            if ("--output".equals(args[i]) && i + 1 < args.length) {
                outputFilePath = args[i + 1];
                break;
            }
        }

        try (FileWriter fw = new FileWriter(outputFilePath, true);
             PrintWriter printer = new PrintWriter(fw, true)) {
            // 假设这里是你的程序逻辑，生成要打印的数据
            String dataToPrint = "Task " + System.getenv("PBS_ARRAY_INDEX") + " processed data at " + System.currentTimeMillis();
            printer.println(dataToPrint);
            System.out.println("Printed to: " + outputFilePath); // 打印到标准输出，通常会被PBS重定向到日志文件
        } catch (IOException e) {
            System.err.println("Error writing to file: " + outputFilePath + " - " + e.getMessage());
            e.printStackTrace();
        }
    }
}

#!/bin/bash
# 假设所有独立输出文件都在 /path/to/my/results/ 目录下，并且以 task_output_*.txt 命名

OUTPUT_DIR="/path/to/my/results"
FINAL_OUTPUT_FILE="/path/to/my/final_combined_results.txt"

# 清空或创建最终文件
> "$FINAL_OUTPUT_FILE"

# 遍历所有独立输出文件并合并
# 注意：星号展开顺序可能不是数字顺序，如果顺序很重要，需要先排序
for i in $(seq 1 100); do # 如果知道任务数量，可以明确指定循环范围
    cat "${OUTPUT_DIR}/task_output_${i}.txt" >> "$FINAL_OUTPUT_FILE"
done

# 更通用的合并方式（如果顺序不严格要求）
# cat "${OUTPUT_DIR}/task_output_*.txt" >> "$FINAL_OUTPUT_FILE"

echo "所有结果已合并到: $FINAL_OUTPUT_FILE"

find "${OUTPUT_DIR}" -name "task_output_*.txt" -print0 | sort -zV | xargs -0 cat >> "$FINAL_OUTPUT_FILE"