TestNG：重复运行测试用例直至失败的策略与实践

import org.testng.IRetryAnalyzer;
import org.testng.ITestResult;

/**
 * 自定义重试分析器，用于重复运行测试直至其失败。
 * 如果测试成功，则继续重试，直到达到最大重试次数。
 * 如果测试失败，则停止重试。
 */
public class RepeatUntilFailureAnalyzer implements IRetryAnalyzer {

    private int retryCount = 0;
    // 定义最大重复运行次数，防止无限循环
    private static final int MAX_REPEAT_COUNT = 100; 

    @Override
    public boolean retry(ITestResult result) {
        // 获取当前测试方法的名称，用于日志输出
        String testName = result.getMethod().getMethodName();

        // 检查当前测试结果的状态
        if (result.getStatus() == ITestResult.SUCCESS) {
            // 如果测试成功，且尚未达到最大重试次数
            if (retryCount < MAX_REPEAT_COUNT) {
                retryCount++;
                System.out.println(
                    String.format("【重复运行】测试 '%s' 第 %d 次运行成功。继续重试...", 
                                  testName, retryCount));
                return true; // 返回 true，指示 TestNG 重新运行该测试
            } else {
                // 达到最大重试次数，但测试仍然成功，停止重试
                System.out.println(
                    String.format("【停止运行】测试 '%s' 已达到最大重复次数 %d 次，但未失败。停止重试。", 
                                  testName, MAX_REPEAT_COUNT));
                return false; // 返回 false，指示 TestNG 不再重试
            }
        } else if (result.getStatus() == ITestResult.FAILURE) {
            // 如果测试失败，则停止重试，因为我们已经找到了失败点
            System.out.println(
                String.format("【停止运行】测试 '%s' 第 %d 次运行失败。停止重试，请检查日志。", 
                              testName, retryCount + 1));
            return false; // 返回 false，指示 TestNG 不再重试
        }
        // 对于其他状态（如跳过 SKIP），默认不重试
        return false; 
    }
}

import org.testng.annotations.Test;
import static org.testng.Assert.assertTrue;

public class FlakyTestExample {

    // 模拟一个不稳定的测试，大约每 5 次运行失败一次
    private static int runCounter = 0;

    @Test(retryAnalyzer = RepeatUntilFailureAnalyzer.class)
    public void myFlakyTestCase() {
        runCounter++;
        System.out.println("  -> 正在执行 myFlakyTestCase，这是第 " + runCounter + " 次运行。");

        // 模拟随机失败
        if (runCounter % 5 == 0) { // 每5次运行失败一次
            System.out.println("  -> myFlakyTestCase 模拟失败！");
            assertTrue(false, "模拟的随机失败");
        } else {
            System.out.println("  -> myFlakyTestCase 模拟成功。");
            assertTrue(true);
        }
    }

    // 可以在这里添加其他不使用重试分析器的测试方法
    @Test
    public void anotherStableTest() {
        System.out.println("  -> 正在执行 anotherStableTest，这是一个稳定的测试。");
        assertTrue(true);
    }
}