如何用Python实现基于强化学习的异常检测？Q-learning

import numpy as np
import random

# --- 简化环境模拟 ---
class SimpleAnomalyEnv:
    def __init__(self, normal_range=(0, 10), anomaly_threshold=12, anomaly_prob=0.05):
        """
        模拟一个简单的数据环境。数据点在normal_range内为正常，超过anomaly_threshold为异常。
        anomaly_prob 控制生成异常数据的概率。
        """
        self.normal_range = normal_range
        self.anomaly_threshold = anomaly_threshold
        self.anomaly_prob = anomaly_prob
        self.current_value = self.get_random_normal_value() # 初始值

    def get_random_normal_value(self):
        """生成一个正常范围内的随机值。"""
        return random.uniform(*self.normal_range)

    def _map_value_to_state(self, value):
        """
        将连续的数值映射到离散的状态。
        这里定义了4个状态区间：
        0: [0, 5)
        1: [5, 10)
        2: [10, 15)
        3: [15, inf)
        """
        if value < 5:
            return 0
        elif value < 10:
            return 1
        elif value < 15:
            return 2
        else:
            return 3

    def step(self, action):
        """
        环境根据智能体的动作进行一步，并返回新的状态、奖励和是否结束。
        action: 0 (判断为正常), 1 (判断为异常)
        """
        is_actual_anomaly = (self.current_value > self.anomaly_threshold)

        reward = 0
        if action == 0: # 智能体判断为正常
            if not is_actual_anomaly:
                reward = 1 # 猜对了，是正常
            else:
                reward = -5 # 猜错了，漏报了异常 (惩罚大)
        else: # 智能体判断为异常
            if is_actual_anomaly:
                reward = 5 # 猜对了，发现了异常 (奖励大)
            else:
                reward = -1 # 猜错了，误报了正常 (惩罚小)

        # 生成下一个数据点，模拟数据流的演进
        if random.random() < self.anomaly_prob:
            # 有概率生成一个异常值
            self.current_value = random.uniform(self.anomaly_threshold + 1, self.anomaly_threshold + 5)
        else:
            # 大部分时间生成正常值
            self.current_value = self.get_random_normal_value()

        next_state = self._map_value_to_state(self.current_value)

        return next_state, reward, False, {} # next_state, reward, done(这里始终为False), info

    def reset(self):
        """重置环境，回到一个初始状态。"""
        self.current_value = self.get_random_normal_value()
        return self._map_value_to_state(self.current_value)

# --- Q-Learning 代理 ---
class QLearningAgent:
    def __init__(self, state_size, action_size, learning_rate=0.1, discount_factor=0.99, epsilon=1.0, epsilon_decay_rate=0.001, min_epsilon=0.01):
        """
        Q-learning智能体。
        state_size: 状态空间大小
        action_size: 动作空间大小 (这里是2: