怎样用Python实现基于聚类的异常检测？K-means应用

聚类异常检测通过将数据分簇并识别远离所属簇的数据点来发现异常。具体步骤为：1.准备数据并进行标准化预处理；2.使用k-means聚类算法对数据分簇；3.计算每个点到所属簇中心的距离；4.设定阈值识别异常点；5.可视化结果并输出异常点索引。此外，选择合适的k值可通过肘部法则、轮廓系数或业务理解确定；异常阈值可基于百分位数、箱线图、统计方法或可视化确定；但k-means存在对初始值和k值敏感、假设簇为凸形、无法检测全局异常等局限，需结合数据特征和业务需求选择合适算法。

聚类异常检测，简单来说，就是把数据分成几堆，然后看看有没有哪个数据点离它所属的那堆特别远。如果特别远，那它就可能是个异常值。Python实现起来其实挺方便的，K-means是其中一个常用的方法。

import numpy as np
from sklearn.cluster import KMeans
from sklearn.preprocessing import StandardScaler
from sklearn.metrics import pairwise_distances
import matplotlib.pyplot as plt

# 1. 准备数据 (假设你已经有数据了)
# 这里用一个简单的例子生成一些数据，大部分集中在一起，少数分散开
np.random.seed(42)
normal_data = np.random.randn(100, 2) * 2  # 大部分数据集中在原点附近
outlier_data = np.random.randn(10, 2) * 10 + 15 # 少量数据远离原点

data = np.vstack((normal_data, outlier_data))

# 2. 数据预处理：标准化
scaler = StandardScaler()
scaled_data = scaler.fit_transform(data)

# 3. K-Means 聚类
n_clusters = 3  # 假设数据可以分成3堆
kmeans = KMeans(n_clusters=n_clusters, random_state=42, n_init=10) # 显示指定n_init
kmeans.fit(scaled_data)

# 4. 计算每个点到其所属簇中心的距离
distances = pairwise_distances(scaled_data, kmeans.cluster_centers_, metric='euclidean')
cluster_labels = kmeans.labels_
distances_to_center = np.array([distances[i, cluster_labels[i]] for i in range(len(scaled_data))])

# 5. 设定阈值，判断异常点
threshold = np.percentile(distances_to_center, 95) # 距离大于95%的点的距离，认为是异常点
anomalies = distances_to_center > threshold

# 6. 可视化结果
plt.figure(figsize=(8, 6))
plt.scatter(scaled_data[:, 0], scaled_data[:, 1], c=cluster_labels, cmap='viridis', label='Normal Data')
plt.scatter(scaled_data[anomalies, 0], scaled_data[anomalies, 1], c='red', marker='x', s=100, label='Anomalies')
plt.title('K-Means Clustering for Anomaly Detection')
plt.xlabel('Feature 1 (Scaled)')
plt.ylabel('Feature 2 (Scaled)')
plt.legend()
plt.show()

print("异常点的索引：", np.where(anomalies)[0])

数据预处理很重要，不然结果可能偏差很大。距离阈值的选择也需要根据实际情况调整。

如何选择合适的K值？

K-means里K值的选择，有时候真让人头大。没有一个万能公式，得结合数据特性和业务理解。

立即学习“Python免费学习笔记（深入）”；

• 肘部法则（Elbow Method）： 跑几次K-means，K从1跑到某个较大值，每次记录SSE（Sum of Squared Errors，误差平方和）。SSE会随着K增大而减小，但减小的速度会越来越慢。画出K和SSE的图，找到“肘部”，也就是SSE下降速度明显变缓的点，那个K值可能就是个不错的选择。

  from sklearn.cluster import KMeans
  import matplotlib.pyplot as plt
  
  sse = []
  list_k = list(range(1, 11))
  
  for k in list_k:
      km = KMeans(n_clusters=k, n_init=10)
      km.fit(scaled_data)
      sse.append(km.inertia_)
  
  # Plot sse against k
  plt.figure(figsize=(6, 6))
  plt.plot(list_k, sse, '-o')
  plt.xlabel(r'Number of clusters *k*')
  plt.ylabel('Sum of squared distance');
  plt.show()

  登录后复制

• 轮廓系数（Silhouette Score）： 轮廓系数考虑了簇内的凝聚度和簇间的分离度。值越高，聚类效果越好。可以计算不同K值下的轮廓系数，选择得分最高的那个。

  

  from sklearn.metrics import silhouette_score
  
  silhouette_scores = []
  list_k = list(range(2, 11)) # 至少要分成两类
  
  for k in list_k:
      km = KMeans(n_clusters=k, random_state=42, n_init=10)
      km.fit(scaled_data)
      silhouette_scores.append(silhouette_score(scaled_data, km.labels_))
  
  plt.figure(figsize=(6, 6))
  plt.plot(list_k, silhouette_scores, '-o')
  plt.xlabel(r'Number of clusters *k*')
  plt.ylabel('Silhouette Score')
  plt.show()

  登录后复制

• 业务理解： 别忘了业务背景！有时候，业务上天然地知道数据应该分成几类，那就直接用那个K值。

选择K值不是一蹴而就的，可能需要多次尝试和调整。

如何确定异常阈值？

阈值决定了哪些数据点会被判定为异常。太高了，很多异常点会被漏掉；太低了，正常点又会被误判。

• 百分位数法： 就像前面代码里用的，取距离的百分位数。比如，95%的百分位数意味着距离大于这个值的点，被认为是异常点。具体用哪个百分比，需要根据数据分布来调整。如果数据分布比较集中，异常点比较突出，可以适当调高百分比。

• 箱线图法： 利用四分位数距（IQR）来定义异常值。通常，大于Q3 + 1.5 IQR或小于Q1 - 1.5 IQR的点被认为是异常值。这种方法比较简单粗暴，但有时候也挺有效。

• 统计方法： 如果数据符合某种分布（比如正态分布），可以计算均值和标准差，然后根据3σ原则，将距离均值超过3倍标准差的点视为异常值。

  

  AppMall应用商店

  AI应用商店，提供即时交付、按需付费的人工智能应用服务

  56

  查看详情

• 可视化： 把距离画出来，看看数据的分布情况，手动选择一个合适的阈值。这种方法比较主观，但有时候能发现一些隐藏的模式。

  import seaborn as sns
  import matplotlib.pyplot as plt
  
  sns.boxplot(x=distances_to_center)
  plt.show()
  
  sns.histplot(distances_to_center, kde=True)
  plt.show()

  登录后复制

• 结合业务： 异常检测的最终目的是解决实际问题。所以，阈值的选择要结合业务目标。比如，如果目标是尽可能减少漏报，那就降低阈值；如果目标是尽可能减少误报，那就提高阈值。

阈值的选择没有绝对的正确答案，需要根据具体情况灵活调整。

K-means聚类用于异常检测的局限性有哪些？

K-means虽然简单易用，但也有一些局限性，特别是在异常检测方面。

• 对初始值敏感： K-means的聚类结果受初始聚类中心的影响很大。不同的初始值可能导致完全不同的聚类结果，进而影响异常检测的效果。虽然可以通过多次运行K-means并选择最佳结果来缓解这个问题（n_init参数），但并不能完全消除。

• 对K值的选择敏感： 前面已经说过了，K值的选择是个难题。如果K值选得不好，聚类结果可能不准确，导致异常检测的效果下降。

• 假设簇是凸形的： K-means假设每个簇都是凸形的，也就是像圆形或球形一样。如果数据的簇不是凸形的，K-means的聚类效果会很差。比如，如果数据是环状的，K-means就很难正确聚类。

• 对数据分布有假设： K-means假设所有簇的大小和密度都差不多。如果数据中存在大小或密度差异很大的簇，K-means的效果也会受到影响。

• 无法检测全局异常： K-means只能检测相对于簇的局部异常。如果数据中存在一些全局异常，也就是远离所有簇的点，K-means可能无法检测到。

• 需要预先知道异常的比例： 在选择阈值时，通常需要预先知道数据中异常的比例。如果不知道异常的比例，就很难选择一个合适的阈值。

总之，K-means虽然是一种常用的聚类算法，但在异常检测方面也有一些局限性。在实际应用中，需要根据数据的特点和业务需求，选择合适的异常检测算法。如果K-means不适用，可以考虑其他的算法，比如DBSCAN、Isolation Forest等。

以上就是怎样用Python实现基于聚类的异常检测？K-means应用的详细内容，更多请关注php中文网其它相关文章！