如何用Python计算数据相关性？corr统计方法-Python教程-PHP中文网

如何用Python计算数据相关性？corr统计方法

雪夜

发布： 2025-07-03 16:37:01

原创

958人浏览过

用python计算数据相关性最直接的方法是使用pandas库中的.corr()方法。1. 首先将数据加载到pandas dataframe中；2. 然后调用df.corr()计算相关系数，默认使用皮尔逊方法，也可选择斯皮尔曼或肯德尔；3. 输出的相关系数矩阵显示变量间的线性或单调关系强度和方向；4. 相关性接近1或-1表示强正或负相关，接近0则关系弱；5. 相关性分析有助于特征选择、业务理解、异常检测，并需注意相关不等于因果、对异常值敏感、可能遗漏非线性关系等问题。

如何用Python计算数据相关性？corr统计方法

用Python计算数据相关性，最直接且常用的方法是利用Pandas库中的.corr()统计方法。它能快速为你揭示数据集中不同变量之间的线性或单调关系，是数据探索和特征工程中不可或缺的工具。

解决方案

要计算数据相关性，首先你需要确保数据已经被加载到Pandas DataFrame中。一旦数据就绪，调用DataFrame对象的.corr()方法即可。

import pandas as pd
import numpy as np

# 创建一个示例DataFrame
# 想象这是你收集到的某个数据集，比如不同产品销售额、广告投入、用户访问量等
data = {
    '产品A销售额': [100, 120, 110, 130, 140, 150, 160, 170, 180, 190],
    '广告投入': [10, 12, 11, 13, 14, 15, 16, 17, 18, 19],
    '用户访问量': [500, 550, 520, 580, 600, 620, 650, 680, 700, 720],
    '竞争对手活动': [5, 4, 6, 3, 7, 2, 8, 1, 9, 0] # 假设这个值越低，销售额越高
}
df = pd.DataFrame(data)

# 计算所有数值列之间的皮尔逊相关系数
correlation_matrix = df.corr()
print("皮尔逊相关系数矩阵：")
print(correlation_matrix)

# 你也可以指定不同的方法，比如斯皮尔曼或肯德尔
# correlation_spearman = df.corr(method='spearman')
# print("\n斯皮尔曼相关系数矩阵：")
# print(correlation_spearman)

# correlation_kendall = df.corr(method='kendall')
# print("\n肯德尔相关系数矩阵：")
# print(correlation_kendall)

登录后复制

这段代码会输出一个相关系数矩阵，矩阵中的每个值代表了行和列对应变量之间的相关性强度和方向。值越接近1，表示正相关性越强；越接近-1，表示负相关性越强；接近0则表示相关性很弱。

立即学习“Python免费学习笔记（深入）”；

为什么我们需要理解数据相关性？它到底能告诉我们什么？

说实话，当我第一次接触到“相关性”这个概念时，觉得它就是个数字，能有多大用？但随着处理的数据越来越多，我发现它远不止一个简单的统计量。理解数据相关性，就好像给你的数据装上了一双“透视眼”，能让你看到变量之间那些或明或暗的联系。

首先，它能帮你做特征选择。想象一下，你有一堆可能影响模型预测的特征，但有些特征之间可能高度相关。比如，你的数据集里同时有“房屋面积（平方米）”和“房屋面积（平方英尺）”，这俩显然是完美相关的。保留一个就够了，否则不仅会增加模型的复杂性，还可能导致多重共线性问题，让模型变得不稳定、难以解释。相关性分析能帮你识别出这些冗余特征。

其次，它能帮助你理解业务逻辑。比如，如果我发现“广告投入”和“产品销售额”之间呈现出很强的正相关，那么这几乎是板上钉钉的结论：增加广告投入很可能带来销售额的增长。但如果相关性很弱，我就得思考是不是广告策略有问题，或者销售额受其他更主要因素影响。这种洞察力对于制定商业决策是极其宝贵的。

再者，相关性也是异常检测和数据质量检查的潜在工具。如果两个理论上应该高度相关的变量，在你的数据集中却显示出很低的相关性，那可能意味着其中一个变量的数据存在问题，比如录入错误、单位不一致等。这就像是数据在悄悄告诉你：“嘿，这里有点不对劲！”

在我看来，相关性分析不仅仅是计算一个数字，它更像是一种初步的数据侦查。它不会给你最终答案，但它会给你指明方向，告诉你哪些地方值得深入挖掘，哪些地方可能隐藏着问题。

Python中实现相关性的具体步骤与代码实践

在Python中实现相关性分析，Pandas库无疑是主力。它提供了df.corr()方法，默认使用皮尔逊相关系数，但你也可以轻松切换到其他方法。

让我们用一个更具体的例子来演示，并加入一些可视化，因为光看数字矩阵有时真的挺枯燥的。

import pandas as pd
import numpy as np
import seaborn as sns
import matplotlib.pyplot as plt

# 假设我们有一些模拟的电商数据
data_ecommerce = {
    '每日访客数': np.random.randint(1000, 5000, 100),
    '平均停留时长(分钟)': np.random.uniform(2, 15, 100),
    '转化率(%)': np.random.uniform(0.5, 5, 100),
    '广告支出($)': np.random.randint(100, 1000, 100),
    '销售额($)': np.random.randint(5000, 20000, 100)
}
df_ecommerce = pd.DataFrame(data_ecommerce)

# 为了让数据有点相关性，我们稍微调整一下
df_ecommerce['销售额($)'] = (df_ecommerce['每日访客数'] * 5 +
                        df_ecommerce['转化率(%)'] * 100 +
                        df_ecommerce['广告支出($)'] * 10 +
                        np.random.normal(0, 1000, 100)) # 加入一些噪音

# 计算皮尔逊相关系数
correlation_pearson = df_ecommerce.corr(method='pearson')
print("皮尔逊相关系数矩阵：")
print(correlation_pearson)

# 计算斯皮尔曼相关系数 (适用于非线性但单调的关系，或处理排名数据)
correlation_spearman = df_ecommerce.corr(method='spearman')
print("\n斯皮尔曼相关系数矩阵：")
print(correlation_spearman)

# 可视化相关性矩阵，这通常比纯数字更直观
plt.figure(figsize=(8, 6))
sns.heatmap(correlation_pearson, annot=True, cmap='coolwarm', fmt=".2f", linewidths=.5)
plt.title('变量相关性热力图 (皮尔逊)')
plt.show()

# 如果你想看两个变量的具体散点图，比如销售额和广告支出
plt.figure(figsize=(7, 5))
sns.scatterplot(x='广告支出($)', y='销售额($)', data=df_ecommerce)
plt.title('广告支出与销售额散点图')
plt.show()

登录后复制

这段代码展示了如何生成一个更贴近实际的数据集，并计算两种常见的相关系数：皮尔逊和斯皮尔曼。皮尔逊系数衡量的是线性关系，而斯皮尔曼系数则衡量变量之间的单调关系（即一个变量增大时，另一个变量也倾向于增大或减小，不一定是直线关系）。当数据存在异常值或不服从正态分布时，斯皮尔曼往往比皮尔逊更稳健。

值得一提的是，处理缺失值是相关性计算前的一个重要步骤。df.corr()默认会删除包含缺失值的行（min_periods参数可以控制最小有效观测数）。所以，在计算相关性之前，你可能需要决定如何处理这些缺失值，比如填充（fillna()）或直接删除（dropna()），这取决于你的数据和分析目的。