python中如何处理异常值-Python教程-PHP中文网

python中如何处理异常值

舞夢輝影

发布： 2025-10-17 20:14:02

原创

885人浏览过

首先使用统计方法（如IQR）识别异常值，再通过箱线图可视化检测，随后选择删除、缩尾、填充或标记等方式处理，复杂场景可采用孤立森林等机器学习算法，最终依据数据分布与业务背景合理决策。

python中如何处理异常值

在Python中处理异常值通常涉及识别、分析和处理数据中的极端值，这些值可能对统计分析或机器学习模型产生负面影响。常用的方法结合了数据分析库（如pandas、numpy）和可视化工具（如matplotlib、seaborn）。以下是几种常见的处理方式：

1. 使用统计方法识别异常值

通过均值±标准差或四分位数范围（IQR）判断异常值：

IQR 方法（适用于非正态分布）：

计算第一四分位数（Q1）和第三四分位数（Q3）
IQR = Q3 - Q1
定义异常值范围：小于 Q1 - 1.5×IQR 或大于 Q3 + 1.5×IQR 的值为异常值

示例代码：

<pre class="brush:php;toolbar:false;">import pandas as pd
<h1>示例数据</h1><p>data = pd.Series([10, 12, 14, 15, 100, 18, 20, 16, 13])</p>
                    <div class="aritcle_card">
                        <a class="aritcle_card_img" href="/ai/1971">
                            <img src="https://img.php.cn/upload/ai_manual/000/000/000/175679994166405.png" alt="如知AI笔记">
                        </a>
                        <div class="aritcle_card_info">
                            <a href="/ai/1971">如知AI笔记</a>
                            <p>如知笔记——支持markdown的在线笔记，支持ai智能写作、AI搜索，支持DeepseekR1满血大模型</p>
                            <div class="">
                                <img src="/static/images/card_xiazai.png" alt="如知AI笔记">
                                <span>27</span>
                            </div>
                        </div>
                        <a href="/ai/1971" class="aritcle_card_btn">
                            <span>查看详情</span>
                            <img src="/static/images/cardxiayige-3.png" alt="如知AI笔记">
                        </a>
                    </div>
                <p><span>立即学习</span>“<a href="https://pan.quark.cn/s/00968c3c2c15" style="text-decoration: underline !important; color: blue; font-weight: bolder;" rel="nofollow" target="_blank">Python免费学习笔记（深入）</a>”；</p><p>Q1 = data.quantile(0.25)
Q3 = data.quantile(0.75)
IQR = Q3 - Q1
lower_bound = Q1 - 1.5 <em> IQR
upper_bound = Q3 + 1.5 </em> IQR</p><p>outliers = data[(data < lower_bound) | (data > upper_bound)]
print("异常值:", outliers.tolist())</p>

登录后复制

2. 可视化检测异常值

使用箱线图（boxplot）或散点图直观查看异常值：

<pre class="brush:php;toolbar:false;">import matplotlib.pyplot as plt
<p>plt.boxplot(data)
plt.title("Boxplot for Outlier Detection")
plt.show()</p>

登录后复制

3. 处理异常值的方法

识别后可选择以下策略：

删除异常值：如果异常值是错误或极少数，可以直接过滤

<code>clean_data = data[(data >= lower_bound) & (data <= upper_bound)]

登录后复制

替换为边界值（缩尾处理）：将异常值限制在合理范围内

<code>data_clipped = data.clip(lower_bound, upper_bound)

登录后复制

用均值/中位数填充：适用于少量异常值

<pre class="brush:php;toolbar:false;">data_filled = data.copy()
data_filled[(data < lower_bound) | (data > upper_bound)] = data.median()

登录后复制

保留并标记：在建模时作为特征标记是否为异常

4. 使用机器学习方法检测

对于复杂数据，可用孤立森林（Isolation Forest）、LOF（局部异常因子）等算法：

<pre class="brush:php;toolbar:false;">from sklearn.ensemble import IsolationForest
<p>model = IsolationForest(contamination=0.1)  # 预估异常比例
pred = model.fit_predict(data.values.reshape(-1, 1))</p><h1>pred == -1 表示异常</h1><p>outliers_index = data.index[pred == -1]</p>

登录后复制

基本上就这些。根据数据分布和业务背景选择合适的方法，避免盲目删除异常值，有时它们也包含重要信息。

以上就是python中如何处理异常值的详细内容，更多请关注php中文网其它相关文章！