信息熵是衡量数据不确定性的指标，计算公式为H(X) = -Σ p(x) * log₂(p(x))，可通过Python实现。使用NumPy统计类别频次并计算概率，再求和得到熵值；需处理p=0时的边界情况，避免log(0)错误。代码适用于二分类、多分类及文本标签，如['猫', '狗', '鸟']等离散数据，传入标签列表即可快速计算信息熵。
信息熵是衡量数据不确定性的指标，常用于决策树、机器学习等领域。在Python中，可以通过NumPy或数学公式直接实现信息熵的计算。
什么是信息熵
信息熵（Shannon Entropy）的公式为：
H(X) = -Σ p(x) * log₂(p(x))
其中 p(x) 是某个类别出现的概率。
立即学习“Python免费学习笔记（深入）”；
ASP.NET 4.0电子商城
下载
在现实生活中的购物过程，购物者需要先到商场，找到指定的产品柜台下，查看产品实体以及标价信息，如果产品合适，就将该产品放到购物车中，到收款处付款结算。电子商务网站通过虚拟网页的形式在计算机上摸拟了整个过程，首先电子商务设计人员将产品信息分类显示在网页上，用户查看网页上的产品信息，当用户看到了中意的产品后，可以将该产品添加到购物车，最后使用网上支付工具进行结算，而货物将由公司通过快递等方式发送给购物者
使用Python计算信息熵
以下是基于列表或数组计算信息熵的完整代码示例：import numpy as np
def calculate_entropy(labels):
# 统计每个类别的频次
_, counts = np.unique(labels, return_counts=True)
# 计算概率
probabilities = counts / len(labels)
# 计算信息熵
entropy = -np.sum(probabilities * np.log2(probabilities))
return entropy
# 示例数据：分类标签
labels = [1, 1, 0, 0, 0, 1, 1, 0]
# 计算信息熵
entropy = calculate_entropy(labels)
print(f"信息熵: {entropy:.4f}")处理边界情况
当某个类别概率为0时，0*log(0) 在数学上是0，但计算机可能报错。虽然 np.log2 遇到0会返回-inf，乘以0后为nan，因此可以加一点小技巧避免问题：
def calculate_entropy_safe(labels):
_, counts = np.unique(labels, return_counts=True)
probabilities = counts / len(labels)
# 忽略概率为0的情况
entropy = -np.sum([p * np.log2(p) for p in probabilities if p > 0])
return entropy适用于文本或离散数据
该方法不仅适用于二分类，也适用于多分类或文本标签：
```python # 多分类示例 labels_str = ['猫', '狗', '狗', '鸟', '猫', '鸟', '鸟'] entropy_str = calculate_entropy_safe(labels_str) print(f"文本标签的信息熵: {entropy_str:.4f}") ```基本上就这些。只要传入一组离散标签，就能快速算出信息熵。
