《Python数据挖掘入门与实践》中Apriori算法代码如何避免频繁项集重复计数?

霞舞
发布: 2025-02-28 11:42:01
原创
573人浏览过

python数据挖掘入门与实践》中apriori算法代码改进:避免频繁项集重复计数

本文针对《Python数据挖掘入门与实践》一书中Apriori算法代码片段中频繁项集重复计数的问题,提出改进方案。原代码片段如下:

from collections import defaultdict

def find_frequent_itemsets(favorable_reviews_by_users, k_1_itemsets, min_support):
    counts = defaultdict(int)
    for user, reviews in favorable_reviews_by_users.items():
        for itemset in k_1_itemsets:
            if itemset.issubset(reviews):
                for other_reviewed_movie in reviews - itemset:
                    current_superset = itemset | frozenset((other_reviewed_movie,))
                    counts[current_superset] += 1
    return dict([(itemset, frequency) for itemset, frequency in counts.items() if frequency >= min_support])
登录后复制

问题在于,由于集合无序性,{a, b} 和 {b, a} 被视为相同集合,但原代码会重复计数。

改进方案一:排序后作为键

此方案在生成 current_superset 后,对其进行排序,再将其作为字典的键。 这确保了即使顺序不同,相同的项集也会被识别为相同的键。

立即学习Python免费学习笔记(深入)”;

from collections import defaultdict

def find_frequent_itemsets_improved1(favorable_reviews_by_users, k_1_itemsets, min_support):
    counts = defaultdict(int)
    for user, reviews in favorable_reviews_by_users.items():
        for itemset in k_1_itemsets:
            if itemset.issubset(reviews):
                for other_reviewed_movie in reviews - itemset:
                    current_superset = itemset | frozenset((other_reviewed_movie,))
                    # Sort the frozenset for consistent key
                    sorted_superset = frozenset(sorted(list(current_superset))) 
                    counts[sorted_superset] += 1
    return dict([(itemset, frequency) for itemset, frequency in counts.items() if frequency >= min_support])
登录后复制

改进方案二:使用itertools.combinations避免重复

此方案利用 itertools.combinations 直接生成所有可能的k-项集组合,避免了重复计算。

from collections import defaultdict
from itertools import combinations

def find_frequent_itemsets_improved2(favorable_reviews_by_users, k_1_itemsets, min_support):
    counts = defaultdict(int)
    for user, reviews in favorable_reviews_by_users.items():
        for itemset in combinations(reviews, 2): #Generate all 2-item combinations
            counts[frozenset(itemset)] += 1
    return dict([(itemset, frequency) for itemset, frequency in counts.items() if frequency >= min_support])
登录后复制

选择合适的改进方案:

方案一修改了原代码的逻辑,保持了原算法的整体结构,只是增加了排序步骤,相对容易理解和维护。方案二则采用了更简洁高效的算法,直接生成所有组合,避免了重复计算,效率更高,但需要理解itertools.combinations 的用法。 选择哪个方案取决于对代码可读性和效率的要求。

《Python数据挖掘入门与实践》中Apriori算法代码如何避免频繁项集重复计数?

需要注意的是,以上代码片段只处理了从k=1到k=2的情况。 完整的Apriori算法需要递归处理更高阶的频繁项集生成。 改进后的代码也需要相应地调整以适应完整的算法流程。

以上就是《Python数据挖掘入门与实践》中Apriori算法代码如何避免频繁项集重复计数?的详细内容,更多请关注php中文网其它相关文章!

最佳 Windows 性能的顶级免费优化软件
最佳 Windows 性能的顶级免费优化软件

每个人都需要一台速度更快、更稳定的 PC。随着时间的推移,垃圾文件、旧注册表数据和不必要的后台进程会占用资源并降低性能。幸运的是,许多工具可以让 Windows 保持平稳运行。

下载
来源:php中文网
本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系admin@php.cn
最新问题
开源免费商场系统广告
热门教程
更多>
最新下载
更多>
网站特效
网站源码
网站素材
前端模板
关于我们 免责申明 意见反馈 讲师合作 广告合作 最新更新
php中文网:公益在线php培训,帮助PHP学习者快速成长!
关注服务号 技术交流群
PHP中文网订阅号
每天精选资源文章推送
PHP中文网APP
随时随地碎片化学习
PHP中文网抖音号
发现有趣的

Copyright 2014-2025 https://www.php.cn/ All Rights Reserved | php.cn | 湘ICP备2023035733号