如何使用Python构建深度推荐系统_协同过滤算法解析【指导】

舞姬之光
发布: 2025-12-22 23:54:09
原创
594人浏览过
深度推荐系统核心是融合协同过滤思想与神经网络优势,如用Embedding替代隐向量、MLP建模高阶交互;NeuMF通过GMF(内积)与MLP(非线性)双分支联合预测偏好得分。

如何使用python构建深度推荐系统_协同过滤算法解析【指导】

用Python构建基于协同过滤的深度推荐系统,核心不是堆砌深度模型,而是把协同过滤的思想和神经网络的优势结合起来——比如用Embedding层替代传统矩阵分解中的用户/物品隐向量,再用多层感知机(MLP)建模高阶交互。下面从原理到代码,分步讲清楚关键点。

协同过滤的本质:用户-物品交互建模

协同过滤不依赖物品内容或用户画像,只看历史行为(如评分、点击、购买)。它分为两类:

  • 基于用户的CF:找相似用户,推荐他们喜欢但你没接触过的物品;
  • 基于物品的CF:找相似物品,把你互动过的物品的“邻居”推荐给你。

实际工程中,基于物品的CF更稳定、可离线预计算、适合冷启动缓解;而深度方法(如NeuMF、LightGCN)通常聚焦在预测用户对物品的偏好得分,本质仍是用户-物品二元关系建模。

用PyTorch实现带Embedding的协同过滤(NeuMF简化版)

NeuMF(Neural Matrix Factorization)是经典起点:它把传统MF的内积 + MLP的非线性拟合融合起来。以下是最简可用结构:

立即学习Python免费学习笔记(深入)”;

通义灵码
通义灵码

阿里云出品的一款基于通义大模型的智能编码辅助工具,提供代码智能生成、研发智能问答能力

通义灵码 304
查看详情 通义灵码
<font size="2">import torch
import torch.nn as nn
<p>class NeuMF(nn.Module):
def <strong>init</strong>(self, num_users, num_items, embed_dim=64):
super().<strong>init</strong>()</p><h1>GMF分支:普通MF,用内积建模线性交互</h1><pre class='brush:python;toolbar:false;'>    self.user_gmf = nn.Embedding(num_users, embed_dim)
    self.item_gmf = nn.Embedding(num_items, embed_dim)

    # MLP分支:用全连接学习高阶特征交互
    self.user_mlp = nn.Embedding(num_users, embed_dim)
    self.item_mlp = nn.Embedding(num_items, embed_dim)
    self.mlp_layers = nn.Sequential(
        nn.Linear(embed_dim * 2, 128),
        nn.ReLU(),
        nn.Linear(128, 64),
        nn.ReLU(),
        nn.Linear(64, 32)
    )

    # 合并输出
    self.output_layer = nn.Linear(32 + embed_dim, 1)  # GMF(64) + MLP(32)

def forward(self, user_idx, item_idx):
    # GMF部分
    gmf_user = self.user_gmf(user_idx)
    gmf_item = self.item_gmf(item_idx)
    gmf_out = gmf_user * gmf_item  # 元素级相乘

    # MLP部分
    mlp_user = self.user_mlp(user_idx)
    mlp_item = self.item_mlp(item_idx)
    mlp_in = torch.cat([mlp_user, mlp_item], dim=1)
    mlp_out = self.mlp_layers(mlp_in)

    # 拼接并输出预测得分
    concat = torch.cat([gmf_out, mlp_out], dim=1)
    return torch.sigmoid(self.output_layer(concat)).squeeze()</font>
登录后复制

注意:输入user_idx/item_idx必须是整数索引(0~N-1),不是原始ID,需提前做LabelEncoder或map转换;训练时用BCELoss(隐式反馈)或MSELoss(显式评分)。

数据准备与训练要点

真实场景中,90%的问题出在数据处理上。关键操作包括:

  • 负采样必须做:隐式反馈(如点击)只有正样本,需按比例(如1:4)为每个正样本配负样本(随机选未交互物品);
  • 用户/物品ID重编号:丢弃出现频次过低的用户或物品(如只评1次分的用户),避免稀疏嵌入;
  • 划分要按用户时间或随机但保证用户不泄露:验证集/测试集每个用户至少有1个正样本,且不能包含训练中见过的(user, item)对;
  • 评估用Hit@K或NDCG@K,而不是准确率——推荐是排序任务,不是分类任务。

进阶方向:轻量但有效的小改进

不一定要上图神经网络,几个低成本优化就能明显提效果:

  • 加入偏置项:给用户、物品、全局加可学习bias,缓解数据偏差(如热门物品天然得分高);
  • 用Layer Normalization替代BatchNorm:推荐场景batch size波动大,LayerNorm更稳;
  • 早停+学习率预热:Embedding训练容易震荡,前10个epoch用小学习率(1e-4)暖启;
  • 导出Embedding用于召回:训练完可抽取出user_emb/item_emb,用Faiss快速做近邻检索,作为双塔召回的第一阶段。

基本上就这些。协同过滤不是过时技术,而是推荐系统的地基;深度模型不是替代它,而是让这个地基更鲁棒、更可扩展。

以上就是如何使用Python构建深度推荐系统_协同过滤算法解析【指导】的详细内容,更多请关注php中文网其它相关文章!

最佳 Windows 性能的顶级免费优化软件
最佳 Windows 性能的顶级免费优化软件

每个人都需要一台速度更快、更稳定的 PC。随着时间的推移,垃圾文件、旧注册表数据和不必要的后台进程会占用资源并降低性能。幸运的是,许多工具可以让 Windows 保持平稳运行。

下载
来源:php中文网
本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系admin@php.cn
最新问题
开源免费商场系统广告
热门教程
更多>
最新下载
更多>
网站特效
网站源码
网站素材
前端模板
关于我们 免责申明 举报中心 意见反馈 讲师合作 广告合作 最新更新
php中文网:公益在线php培训,帮助PHP学习者快速成长!
关注服务号 技术交流群
PHP中文网订阅号
每天精选资源文章推送

Copyright 2014-2025 https://www.php.cn/ All Rights Reserved | php.cn | 湘ICP备2023035733号