协同过滤与深度学习结合是用神经网络增强传统CF表达能力,如将用户/物品ID映射为嵌入向量后交由MLP学习非线性交互,既保留CF对稀疏数据的鲁棒性,又可挖掘深层偏好模式。

协同过滤与深度学习结合,不是简单叠加,而是用神经网络增强传统协同过滤的表达能力——比如把用户ID和物品ID映射成嵌入向量,再让多层感知机(MLP)学习它们之间的非线性交互关系。这种组合既保留了协同过滤对稀疏行为数据的鲁棒性,又能挖掘深层偏好模式。
理解核心建模思路
传统矩阵分解假设评分可由用户向量与物品向量的内积近似:
r̂ui = pu ⋅ qi
而神经协同过滤(NCF)把这一过程升级为:
r̂ui = fθ(Embedding(u), Embedding(i))
其中 fθ 是可训练的神经网络,能拟合更复杂的用户-物品关系。
关键点包括:
- 用户和物品ID不直接参与计算,而是先经过嵌入层(Embedding)转为稠密低维向量
- 嵌入维度通常设为 8–64,需在验证集上调整
- MLP结构常用 [64, 32, 16] 这类逐层压缩的隐藏层,最后输出单个预测分值
- 损失函数一般用均方误差(MSE)或二元交叉熵(用于隐式反馈,如点击/未点击)
准备与处理推荐数据
真实场景中,原始数据往往只有 user_id、item_id 和 rating(或 click、like 等隐式信号)。预处理要聚焦三件事:
- 重编号 ID:将 user_id 和 item_id 映射为从 0 开始的连续整数,避免嵌入层索引越界
- 归一化或二值化:显式评分(1–5)可除以 5 缩放到 [0,1];隐式反馈建议转为 0/1 标签
- 划分训练/验证/测试集时按用户-物品对切分,不能按用户或物品整体切分,否则会泄露信息
- 可选:对长尾用户或冷门物品做采样平衡,防止模型偏向高频交互
PyTorch 实现关键组件
用 PyTorch 搭建 NCF 模型,核心是定义好嵌入层和 MLP,并正确组织数据加载逻辑:
立即学习“Python免费学习笔记(深入)”;
- 定义 nn.Embedding(num_users, embed_dim) 和 nn.Embedding(num_items, embed_dim)
- 拼接用户嵌入与物品嵌入(或做 Hadamard 积),送入 nn.Sequential 构建的 MLP
- 使用 torch.utils.data.Dataset 封装三元组 (u, i, r),支持随机采样负样本(尤其对隐式反馈)
- 训练时建议用 Adam 优化器,初始学习率设为 0.001~0.005,配合梯度裁剪防爆炸
评估与调优实用建议
推荐效果不能只看 RMSE 或 MSE,更要看排序质量:
- 对每个用户,取其未交互过的若干物品,与少量正样本混合,计算 Hit Ratio@K 和 NDCG@K
- 嵌入维度太小会欠拟合,太大易过拟合——可在 [16, 32, 64] 中网格搜索
- 加入 Dropout(0.2~0.5)或 L2 正则(weight_decay=1e-5)提升泛化能力
- 若冷启动严重,可额外引入物品内容特征(如类别、文本描述)作为辅助输入










