解决余弦相似度始终为1的问题：深度分析与实践指南-Python教程-PHP中文网

解决余弦相似度始终为1的问题：深度分析与实践指南

DDD

发布： 2025-10-03 16:39:22

原创

131人浏览过

解决余弦相似度始终为1的问题：深度分析与实践指南

本文旨在帮助读者理解并解决在使用余弦相似度时，结果始终为1的常见问题。通过分析代码示例，我们将探讨向量方向性与余弦相似度的关系，并提供调试和改进模型的建议，确保相似度计算的准确性。

在机器学习项目中，余弦相似度是一个常用的度量指标，用于衡量两个向量之间的相似程度。然而，有时开发者会遇到余弦相似度始终为1的奇怪现象。这种情况通常并非bug，而是由于对余弦相似度的理解不够深入造成的。本文将深入探讨这个问题，并通过代码示例，提供清晰的解释和解决方案。

理解余弦相似度

余弦相似度衡量的是两个向量方向上的相似性，而不是它们的大小。这意味着，即使两个向量的模长不同，只要它们指向相同的方向，其余弦相似度仍然为1。

余弦相似度的计算公式如下：

similarity = (A · B) / (||A|| * ||B||)

登录后复制

其中，A · B 表示向量 A 和 B 的点积，||A|| 和 ||B|| 分别表示向量 A 和 B 的模长。

代码分析

以下面代码为例，分析余弦相似度始终为1的原因：

for i, (_image1, _label1) in enumerate(train_loader):
    image1 = _image1.to(DEVICE)
    label1 = _label1[0]
    vector1_tensor = model(image1)

    if (i == 0): #Exception Case
      image2 = image1
      label2 = label1
      vector2_tensor = vector1_tensor

     #PROBLEM LOCATION 

     similarity =  F.cosine_similarity(vector1_tensor, vector2_tensor, dim = -1)
     scaled_similarity = torch.sigmoid(similarity)

    if label1 == label2:
      target_vector = [1]
    else :
      target_vector = [0]

    target_tensor = torch.tensor(target_vector).float()
    target_tensor = target_tensor.to(DEVICE)

    optimizer.zero_grad()
    cost = loss(scaled_similarity, target_tensor)
    cost.backward()
    optimizer.step()

    if not i % 40:
      print (f'Epoch: {epoch:03d}/{EPOCH:03d} | '
            f'Batch {i:03d}/{len(train_loader):03d} |'
             f' Cost: {cost:.4f}')

    #Recycle tensor for reduced computation
    image2 = image1.clone()
    label2 = label1
    vector2_tensor = vector1_tensor.detach()

登录后复制

在这段代码中，vector1_tensor 和 vector2_tensor 是通过模型 model 处理图像得到的向量。在第一次迭代时，vector2_tensor 被初始化为 vector1_tensor 的值。关键在于，在后续的迭代中，vector2_tensor 被更新为 上一次 迭代的 vector1_tensor 的 detach()版本。detach() 操作会创建一个新的 tensor，该 tensor 与原始 tensor 共享数据，但不会记录梯度。

这意味着，在计算余弦相似度时，实际上是在比较当前图像的特征向量和 上一次 图像的特征向量。如果模型输出的向量在连续的批次中变化不大，或者模型收敛到一个状态，使得连续批次的向量方向非常接近，那么余弦相似度就会接近于1。

解决方案与建议

检查模型输出的向量变化程度: 使用不同的输入数据，观察 vector1_tensor 的变化情况。如果变化很小，说明模型可能存在问题，例如梯度消失或者模型过于简单。

百度GBI
百度GBI-你的大模型商业分析助手

104

查看详情
确保向量具有区分性: 理想情况下，相似的输入应该产生相似的向量，而不同的输入应该产生不同的向量。如果模型无法区分不同的输入，那么余弦相似度很可能会趋近于1。可以尝试调整模型的结构，例如增加层数或者使用更复杂的激活函数。
检查数据预处理: 确保数据预处理步骤正确无误。如果数据存在偏差或者噪声，可能会影响模型的训练效果，导致输出的向量相似度过高。
考虑使用其他相似度度量方法: 余弦相似度并非唯一的选择。可以尝试使用其他相似度度量方法，例如欧氏距离或者曼哈顿距离，来评估向量之间的相似性。这些方法对向量的大小也比较敏感，可能更适合某些特定的应用场景。
Debug技巧:
- 打印 vector1_tensor 和 vector2_tensor 的值，观察它们的数值范围和分布。
- 计算 vector1_tensor 和 vector2_tensor 的均值和方差，比较它们之间的差异。
- 可视化 vector1_tensor 和 vector2_tensor，例如使用 t-SNE 或者 PCA 降维后进行可视化。

代码改进示例

以下代码展示了一种可能的改进方法，通过比较当前图像和随机选择的历史图像的特征向量，来避免余弦相似度始终为1的问题：

import random

# 存储历史特征向量
history_vectors = []

for i, (_image1, _label1) in enumerate(train_loader):
    image1 = _image1.to(DEVICE)
    label1 = _label1[0]
    vector1_tensor = model(image1)

    # 随机选择一个历史特征向量
    if history_vectors:
        vector2_tensor = random.choice(history_vectors)
    else:
        vector2_tensor = vector1_tensor  # 第一次迭代

    similarity =  F.cosine_similarity(vector1_tensor, vector2_tensor, dim = -1)
    scaled_similarity = torch.sigmoid(similarity)

    if label1 == label2:  # label2 的值需要根据 vector2_tensor 对应的图像标签来确定
        target_vector = [1]
    else :
        target_vector = [0]

    target_tensor = torch.tensor(target_vector).float()
    target_tensor = target_tensor.to(DEVICE)

    optimizer.zero_grad()
    cost = loss(scaled_similarity, target_tensor)
    cost.backward()
    optimizer.step()

    if not i % 40:
      print (f'Epoch: {epoch:03d}/{EPOCH:03d} | '
            f'Batch {i:03d}/{len(train_loader):03d} |'
             f' Cost: {cost:.4f}')

    # 将当前特征向量添加到历史记录中
    history_vectors.append(vector1_tensor.detach())

登录后复制

注意事项: