Java中实现CSV文件内容（不限列序）对比验证的教程-java教程-PHP中文网

Java中实现CSV文件内容（不限列序）对比验证的教程

本教程详细介绍了如何在java中高效对比两个csv文件，即使它们的列顺序不同也能准确验证数据内容。通过引入自定义的`pair`类来关联数据值与列头，并利用java `set`集合的无序特性，将每行数据表示为`set`，整个文件表示为`set>`。这种方法结合了`equals()`和`hashcode()`的正确实现，确保了数据内容的等价性判断，有效解决了传统字符串比较无法处理列序差异的问题。

引言：理解CSV文件列序差异的挑战

CSV（Comma Separated Values）文件因其简洁性而成为数据交换的常用格式。在数据处理和验证场景中，我们经常需要对比两个CSV文件是否包含相同的数据。然而，一个常见的挑战是，即使两个CSV文件包含完全相同的数据，它们的列顺序或行顺序可能不同。

传统的CSV文件比较方法，例如将每行读取为字符串并放入HashSet<String>进行比较，在列顺序不一致时会失效。例如：

源文件:

a,b,c
1,2,3
4,5,6

登录后复制

目标文件:

立即学习“Java免费学习笔记（深入）”；

a,c,b
1,3,2
4,6,5

登录后复制

尽管这两个文件在逻辑上包含相同的数据（即{a:1, b:2, c:3}和{a:4, b:5, c:6}），但由于第二行的字符串表示不同（"1,2,3" vs "1,3,2"），简单的字符串集合比较会判断它们不相等。为了解决这一问题，我们需要一种能够忽略列序和行序差异，只关注数据内容等价性的比较策略。

Calliper 文档对比神器

文档内容对比神器

查看详情

核心策略：基于结构化数据的无序比较

为了实现列序无关的比较，我们需要将CSV的每一行数据从简单的字符串转换为更具结构化的表示。核心思想是将每个单元格的数据与其对应的列头绑定，形成一个“数据-列头”对。然后，将一行数据视为这些“对”的集合，整个文件视为这些“行集合”的集合。Set集合的无序特性是实现这一目标的关键。

具体来说，我们将采用以下三层结构来表示和比较CSV数据：

Pair<String, String>: 代表一个单元格的数据及其列头。例如，对于1,2,3和列头a,b,c，它会生成(1,a)、(2,b)、(3,c)这样的对。
Set<Pair<String, String>>: 代表CSV文件中的一行数据。由于Set是无序的，行内列的顺序将不再影响比较。例如，{(1,a), (2,b), (3,c)}与{(1,a), (3,c), (2,b)}是相等的。
Set<Set<Pair<String, String>>>: 代表整个CSV文件。同样，由于Set是无序的，行之间的顺序也不再影响比较。

第一步：构建自定义Pair类

为了将数据值与其列头关联起来，我们需要创建一个自定义的Pair类。这个类将存储两个泛型对象（在这里是String类型的数据值和列头），并且最重要的是，它必须正确地重写equals()和hashCode()方法，以确保基于哈希的集合（如HashSet）能够正确地识别和比较Pair对象。

Pair类的实现

package com.example.csvcompare; // 根据您的项目结构调整包名

import java.util.Objects;

/**
 * 通用Pair类，用于存储两个关联的值。
 * 必须正确实现equals和hashCode方法，以便在集合中正确使用。
 *
 * @param <T> 第一个元素的类型
 * @param <U> 第二个元素的类型
 */
public class Pair<T, U> {

    private final T t;
    private final U u;

    /**
     * 构造函数。
     *
     * @param aT 第一个元素
     * @param aU 第二个元素
     */
    public Pair(T aT, U aU) {
        this.t = aT;
        this.u = aU;
    }

    /**
     * 获取第一个元素。
     * @return 第一个元素
     */
    public T getT() {
        return t;
    }

    /**
     * 获取第二个元素。
     * @return 第二个元素
     */
    public U getU() {
        return u;
    }

    /**
     * 重写hashCode方法。
     * 必须与equals方法保持一致的契约。
     *
     * @return 对象的哈希码
     */
    @Override
    public int hashCode() {
        int hash = 3;
        hash = 59 * hash + Objects.hashCode(this.t);
        hash = 59 * hash + Objects.hashCode(this.u);
        return hash;
    }

    /**
     * 重写equals方法。
     * 当且仅当两个Pair对象的t和u值都相等时，它们才被认为是相等的。
     *
     * @param obj 待比较的对象
     * @return 如果对象相等则返回true，否则返回false
     */
    @Override
    public boolean equals(Object obj) {
        if (this == obj) {
            return true;
        }
        if (obj == null || getClass() != obj.getClass()) {
            return false;
        }
        final Pair<?, ?> other = (Pair<?, ?>) obj;
        // 比较t值
        if (!Objects.equals(this.t, other.t)) {
            return false;
        }
        // 比较u值
        return Objects.equals(this.u, other.u);
    }

    /**
     * 重写toString方法，便于调试。
     * @return 对象的字符串表示
     */
    @Override
    public String toString() {
        return "(" + t + ", " + u + ")";
    }
}

登录后复制

equals()和hashCode()的重要性

equals(): 这个方法定义了两个Pair对象何时被认为是“相等”的。在这里，如果两个Pair的t值和u值都相等，则它们是相等的。这是Set判断元素是否重复或进行比较的基础。
hashCode(): 当一个对象被放入基于哈希的集合（如HashSet）时，hashCode()方法用于计算该对象的哈希码，以确定其在集合中的存储位置。Java的约定要求：如果两个对象根据equals()方法是相等的，那么它们的hashCode()值也必须相等。反之则不一定。正确实现这两个方法是确保Set能够正确运行的关键。

第二步：将CSV数据转化为可比较的Set结构

有了Pair类，我们现在可以构建一个工具类来读取CSV数据，并将其转换为我们定义的Set<Set<Pair<String, String>>>结构。

CsvContentComparator类的实现

package com.example.csvcompare; // 根据您的项目结构调整包名

import java.util.Arrays;
import java.util.HashSet;
import java.util.List;
import java.util.Set;

/**
 * 用于将CSV数据转换为可进行内容比较的结构。
 * 支持列序和行序不一致的CSV文件比较。
 */
public final class CsvContentComparator {

    private final Set<Set<Pair<String, String>>> theSet;
    private final String[] columnHeader;

    /**
     * 私有构造函数，用于初始化列头和数据集合。
     *
     * @param columnHeadings 包含所有列头的字符串
     * @param headerSplitRegex 用于分割列头的正则表达式
     */
    private CsvContentComparator(String columnHeadings, String headerSplitRegex) {
        // 分割列头字符串，获取所有列头
        columnHeader = columnHeadings.split(headerSplitRegex);
        // 初始化存储所有行数据的Set
        theSet = new HashSet<>();
    }

    /**
     * 将一行CSV数据字符串转换为Set<Pair<String, String>>。
     * 每个Pair包含一个数据值和其对应的列头。
     *
     * @param columnSource 一行CSV数据字符串
     * @param columnSplitRegex 用于分割列值的正则表达式
     * @return 代表一行数据的Set<Pair<String, String>>
     * @throws IllegalArgumentException 如果数据列数与列头不匹配
     */
    private Set<Pair<String, String>> createLine(String columnSource, String columnSplitRegex) {
        String[] columnValues = columnSource.split(columnSplitRegex);
        if (columnValues.length != columnHeader.length) {
            throw new IllegalArgumentException("数据行 '" + columnSource + "' 的列数 (" + columnValues.length +
                                               ") 与列头数 (" + columnHeader.length + ") 不匹配。");
        }
        Set<Pair<String, String>> lineSet = new HashSet<>();
        for (int i = 0; i < columnValues.length; i++) {
            // 将每个数据值与其对应的列头配对
            lineSet.add(new Pair<>(columnValues[i], columnHeader[i]));
        }
        return lineSet;
    }

    /**
     * 获取表示整个CSV文件内容的Set<Set<Pair<String, String>>>。
     *
     * @return 包含所有行数据的Set
     */
    public Set<Set<Pair<String, String>>> getSet() {
        return theSet;
    }

    /**
     * 获取列头数组的副本。
     *
     * @return 列头数组的副本
     */
    public String[] getColumnHeaders() {
        return Arrays.copyOf(columnHeader, columnHeader.length);
    }

    /**
     * 静态工厂方法，从CSV数据列表中创建CsvContentComparator实例。
     * 列表的第一行被视为列头。
     *
     * @param theData CSV数据的列表，第一行为列头
     * @param headerSplitRegex 用于分割列头的正则表达式
     * @param columnSplitRegex 用于分割数据列的正则表达式
     * @return CsvContentComparator实例
     * @throws IllegalArgumentException 如果数据列表为空或没有列头
     */
    public static CsvContentComparator createFromData(List<String> theData,
                                                      String headerSplitRegex, String columnSplitRegex) {
        if (theData == null || theData.isEmpty()) {
            throw new IllegalArgumentException("CSV数据列表不能为空。");
        }
        // 使用第一行作为列头初始化Comparator
        CsvContentComparator result = new CsvContentComparator(theData.get(0), headerSplitRegex);
        // 遍历剩余行，创建Set<Pair>并添加到主Set中
        for (int i = 1; i < theData.size(); ++i) {
            result.theSet.add(result.createLine(theData.get(i), columnSplitRegex));
        }
        return result;
    }

    /**
     * 主方法，用于演示CSV文件内容的比较。
     */
    public static void main(String[] args) {
        // 示例源数据，包含5列5行
        String[] sourceData = {"a,b,c,d,e", "6,7,8,9,10", "1,2,3,4,5",
                "11,12,13,14,15", "16,17,18,19,20"};
        // 示例目标数据，列序和行序与源数据不同
        String[] targetData = {"c,b,e,d,a", "3,2,5,4,1", "8,7,10,9,6",
                "13,12,15,14,11", "18,17,20,19,16"};

        // 将字符串数组转换为List<String>
        List<String> sourceList = Arrays.asList(sourceData);
        List<String> targetList = Arrays.asList(targetData);

        // 使用逗号作为分隔符创建CsvContentComparator实例
        CsvContentComparator sourceCSV = createFromData(sourceList, ",", ",");
        CsvContentComparator targetCSV = createFromData(targetList, ",", ",");

        // 比较两个CSV文件内容是否相等
        // containsAll用于检查一个Set是否包含另一个Set的所有元素
        // equals用于检查两个Set是否完全相同（包含相同元素且数量相同）
        boolean sourceContainsTarget = sourceCSV.getSet().containsAll(targetCSV.getSet());
        boolean targetContainsSource = targetCSV.getSet().containsAll(sourceCSV.getSet());
        boolean areEqual = sourceCSV.getSet().equals(targetCSV.getSet());

        System.out.println("源文件是否包含目标文件所有数据? " + sourceContainsTarget);
        System.out.println("目标文件是否包含源文件所有数据? " + targetContainsSource);
        System.out.println("两个文件内容是否完全相等? " + areEqual);

        // 验证一个简单场景，其中一个文件是另一个的子集
        String[] subsetData = {"a,b,c", "1,2,3"};
        List<String> subsetList = Arrays.asList(subsetData);
        CsvContentComparator subsetCSV = createFromData(subsetList, ",", ",");

        System.out.println("\n源文件是否包含子集数据? " + sourceCSV.getSet().containsAll(subsetCSV.getSet()));
        System.out.println("子集数据是否包含源文件? " + subsetCSV.getSet().containsAll(sourceCSV.getSet()));
    }
}

登录后复制

核心方法解析

CsvContentComparator(String columnHeadings, String headerSplitRegex) 构造函数:
- 接收列头字符串和分隔符，将其分割并存储在columnHeader数组中。
- 初始化theSet，这是一个Set<Set<Pair<String, String>>>，用于存储所有行的数据。
createLine(String columnSource, String columnSplitRegex) 方法:
- 接收一行CSV数据字符串和列分隔符。
- 将该行数据分割成单独的列值。
- 遍历这些列值，并使用预先存储的columnHeader数组，将每个值与其对应的列头组合成一个Pair<String, String>。
- 将所有这些Pair对象添加到一个HashSet<Pair<String, String>>中，代表一行数据。
- 重要提示: 此方法增加了列数检查，如果数据行的列数与列头数不匹配，会抛出IllegalArgumentException。
createFromData(List<String> theData, String headerSplitRegex, String columnSplitRegex) 静态工厂方法:
- 这是一个方便的入口点，接收一个包含所有CSV行数据的List<String>。
- 默认将列表的第一行作为列头进行处理。
- 遍历列表的其余行，调用createLine方法将每行转换为Set<Pair<String, String>>，并将其添加到主theSet中。
main 方法:
- 演示了如何使用CsvContentComparator来比较两个具有不同列序和行序的CSV数据集。
- 通过sourceCSV.getSet().containsAll(targetCSV.getSet())和targetCSV.getSet().containsAll(sourceCSV.getSet())来判断两个文件是否包含相同的数据。如果两者都为真，则表示两个文件内容完全一致。equals()方法则直接判断两个Set是否完全相同。

实现原理与优势

无序性: Set集合的天然无序特性是此解决方案的核心。无论是行内的列顺序，还是文件内的行顺序，都不会影响最终的比较结果，因为Set只关心元素是否存在，不关心其位置。
equals/hashCode契约: 正确实现Pair类的equals()和hashCode()方法，确保了Set集合能够准确地识别和比较自定义对象。这是所有基于哈希的集合（如HashSet, HashMap）正确工作的基石。
灵活性: createFromData方法允许用户指定不同的列头分隔符和数据行分隔符，增加了代码的通用性。
语义化比较: 这种方法将CSV数据从简单的字符串表示提升为更具语义的“数据-列头”对，使得比较更加符合数据内容的逻辑。

以上就是Java中实现CSV文件内容（不限列序）对比验证的教程的详细内容，更多请关注php中文网其它相关文章！