Pandas数据排序差异：从文件格式到数据类型深度解析

import pandas as pd

# 假设 fields_df 从 XLSX 读取，fields_df1 从 CSV 读取
# 并且在排序前，两者通过 df.equals(df1) 或其他方式验证为相同

df_sorted_xlsx = fields_df.sort_values(['register', 1], ascending=[False, False])
df_sorted_csv = fields_df1.sort_values(['register', 1], ascending=[False, False])

# 此时发现 df_sorted_xlsx 和 df_sorted_csv 不一致

# 假设 fields_df 和 fields_df1 是排序前的数据帧
# out = fields_df.compare(fields_df1) # 注意：这里应该比较排序前的原始数据，而不是排序后的结果
# 更好的做法是比较排序后的结果，或者在排序前先确保数据一致性
# 为了诊断排序差异，我们应该比较原始数据，找出潜在的导致排序差异的根源

# 假设我们已经排除了原始数据在视觉上一致的情况，但排序结果不同
# 那么问题一定出在那些肉眼不可见的差异上。
# 我们可以尝试直接比较排序后的结果，但这只是现象，不是原因。
# 更重要的是找出原始数据中的差异。

# 假设我们想找出原始数据中导致排序差异的行
# 我们可以尝试比较原始数据，但如果原始数据被认为是相同的，compare可能返回空。
# 所以，我们应该关注数据类型。

# 实际操作中，如果排序前 df.equals(df1) 返回 True，那么差异一定在数据类型或浮点精度上。
# 如果 df.equals(df1) 返回 False，则 compare() 会很有用。
# 让我们假设原始数据在 compare() 下可能没有差异，但类型有差异。

# 示例：假设排序后发现差异，我们应该回溯到原始数据进行检查
# 如果原始数据被认为是相同的，但排序结果不同，这意味着原始数据存在肉眼不可见的差异。
# 我们需要检查这些差异。
# 最直接的方法是检查数据类型。

print("fields_df 数据类型：")
print(fields_df.dtypes)

print("\nfields_df1 数据类型：")
print(fields_df1.dtypes)

# 检查特定字符串列是否有空白字符
# 假设 'register' 是字符串列
print("fields_df 'register' 列是否有空白字符：")
print(fields_df['register'].astype(str).str.contains(r'^\s|\s$').any())

print("\nfields_df1 'register' 列是否有空白字符：")
print(fields_df1['register'].astype(str).str.contains(r'^\s|\s$').any())

# 清理空白字符
fields_df['register'] = fields_df['register'].astype(str).str.strip()
fields_df1['register'] = fields_df1['register'].astype(str).str.strip()

# 尝试将可疑列转换为数值类型
for col in fields_df.columns:
    try:
        fields_df[col] = pd.to_numeric(fields_df[col], errors='coerce')
        fields_df1[col] = pd.to_numeric(fields_df1[col], errors='coerce')
    except ValueError:
        pass # 如果不能转换为数值，则跳过

# 转换后再次检查数据类型
print("\n转换数值后 fields_df 数据类型：")
print(fields_df.dtypes)
print("\n转换数值后 fields_df1 数据类型：")
print(fields_df1.dtypes)

# 假设 'value_column' 是浮点数列
if 'value_column' in fields_df.columns and fields_df['value_column'].dtype == float:
    fields_df['value_column'] = fields_df['value_column'].round(decimals=6) # 四舍五入到6位小数
    fields_df1['value_column'] = fields_df1['value_column'].round(decimals=6)

# 假设 'date_column' 是日期列
fields_df['date_column'] = pd.to_datetime(fields_df['date_column'], errors='coerce')
fields_df1['date_column'] = pd.to_datetime(fields_df1['date_column'], errors='coerce')