使用Pandas高效处理Excel数据：动态列值生成与优化实践

import pandas as pd
import random
import string

def random_alphanumeric(length, hyphen_interval=4):
    """生成指定长度的随机字母数字字符串，并按间隔添加连字符。"""
    characters = string.ascii_letters + string.digits
    random_value = ''.join(random.choice(characters) for _ in range(length))
    return '-'.join(random_value[i:i + hyphen_interval] for i in range(0, len(random_value), hyphen_interval))

def process_excel_inefficient(xl_input_file, xl_output_file):
    df = pd.read_excel(xl_input_file)
    # 尝试将Value列转换为数值类型，无法转换的设为NaN
    df['Value'] = pd.to_numeric(df['Value'], errors='coerce')

    updated_rows = []
    for index, row in df.iterrows():
        # 原始行始终保留
        updated_rows.append(pd.DataFrame([row], columns=df.columns))

        # 如果Value不为0，则生成一个新行，反转Value并添加随机ID和固定gla
        if row['Value'] != 0:
            new_row = row.copy() # 复制当前行
            new_row['Value'] = -row['Value'] # 反转Value
            # 注意：这里对new_row['ID']和new_row['gla']的修改
            # 仅作用于new_row这个局部副本，并未被添加到updated_rows中
            new_row['ID'] = random_alphanumeric(16, hyphen_interval=4) 
            new_row['gla'] = '2100-abc'
            # 原始代码中此处缺少将new_row添加到updated_rows的逻辑
            # 正确的做法应该是：updated_rows.append(pd.DataFrame([new_row], columns=df.columns))
            # 否则，随机ID和gla的修改将不会体现在最终的DataFrame中。

    # 假设上面代码已修正，将new_row添加到updated_rows
    # updated_df = pd.concat(updated_rows, ignore_index=True)
    # updated_df.to_excel(xl_output_file, index=False)
    print("此段代码仅用于说明低效和潜在错误，不建议使用。")

# 示例用法 (假设存在input.xlsx)
# process_excel_inefficient('input.xlsx', 'updated_file.xlsx')

import pandas as pd
import random
import string

def random_alphanumeric(length, hyphen_interval=4):
    """生成指定长度的随机字母数字字符串，并按间隔添加连字符。"""
    characters = string.ascii_letters + string.digits
    random_value = ''.join(random.choice(characters) for _ in range(length))
    return '-'.join(random_value[i:i + hyphen_interval] for i in range(0, len(random_value), hyphen_interval))

def process_excel_efficient(xl_input_file, xl_output_file):
    df = pd.read_excel(xl_input_file)

    # 1. 将'Value'列转换为数值类型，并将所有非零值反转符号
    # 使用pd.to_numeric处理潜在的非数值数据，errors='coerce'会将无法转换的值设为NaN
    # 然后直接对整个列进行符号反转操作，这是向量化的。
    df['Value'] = -pd.to_numeric(df['Value'], errors='coerce')

    # 2. 为'ID'列动态生成随机值
    # 使用.apply()方法，配合axis=1，将random_alphanumeric函数应用于DataFrame的每一行。
    # 这里的lambda函数确保每次调用都生成一个新的随机值。
    df['ID'] = df.apply(lambda x: random_alphanumeric(16, hyphen_interval=4), axis=1)

    # 3. 为'gla'列填充固定值
    # 直接对整个列进行赋值，这是最简单的向量化操作。
    df['gla'] = '2100-abc'

    # 4. 将处理后的DataFrame保存到新的Excel文件
    df.to_excel(xl_output_file, index=False)
    print(f"Excel文件已成功处理并保存至：{xl_output_file}")

# 示例用法：
# 假设input.xlsx文件包含以下数据 (或类似结构)：
# ID     gla     Value   ...
# A1     Xyz     100     ...
# B2     Pqr     -50     ...
# C3     Mno     0       ...
# D4     Def     200     ...

# 创建一个示例输入文件 (如果不存在)
try:
    sample_df = pd.DataFrame({
        'ID': ['A1', 'B2', 'C3', 'D4', 'E5'],
        'gla': ['Xyz', 'Pqr', 'Mno', 'Def', 'Ghi'],
        'Value': [100, -50, 0, 200, 'abc'], # 包含一个非数值，用于测试coerce
        'Col4': [1, 2, 3, 4, 5],
        'Col5': ['a', 'b', 'c', 'd', 'e']
    })
    sample_df.to_excel('input.xlsx', index=False)
    print("已创建示例输入文件：input.xlsx")
except Exception as e:
    print(f"创建示例文件失败: {e}")

xl_input_file = 'input.xlsx'
xl_output_file = 'updated_file.xlsx'
process_excel_efficient(xl_input_file, xl_output_file)

# 打印处理后的DataFrame的前几行以验证结果
try:
    processed_df = pd.read_excel(xl_output_file)
    print("\n处理后的DataFrame预览：")
    print(processed_df.head())
except FileNotFoundError:
    print(f"未找到输出文件：{xl_output_file}")

已创建示例输入文件：input.xlsx
Excel文件已成功处理并保存至：updated_file.xlsx

处理后的DataFrame预览：
                   ID       gla  Value  Col4  Col5
0  hV3D-6TzJ-k9N0-mX2Y  2100-abc -100.0     1     a
1  pQ1R-7S4T-uV8W-xY2Z  2100-abc   50.0     2     b
2  aB9C-cD0E-fG1H-iJ2K  2100-abc    0.0     3     c
3  lM3N-oP4Q-rS5T-uV6W  2100-abc -200.0     4     d
4  eF7G-hI8J-kL9M-nP0Q  2100-abc    NaN     5     e