Pandas高效处理大型CSV文件：告别iterrows()，拥抱向量化操作

import os
import pandas as pd

# ... 文件路径设置 ...
dados = pd.read_csv(desktop + '\test-1000-rows.csv')
for i, row in dados.iterrows():
    #for each item in a list
       #check if row[column_a] or row[column_b] has the item as value
          #add row[column_c] to a list if true

# 低效的循环方式
# new_column_values = []
# for index, row in df.iterrows():
#     new_column_values.append(row['existing_column'] + 1)
# df['new_column'] = new_column_values

import pandas as pd

# 假设 df 已经是一个 DataFrame
data = {'existing_column': [10, 20, 30, 40, 50],
        'another_column': ['A', 'B', 'C', 'D', 'E']}
df = pd.DataFrame(data)

# 高效的向量化操作：对整个 'existing_column' 列执行加法
df['new_column'] = df['existing_column'] + 1
print(df)

   existing_column another_column  new_column
0               10              A          11
1               20              B          21
2               30              C          31
3               40              D          41
4               50              E          51

import pandas as pd

data = {
    'column_a': ['apple', 'banana', 'orange', 'grape', 'apple'],
    'column_b': ['red', 'yellow', 'green', 'purple', 'green'],
    'column_c': [100, 200, 150, 300, 250]
}
df = pd.DataFrame(data)

# 定义要检查的列表
target_items = ['apple', 'grape']
target_keywords = ['green']

# 向量化操作：检查 column_a 是否在 target_items 中，或 column_b 是否包含 target_keywords
condition = (df['column_a'].isin(target_items)) | 
            (df['column_b'].isin(target_keywords))

# 根据条件提取 column_c 的值
result_list = df.loc[condition, 'column_c'].tolist()
print(f"符合条件并提取的 column_c 值: {result_list}")

符合条件并提取的 column_c 值: [100, 150, 300, 250]

import pandas as pd
import os

# 假设文件路径
# desktop = os.path.join(os.path.join(os.environ["USERPROFILE"]), "Desktop")
# file_path = os.path.join(desktop, 'large_data.csv')

# 为了示例，我们创建一个虚拟的大文件路径
file_path = 'large_data.csv'
# 实际应用中，请替换为您的真实文件路径

# 定义一个列表来收集处理后的结果
processed_results = []

# 使用 chunksize 分块读取和处理
# 每次读取 100000 行
print(f"开始分块处理文件：{file_path}")
for i, chunk in enumerate(pd.read_csv(file_path, chunksize=100000)):
    print(f"正在处理第 {i+1} 个数据块 (包含 {len(chunk)} 行)...")

    # 在每个 chunk 上执行向量化操作
    # 例如，筛选出满足特定条件的行，并提取某一列
    # 假设 chunk 包含 'column_a', 'column_b', 'column_c'
    # 示例：筛选 'column_a' 为 'valueX' 且 'column_b' 包含 'keywordY' 的行
    filtered_chunk = chunk[
        (chunk['column_a'] == 'valueX') &
        (chunk['column_b'].str.contains('keywordY', na=False))
    ]

    # 将符合条件的 'column_c' 值添加到结果列表中
    processed_results.extend(filtered_chunk['column_c'].tolist())

# 所有块处理完成后，processed_results 包含了所有符合条件的 column_c 值
print(f"文件处理完毕。共收集到 {len(processed_results)} 个符合条件的项。")

# 如果需要，可以将结果进一步处理或转换为 DataFrame
if processed_results:
    final_output_df = pd.DataFrame({'result_column': processed_results})
    print("
最终结果DataFrame头部：")
    print(final_output_df.head())
else:
    print("
没有找到符合条件的项。")