深入理解Pandas DataFrame行求和：解决混合数据类型求和为零的问题-Python教程-PHP中文网

深入理解Pandas DataFrame行求和：解决混合数据类型求和为零的问题

本文旨在解决pandas dataframe中对包含混合数据类型（如字符串数字、纯文本和列表）的行进行求和时，`df.sum(numeric_only=true)`方法可能导致结果为零的问题。我们将详细探讨`numeric_only`参数的工作原理，并提供一个健壮的解决方案，利用`pd.to_numeric`结合`errors='coerce'`进行数据清洗和类型转换，确保准确计算每行的数值总和，并展示如何将总秒数格式化为时间。

在数据分析和处理中，Pandas DataFrame是Python用户常用的工具。然而，当处理包含混合数据类型（例如，某些列存储为字符串形式的数字，而另一些列包含纯文本或列表）的数据时，直接使用DataFrame.sum()方法可能会遇到意料之外的结果，特别是当您尝试利用numeric_only=True参数时。本教程将深入分析这一问题，并提供一个高效且可靠的解决方案。

理解 numeric_only=True 的局限性

DataFrame.sum()方法中的numeric_only=True参数旨在仅对浮点型（float）、整型（int）和布尔型（boolean）的列进行求和。然而，它判断一个列是否为“数值型”是基于该列的Pandas数据类型（dtype），而非其单元格的实际内容。如果一个列中哪怕只包含一个非数值的字符串（例如“No hours logged”），或者一个列表，Pandas通常会将其整个列的dtype推断为object。

当一个列的dtype为object时，即使其中大部分单元格包含的是可以转换为数字的字符串，numeric_only=True也会将其排除在求和计算之外。这意味着，如果您的目标求和列中存在任何object类型的列，即使它们内部包含数字字符串，numeric_only=True也会忽略它们，从而导致最终求和结果为0.0，因为实际上没有任何“数值型”列被纳入计算。

解决方案：利用 pd.to_numeric 进行类型转换

要正确地对包含混合数据类型的列进行求和，我们需要在求和之前，将这些列中的潜在数字字符串统一转换为数值类型。pandas.to_numeric()函数是实现这一目标的关键，特别是结合errors='coerce'参数。

pd.to_numeric(x, errors='coerce')的工作原理如下：

它尝试将x（可以是Series或单个值）转换为数值类型。
如果转换成功，则返回对应的数值。
如果转换失败（例如，遇到“No hours logged”或列表），errors='coerce'参数会指示Pandas将这些无法转换的值替换为NaN（Not a Number）。

NaN值在求和时会被自动忽略（除非显式设置skipna=False），这正是我们所期望的行为，因为它允许我们只对有效的数值进行求和。

步骤一：准备数据

首先，我们使用一个示例DataFrame来模拟包含混合数据类型的工作时间日志数据。

import pandas as pd

data = {
    'id': {0: 514, 1: 2414, 2: 3225, 3: 3434, 4: 3864, 5: 4716, 6: 5793},
    'name': {0: 'alexis', 1: 'donald', 2: 'mackenzie', 3: 'louisa', 4: 'olga', 5: 'rick', 6: 'roberta'},
    '2023-11-28': {0: 'No hours logged', 1: '29160', 2: '28500', 3: '25380', 4: '15600', 5: '30180', 6: '29220'},
    '2023-11-29': {0: 'No hours logged', 1: '29160', 2: '28620', 3: '18840', 4: '19080', 5: '28800', 6: '29220'},
    '2023-11-30': {0: 'No hours logged', 1: '28860', 2: '28560', 3: '26040', 4: '14400', 5: '28740', 6: '29460'},
    '2023-12-01': {0: 'No hours logged', 1: '28620', 2: '28620', 3: 'No hours logged', 4: '13800', 5: '28620', 6: '29280'},
    '2023-12-02': {0: 'No hours logged', 1: '[10:02, Odd number: missing entry]', 2: '28980', 3: '25560', 4: '5220', 5: '28680', 6: '29340'},
    '2023-12-03': {0: 'No hours logged', 1: 'No hours logged', 2: 'No hours logged', 3: 'No hours logged', 4: '17820', 5: 'No hours logged', 6: 'No hours logged'},
    '2023-12-04': {0: 'No hours logged', 1: 'No hours logged', 2: 'No hours logged', 3: 'No hours logged', 4: 'No hours logged', 5: 'No hours logged', 6: 'No hours logged'},
    '2023-12-05': {0: 'No hours logged', 1: '28860', 2: '28740', 3: '24900', 4: '14400', 5: '28680', 6: '29040'},
}

df = pd.DataFrame(data)
print("原始DataFrame:")
print(df)

登录后复制

步骤二：选择并转换目标列

假设我们希望对除id和name列之外的所有日期列进行求和。我们可以使用df.iloc[:, 2:]来选择这些列。然后，对这些选定的列应用pd.to_numeric。

最优化方法的Matlab实现中文WORD版

用最优化方法解决最优化问题的技术称为最优化技术，它包含两个方面的内容： 1）建立数学模型即用数学语言来描述最优化问题。模型中的数学关系式反映了最优化问题所要达到的目标和各种约束条件。 2）数学求解数学模型建好以后，选择合理的最优化方法进行求解。利用Matlab的优化工具箱，可以求解线性规划、非线性规划和多目标规划问题。具体而言，包括线性、非线性最小化，最大最小化，二次规划，半无限问题，线性、非线性方程（组）的求解，线性、非线性的最小二乘问题。另外，该工具箱还提供了线性、非线性最小化，方程求解，

查看详情

# 选择要进行求和的列 (从第三列开始，即索引为2的列)
# 注意：原始问题中的 `df.iloc[:, 1:]` 会包含 'name' 列，
# 而 'name' 列是字符串，不应参与数值求和。
# 因此，我们从索引 2 开始，即 df.iloc[:, 2:]
numeric_cols_df = df.iloc[:, 2:].apply(lambda x: pd.to_numeric(x, errors='coerce'))

print("\n转换后的数值型DataFrame (非数字值已转为NaN):")
print(numeric_cols_df)

登录后复制

步骤三：按行求和并添加新列

在将非数值转换为NaN之后，我们可以安全地对转换后的DataFrame按行求和。sum(axis=1)将计算每行的总和，并自动跳过NaN值。

df['total_hours'] = numeric_cols_df.sum(axis=1)

print("\n添加 'total_hours' 列后的DataFrame:")
print(df)

登录后复制

输出示例:

添加 'total_hours' 列后的DataFrame:
     id       name 2023-11-28 2023-11-29 2023-11-30 2023-12-01  \
0   514     alexis  No hours logged  No hours logged  No hours logged  No hours logged   
1  2414     donald            29160            29160            28860            28620   
2  3225  mackenzie            28500            28620            28560            28620   
3  3434     louisa            25380            18840            26040  No hours logged   
4  3864       olga            15600            19080            14400            13800   
5  4716       rick            30180            28800            28740            28620   
6  5793    roberta            29220            29220            29460            29280   

                           2023-12-02       2023-12-03       2023-12-04  \
0                     No hours logged  No hours logged  No hours logged   
1  [10:02, Odd number: missing entry]  No hours logged  No hours logged   
2                               28980  No hours logged  No hours logged   
3                               25560  No hours logged  No hours logged   
4                                5220            17820  No hours logged   
5                               28680  No hours logged  No hours logged   
6                               29340  No hours logged  No hours logged   

  2023-12-05  total_hours  
0  No hours logged          0.0  
1            28860     144660.0  
2            28740     172020.0  
3            24900     120720.0  
4            14400     100320.0  
5            28680     173700.0  
6            29040     175560.0

登录后复制

现在，total_hours列包含了每行有效数值的总和，而不是0.0。

格式化总时长为 HH:MM

如果total_hours代表秒数，并且您希望将其转换为更易读的HH:MM或DD HH:MM:SS格式，可以使用pd.to_timedelta()函数。

df['total_time_formatted'] = pd.to_timedelta(df['total_hours'], unit='s')

print("\n添加格式化时间列后的DataFrame:")
print(df[['id', 'name', 'total_hours', 'total_time_formatted']])

登录后复制

输出示例:

添加格式化时间列后的DataFrame:
     id       name  total_hours total_time_formatted
0   514     alexis          0.0      0 days 00:00:00
1  2414     donald     144660.0      1 days 16:11:00
2  3225  mackenzie     172020.0      1 days 23:47:00
3  3434     louisa     120720.0      1 days 09:32:00
4  3864       olga     100320.0      1 days 03:52:00
5  4716       rick     173700.0      2 days 00:15:00
6  5793    roberta     175560.0      2 days 00:46:00

登录后复制

完整代码示例

将上述步骤整合到一个函数中，可以方便地应用于您的DataFrame。

import pandas as pd

def calculate_total_hours(df):
    """
    计算DataFrame中指定日期列的总工作时间（秒），并处理混合数据类型。

    参数:
    df (pd.DataFrame): 包含工作时间日志的DataFrame。
                       假设前两列为 'id' 和 'name'，后续列为日期。
                       日期列可能包含数字字符串、'No hours logged' 或其他非数字值。

    返回:
    pd.DataFrame: 包含 'total_hours' (总秒数) 和 'total_time_formatted' (格式化时间) 的DataFrame。
    """

    # 假设 'id' 和 'name' 是前两列，不参与求和。
    # 从索引2开始选择所有日期列。
    data_columns = df.iloc[:, 2:]

    # 将日期列中的非数字值强制转换为 NaN，然后转换为数值类型
    # .apply(lambda x: ...) 对每个列（Series）执行操作
    numeric_data = data_columns.apply(lambda col: pd.to_numeric(col, errors='coerce'))

    # 对转换后的数值数据按行求和，忽略 NaN 值
    df['total_hours'] = numeric_data.sum(axis=1)

    # 将总秒数转换为时间格式
    df['total_time_formatted'] = pd.to_timedelta(df['total_hours'], unit='s')

    return df

# 示例数据
data = {
    'id': {0: 514, 1: 2414, 2: 3225, 3: 3434, 4: 3864, 5: 4716, 6: 5793},
    'name': {0: 'alexis', 1: 'donald', 2: 'mackenzie', 3: 'louisa', 4: 'olga', 5: 'rick', 6: 'roberta'},
    '2023-11-28': {0: 'No hours logged', 1: '29160', 2: '28500', 3: '25380', 4: '15600', 5: '30180', 6: '29220'},
    '2023-11-29': {0: 'No hours logged', 1: '29160', 2: '28620', 3: '18840', 4: '19080', 5: '28800', 6: '29220'},
    '2023-11-30': {0: 'No hours logged', 1: '28860', 2: '28560', 3: '26040', 4: '14400', 5: '28740', 6: '29460'},
    '2023-12-01': {0: 'No hours logged', 1: '28620', 2: '28620', 3: 'No hours logged', 4: '13800', 5: '28620', 6: '29280'},
    '2023-12-02': {0: 'No hours logged', 1: '[10:02, Odd number: missing entry]', 2: '28980', 3: '25560', 4: '5220', 5: '28680', 6: '29340'},
    '2023-12-03': {0: 'No hours logged', 1: 'No hours logged', 2: 'No hours logged', 3: 'No hours logged', 4: '17820', 5: 'No hours logged', 6: 'No hours logged'},
    '2023-12-04': {0: 'No hours logged', 1: 'No hours logged', 2: 'No hours logged', 3: 'No hours logged', 4: 'No hours logged', 5: 'No hours logged', 6: 'No hours logged'},
    '2023-12-05': {0: 'No hours logged', 1: '28860', 2: '28740', 3: '24900', 4: '14400', 5: '28680', 6: '29040'},
}
df_input = pd.DataFrame(data)

# 调用函数处理DataFrame
df_processed = calculate_total_hours(df_input.copy()) # 使用 .copy() 避免SettingWithCopyWarning

print("\n最终处理结果:")
print(df_processed[['id', 'name', 'total_hours', 'total_time_formatted']])

登录后复制

注意事项与总结

列选择的准确性： 在实际应用中，确保您选择的列是真正需要进行数值求和的。使用df.iloc或通过列名列表进行选择，以避免将非数值列（如name）错误地包含在转换和求和操作中。
errors='coerce' 的重要性： 这个参数是处理混合数据类型的核心。它允许您在不中断程序的情况下，将无法转换为数字的值优雅地处理为NaN。
NaN 的处理： Pandas的sum()方法默认会忽略NaN值，这对于计算有效数值的总和非常方便。如果您需要将NaN视为零进行求和，可以在求和前使用fillna(0)。
性能考虑： 对于非常大的DataFrame，apply操作可能会比向量化操作慢。然而，对于处理列中混合数据类型的场景，apply结合pd.to_numeric通常是必要的且足够高效的。
数据源一致性： 理想情况下，数据在加载时就应尽可能保持类型一致。但当数据源不可控或格式复杂时，本文介绍的方法提供了强大的后处理能力。

通过本教程，您应该能够理解为什么df.sum(numeric_only=True)在某些情况下会返回0.0，并掌握如何使用pd.to_numeric(errors='coerce')结合DataFrame.apply()来健壮地处理Pandas DataFrame中混合数据类型的行求和问题，最终获得准确的统计结果并进行灵活的格式化。

以上就是深入理解Pandas DataFrame行求和：解决混合数据类型求和为零的问题的详细内容，更多请关注php中文网其它相关文章！