0

0

如何在 Pandas 中扁平化嵌套 JSON 列表时保留原始时间戳列

心靈之曲

心靈之曲

发布时间:2026-01-27 15:09:16

|

834人浏览过

|

来源于php中文网

原创

如何在 Pandas 中扁平化嵌套 JSON 列表时保留原始时间戳列

本文介绍在使用 pd.json_normalize() 扁平化多列字典数据时,如何将关联的 time_published 时间列正确广播到每个展开后的记录行中,避免信息丢失。

在新闻舆情分析等场景中,常遇到类似结构:一个 DataFrame 的每行代表一篇报道,多个列(如 0–41)存储了可变数量的股票情绪字典(可能为空或为 null),而最后一列(如 time_published)记录该报道的发布时间。当使用循环 + pd.json_normalize() 展开这些字典时,若未显式关联时间字段,最终结果将丢失关键的时间上下文——因为原始的 time_published 是按“行”对齐的,而扁平化后变成了按“字典条目”对齐。

解决核心在于:在每次 json_normalize 后,将对应行的 time_published 值广播(broadcast)为一列,并与当前批次的扁平化数据横向拼接。注意,不能直接使用 df['time_published'](返回 Series 全量),而应取与当前处理列 i 对应的原始行索引位置的值;但更稳妥且高效的做法是——利用 pandas 的自动对齐机制,在 concat 时将长度匹配的 time_published Series 与 json_normalize 结果合并

由于 df_flat_ticker[i] 是一个包含字典(或 None/NaN)的 Series,其索引与原始 DataFrame 行索引一致。因此,df['time_published'] 这个 Series 的索引也完全匹配,可直接按索引对齐拼接:

df_final = pd.DataFrame()
for i in range(42):  # 注意:range(42) 覆盖列索引 0–41
    temp_dict_series = df_flat_ticker[i]  # 取第 i 列(Series)
    temp_flat = pd.json_normalize(temp_dict_series)  # 展开为 DataFrame,索引保持不变
    # 将 time_published 按索引对齐广播为新列
    temp_with_time = pd.concat([temp_flat, df['time_published']], axis=1)
    df_final = pd.concat([df_final, temp_with_time], ignore_index=False)

df_final = df_final.dropna(subset=['ticker']).reset_index(drop=True)

更简洁、推荐的方式是使用 assign() 方法,语义清晰且避免嵌套 concat:

Figma
Figma

Figma 是一款基于云端的 UI 设计工具,可以在线进行产品原型、设计、评审、交付等工作。

下载
df_final = pd.DataFrame()
for i in range(42):
    temp_flat = pd.json_normalize(df_flat_ticker[i])
    # assign 自动按索引对齐,将整个 time_published Series 复制为新列
    temp_with_time = temp_flat.assign(time_published=df['time_published'])
    df_final = pd.concat([df_final, temp_with_time], ignore_index=True)

df_final = df_final.dropna(subset=['ticker']).reset_index(drop=True)

✅ 关键要点总结:

  • pd.json_normalize() 会保留输入 Series 的原始索引,这是实现时间列对齐的基础;
  • df['time_published'] 是同长度、同索引的 Series,assign() 或 concat(axis=1) 会自动按索引对齐,无需手动 iloc 或 map;
  • 使用 ignore_index=True 在最终 concat 中重置索引,提升可读性;
  • dropna(subset=['ticker']) 比全局 dropna() 更安全,仅过滤掉 ticker 为空的无效记录(因字典可能为 None 或空);
  • 若原始数据含大量空列(如全 null),可先用 df_flat_ticker.iloc[:, :42].apply(lambda s: s.dropna().tolist(), axis=0) 预处理,但本方案已兼容稀疏结构。

最终输出的 df_final 每行即为一条「股票+情绪指标+发布时间」三元组,完美支持后续按时间窗口聚合、多 ticker 关联分析等任务。

热门AI工具

更多
DeepSeek
DeepSeek

幻方量化公司旗下的开源大模型平台

豆包大模型
豆包大模型

字节跳动自主研发的一系列大型语言模型

通义千问
通义千问

阿里巴巴推出的全能AI助手

腾讯元宝
腾讯元宝

腾讯混元平台推出的AI助手

文心一言
文心一言

文心一言是百度开发的AI聊天机器人,通过对话可以生成各种形式的内容。

讯飞写作
讯飞写作

基于讯飞星火大模型的AI写作工具,可以快速生成新闻稿件、品宣文案、工作总结、心得体会等各种文文稿

即梦AI
即梦AI

一站式AI创作平台,免费AI图片和视频生成。

ChatGPT
ChatGPT

最最强大的AI聊天机器人程序,ChatGPT不单是聊天机器人,还能进行撰写邮件、视频脚本、文案、翻译、代码等任务。

相关专题

更多
python开发工具
python开发工具

php中文网为大家提供各种python开发工具,好的开发工具,可帮助开发者攻克编程学习中的基础障碍,理解每一行源代码在程序执行时在计算机中的过程。php中文网还为大家带来python相关课程以及相关文章等内容,供大家免费下载使用。

778

2023.06.15

python打包成可执行文件
python打包成可执行文件

本专题为大家带来python打包成可执行文件相关的文章,大家可以免费的下载体验。

686

2023.07.20

python能做什么
python能做什么

python能做的有:可用于开发基于控制台的应用程序、多媒体部分开发、用于开发基于Web的应用程序、使用python处理数据、系统编程等等。本专题为大家提供python相关的各种文章、以及下载和课程。

769

2023.07.25

format在python中的用法
format在python中的用法

Python中的format是一种字符串格式化方法,用于将变量或值插入到字符串中的占位符位置。通过format方法,我们可以动态地构建字符串,使其包含不同值。php中文网给大家带来了相关的教程以及文章,欢迎大家前来阅读学习。

760

2023.07.31

python教程
python教程

Python已成为一门网红语言,即使是在非编程开发者当中,也掀起了一股学习的热潮。本专题为大家带来python教程的相关文章,大家可以免费体验学习。

1445

2023.08.03

python环境变量的配置
python环境变量的配置

Python是一种流行的编程语言,被广泛用于软件开发、数据分析和科学计算等领域。在安装Python之后,我们需要配置环境变量,以便在任何位置都能够访问Python的可执行文件。php中文网给大家带来了相关的教程以及文章,欢迎大家前来学习阅读。

571

2023.08.04

python eval
python eval

eval函数是Python中一个非常强大的函数,它可以将字符串作为Python代码进行执行,实现动态编程的效果。然而,由于其潜在的安全风险和性能问题,需要谨慎使用。php中文网给大家带来了相关的教程以及文章,欢迎大家前来学习阅读。

581

2023.08.04

scratch和python区别
scratch和python区别

scratch和python的区别:1、scratch是一种专为初学者设计的图形化编程语言,python是一种文本编程语言;2、scratch使用的是基于积木的编程语法,python采用更加传统的文本编程语法等等。本专题为大家提供scratch和python相关的文章、下载、课程内容,供大家免费下载体验。

752

2023.08.11

Python 自然语言处理(NLP)基础与实战
Python 自然语言处理(NLP)基础与实战

本专题系统讲解 Python 在自然语言处理(NLP)领域的基础方法与实战应用,涵盖文本预处理(分词、去停用词)、词性标注、命名实体识别、关键词提取、情感分析,以及常用 NLP 库(NLTK、spaCy)的核心用法。通过真实文本案例,帮助学习者掌握 使用 Python 进行文本分析与语言数据处理的完整流程,适用于内容分析、舆情监测与智能文本应用场景。

6

2026.01.27

热门下载

更多
网站特效
/
网站源码
/
网站素材
/
前端模板

精品课程

更多
相关推荐
/
热门推荐
/
最新课程
WEB前端教程【HTML5+CSS3+JS】
WEB前端教程【HTML5+CSS3+JS】

共101课时 | 8.5万人学习

JS进阶与BootStrap学习
JS进阶与BootStrap学习

共39课时 | 3.2万人学习

关于我们 免责申明 举报中心 意见反馈 讲师合作 广告合作 最新更新
php中文网:公益在线php培训,帮助PHP学习者快速成长!
关注服务号 技术交流群
PHP中文网订阅号
每天精选资源文章推送

Copyright 2014-2026 https://www.php.cn/ All Rights Reserved | php.cn | 湘ICP备2023035733号