
在数据处理的场景中,我们经常需要从不同的数据源中整合信息。本教程将解决一个典型问题:给定一个包含结构化设备信息的json文件,其中包含设备的名称和多个关联url;同时,我们还有一个纯文本文件,其中散布着一些设备名称。我们的目标是读取这两个文件,找出文本文件中提到的设备名称在json中对应的条目,并从中提取特定的url信息(例如设备本身的url和其终止点a的url)。
例如,我们有以下JSON数据 (test.json):
{
"results": [
{
"url": "https://api.server.com/cables/100/",
"termination_a": {
"url": "https://api.server.com/interfaces/250/",
"device": {
"url": "https://api.server.com/devices/10/",
"display": "device-number1-2023-08 myname (1718)",
"name": "device-number1-2023-08 myname1"
}
}
},
{
"url": "https://api.server.com/cables/200/",
"termination_a": {
"url": "https://api.server.com/interfaces/160/",
"device": {
"url": "https://api.server.com/devices/22/",
"display": "device-number3-2023-08 myname (2245)",
"name": "device-number3-2023-08 myname3"
}
}
},
{
"url": "https://api.server.com/cables/300/",
"termination_a": {
"url": "https://api.server.com/interfaces/260/",
"device": {
"url": "https://api.server.com/devices/73/",
"display": "device-number8-2023-08 myname (3678)",
"name": "device-number8-2023-08 myname8"
}
}
}
]
}以及以下文本数据 (test.txt):
this is device-number1-2023-08 myname1 and it is good. this is device-number3-2023-08 myname3 and it is not good. this is device-number8-2023-08 myname8 and it is.
我们的目标是,当文本文件中的设备名称(例如 "device-number1-2023-08 myname1")与JSON中 results 列表里每个元素的 termination_a.device.name 字段匹配时,打印出该匹配项的 url 和 termination_a.url。
为了实现上述目标,我们将采用以下步骤:
立即学习“Python免费学习笔记(深入)”;
我们将使用 json 库来处理JSON数据,以及 re 库来处理正则表达式。
import json import re
首先,我们需要打开并读取 test.json 和 test.txt 文件。
# 加载 JSON 文件
with open("test.json", "r") as json_file:
json_data = json.load(json_file)
# 加载文本文件
with open("test.txt", "r") as text_file:
text_data = text_file.read()这是解决问题的关键一步。文本文件中的设备名称格式为 device-numberX-YYYY-MM mynameX。我们可以设计一个正则表达式来捕获这种模式。
Easily find JSON paths within JSON objects using our intuitive Json Path Finder
30
正则表达式 r"(device-\w+-\d+-\d+ \w+)" 的解释:
# 使用正则表达式从文本中提取所有设备名称
# r"(device-\w+-\d+-\d+ \w+)" 匹配 "device-numberX-YYYY-MM mynameX" 格式的字符串
txt_device_names = re.findall(r"(device-\w+-\d+-\d+ \w+)", text_data)
print("从文本文件中提取的设备名称:", txt_device_names)
# 预期输出: ['device-number1-2023-08 myname1', 'device-number3-2023-08 myname3', 'device-number8-2023-08 myname8']为了提高查找效率,尤其是当 txt_device_names 列表非常大时,可以将其转换为一个 set。集合的查找操作(in)通常比列表快得多,因为它的平均时间复杂度是 O(1)。
txt_device_names_set = set(txt_device_names)
现在,我们遍历JSON数据中的 results 列表。对于每个结果项 r,我们获取其 termination_a.device.name,并检查它是否存在于我们从文本文件中提取的设备名称集合中。如果存在,就打印出 r["url"] 和 r["termination_a"]["url"]。
print("\n匹配到的设备及其URL信息:")
for r in json_data["results"]:
json_device_name = r["termination_a"]["device"]["name"]
if json_device_name in txt_device_names_set:
print(f"匹配设备名称: {json_device_name}")
print(f" 主URL: {r['url']}")
print(f" 终止点A的URL: {r['termination_a']['url']}")
# 如果需要,还可以打印设备自身的URL
# print(f" 设备自身的URL: {r['termination_a']['device']['url']}")将以上所有代码片段组合起来,形成一个完整的Python脚本:
import json
import re
# 1. 加载文件数据
try:
with open("test.json", "r", encoding='utf-8') as json_file:
json_data = json.load(json_file)
except FileNotFoundError:
print("错误: test.json 文件未找到。请确保文件存在于脚本同级目录。")
exit()
except json.JSONDecodeError:
print("错误: test.json 文件内容不是有效的JSON格式。")
exit()
try:
with open("test.txt", "r", encoding='utf-8') as text_file:
text_data = text_file.read()
except FileNotFoundError:
print("错误: test.txt 文件未找到。请确保文件存在于脚本同级目录。")
exit()
# 2. 使用正则表达式从文本中提取设备名称
# 定义正则表达式模式来匹配设备名称
# 例如 "device-number1-2023-08 myname1"
device_name_pattern = r"(device-\w+-\d+-\d+ \w+)"
txt_device_names = re.findall(device_name_pattern, text_data)
# 将提取的名称转换为集合,以便更快的查找
txt_device_names_set = set(txt_device_names)
print("从文本文件中提取的设备名称:", txt_device_names)
# 3. 遍历JSON数据,匹配并提取信息
print("\n匹配到的设备及其URL信息:")
found_matches = False
for r in json_data["results"]:
# 获取JSON中设备的名称
json_device_name = r["termination_a"]["device"]["name"]
# 检查JSON中的设备名称是否在文本文件中提取的名称集合中
if json_device_name in txt_device_names_set:
found_matches = True
print(f"--------------------------------------------------")
print(f"匹配到的JSON设备名称: {json_device_name}")
print(f" 主URL: {r['url']}")
print(f" 终止点A的URL: {r['termination_a']['url']}")
# 也可以打印设备自身的URL,如果需要
# print(f" 设备自身的URL: {r['termination_a']['device']['url']}")
if not found_matches:
print("未找到任何匹配的设备。请检查设备名称是否完全一致。")
假设 test.json 和 test.txt 文件内容如本文档开头所示,运行上述代码将得到如下输出:
从文本文件中提取的设备名称: ['device-number1-2023-08 myname1', 'device-number3-2023-08 myname3', 'device-number8-2023-08 myname8'] 匹配到的设备及其URL信息: -------------------------------------------------- 匹配到的JSON设备名称: device-number1-2023-08 myname1 主URL: https://api.server.com/cables/100/ 终止点A的URL: https://api.server.com/interfaces/250/ -------------------------------------------------- 匹配到的JSON设备名称: device-number3-2023-08 myname3 主URL: https://api.server.com/cables/200/ 终止点A的URL: https://api.server.com/interfaces/160/ -------------------------------------------------- 匹配到的JSON设备名称: device-number8-2023-08 myname8 主URL: https://api.server.com/cables/300/ 终止点A的URL: https://api.server.com/interfaces/260/
本教程详细阐述了如何使用Python高效地从JSON文件中提取与文本文件内容匹配的关联信息。通过结合 json 库进行数据解析和 re 库进行正则表达式匹配,我们能够灵活且精确地处理不同来源的数据。这种模式在日志分析、配置管理、数据同步等多种场景中都具有广泛的应用价值。掌握这种数据处理技巧,将大大提升您在Python编程中的数据处理能力。
以上就是Python:高效匹配文本与JSON数据并提取关联信息的详细内容,更多请关注php中文网其它相关文章!
每个人都需要一台速度更快、更稳定的 PC。随着时间的推移,垃圾文件、旧注册表数据和不必要的后台进程会占用资源并降低性能。幸运的是,许多工具可以让 Windows 保持平稳运行。
Copyright 2014-2025 https://www.php.cn/ All Rights Reserved | php.cn | 湘ICP备2023035733号