Python教程：高效匹配JSON与文本数据并提取关联信息-Python教程-PHP中文网

Python教程：高效匹配JSON与文本数据并提取关联信息

本教程详细介绍了如何使用Python从非结构化文本文件（如TXT）中提取特定模式的数据（如设备名称），并将其与结构化JSON文件中的数据进行匹配。通过结合json模块和re模块的正则表达式功能，文章演示了如何高效地查找匹配项，并从JSON结构中提取相应的关联URL信息，为跨文件数据整合提供了实用的解决方案。

引言

在日常数据处理中，我们经常会遇到需要从不同格式的数据源中关联信息的需求。例如，从日志文件或报告文本中识别特定标识符，然后利用这些标识符去结构化数据（如json、xml或数据库）中查找并提取更详细的信息。本教程将以一个具体场景为例，演示如何使用python有效地从一个包含设备名称的文本文件中提取这些名称，并与一个复杂的json结构进行匹配，最终提取出与匹配设备相关的url信息。

数据源概览

我们假设拥有两个数据文件：一个JSON文件（test.json）和一个文本文件（test.txt）。

test.json 文件结构示例:

这个JSON文件包含一个results列表，每个元素代表一个设备或连接，其中嵌套了termination_a和device等信息，关键是我们关注device下的name字段和顶层的url以及termination_a下的url。

{
    "results": [
        {
            "url": "https://api.server.com/cables/100/",
            "termination_a": {
                "url": "https://api.server.com/interfaces/250/",
                "device": {
                    "url": "https://api.server.com/devices/10/",
                    "display": "device-number1-2023-08 myname (1718)",
                    "name": "device-number1-2023-08 myname"
                }
            }
        },
        {
            "url": "https://api.server.com/cables/200/",
            "termination_a": {
                "url": "https://api.server.com/interfaces/160/",
                "device": {
                    "url": "https://api.server.com/devices/22/",
                    "display": "device-number3-2023-08 myname (2245)",
                    "name": "device-number1-2023-08 myname1"
                }
            }
        },
        {
            "url": "https://api.server.com/cables/300/",
            "termination_a": {
                "url": "https://api.server.com/interfaces/260/",
                "device": {
                    "url": "https://api.server.com/devices/73/",
                    "display": "device-number8-2023-08 myname (3678)",
                    "name": "device-number8-2023-08 myname"
                }
            }
        }
    ]
}

登录后复制

test.txt 文件内容示例:

立即学习“Python免费学习笔记（深入）”；

这个文本文件包含一些描述性的句子，其中嵌入了我们感兴趣的设备名称。

this is device-number1-2023-08 myname1 and it is good.
this is device-number3-2023-08 myname3 and it is not good.
this is device-number8-2023-08 myname8 and it is.

登录后复制

我们的目标是：从test.txt中识别出设备名称，然后用这些名称去test.json中查找匹配的条目，并打印出该条目对应的url和termination_a.url。

核心实现：提取文本数据

从非结构化文本中提取特定模式的数据，正则表达式（Regular Expressions）是极其强大的工具。Python内置的re模块提供了完整的正则表达式支持。

步骤:

读取文本文件： 使用open()函数以读取模式打开test.txt文件。
定义正则表达式： 根据设备名称的模式（例如device-number1-2023-08 myname1），我们可以构造一个正则表达式来捕获它。观察示例，设备名称通常以device-开头，后跟字母数字组合、日期和另一个单词。一个合适的模式是 (device-\w+-\d+-\d+ \w+)。
- device-: 匹配字面字符串 "device-"。
- \w+: 匹配一个或多个字母、数字或下划线。
- \d+: 匹配一个或多个数字。
- ` `: 匹配一个空格。
- 括号()：用于捕获匹配到的整个设备名称。
使用 re.findall() 提取： re.findall() 函数会在整个字符串中查找所有非重叠的匹配项，并以列表形式返回所有捕获的组（如果定义了捕获组）。

代码示例：

Find JSON Path Online

Easily find JSON paths within JSON objects using our intuitive Json Path Finder

查看详情

import re

# 假设 test.txt 已经存在
with open("test.txt", "r") as text_file:
    text_data = text_file.read()

# 使用正则表达式提取设备名称
# 模式：device-任意字符-数字-数字 空格 任意字符
txt_device_names = re.findall(r"(device-\w+-\d+-\d+ \w+)", text_data)
print("从文本文件提取的设备名称:", txt_device_names)

登录后复制

运行上述代码，txt_device_names 将会是 ['device-number1-2023-08 myname1', 'device-number3-2023-08 myname3', 'device-number8-2023-08 myname8']。

核心实现：匹配JSON并提取信息

一旦我们从文本文件中获得了设备名称列表，接下来就是加载JSON数据，并遍历其中的每个条目，查找匹配的设备名称，然后提取所需信息。

步骤:

加载JSON文件： 使用json模块的json.load()函数解析test.json文件内容。
遍历JSON数据： JSON数据加载后通常是一个Python字典或列表。根据我们的JSON结构，我们需要遍历json_data['results']列表。
访问嵌套字段： 在每个result字典中，设备名称位于['termination_a']['device']['name']路径下。
执行匹配： 检查当前JSON条目的设备名称是否在之前从文本文件中提取的txt_device_names列表中。Python的in操作符可以高效地完成此任务。
提取并打印信息： 如果找到匹配项，则提取并打印当前条目的url和termination_a.url。

代码示例：

import json

# 假设 test.json 已经存在
with open("test.json", "r") as json_file:
    json_data = json.load(json_file)

# （此处省略了从 test.txt 提取名称的代码，假设 txt_device_names 已准备好）
# txt_device_names = ['device-number1-2023-08 myname1', 'device-number3-2023-08 myname3', 'device-number8-2023-08 myname8']

print("\n开始匹配JSON数据并提取URL:")
for r in json_data["results"]:
    # 尝试获取设备名称，使用 .get() 方法可以避免 Key Error
    device_name_in_json = r.get("termination_a", {}).get("device", {}).get("name")

    if device_name_in_json and device_name_in_json in txt_device_names:
        print(f"\n匹配到的设备名称: {device_name_in_json}")
        print(f"\t顶层URL: {r.get('url')}")
        print(f"\ttermination_a URL: {r.get('termination_a', {}).get('url')}")
        print(f"\ttermination_a device URL: {r.get('termination_a', {}).get('device', {}).get('url')}")

登录后复制

完整示例代码

将上述两个核心部分结合起来，形成一个完整的Python脚本：

import json
import re

# 1. 读取并解析 JSON 文件
try:
    with open("test.json", "r", encoding="utf-8") as json_file:
        json_data = json.load(json_file)
except FileNotFoundError:
    print("错误: test.json 文件未找到。请确保文件存在。")
    exit()
except json.JSONDecodeError:
    print("错误: test.json 文件内容格式不正确。")
    exit()

# 2. 读取文本文件并提取设备名称
try:
    with open("test.txt", "r", encoding="utf-8") as text_file:
        text_data = text_file.read()
except FileNotFoundError:
    print("错误: test.txt 文件未找到。请确保文件存在。")
    exit()

# 使用正则表达式提取设备名称
# 模式：device-任意字符-数字-数字 空格 任意字符
txt_device_names = re.findall(r"(device-\w+-\d+-\d+ \w+)", text_data)
print("从文本文件提取的设备名称:", txt_device_names)

# 3. 遍历 JSON 数据，查找匹配项并提取信息
print("\n开始匹配JSON数据并提取URL:")
if not json_data.get("results"):
    print("JSON文件中没有 'results' 键或其为空。")
else:
    found_matches = False
    for r in json_data["results"]:
        # 安全地访问嵌套字典，防止KeyError
        device_info = r.get("termination_a", {}).get("device", {})
        device_name_in_json = device_info.get("name")

        if device_name_in_json and device_name_in_json in txt_device_names:
            found_matches = True
            print(f"\n匹配到的设备名称: {device_name_in_json}")
            print(f"\t顶层URL: {r.get('url', 'N/A')}")
            print(f"\ttermination_a URL: {r.get('termination_a', {}).get('url', 'N/A')}")
            print(f"\ttermination_a device URL: {device_info.get('url', 'N/A')}")

    if not found_matches:
        print("未在JSON中找到与文本文件匹配的设备名称。")

登录后复制

运行与输出

使用上述提供的 test.json 和 test.txt 文件，运行完整的Python脚本，将得到以下输出：

从文本文件提取的设备名称: ['device-number1-2023-08 myname1', 'device-number3-2023-08 myname3', 'device-number8-2023-08 myname8']

开始匹配JSON数据并提取URL:

匹配到的设备名称: device-number1-2023-08 myname1
    顶层URL: https://api.server.com/cables/200/
    termination_a URL: https://api.server.com/interfaces/160/
    termination_a device URL: https://api.server.com/devices/22/

登录后复制

说明: 尽管文本文件中包含device-number3-2023-08 myname3和device-number8-2023-08 myname8，但根据我们提供的test.json示例，只有device-number1-2023-08 myname1在JSON中找到了完全匹配的name字段（位于第二个results条目中），因此只输出了这一条匹配结果。

注意事项与优化

正则表达式的健壮性：
- 本教程使用的正则表达式 (device-\w+-\d+-\d+ \w+) 是基于当前示例数据构建的。如果设备名称的格式在实际应用中可能发生变化（例如，日期格式不同、名称中包含特殊字符、单词数量不固定等），则需要相应地调整正则表达式以确保其能够准确捕获所有目标模式。
- 可以通过在线正则表达式测试工具（如Regex101）进行测试和调试。
错误处理：
- 代码中已添加了try-except块来处理FileNotFoundError（文件不存在）和json.JSONDecodeError（JSON格式错误），这对于生产环境中的脚本至关重要。
- 对于JSON结构中可能缺失的键，我们使用了dict.get(key, default_value)方法。这比直接使用dict[key]更安全，可以避免在键不存在时引发KeyError，并提供一个默认值（如N/A或空字典{}）。
性能考量：
- 对于小型文件，当前的方法效率足够。
- 如果JSON文件非常大，或者需要进行大量匹配操作，可以考虑将JSON中的设备名称预处理成一个哈希表（如Python字典或集合set），以实现O(1)的平均查找时间，而不是每次都在列表中进行O(N)的查找。
- 例如，可以创建一个字典，以device_name为键，以包含其所有相关URL信息的列表为值。
编码问题： 在打开文件时，明确指定encoding='utf-8'是一个好习惯，可以避免因默认编码不匹配而导致的UnicodeDecodeError。