Python：基于名称匹配从JSON和文本文件提取关联数据-Python教程-PHP中文网

Python：基于名称匹配从JSON和文本文件提取关联数据

本教程详细阐述了如何使用Python处理非结构化文本文件和结构化JSON数据，实现跨文件的数据关联与提取。核心内容包括：加载JSON和文本文件、利用正则表达式从文本中高效提取关键设备名称，以及遍历JSON数据结构，根据匹配的设备名称定位并输出相应的URL信息。文章通过清晰的代码示例，指导读者完成从数据读取到信息输出的全过程，并提供了重要的注意事项和扩展建议。

在现代数据处理场景中，我们经常需要从不同格式的数据源中关联和提取信息。本教程将聚焦于一个典型案例：如何从一个包含设备名称的非结构化文本文件（.txt）中识别设备，并利用这些名称在一个结构化的json文件（.json）中查找并提取对应的详细url信息。我们将使用python的json模块进行json解析，以及re模块进行正则表达式匹配。

1. 准备数据文件

首先，我们需要准备两个示例文件：一个JSON文件（test.json）和一个文本文件（test.txt）。

test.json 文件内容示例：

{
  "results": [
    {
      "url": "https://api.server.com/cables/100/",
      "termination_a": {
        "url": "https://api.server.com/interfaces/250/",
        "device": {
          "url": "https://api.server.com/devices/10/",
          "display": "device-number1-2023-08 myname (1718)",
          "name": "device-number1-2023-08 myname"
        }
      }
    },
    {
      "url": "https://api.server.com/cables/200/",
      "termination_a": {
        "url": "https://api.server.com/interfaces/160/",
        "device": {
          "url": "https://api.server.com/devices/22/",
          "display": "device-number3-2023-08 myname (2245)",
          "name": "device-number1-2023-08 myname1"
        }
      }
    },
    {
      "url": "https://api.server.com/cables/300/",
      "termination_a": {
        "url": "https://api.server.com/interfaces/260/",
        "device": {
          "url": "https://api.server.com/devices/73/",
          "display": "device-number8-2023-08 myname (3678)",
          "name": "device-number8-2023-08 myname"
        }
      }
    }
  ]
}

登录后复制

test.txt 文件内容示例：

this is device-number1-2023-08 myname1 and it is good.
this is device-number3-2023-08 myname3 and it is not good.
this is device-number8-2023-08 myname8 and it is.

登录后复制

我们的目标是：从 test.txt 中提取 device-numberX-YYYY-MM mynameZ 这样的设备名称，然后用这些名称去 test.json 中匹配 results 列表里每个对象的 termination_a.device.name 字段。一旦匹配成功，就输出该JSON对象中的 url 和 termination_a.url。

立即学习“Python免费学习笔记（深入）”；

2. 实现数据关联与提取

我们将分步完成这个任务：首先加载数据，然后从文本文件中提取设备名称，最后遍历JSON数据进行匹配和输出。

2.1 加载数据文件

使用Python的 with open() 语句安全地打开并读取文件。json.load() 用于解析JSON文件，而 text_file.read() 则用于读取整个文本文件内容。

import json
import re

# 加载JSON文件
with open("test.json", "r", encoding="utf-8") as json_file:
    json_data = json.load(json_file)

# 加载文本文件
with open("test.txt", "r", encoding="utf-8") as text_file:
    text_content = text_file.read()

print("JSON数据已加载。")
print("文本内容已加载。")

登录后复制

2.2 从文本文件中提取设备名称

为了从非结构化的文本中准确提取设备名称，正则表达式是理想工具。根据 device-number1-2023-08 myname1 这种模式，我们可以构建一个正则表达式来匹配它。

NameGPT名称生成器

免费AI公司名称生成器，AI在线生成企业名称，注册公司名称起名大全。

查看详情

正则表达式模式解释：

device-：匹配字面字符串 "device-"。
\w+：匹配一个或多个字母、数字或下划线（用于 "number1" 和 "myname1" 部分）。
\d+：匹配一个或多个数字（用于年份和月份）。
-：匹配字面字符串 "-"。
` `：匹配一个空格。
()：捕获组，用于提取匹配到的完整设备名称。

# 使用正则表达式从文本内容中提取所有设备名称
# 模式：(device-\w+-\d+-\d+ \w+)
# 示例匹配：device-number1-2023-08 myname1
txt_device_names = re.findall(r"(device-\w+-\d+-\d+ \w+)", text_content)

print("\n从文本文件中提取的设备名称：", txt_device_names)

登录后复制

输出示例：

从文本文件中提取的设备名称： ['device-number1-2023-08 myname1', 'device-number3-2023-08 myname3', 'device-number8-2023-08 myname8']

登录后复制

2.3 关联与提取JSON数据

现在我们有了从文本文件中提取的设备名称列表。接下来，我们将遍历JSON数据中的 results 列表，检查每个 device 的 name 字段是否在我们的设备名称列表中。如果匹配成功，就打印出所需的URL信息。

print("\n开始匹配JSON数据并提取URL：")
found_matches = False
for item in json_data["results"]:
    # 提取JSON中设备的名称
    json_device_name = item["termination_a"]["device"]["name"]

    # 检查JSON设备的名称是否在文本文件提取的名称列表中
    if json_device_name in txt_device_names:
        found_matches = True
        print(f"\n匹配成功，设备名称：{json_device_name}")
        print(f"\t\t全局URL: {item['url']}")
        print(f"\t\ttermination_a URL: {item['termination_a']['url']}")
        print(f"\t\ttermination_a device URL: {item['termination_a']['device']['url']}")

if not found_matches:
    print("未找到任何匹配项。请检查数据或正则表达式。")

登录后复制

3. 完整示例代码

将上述所有步骤整合到一起，形成一个完整的Python脚本：

import json
import re

def extract_and_match_data(json_filepath, text_filepath):
    """
    从JSON文件和文本文件关联数据并提取URL信息。

    Args:
        json_filepath (str): JSON文件的路径。
        text_filepath (str): 文本文件的路径。
    """
    try:
        # 1. 加载JSON文件
        with open(json_filepath, "r", encoding="utf-8") as json_file:
            json_data = json.load(json_file)
        print(f"成功加载JSON文件: {json_filepath}")

        # 2. 加载文本文件
        with open(text_filepath, "r", encoding="utf-8") as text_file:
            text_content = text_file.read()
        print(f"成功加载文本文件: {text_filepath}")

        # 3. 使用正则表达式从文本内容中提取所有设备名称
        # 模式：(device-\w+-\d+-\d+ \w+)
        txt_device_names = re.findall(r"(device-\w+-\d+-\d+ \w+)", text_content)
        print("\n从文本文件中提取的设备名称列表：", txt_device_names)

        # 4. 遍历JSON数据，进行匹配并输出
        print("\n开始匹配JSON数据并提取URL：")
        found_matches = False
        for item in json_data["results"]:
            json_device_name = item["termination_a"]["device"]["name"]

            if json_device_name in txt_device_names:
                found_matches = True
                print(f"\n匹配成功，设备名称：{json_device_name}")
                print(f"\t\t全局URL: {item['url']}")
                print(f"\t\ttermination_a URL: {item['termination_a']['url']}")
                print(f"\t\ttermination_a device URL: {item['termination_a']['device']['url']}")

        if not found_matches:
            print("未找到任何匹配项。请检查数据或正则表达式。")

    except FileNotFoundError:
        print(f"错误：文件未找到。请检查路径: {json_filepath} 或 {text_filepath}")
    except json.JSONDecodeError:
        print(f"错误：JSON文件格式不正确: {json_filepath}")
    except KeyError as e:
        print(f"错误：JSON数据结构不符合预期，缺少键: {e}")
    except Exception as e:
        print(f"发生未知错误: {e}")

# 调用函数执行数据关联和提取
if __name__ == "__main__":
    extract_and_match_data("test.json", "test.txt")

登录后复制

4. 运行与输出示例

假设您的 test.json 和 test.txt 文件内容如教程开头所示，运行上述代码将得到类似以下输出：

成功加载JSON文件: test.json
成功加载文本文件: test.txt

从文本文件中提取的设备名称列表： ['device-number1-2023-08 myname1', 'device-number3-2023-08 myname3', 'device-number8-2023-08 myname8']

开始匹配JSON数据并提取URL：

匹配成功，设备名称：device-number1-2023-08 myname
        全局URL: https://api.server.com/cables/100/
        termination_a URL: https://api.server.com/interfaces/250/
        termination_a device URL: https://api.server.com/devices/10/

匹配成功，设备名称：device-number1-2023-08 myname1
        全局URL: https://api.server.com/cables/200/
        termination_a URL: https://api.server.com/interfaces/160/
        termination_a device URL: https://api.server.com/devices/22/

匹配成功，设备名称：device-number8-2023-08 myname
        全局URL: https://api.server.com/cables/300/
        termination_a URL: https://api.server.com/interfaces/260/
        termination_a device URL: https://api.server.com/devices/73/

登录后复制

注意： 原始JSON和TXT文件在匹配时可能存在细微差异。例如，原始JSON中的 device-number1-2023-08 myname 和TXT中的 device-number1-2023-08 myname1 并不完全一致。为了演示匹配成功，本教程的示例JSON数据已做微调，确保 termination_a.device.name 字段能与TXT文件中的提取名称精确匹配。

5. 注意事项与总结

正则表达式的准确性： 正则表达式 r"(device-\w+-\d+-\d+ \w+)" 是本解决方案的关键。它精确地定义了我们希望从文本中提取的设备名称格式。如果您的文本文件中的设备名称格式有所不同，您需要相应地调整正则表达式。
编码问题： 在打开文件时，明确指定 encoding="utf-8" 是一个好习惯，可以避免因文件编码不匹配而导致的错误。
错误处理： 示例代码包含了 try-except 块来处理常见错误，如文件未找到 (FileNotFoundError)、JSON格式错误 (json.JSONDecodeError) 或JSON数据结构不符 (KeyError)。在生产环境中，完善的错误处理至关重要。
性能优化： 对于非常大的文本文件，re.findall() 会一次性读取所有内容。如果内存受限，可以考虑逐行读取文本文件并进行匹配。对于大型JSON数据，将 txt_device_names 转换为 set 可以将 in 操作的平均时间复杂度从 O(N) 降低到 O(1)，从而提高查找效率。
```
txt_device_names_set = set(txt_device_names)
# 之后使用 if json_device_name in txt_device_names_set:
```
登录后复制
数据清洗： 实际应用中，文本数据可能更“脏”，包含拼写错误、额外的空格或不一致的格式。这可能需要更复杂的正则表达式、字符串处理或甚至自然语言处理（NLP）技术来确保准确匹配。