在日常的数据分析和网络管理工作中，我们经常需要从多个分散的数据源中提取和关联信息。例如，我们可能有以下三类文件：
1.1.1.1 1.1.1.2 1.1.1.3 1.1.1.6 1.1.1.11
Protocol Address Age (min) Addr Type Interface Internet 1.1.1.1 5 6026.aa11.1111 A Ethernet1/49 Internet 1.1.1.2 - 0006.f2d2.2d2f A Vlan1 Internet 1.1.1.3 - 6026.aa33.3333 A Vlan1 Internet 1.1.1.4 0 Incomplete A Internet 1.1.1.5 0 Incomplete A Internet 1.1.1.6 64 fa16.6edb.6666 A Vlan1 Internet 1.1.1.11 23 fa16.7e7d.7777 A Vlan1
Unicast Entries vlan mac address type protocols port ---------+---------------+--------+---------------------+------------------------- 1 6026.aa11.1111 static ip,ipx,assigned,other Switch 1 0006.f2d2.2d2f dynamic ip,ipx,assigned,other Ethernet1/24 1 6026.aa33.3333 dynamic ip,ipx,assigned,other Ethernet1/12 1 fa16.6edb.6666 dynamic ip,ipx,assigned,other Ethernet1/8 1 fa16.7e7d.7777 dynamic ip,ipx,assigned,other Ethernet1/10
我们的目标是：对于 file1.txt 中的每一个 IP 地址，首先在 file2.txt 中找到对应的 MAC 地址（Addr 列），然后根据这个 MAC 地址在 file3.txt 中找到对应的端口（port 列），最终输出 IP、MAC 和端口的组合信息。
Pandas 是 Python 中一个强大的数据分析库，尤其擅长处理表格型数据。它提供了 DataFrame 结构，非常适合表示和操作我们的文件数据。首先，我们需要导入 Pandas 库，并将上述三个文件的数据加载到独立的 DataFrames 中。
为了演示方便，我们将直接创建 DataFrames。在实际应用中，您可以使用 pd.read_csv() 或 pd.read_fwf() 等函数从实际文件中加载数据，并根据文件格式指定分隔符、列名等参数。
import pandas as pd
import io
# 模拟 file1.txt 数据
data_file1 = """
1.1.1.1
1.1.1.2
1.1.1.3
1.1.1.6
1.1.1.11
"""
df1 = pd.read_csv(io.StringIO(data_file1), header=None, names=['ipv4'])
# 模拟 file2.txt 数据
data_file2 = """
Protocol Address Age (min) Addr Type Interface
Internet 1.1.1.1 5 6026.aa11.1111 A Ethernet1/49
Internet 1.1.1.2 - 0006.f2d2.2d2f A Vlan1
Internet 1.1.1.3 - 6026.aa33.3333 A Vlan1
Internet 1.1.1.4 0 Incomplete A
Internet 1.1.1.5 0 Incomplete A
Internet 1.1.1.6 64 fa16.6edb.6666 A Vlan1
Internet 1.1.1.11 23 fa16.7e7d.7777 A Vlan1
"""
# 注意：这里使用 read_fwf 处理固定宽度格式，或者根据实际分隔符使用 read_csv
# 为简化，直接手动构建 DataFrame，与原始答案保持一致
df2 = pd.DataFrame({
"Protocol":{ "0":"Internet", "1":"Internet", "2":"Internet", "3":"Internet", "4":"Internet", "5":"Internet", "6":"Internet" },
"Address":{ "0":"1.1.1.1", "1":"1.1.1.2", "2":"1.1.1.3", "3":"1.1.1.4", "4":"1.1.1.5", "5":"1.1.1.6", "6":"1.1.1.11" },
"Age (min)":{ "0":"5", "1":"-", "2":"-", "3":"0", "4":"0", "5":"64", "6":"23" },
"Addr":{ "0":"6026.aa11.1111", "1":"0006.f2d2.2d2f", "2":"6026.aa33.3333", "3":"Incomplete", "4":"Incomplete", "5":"fa16.6edb.6666", "6":"fa16.7e7d.7777" },
"Type":{ "0":"A", "1":"A", "2":"A", "3":"A", "4":"A", "5":"A", "6":"A" },
"Interface":{ "0":"Ethernet1/49", "1":"Vlan1", "2":"Vlan1", "3":None, "4":None, "5":"Vlan1", "6":"Vlan1" }
})
# 模拟 file3.txt 数据
data_file3 = """
vlan mac address type protocols port
1 6026.aa11.1111 static ip,ipx,assigned,other Switch
1 0006.f2d2.2d2f dynamic ip,ipx,assigned,other Ethernet1/24
1 6026.aa33.3333 dynamic ip,ipx,assigned,other Ethernet1/12
1 fa16.6edb.6666 dynamic ip,ipx,assigned,other Ethernet1/8
1 fa16.7e7d.7777 dynamic ip,ipx,assigned,other Ethernet1/10
"""
# 为简化，直接手动构建 DataFrame，与原始答案保持一致
df3 = pd.DataFrame({
"vlan":{"0":1,"1":1,"2":1,"3":1,"4":1},
"mac address":{"0":"6026.aa11.1111","1":"0006.f2d2.2d2f","2":"6026.aa33.3333","3":"fa16.6edb.6666","4":"fa16.7e7d.7777"},
"type":{"0":"static","1":"dynamic","2":"dynamic","3":"dynamic","4":"dynamic"},
"protocols":{"0":"ip,ipx,assigned,other","1":"ip,ipx,assigned,other","2":"ip,ipx,assigned,other","3":"ip,ipx,assigned,other","4":"ip,ipx,assigned,other"},
"port":{"0":"Switch","1":" Ethernet1/24","2":" Ethernet1/12","3":" Ethernet1/8","4":" Ethernet1/10"}})
print("df1:\n", df1)
print("\ndf2:\n", df2)
print("\ndf3:\n", df3)Pandas 的 merge 函数是实现多表关联的核心工具，类似于 SQL 中的 JOIN 操作。我们将分两步进行合并：
立即学习“Python免费学习笔记（深入）”；
第一次合并：关联 df1 和 df2
第二次合并：关联第一次合并的结果与 df3
# 第一次合并：将 df1 (IP列表) 与 df2 (IP-MAC映射) 合并
# 以 df1 的 'ipv4' 列和 df2 的 'Address' 列为键进行内连接
merged_ip_mac = df1.merge(df2, how="inner", left_on="ipv4", right_on="Address")
# 第二次合并：将上一步结果与 df3 (MAC-端口映射) 合并
# 以 merged_ip_mac 的 'Addr' 列和 df3 的 'mac address' 列为键进行内连接
final_df = merged_ip_mac.merge(df3, how="inner", left_on="Addr", right_on="mac address")
print("\n最终合并结果 (部分列):\n", final_df)完成合并后，final_df 包含了所有三个文件中的相关信息。现在，我们只需要选择并展示我们关心的列：IP 地址 (ipv4)、MAC 地址 (Addr) 和端口 (port)。
# 提取所需的列并打印
output_df = final_df[["ipv4", "Addr", "port"]]
# 格式化输出
for index, row in output_df.iterrows():
print(f"ip {row['ipv4']} addr {row['Addr']} port {row['port'].strip()}")预期输出：
ip 1.1.1.1 addr 6026.aa11.1111 port Switch ip 1.1.1.2 addr 0006.f2d2.2d2f port Ethernet1/24 ip 1.1.1.3 addr 6026.aa33.3333 port Ethernet1/12 ip 1.1.1.6 addr fa16.6edb.6666 port Ethernet1/8 ip 1.1.1.11 addr fa16.7e7d.7777 port Ethernet1/10
# df1 = pd.read_csv('file1.txt', header=None, names=['ipv4'])
# df2 = pd.read_csv('file2.txt', sep='\s+', engine='python') # 对于不规则空格分隔
# df3 = pd.read_csv('file3.txt', sep='\s+', skiprows=1, engine='python') # 可能需要跳过标题下划线对于像 file2.txt 和 file3.txt 这种列之间由不规则空格分隔的文本，sep='\s+' 和 engine='python' 组合通常能很好地工作。skiprows 参数可以用来跳过不包含数据的行（如 file3.txt 中的 Unicast Entries 和 --------- 行）。
通过本教程，我们学习了如何利用 Python Pandas 库的 DataFrame 和 merge 功能，将分散在多个文件中的数据进行高效地关联和整合。这种方法不仅代码简洁，而且在处理大量数据时表现出卓越的性能，是进行复杂数据分析和报告生成的强大工具。掌握 Pandas 的数据加载、清洗和合并技巧，将极大地提升您的数据处理效率。
以上就是Python Pandas 多文件数据关联与提取教程的详细内容，更多请关注php中文网其它相关文章！
每个人都需要一台速度更快、更稳定的 PC。随着时间的推移，垃圾文件、旧注册表数据和不必要的后台进程会占用资源并降低性能。幸运的是，许多工具可以让 Windows 保持平稳运行。
Copyright 2014-2025 https://www.php.cn/ All Rights Reserved | php.cn | 湘ICP备2023035733号
571
收藏
