使用Pandas高效整合多文件数据：IP、MAC与端口关联教程-Python教程-PHP中文网

使用pandas高效整合多文件数据：ip、mac与端口关联教程

本教程详细演示了如何利用Python的Pandas库高效地从多个文本文件中提取、关联并整合特定数据。通过将文件数据加载为DataFrame，并使用merge操作进行基于IP地址和MAC地址的内连接，最终实现从不同来源的文件中精确匹配并输出IP、MAC地址及对应端口的关联信息。

场景描述与挑战

在日常的数据处理任务中，我们经常会遇到需要从多个分散的文本文件中提取信息，并根据某些共同的标识符将它们关联起来的场景。例如，你可能有一个包含IP地址列表的文件，一个记录IP地址与MAC地址映射关系的文件，以及一个包含MAC地址与交换机端口对应关系的文件。我们的目标是，给定一个IP地址列表，找出每个IP对应的MAC地址，进而找到该MAC地址所连接的交换机端口，并最终输出IP、MAC地址和端口的对应关系。

手动通过文件迭代和字符串匹配来完成这项任务不仅效率低下，而且代码复杂、易出错。当文件规模增大时，这种方法几乎不可行。幸运的是，Python的Pandas库提供了强大的数据结构（DataFrame）和数据操作工具，可以极大地简化此类任务。

Pandas解决方案概览

Pandas库的核心是DataFrame，它是一个二维的、表格型的数据结构，类似于电子表格或SQL数据库中的表。Pandas提供了丰富的函数来读取各种数据源、进行数据清洗、转换、合并以及分析。对于多文件数据关联问题，我们可以将每个文件加载为DataFrame，然后使用merge方法像SQL的JOIN操作一样将它们连接起来。

数据准备：从文件加载到DataFrame

首先，我们需要将提供的三个文本文件（file1.txt, file2.txt, file3.txt）加载到Pandas DataFrame中。pd.read_csv是加载文本文件的主要函数，通过调整其参数可以适应各种文件格式。

假设我们的文件内容如下：

file1.txt

1.1.1.1
1.1.1.2
1.1.1.3
1.1.1.6
1.1.1.11

登录后复制

file2.txt

Protocol  Address   Age (min)  Addr            Type   Interface
Internet  1.1.1.1         5    6026.aa11.1111  A      Ethernet1/49
Internet  1.1.1.2         -    0006.f2d2.2d2f  A      Vlan1
Internet  1.1.1.3         -    6026.aa33.3333  A      Vlan1
Internet  1.1.1.4         0    Incomplete      A
Internet  1.1.1.5         0    Incomplete      A
Internet  1.1.1.6         64   fa16.6edb.6666  A      Vlan1
Internet  1.1.1.11        23   fa16.7e7d.7777  A      Vlan1

登录后复制

file3.txt

SpeakingPass-打造你的专属雅思口语语料

使用chatGPT帮你快速备考雅思口语，提升分数

查看详情

Unicast Entries
 vlan     mac address     type        protocols               port
---------+---------------+--------+---------------------+-------------------------
 1        6026.aa11.1111   static  ip,ipx,assigned,other Switch
 1        0006.f2d2.2d2f   dynamic ip,ipx,assigned,other Ethernet1/24
 1        6026.aa33.3333   dynamic ip,ipx,assigned,other Ethernet1/12
 1        fa16.6edb.6666   dynamic ip,ipx,assigned,other Ethernet1/8
 1        fa16.7e7d.7777   dynamic ip,ipx,assigned,other Ethernet1/10

登录后复制

现在，我们来加载这些文件：

import pandas as pd
import io # 用于模拟文件读取，实际应用中直接使用文件名

# 模拟文件内容，实际应用中会直接使用 pd.read_csv('file_name.txt', ...)
file1_content = """1.1.1.1
1.1.1.2
1.1.1.3
1.1.1.6
1.1.1.11"""

file2_content = """Protocol  Address   Age (min)  Addr            Type   Interface
Internet  1.1.1.1         5    6026.aa11.1111  A      Ethernet1/49
Internet  1.1.1.2         -    0006.f2d2.2d2f  A      Vlan1
Internet  1.1.1.3         -    6026.aa33.3333  A      Vlan1
Internet  1.1.1.4         0    Incomplete      A
Internet  1.1.1.5         0    Incomplete      A
Internet  1.1.1.6         64   fa16.6edb.6666  A      Vlan1
Internet  1.1.1.11        23   fa16.7e7d.7777  A      Vlan1"""

file3_content = """Unicast Entries
 vlan     mac address     type        protocols               port
---------+---------------+--------+---------------------+-------------------------
 1        6026.aa11.1111   static  ip,ipx,assigned,other Switch
 1        0006.f2d2.2d2f   dynamic ip,ipx,assigned,other Ethernet1/24
 1        6026.aa33.3333   dynamic ip,ipx,assigned,other Ethernet1/12
 1        fa16.6edb.6666   dynamic ip,ipx,assigned,other Ethernet1/8
 1        fa16.7e7d.7777   dynamic ip,ipx,assigned,other Ethernet1/10"""

# 1. 加载 file1.txt: 只有一列IP地址，无表头
df1 = pd.read_csv(io.StringIO(file1_content), header=None, names=['ipv4'])
print("df1:")
print(df1.head())
print("-" * 30)

# 2. 加载 file2.txt: 多列，以空格分隔，有表头
# 使用 sep=r'\s+' 匹配一个或多个空格作为分隔符，engine='python' 支持正则表达式分隔符
df2 = pd.read_csv(io.StringIO(file2_content), sep=r'\s+', engine='python')
print("df2:")
print(df2.head())
print("-" * 30)

# 3. 加载 file3.txt: 多列，以空格分隔，有表头，但第二行是分隔线需要跳过
# skiprows=[1] 跳过索引为1的行（即第二行）
df3 = pd.read_csv(io.StringIO(file3_content), sep=r'\s+', engine='python', skiprows=[1])
print("df3:")
print(df3.head())
print("-" * 30)

登录后复制

说明：

io.StringIO() 用于将字符串内容模拟成文件对象，方便演示。实际应用中，直接将io.StringIO(...)替换为文件路径，如'file1.txt'。
header=None：表示文件没有表头，Pandas会默认生成数字列名。
names=['ipv4']：为没有表头的文件指定列名。
sep=r'\s+'：使用正则表达式匹配一个或多个空格作为分隔符，适用于列之间有不规则空格的情况。
engine='python'：当sep参数使用正则表达式时，需要指定engine='python'。
skiprows=[1]：跳过文件的第二行（索引为1的行），因为它是分隔符。

核心操作：DataFrame合并（Merge）

现在我们有了三个DataFrame，接下来就是将它们关联起来。Pandas的merge方法类似于SQL中的JOIN操作，可以根据一个或多个键（列）将两个DataFrame连接起来。

我们将执行两次inner合并：

第一次合并： 将df1（IP列表）与df2（IP-MAC映射）合并，以df1的ipv4列和df2的Address列作为连接键。这将筛选出file1中存在的IP，并获取它们在file2中对应的MAC地址（Addr列）。
第二次合并： 将第一次合并的结果与df3（MAC-端口映射）合并，以第一次合并结果的Addr列和df3的mac address列作为连接键。这将获取对应的端口信息。

# 第一次合并：df1 (ipv4) 与 df2 (Address)
# left_on='ipv4' 指明 df1 的连接键是 'ipv4' 列
# right_on='Address' 指明 df2 的连接键是 'Address' 列
# how='inner' 表示只保留两个DataFrame中都存在的匹配项
merged_df_ip_mac = df1.merge(df2, how="inner", left_on="ipv4", right_on="Address")
print("第一次合并结果 (IP-MAC):")
print(merged_df_ip_mac.head())
print("-" * 30)

# 第二次合并：第一次合并的结果 (Addr) 与 df3 (mac address)
# left_on='Addr' 指明 merged_df_ip_mac 的连接键是 'Addr' 列
# right_on='mac address' 指明 df3 的连接键是 'mac address' 列
final_merged_df = merged_df_ip_mac.merge(df3, how="inner", left_on="Addr", right_on="mac address")
print("最终合并结果 (IP-MAC-Port):")
print(final_merged_df.head())
print("-" * 30)

登录后复制

结果提取与展示

经过两次合并，final_merged_df包含了所有我们需要的关联信息。现在，我们只需要选择ipv4、Addr（MAC地址）和port这三列，并按照指定格式打印出来。

# 提取所需列
result_df = final_merged_df[["ipv4", "Addr", "port"]]

# 打印最终结果
print("最终输出:")
for index, row in result_df.iterrows():
    # .strip() 用于去除可能存在的额外空格
    print(f"ip {row['ipv4']} addr {row['Addr'].strip()} port {row['port'].strip()}")

登录后复制

预期输出：

ip 1.1.1.1 addr 6026.aa11.1111 port Switch
ip 1.1.1.2 addr 0006.f2d2.2d2f port Ethernet1/24
ip 1.1.1.3 addr 6026.aa33.3333 port Ethernet1/12
ip 1.1.1.6 addr fa16.6edb.6666 port Ethernet1/8
ip 1.1.1.11 addr fa16.7e7d.7777 port Ethernet1/10

登录后复制

完整代码示例

import pandas as pd
import io

# 模拟文件内容，实际应用中直接使用文件名
file1_content = """1.1.1.1
1.1.1.2
1.1.1.3
1.1.1.6
1.1.1.11"""

file2_content = """Protocol  Address   Age (min)  Addr            Type   Interface
Internet  1.1.1.1         5    6026.aa11.1111  A      Ethernet1/49
Internet  1.1.1.2         -    0006.f2d2.2d2f  A      Vlan1
Internet  1.1.1.3         -    6026.aa33.3333  A      Vlan1
Internet  1.1.1.4         0    Incomplete      A
Internet  1.1.1.5         0    Incomplete      A
Internet  1.1.1.6         64   fa16.6edb.6666  A      Vlan1
Internet  1.1.1.11        23   fa16.7e7d.7777  A      Vlan1"""

file3_content = """Unicast Entries
 vlan     mac address     type        protocols               port
---------+---------------+--------+---------------------+-------------------------
 1        6026.aa11.1111   static  ip,ipx,assigned,other Switch
 1        0006.f2d2.2d2f   dynamic ip,ipx,assigned,other Ethernet1/24
 1        6026.aa33.3333   dynamic ip,ipx,assigned,other Ethernet1/12
 1        fa16.6edb.6666   dynamic ip,ipx,assigned,other Ethernet1/8
 1        fa16.7e7d.7777   dynamic ip,ipx,assigned,other Ethernet1/10"""

# 1. 加载数据到DataFrame
df1 = pd.read_csv(io.StringIO(file1_content), header=None, names=['ipv4'])
df2 = pd.read_csv(io.StringIO(file2_content), sep=r'\s+', engine='python')
df3 = pd.read_csv(io.StringIO(file3_content), sep=r'\s+', engine='python', skiprows=[1])

# 2. 执行DataFrame合并操作
# 第一次合并：根据IP地址关联 df1 和 df2
merged_df_ip_mac = df1.merge(df2, how="inner", left_on="ipv4", right_on="Address")

# 第二次合并：根据MAC地址关联第一次合并结果和 df3
final_merged_df = merged_df_ip_mac.merge(df3, how="inner", left_on="Addr", right_on="mac address")

# 3. 提取所需列并格式化输出
result_df = final_merged_df[["ipv4", "Addr", "port"]]

print("最终输出:")
for index, row in result_df.iterrows():
    # 使用 .strip() 清除可能存在的列值前后的空白字符
    print(f"ip {row['ipv4']} addr {row['Addr'].strip()} port {row['port'].strip()}")

登录后复制

注意事项与最佳实践

文件格式多样性： 实际文件可能比示例更复杂。pd.read_csv提供了大量参数（如delimiter, quotechar, skipinitialspace, na_values等），可以灵活处理各种CSV、TSV或其他分隔符文件。
合并类型选择 (how参数)：
- inner (默认)：只保留两个DataFrame中都存在的匹配项。
- left：保留左DataFrame的所有行，并匹配右DataFrame的行；如果右DataFrame没有匹配项，则填充NaN。
- right：保留右DataFrame的所有行，并匹配左DataFrame的行；如果左DataFrame没有匹配项，则填充NaN。
- outer：保留两个DataFrame的所有行，如果某侧没有匹配项，则填充NaN。根据你的业务需求选择合适的合并类型。
性能考量： Pandas的底层是C语言实现的，因此其操作（尤其是merge）在大数据集上比纯Python循环要快得多。对于TB级别的数据，Pandas可能不再是最佳选择，可以考虑Dask或PySpark等分布式计算框架。
数据清洗： 在合并之前，确保用于连接的列数据类型一致，且没有前导/尾随空格或不一致的大小写。例如，可以使用.str.strip()去除字符串列的空格，使用.str.lower()进行大小写统一。
列名冲突： 如果两个DataFrame中有相同的列名但不是用于合并的键，Pandas会在合并后自动添加_x和_y后缀来区分它们。可以使用suffixes参数自定义这些后缀。