在数据处理流程中，从复杂的xml结构中提取特定信息是常见的需求。pyspark提供了强大的xpath函数，允许用户利用xpath表达式高效地解析xml数据。然而，一个常见的误区是，在尝试提取xml元素的文本内容时，如果xpath表达式不完整，可能会导致结果中出现意外的空值数组。本文将深入探讨这一问题，并提供一套专业的解决方案。
假设我们有一个CSV文件，其中包含一个名为"Data"的列，该列存储了一个嵌套的XML字符串，结构如下：
<?xml version="1.0" encoding="utf-8"?>
<Root>
<Customers>
<Customer CustomerID="1">
<Name>John Doe</Name>
<Address>
<Street>123 Main St</Street>
<City>Anytown</City>
<State>CA</State>
<Zip>12345</Zip>
</Address>
<PhoneNo>123-456-7890</PhoneNo>
</Customer>
<Customer CustomerID="2">
<Name>Jane Smith</Name>
<Address>
<Street>456 Oak St</Street>
<City>Somecity</City>
<State>NY</State>
<Zip>67890</Zip>
</Address>
<PhoneNo>987-654-3210</PhoneNo>
</Customer>
<Customer CustomerID="3">
<Name>Bob Johnson</Name>
<Address>
<Street>789 Pine St</Street>
<City>Othercity</City>
<State>TX</State>
<Zip>11223</Zip>
</Address>
<PhoneNo>456-789-0123</PhoneNo>
</Customer>
</Customers>
<Orders>
<Order>
<CustomerID>1</CustomerID>
<EmpID>100</empID>
<OrderDate>2022-01-01</OrderDate>
<Cost>100.50</cost>
</Order>
<Order>
<CustomerID>2</CustomerID>
<EmpID>101</empID>
<OrderDate>2022-01-02</OrderDate>
<Cost>200.75</cost>
</Order>
</Orders>
</Root>我们的目标是从这个XML字符串中提取CustomerID、Name和PhoneNo等信息。最初的尝试可能采用以下PySpark代码：
from pyspark.sql import SparkSession
from pyspark.sql.functions import *
# 初始化SparkSession
spark = SparkSession.builder.appName("ETL").getOrCreate()
# 假设source.csv中只有一列"Data"，包含上述XML字符串
# 为了示例，我们创建一个DataFrame
data = [("""<?xml version="1.0" encoding="utf-8"?>
<Root>
<Customers>
<Customer CustomerID="1">
<Name>John Doe</Name>
<Address>
<Street>123 Main St</Street>
<City>Anytown</City>
<State>CA</State>
<Zip>12345</Zip>
</Address>
<PhoneNo>123-456-7890</PhoneNo>
</Customer>
<Customer CustomerID="2">
<Name>Jane Smith</Name>
<Address>
<Street>456 Oak St</Street>
<City>Somecity</City>
<State>NY</State>
<Zip>67890</Zip>
</Address>
<PhoneNo>987-654-3210</PhoneNo>
</Customer>
<Customer CustomerID="3">
<Name>Bob Johnson</Name>
<Address>
<Street>789 Pine St</Street>
<City>Othercity</City>
<State>TX</State>
<Zip>11223</Zip>
</Address>
<PhoneNo>456-789-0123</PhoneNo>
</Customer>
</Customers>
<Orders>
<Order>
<CustomerID>1</CustomerID>
<EmpID>100</empID>
<OrderDate>2022-01-01</OrderDate>
<Cost>100.50</cost>
</Order>
<Order>
<CustomerID>2</CustomerID>
<EmpID>101</empID>
<OrderDate>2022-01-02</OrderDate>
<Cost>200.75</cost>
</Order>
</Orders>
</Root>""",)]
df_Customers_Orders = spark.createDataFrame(data, ["Data"])
# 原始问题中CSV文件读取及XML字符串清理步骤（如果XML字符串被引号包裹或有转义）
# df_Customers_Orders = spark.read.option("header", "true").csv("source.csv")
# df_Customers_Orders = df_Customers_Orders.withColumn("Data", expr("substring(Data, 2, length(Data)-2)"))
# df_Customers_Orders = df_Customers_Orders.withColumn("Data", regexp_replace("Data", '""', '"'))
df_Customers_Orders.show(truncate=False)
# 尝试使用xpath函数提取数据
df_sample_CustomersOrders1 = df_Customers_Orders.selectExpr(
"xpath(Data,'/Root/Customers/Customer/@CustomerID') as CustomerID",
"xpath(Data,'/Root/Customers/Customer/Name') as ContactName",
"xpath(Data,'/Root/Customers/Customer/PhoneNo') as PhoneNo",
)
df_sample_CustomersOrders1.show(truncate=False)
# 预期输出示例 (注意：这里是原始问题中的错误输出)
# +----------------------------+------------------------+------------------------+
# |CustomerID |ContactName |PhoneNo |
# +----------------------------+------------------------+------------------------+
# |[1, 2, 3] |[null, null, null, null]|[null, null, null, null]|
# +----------------------------+------------------------+------------------------+运行上述代码后，我们会发现CustomerID列能够正确提取到属性值，但ContactName和PhoneNo两列却返回了包含null值的数组。这是因为XPath表达式在提取属性和元素文本内容时有不同的语法规则。
XPath是一种用于在XML文档中导航和选择节点的语言。它区分了节点的类型，例如元素节点、属性节点和文本节点。
提取属性值：要提取元素的属性值，我们使用@符号，后跟属性名称。例如，/Root/Customers/Customer/@CustomerID会选择所有Customer元素的CustomerID属性的值。PySpark的xpath函数能够正确处理这种表达式。
提取元素文本内容：当XPath表达式指向一个元素节点（如/Root/Customers/Customer/Name）时，它默认选择的是该元素本身，而不是其内部的文本内容。要明确指定提取元素的文本内容，我们需要在元素路径后添加/text()指令。例如，Name元素的文本内容是"John Doe"，要提取它，正确的XPath表达式应该是/Root/Customers/Customer/Name/text()。
根据上述原理，解决ContactName和PhoneNo列出现空值的问题，只需在对应的XPath表达式中添加/text()指令即可。
# 修正后的PySpark代码
df_sample_CustomersOrders_corrected = df_Customers_Orders.selectExpr(
"xpath(Data,'/Root/Customers/Customer/@CustomerID') as CustomerID",
"xpath(Data,'/Root/Customers/Customer/Name/text()') as ContactName", # 添加 /text()
"xpath(Data,'/Root/Customers/Customer/PhoneNo/text()') as PhoneNo", # 添加 /text()
)
df_sample_CustomersOrders_corrected.show(truncate=False)
# 写入CSV文件
df_sample_CustomersOrders_corrected.write.format("csv").option("header", "true").mode(
"overwrite"
).save("path.csv")
# 停止SparkSession
spark.stop()运行修正后的代码，我们将得到正确的输出：
+----------+----------------------------+----------------------------+ |CustomerID|ContactName |PhoneNo | +----------+----------------------------+----------------------------+ |[1, 2, 3] |[John Doe, Jane Smith, Bob Johnson]|[123-456-7890, 987-654-3210, 456-789-0123]| +----------+----------------------------+----------------------------+
在PySpark中使用xpath函数从XML字符串中提取数据时，理解XPath表达式中提取属性和元素文本内容的细微差别至关重要。通过在提取元素文本内容时明确使用/text()指令，我们可以避免获取空值数组的问题，确保数据提取的准确性和完整性。掌握这一关键技巧，将大大提升在PySpark中处理XML数据的效率和可靠性。
以上就是PySpark中XPath提取XML数据指南：解决文本节点为空的问题的详细内容，更多请关注php中文网其它相关文章！
每个人都需要一台速度更快、更稳定的 PC。随着时间的推移，垃圾文件、旧注册表数据和不必要的后台进程会占用资源并降低性能。幸运的是，许多工具可以让 Windows 保持平稳运行。
广告
收藏
收藏
收藏
Copyright 2014-2025 https://www.php.cn/ All Rights Reserved | php.cn | 湘ICP备2023035733号
985
