在现代web开发中，从外部api获取数据并进行处理是常见的任务。然而，api返回的数据往往包含一些无效或不必要的值，例如“n/a”、“-”或空字符串。为了确保数据质量和后续处理的准确性，我们需要对这些数据进行清洗。本教程将指导您如何使用php的curl库获取json数据，并实现一个通用的递归函数来高效地清理这些数据。
1. 使用cURL获取JSON数据
PHP的cURL扩展是进行HTTP请求的强大工具。通过它，我们可以轻松地向指定的URL发送GET请求并获取响应内容。
首先，我们需要初始化cURL会话，设置请求URL，并配置相关选项。
代码解析：
- curl_init($url): 初始化一个新的cURL会话，并指定请求的URL。
- curl_setopt($ch, CURLOPT_RETURNTRANSFER, true): 这一步至关重要，它确保curl_exec()函数返回API响应的字符串内容，而不是直接将其输出到浏览器或命令行。
- curl_setopt($ch, CURLOPT_HEADER, 0): 告诉cURL不要在输出中包含HTTP响应头。
- curl_exec($ch): 执行cURL请求。如果请求失败，它将返回false。
- curl_close($ch): 关闭cURL会话并释放资源。
- json_decode($data, true): 将获取到的JSON格式字符串转换为PHP的关联数组。如果$data不是有效的JSON，此函数将返回null。
2. 定义数据清洗规则
我们的目标是清理JSON对象中包含特定“无效”值的键值对。具体规则如下：
立即学习“PHP免费学习笔记（深入）”；
- 移除所有值为 N/A、- 或空字符串 '' 的键值对。
- 如果这些无效值出现在数组中，则只移除数组中的该单个元素。
由于JSON数据可能包含嵌套的对象或数组，我们需要一个能够深入遍历数据结构的解决方案。
3. 实现递归清洗函数
为了处理嵌套的数据结构，最有效的方法是使用递归函数。该函数将检查当前元素是否为数组，如果是，则递归调用自身处理其子元素；如果不是，则根据清洗规则进行判断和移除。
$val) {
// 检查当前值是否为需要移除的无效值
if ($val === 'N/A' || $val === '-' || $val === '') {
unset($data[$key]); // 移除该键值对
}
// 如果当前值是数组，则递归调用自身进行清洗
else if (is_array($val)) {
$data[$key] = clean_obj($val);
// 递归清洗后，如果子数组变为空，也可能需要移除该键
// 根据具体需求决定是否添加此逻辑
// if (empty($data[$key])) {
// unset($data[$key]);
// }
}
}
}
return $data; // 返回清洗后的数据
}
// ... (cURL获取数据的代码，如上一节所示) ...
// 假设 $newData 已经通过 json_decode($data, true) 获得
// $newData = json_decode($data, true);
// 调用清洗函数
$cleaned_array = clean_obj($newData);
// 输出清洗后的结果
echo "清洗后的数据：\n";
echo "" . print_r($cleaned_array, 1) . "";
?>代码解析：
- clean_obj($data): 函数接收一个数组作为参数。
- if (is_array($data)): 确保我们只对数组进行迭代操作。
- foreach ($data as $key => $val): 遍历数组中的每个键值对。
- if ($val === 'N/A' || $val === '-' || $val === ''): 严格比较当前值是否为预设的无效值。使用===可以避免类型转换问题。
- unset($data[$key]): 如果值匹配，则从数组中移除该键值对。
- else if (is_array($val)): 如果当前值本身是一个数组（即嵌套结构），则递归调用clean_obj($val)来处理这个子数组，并将返回的清洗结果重新赋值给$data[$key]。
4. 整合与完整代码示例
将获取数据和清洗逻辑结合起来，形成一个完整的脚本：
$val) {
// 检查当前值是否为需要移除的无效值
// 使用 === 进行严格比较
if ($val === 'N/A' || $val === '-' || $val === '') {
unset($data[$key]); // 移除该键值对
}
// 如果当前值是数组，则递归调用自身进行清洗
else if (is_array($val)) {
$data[$key] = clean_obj($val);
// 可选：如果递归清洗后子数组变为空，也移除该键
// if (empty($data[$key])) {
// unset($data[$key]);
// }
}
}
}
return $data; // 返回清洗后的数据
}
// 目标API的URL
$url = 'https://coderbyte.com/api/challenges/json/json-cleaning';
// 初始化cURL会话
$ch = curl_init($url);
// 设置cURL选项
curl_setopt($ch, CURLOPT_RETURNTRANSFER, true);
curl_setopt($ch, CURLOPT_HEADER, 0);
// 执行cURL请求
$data = curl_exec($ch);
// 关闭cURL会话
curl_close($ch);
// 检查cURL请求是否成功
if ($data === false) {
echo "cURL请求失败: " . curl_error($ch) . "\n";
exit;
}
// 将JSON字符串解码为PHP关联数组
$newData = json_decode($data, true);
// 检查JSON解码是否成功
if (json_last_error() !== JSON_ERROR_NONE) {
echo "JSON解码失败: " . json_last_error_msg() . "\n";
exit;
}
// 调用清洗函数处理数据
$cleaned_array = clean_obj($newData);
// 输出清洗后的结果
// print_r($cleaned_array, 1) 会返回一个字符串，便于echo输出
echo "" . print_r($cleaned_array, 1) . "";
?>5. 注意事项与最佳实践
- 错误处理： 在实际应用中，务必添加对cURL请求失败和JSON解码失败的错误处理。例如，检查curl_exec()的返回值和json_last_error()。
- 性能优化： 对于非常庞大的JSON数据，递归函数可能会消耗较多内存和CPU。可以考虑使用迭代方式或其他优化策略，但对于大多数常见场景，递归是简洁有效的。
- 灵活性： 如果清洗规则需要动态调整，可以将无效值列表作为参数传递给clean_obj函数，使其更具通用性。
- JSON输出： 如果最终需要将清洗后的数据作为JSON字符串输出，可以使用json_encode($cleaned_array)。
- 严格比较： 在判断值是否相等时，使用===（严格比较）而不是==（宽松比较）可以避免因PHP的类型转换导致的意外行为。例如，0 == '' 为 true，但 0 === '' 为 false。
总结
本教程展示了如何结合PHP的cURL库和递归函数，高效地从外部API获取并清洗JSON数据。通过定义清晰的清洗规则和实现一个健壮的递归函数，我们可以确保数据在后续处理前达到所需的质量标准。这种方法不仅适用于本例中的特定清洗规则，也为处理更复杂的数据结构和清洗逻辑提供了可扩展的基础。
