PHP数组去重如何避免内存溢出-PHP问题-PHP中文网

PHP数组去重如何避免内存溢出

betcha

发布： 2025-01-21 15:48:40

原创

1007人浏览过

PHP数组去重可能导致内存溢出，尤其对于超大数组。解决方法是分块处理：将大数组分割成小块，逐个去重，然后合并结果。这避免了在内存中创建新的数组，从而显著降低内存消耗。

PHP数组去重如何避免内存溢出

PHP数组去重：内存溢出？不存在的！

你担心PHP数组去重导致内存溢出？这问题问得妙啊！很多新手（甚至一些老手）都会掉进这个坑。直接用array_unique()？ Naive！对于超大型数组，这招简直是灾难。咱们今天就来聊聊如何优雅地解决这个问题，让你的PHP代码在处理巨量数据时依然游刃有余。

先说说为什么array_unique()容易导致内存溢出

array_unique() 简单粗暴，它会在内存中创建一个新的数组来存储去重后的结果。想象一下，如果你的数组有几百万甚至上千万个元素，这新数组得占用多少内存？内存不够？ BOOM！溢出了！

那怎么办？咱们得换个思路。

立即学习“PHP免费学习笔记（深入）”；

核心思想：分块处理，逐个击破。我们不试图一次性处理整个巨型数组，而是将其分割成若干个小块，分别进行去重，再将结果合并。这就好比吃大象，一口一口来，总能吃完。

代码来了，这可是我的独家秘方：

<?php

function uniqueLargeArray(array $arr, int $chunkSize = 10000): array
{
    $uniqueArr = [];
    $count = count($arr);

    for ($i = 0; $i < $count; $i += $chunkSize) {
        $chunk = array_slice($arr, $i, $chunkSize);
        $uniqueChunk = array_unique($chunk); // 对小块数组进行去重，内存压力小得多
        $uniqueArr = array_merge($uniqueArr, $uniqueChunk); // 合并结果
    }

    //  为了保证最终结果的键名连续，我们可以重新索引
    return array_values($uniqueArr);
}


// 测试一下，生成一个包含100万个随机数字的大数组
$largeArray = array_map(fn() => rand(1, 100000), range(1, 1000000));

// 使用我们的函数进行去重
$uniqueArray = uniqueLargeArray($largeArray);

//  验证结果，你可以根据需要修改验证方式
echo "Original array size: " . count($largeArray) . PHP_EOL;
echo "Unique array size: " . count($uniqueArray) . PHP_EOL;

?>

登录后复制

代码详解：

这段代码的核心在于uniqueLargeArray函数。它接收原始数组和块大小作为参数。 array_slice函数负责将数组分割成小块，array_unique对小块进行去重，array_merge负责合并结果。最后，array_values 确保最终数组的键名从0开始连续。块大小$chunkSize可以根据你的实际内存情况调整，数值越大，处理速度越快，但内存消耗也越大。找到一个平衡点很重要。

进阶技巧：