• PHP


    【译】更快的方式实现PHP数组去重

    Jan 11, 2016 • Hector

    原文:Faster Alternative to PHP’s Array Unique Function

    概述

    使用PHP的array_unique()函数允许你传递一个数组,然后移除重复的值,返回一个拥有唯一值的数组。这个函数大多数情况下都能工作得很好。但是,如果你尝试在一个大的数组里使用array_unique()函数,它会运行地慢一些。

    有一个比较好而且更快的函数array_flip()来替代使用array_unique()函数来创建唯一的数组。这个魔法般的函数会交换数组里面每一个元素的键和值,因为键值必须唯一,因此,你会得到跟array_unique()函数一样的结果。

    更快的方式实现PHP数组去重

    /* 创建一个包含重复值的,一共四个元素的数组 */
    $array = array('green','blue','orange','blue');
    
    /* 翻转数组,你将会得到唯一键值的数组
            array('green'=>0,'blue'=>1,'orange'=>2); */
    $array = array_flip($array);
    
    /* 然后再翻转一次,将键和值重新放置,然后得到数组:array(0=>'green',1=>'blue',2=>'orange'); */
    $array = array_flip($array);
    

    因为我们已经移除了一些元素,因此数组看起来不是正常的序列。比如我们可能会得到:array(0=>’A’,2=>’B’,5=>’C’);。在某些情况下,这不是一个问题,但是如果你需要数组的键值保持数字的序列,你可以使用一到两种方法解决键值乱序的问题。

    使用array_merge修复数组的keys

    添加array_flip之后的函数,将会对数组的键值排序并且让它们恢复到正常的序列,如:0,1,2,3…

    $array = array('green','blue','orange','blue');
    $array = array_flip($array);
    $array = array_flip($array);
    
    /* 使用array_merge()函数修复键值*/
    $array = array_merge($array);
    

    第二种方式,使用array_keys

    注意,这种修复数组键值的方法比使用array_merge()函数稍微快了一点。你也可以在最后一步结合使用array_keys()函数(此函数返回翻转后的值)。然后当你翻转数组的值,键值就会根据顺序创建。

    $array = array('green','blue','orange','blue');
    $array = array_flip($array);
    /* 跟第一个例子一样,但是现在我们先提取数组的键值 */
    $array = array_keys($array);
    

    结论

    非常简单,比起在大数组使用array_unique函数,有了一个有效的性能提升。

    ------------------------------

    其中源码分析:

    【性能为王】从PHP源码剖析array_keys和array_unique

    之前在[译]更快的方式实现PHP数组去重这 篇文章里讨论了使用array_flip后再调用array_keys函数替换直接调用array_unique函数实现数组去重性能较好。由于原文没有 给出源码分析和测试的结果,导致给读者造成迷惑,在此说声抱歉。为了解开读者的疑惑,笔者承诺了会补上源码的分析,于是花了一些时间去研究PHP的源码, 现在此补上详细的说明。我在github有对PHP源码更详细的注解。感兴趣的可以围观一下,给个star。PHP5.4源码注解。可以通过commit记录查看已添加的注解。

    性能分析 

    从运行性能上分析,看看下面的测试代码:

    复制代码
    $test=array();
    for($run=0; $run<10000; $run++)
    $test[]=rand(0,100);
    
    $time=microtime(true);
    
    $out = array_unique($test);
    
    $time=microtime(true)-$time;
    echo 'Array Unique: '.$time."
    ";
    
    $time=microtime(true);
    
    $out=array_keys(array_flip($test));
    
    $time=microtime(true)-$time;
    echo 'Keys Flip: '.$time."
    ";
    
    $time=microtime(true);
    
    $out=array_flip(array_flip($test));
    
    $time=microtime(true)-$time;
    echo 'Flip Flip: '.$time."
    ";
    复制代码

    运行结果如下:

    从上图可以看到,使用array_unique函数需要0.069s;使用array_flip后再使用array_keys函数需要0.00152s;使用两次array_flip函数需要0.00146s。

    测试结果表明,使用array_flip后再调用array_keys函数比array_unique函数快。那么,具体原因是什么呢?让我们看看在PHP底层,这两个函数是怎么实现的。

    源码分析

    复制代码
     1 /* {{{ proto array array_keys(array input [, mixed search_value[, bool strict]])
     2    Return just the keys from the input array, optionally only for the specified search_value */
     3 PHP_FUNCTION(array_keys)
     4 {
     5     //变量定义
     6     zval *input,                /* Input array */
     7          *search_value = NULL,    /* Value to search for */
     8          **entry,                /* An entry in the input array */
     9            res,                    /* Result of comparison */
    10           *new_val;                /* New value */
    11     int    add_key;                /* Flag to indicate whether a key should be added */
    12     char  *string_key;            /* String key */
    13     uint   string_key_len;
    14     ulong  num_key;                /* Numeric key */
    15     zend_bool strict = 0;        /* do strict comparison */
    16     HashPosition pos;
    17     int (*is_equal_func)(zval *, zval *, zval * TSRMLS_DC) = is_equal_function;
    18 
    19     //程序解析参数
    20     if (zend_parse_parameters(ZEND_NUM_ARGS() TSRMLS_CC, "a|zb", &input, &search_value, &strict) == FAILURE) {
    21         return;
    22     }
    23 
    24     // 如果strict是true,则设置is_equal_func为is_identical_function,即全等比较
    25     if (strict) {
    26         is_equal_func = is_identical_function;
    27     }
    28 
    29     /* 根据search_vale初始化返回的数组大小 */
    30     if (search_value != NULL) {
    31         array_init(return_value);
    32     } else {
    33         array_init_size(return_value, zend_hash_num_elements(Z_ARRVAL_P(input)));
    34     }
    35     add_key = 1;
    36 
    37     /* 遍历输入的数组参数,然后添加键值到返回的数组 */
    38     zend_hash_internal_pointer_reset_ex(Z_ARRVAL_P(input), &pos);//重置指针
    39     //循环遍历数组
    40     while (zend_hash_get_current_data_ex(Z_ARRVAL_P(input), (void **)&entry, &pos) == SUCCESS) {
    41         // 如果search_value不为空
    42         if (search_value != NULL) {
    43             // 判断search_value与当前的值是否相同,并将比较结果保存到add_key变量
    44             is_equal_func(&res, search_value, *entry TSRMLS_CC);
    45             add_key = zval_is_true(&res);
    46         }
    47 
    48         if (add_key) {
    49             // 创建一个zval结构体
    50             MAKE_STD_ZVAL(new_val);
    51 
    52             // 根据键值是字符串还是整型数字将值插入到return_value中
    53             switch (zend_hash_get_current_key_ex(Z_ARRVAL_P(input), &string_key, &string_key_len, &num_key, 1, &pos)) {
    54                 case HASH_KEY_IS_STRING:
    55                     ZVAL_STRINGL(new_val, string_key, string_key_len - 1, 0);
    56                     // 此函数负责将值插入到return_value中,如果键值已存在,则使用新值更新对应的值,否则直接插入
    57                     zend_hash_next_index_insert(Z_ARRVAL_P(return_value), &new_val, sizeof(zval *), NULL);
    58                     break;
    59 
    60                 case HASH_KEY_IS_LONG:
    61                     Z_TYPE_P(new_val) = IS_LONG;
    62                     Z_LVAL_P(new_val) = num_key;
    63                     zend_hash_next_index_insert(Z_ARRVAL_P(return_value), &new_val, sizeof(zval *), NULL);
    64                     break;
    65             }
    66         }
    67 
    68         // 移动到下一个
    69         zend_hash_move_forward_ex(Z_ARRVAL_P(input), &pos);
    70     }
    71 }
    72 /* }}} */
    复制代码

    以上是array_keys函数底层的源码。为方便理解,笔者添加了一些中文注释。如果需要查看原始代码,可以点击查看。 这个函数的功能就是新建一个临时数组,然后将键值对重新复制到新的数组,如果复制过程中有重复的键值出现,那么就用新的值替换。这个函数的主要步骤是地 57和63行调用的zend_hash_next_index_insert函数。该函数将元素插入到数组中,如果出现重复的值,则使用新的值更新原键值 指向的值,否则直接插入,时间复杂度是O(n)。

    复制代码
     1 /* {{{ proto array array_flip(array input)
     2    Return array with key <-> value flipped */
     3 PHP_FUNCTION(array_flip)
     4 {
     5     // 定义变量
     6     zval *array, **entry, *data;
     7     char *string_key;
     8     uint str_key_len;
     9     ulong num_key;
    10     HashPosition pos;
    11 
    12     // 解析数组参数
    13     if (zend_parse_parameters(ZEND_NUM_ARGS() TSRMLS_CC, "a", &array) == FAILURE) {
    14         return;
    15     }
    16 
    17     // 初始化返回数组
    18     array_init_size(return_value, zend_hash_num_elements(Z_ARRVAL_P(array)));
    19 
    20     // 重置指针
    21     zend_hash_internal_pointer_reset_ex(Z_ARRVAL_P(array), &pos);
    22     // 遍历每个元素,并执行键<->值交换操作
    23     while (zend_hash_get_current_data_ex(Z_ARRVAL_P(array), (void **)&entry, &pos) == SUCCESS) {
    24         // 初始化一个结构体
    25         MAKE_STD_ZVAL(data);
    26         // 将原数组的值赋值为新数组的键
    27         switch (zend_hash_get_current_key_ex(Z_ARRVAL_P(array), &string_key, &str_key_len, &num_key, 1, &pos)) {
    28             case HASH_KEY_IS_STRING:
    29                 ZVAL_STRINGL(data, string_key, str_key_len - 1, 0);
    30                 break;
    31             case HASH_KEY_IS_LONG:
    32                 Z_TYPE_P(data) = IS_LONG;
    33                 Z_LVAL_P(data) = num_key;
    34                 break;
    35         }
    36 
    37         // 将原数组的键赋值为新数组的值,如果有重复的,则使用新值覆盖旧值
    38         if (Z_TYPE_PP(entry) == IS_LONG) {
    39             zend_hash_index_update(Z_ARRVAL_P(return_value), Z_LVAL_PP(entry), &data, sizeof(data), NULL);
    40         } else if (Z_TYPE_PP(entry) == IS_STRING) {
    41             zend_symtable_update(Z_ARRVAL_P(return_value), Z_STRVAL_PP(entry), Z_STRLEN_PP(entry) + 1, &data, sizeof(data), NULL);
    42         } else {
    43             zval_ptr_dtor(&data); /* will free also zval structure */
    44             php_error_docref(NULL TSRMLS_CC, E_WARNING, "Can only flip STRING and INTEGER values!");
    45         }
    46 
    47         // 下一个
    48         zend_hash_move_forward_ex(Z_ARRVAL_P(array), &pos);
    49     }
    50 }
    51 /* }}} */
    复制代码

    上面就是是array_flip函数的源码。点击链接查看原始代码。 这个函数主要的做的事情就是创建一个新的数组,遍历原数组。在26行开始将原数组的值赋值为新数组的键,然后在37行开始将原数组的键赋值为新数组的值, 如果有重复的,则使用新值覆盖旧值。整个函数的时间复杂度也是O(n)。因此,使用了array_flip之后再使用array_keys的时间复杂度是 O(n)。

    接下来,我们看看array_unique函数的源码。点击链接查看原始代码

    复制代码
     1 /* {{{ proto array array_unique(array input [, int sort_flags])
     2    Removes duplicate values from array */
     3 PHP_FUNCTION(array_unique)
     4 {
     5     // 定义变量
     6     zval *array, *tmp;
     7     Bucket *p;
     8     struct bucketindex {
     9         Bucket *b;
    10         unsigned int i;
    11     };
    12     struct bucketindex *arTmp, *cmpdata, *lastkept;
    13     unsigned int i;
    14     long sort_type = PHP_SORT_STRING;
    15 
    16     // 解析参数
    17     if (zend_parse_parameters(ZEND_NUM_ARGS() TSRMLS_CC, "a|l", &array, &sort_type) == FAILURE) {
    18         return;
    19     }
    20 
    21     // 设置比较函数
    22     php_set_compare_func(sort_type TSRMLS_CC);
    23 
    24     // 初始化返回数组
    25     array_init_size(return_value, zend_hash_num_elements(Z_ARRVAL_P(array)));
    26     // 将值拷贝到新数组
    27     zend_hash_copy(Z_ARRVAL_P(return_value), Z_ARRVAL_P(array), (copy_ctor_func_t) zval_add_ref, (void *)&tmp, sizeof(zval*));
    28 
    29     if (Z_ARRVAL_P(array)->nNumOfElements <= 1) {    /* 什么都不做 */
    30         return;
    31     }
    32 
    33     /* 根据target_hash buckets的指针创建数组并排序 */
    34     arTmp = (struct bucketindex *) pemalloc((Z_ARRVAL_P(array)->nNumOfElements + 1) * sizeof(struct bucketindex), Z_ARRVAL_P(array)->persistent);
    35     if (!arTmp) {
    36         zval_dtor(return_value);
    37         RETURN_FALSE;
    38     }
    39     for (i = 0, p = Z_ARRVAL_P(array)->pListHead; p; i++, p = p->pListNext) {
    40         arTmp[i].b = p;
    41         arTmp[i].i = i;
    42     }
    43     arTmp[i].b = NULL;
    44     // 排序
    45     zend_qsort((void *) arTmp, i, sizeof(struct bucketindex), php_array_data_compare TSRMLS_CC);
    46 
    47     /* 遍历排序好的数组,然后删除重复的元素 */
    48     lastkept = arTmp;
    49     for (cmpdata = arTmp + 1; cmpdata->b; cmpdata++) {
    50         if (php_array_data_compare(lastkept, cmpdata TSRMLS_CC)) {
    51             lastkept = cmpdata;
    52         } else {
    53             if (lastkept->i > cmpdata->i) {
    54                 p = lastkept->b;
    55                 lastkept = cmpdata;
    56             } else {
    57                 p = cmpdata->b;
    58             }
    59             if (p->nKeyLength == 0) {
    60                 zend_hash_index_del(Z_ARRVAL_P(return_value), p->h);
    61             } else {
    62                 if (Z_ARRVAL_P(return_value) == &EG(symbol_table)) {
    63                     zend_delete_global_variable(p->arKey, p->nKeyLength - 1 TSRMLS_CC);
    64                 } else {
    65                     zend_hash_quick_del(Z_ARRVAL_P(return_value), p->arKey, p->nKeyLength, p->h);
    66                 }
    67             }
    68         }
    69     }
    70     pefree(arTmp, Z_ARRVAL_P(array)->persistent);
    71 }
    72 /* }}} */
    复制代码

    可以看到,这个函数初始化一个新的数组,然后将值拷贝到新数组,然后在45行调用排序函数对数组进行排序,排序的算法是zend引擎的块树排序算 法。接着遍历排序好的数组,删除重复的元素。整个函数开销最大的地方就在调用排序函数上,而快排的时间复杂度是O(n*logn),因此,该函数的时间复 杂度是O(n*logn)。

    结论

    因为array_unique底层调用了快排算法,加大了函数运行的时间开销,导致整个函数的运行较慢。这就是为什么array_keys比array_unique函数更快的原因。

    原创文章,文笔有限,才疏学浅,文中若有不正之处,万望告知。

    如果本文对你有帮助,请点下推荐,写文章不容易。

    最后再安利一下,我在github有对PHP源码更详细的注解。感兴趣的可以围观一下,给个star。PHP5.4源码注解。可以通过commit记录查看已添加的注解。

    更多源码文章,欢迎访问个人主页继续查阅:hoohack

  • 相关阅读:
    java8泛型
    Java中各种引用(Reference)解析
    java8中字符串常量以及GC相应处理机制
    apache ignite系列(九):ignite调优
    CentOS7上OpenResty安装
    windows安装mingw和LuaJIT
    golang中Array与Slice
    apache ignite系列(九):使用ddl和dml脚本初始化ignite并使用mybatis查询缓存
    11-4 索引
    11-3 数据库的用户管理和pymysql模块的使用
  • 原文地址:https://www.cnblogs.com/KTblog/p/5701919.html
Copyright © 2020-2023  润新知