• hash算法


    什么是hash?

    wiki上的解释是这么说的:

    hash(散列、杂凑)函数,是将任意长度的数据映射有限长度的域上。直观解释起来,就是对一串数据m进行杂糅,输出另一段固定长度的数据h,作为这段数据的特征(指纹)。

    这句话也可以这么理解:HASH函数是这么一种函数,他接受一段数据作为输入,然后生成一串数据作为输出,从理论上说,设计良好的HASH函数,对于任何不同的输入数据,都应该以极高的概率生成不同的输出数据,因此可以作为“指纹”使用,来判断两个文件是否相同。

    (hash)哈希算法的本质是对原数据的有损压缩。

    有损压缩后的固定字长用来唯一标识原数据。

    如果不同的原数据在采用这种有损压缩算法后产生了相同的结果,我们将这种现象称为“哈希碰撞”。哈希碰撞的产生几率能够衡量一个哈希算法的好坏。

    哈希不是一种算法而是一类算法,你可以按照不同的需求编写适合的算法。从这个角度说来,输入完全不必要是数字、只要是数据,都可以做HASH,当然具体实现可能会有所不同。在计算机范畴中应用非常广泛,它最开始的用途是更快的查找。中文散列表很清楚地描述这种数据结构的样子,键值对分散地排列在一个表里面,而分散到哪一列上是根据它的键和适合的算法计算出来的值决定的,分散的方式最基本的原则就是避免冲突。
     
    Hash函数是指把一个大范围映射到一个小范围。把大范围映射到一个小范围的目的往往是为了节省空间。在考虑使用Hash函数之前,需要明白它的几个限制:

           (1)Hash的主要原理就是把大范围映射到小范围;所以,你输入的实际值的个数必须与小范围相当或者比它更小。不然冲突就会很多。
      (2) 由于Hash逼近单向函数;所以,你可以用它来对数据进行加密。
      (3)不同的应用对Hash函数有着不同的要求;比如,用于加密的Hash函数主要考虑它和单项函数的差距,而用于查找的Hash函数主要考虑它映射到小范围的冲突率。

    Hash函数好坏非评判标准:简单和均匀。
         简单指散列函数的计算简单快速;
         均匀指对于关键字集合中的任一关键字,散列函数能以等概率将其映射到表空间的任何一个位置上。也就是说,散列函数能将子集K随机均匀地分布在表的地址集{0,1,…,m-1}上,以使冲突最小化。

    哈希表
    hash函数在计算机范畴中应用非常广泛,它最开始的用途是更快的查找,也就是我们通常刚接触哈希时所学的散列表(哈希表)。
    我们先来看看什么是散列

    散列(hashing)是一种重要的存储方法,也是一种常见的查找方法。

    基本思想:以结点的关键字k为自变量,通过一个确定的函数关系f,计算出对应的函数值,吧这个函数值解释为结点的存储地址,将结点存入到f(k)所指示的存储位置上,在查找时再根据要查找的关键字,用同样的函数计算地址,然后到相应的单元中读取。散列法又被成为关键字——地址转换法。

    哈希表就是依据关键码值(Key value)而直接进行訪问的数据结构。也就是说,它通过把关键码值映射到表中一个位置来訪问记录,以加快查找的速度。这个映射函数叫做散列函数,存放记录的数组叫做散列表。
    经常使用的构造散列函数的方法:

    1. 直接寻址法:

    取keyword或keyword的某个线性函数值为散列地址。即H(key)=key或H(key) = a•key + b,当中a和b为常数(这样的散列函数叫做自身函数)

    此法仅适合于:地址集合的大小 = = 关键字集合的大小,其中a和b为常数。

    2.数组分析法:

    分析一组数据,比方一组员工的出生年月日,这时我们发现出生年月日的前几位数字大体同样,这种话,出现冲突的几率就会非常大,可是我们发现年月日的后几位表示月份和详细日期的数字区别非常大,假设用后面的数字来构成散列地址,则冲突的几率会明显减少。因此数字分析法就是找出数字的规律,尽可能利用这些数据来构造冲突几率较低的散列地址。

     此法适于:能预先估计出全体关键字的每一位上各种数字出现的频度。

    3. 平方取中法:

    取keyword平方后的中间几位作为散列地址。

     这是一种常用的哈希函数构造方法。这个方法是先取关键字的平方,然后根据可使用空间的大小,选取平方数是中间几位为哈希地址。

     哈希函数 H(key)=“key2的中间几位”因为这种方法的原理是通过取平方扩大差别,平方值的中间几位和这个数的每一位都相关,则对不同的关键字得到的哈希函数值不易产生冲突,由此产生的哈希地址也较为均匀。

    此法适于:关键字中的每一位都有某些数字重复出现频度很高的现象。

    4. 折叠法:

    将keyword切割成位数同样的几部分,最后一部分位数能够不同,然后取这几部分的叠加和(去除进位)作为散列地址。

      此法适于关键字的数字位数特别多。

    5. 随机数法:

    选择一随机函数,取keyword的随机值作为散列地址,通经常使用于keyword长度不同的场合。

     设定哈希函数为:H(key) = Random(key)其中,Random 为伪随机函数

     此法适于对长度不等的关键字构造哈希函数。

     实际造表时,采用何种构造哈希函数的方法取决于建表的关键字集合的情况(包括关键字的范围和形态),以及哈希表    长度(哈希地址范围),总的原则是使产生冲突的可能性降到尽可能地小。

    6. 除留余数法:

    取keyword被某个不大于散列表表长m的数p除后所得的余数为散列地址。即 H(key) = key MOD p, p<=m。不仅能够对keyword直接取模,也可在折叠、平方取中等运算之后取模。对p的选择非常重要,一般取素数或m,若p选的不好,easy产生同义词

    理论研究表明,除留余数法的模p取不大于表长且最接近表长m素数时效果最好,且p最好取1.1n~1.7n之间的一个素数(n为存在的数据元素个数)

     7.字符串数值哈希法

    在很都情况下关键字是字符串,因此这样对字符串设计Hash函数是一个需要讨论的问题。下列函数是取字符串前10个字符来设计的哈希函数

    Int Hash _ char (char *X)

    {

      int I ,sum

      i=0;

      while (i 10 && X[i])

      Sum +=X[i++];

      sum%=N;      //N是记录的条数

      }

    这种函数把字符串的前10个字符的ASCⅡ值之和对N取摸作为Hash地址,只要N较小,Hash地址将较均匀分布[0,N]区间内,因此这个函数还是可用的。对于N很大的情形,可使用下列函数

    int ELFhash (char *key )

    {

     Unsigned long h=0,g;

    whie (*key){

    h=(h<<4)+ *key;

    key++;

    g=h & 0 xF0000000L;

    if (g) h^=g>>24;

    h & =~g;}

    h=h % N

    return (h);}

      这个函数称为ELFHash(Exextable and Linking Format ,ELF,可执行链接格式)函数。它把一个字符串的绝对长度作为输入,并通过一种方式把字符的十进制值结合起来,对长字符串和短字符串都有效,这种方式产生的位置不可能不均匀分布。

    在实际应用中,应根据具体情况,灵活采用不同的方法,并用实际数据测试它的性能,以便做出正确判定。通常应考虑以下五个因素 

    l 计算哈希函数所需时间 (简单)。

    l 关键字的长度。

    l 哈希表大小。

    l 关键字分布情况。

    l 记录查找频率

    更多哈希函数求法见:http://blog.csdn.net/tanggao1314/article/details/51457585

    Hash处理冲突方法

    通过构造性能良好的哈希函数,可以减少冲突,但一般不可能完全避免冲突,因此解决冲突是哈希法的另一个关键问题。创建哈希表和查找哈希表都会遇到冲突,两种情况下解决冲突的方法应该一致。下面以创建哈希表为例,说明解决冲突的方法。常用的解决冲突方法有以下四种:

    a)开放地址法:

    开放地址法又可以分为:1.线性探测法

               2.线性补偿探测法------可优化成线性补偿再散列

               3.随机探测法

    这种方法也称再散列法,其基本思想是:当关键字key的哈希地址p=H(key)出现冲突时,以p为基础,产生另一个哈希地址p1,如果p1仍然冲突,再以p为基础,产生另一个哈希地址p2,…,直到找出一个不冲突的哈希地址pi ,将相应元素存入其中。这种方法有一个通用的再散列函数形式:

              Hi=(H(key)+di% m   i=1,2,…,n

        其中H(key)为哈希函数,m 为表长,di称为增量序列。增量序列的取值方式不同,相应的再散列方式也不同。主要有以下三种:

    l         线性探测再散列

        dii=1,2,3,…,m-1

    这种方法的特点是:冲突发生时,顺序查看表中下一单元,直到找出一个空单元或查遍全表。

    l         二次探测再散列

        di=12-1222-22…,k2-k2    ( k<=m/2 )

        这种方法的特点是:冲突发生时,在表的左右进行跳跃式探测,比较灵活。

    l         伪随机探测再散列

        di=伪随机数序列。

    具体实现时,应建立一个伪随机数发生器,(如i=(i+p) % m),并给定一个随机数做起点。

    例如,已知哈希表长度m=11,哈希函数为:H(key)= key  %  11,则H(47)=3,H(26)=4,H(60)=5,假设下一个关键字为69,则H(69)=3,与47冲突。如果用线性探测再散列处理冲突,下一个哈希地址为H1=(3 + 1)% 11 = 4,仍然冲突,再找下一个哈希地址为H2=(3 + 2)% 11 = 5,还是冲突,继续找下一个哈希地址为H3=(3 + 3)% 11 = 6,此时不再冲突,将69填入5号单元,参图8.26 (a)。如果用二次探测再散列处理冲突,下一个哈希地址为H1=(3 + 12% 11 = 4,仍然冲突,再找下一个哈希地址为H2=(3 - 12% 11 = 2,此时不再冲突,将69填入2号单元,参图8.26 (b)。如果用伪随机探测再散列处理冲突,且伪随机数序列为:2,5,9,……..,则下一个哈希地址为H1=(3 + 2)% 11 = 5,仍然冲突,再找下一个哈希地址为H2=(3 + 5)% 11 = 8,此时不再冲突,将69填入8号单元,参图8.26 (c)。

     

     

    0        1       2      3      4      5       6      7      8       9      10    

     

     

     

     

    47

    26

    60

    69

     

     

     

     

             (a) 用线性探测再散列处理冲突

     

     

    0        1       2      3      4      5       6      7      8       9      10    

     

     

     

    69

    47

    26

    60

     

     

     

     

     

             (b) 用二次探测再散列处理冲突

     

     

    0        1       2      3      4      5       6      7      8       9      10    

     

     

     

     

    47

    26

    60

     

     

    69

     

     

             (c) 用伪随机探测再散列处理冲突

     

                          图8.26开放地址法处理冲突

    从上述例子可以看出,线性探测再散列容易产生“二次聚集”,即在处理同义词的冲突时又导致非同义词的冲突。例如,当表中i, i+1 ,i+2三个单元已满时,下一个哈希地址为i, 或i+1 ,或i+2,或i+3的元素,都将填入i+3这同一个单元,而这四个元素并非同义词。线性探测再散列的优点是:只要哈希表不满,就一定能找到一个不冲突的哈希地址,而二次探测再散列和伪随机探测再散列则不一定。

     

    开放地执法有一个公式:Hi=(H(key)+di) MOD m i=1,2,...,k(k<=m-1)

    其中,m为哈希表的表长。di 是产生冲突的时候的增量序列。如果di值可能为1,2,3,...m-1,称线性探测再散列。

    会出现的问题:一次聚集,即使表相对较空,这样占据的单元也会开始形成一些区块,散列到区块中的任何关键字都要经过多次探测才能解决冲突,然后该关键字又加入到相应块区中。

     

    如果di取1,则每次冲突之后,向后移动1个位置.如果di取值可能为1,-1,2,-2,4,-4,9,-9,16,-16,...k*k,-k*k(k<=m/2) 

    称二次探测再散列。

    二次探测可以解决线性探测的一次聚集问题,但是会出现二次聚集:散列到同一位置上的那些元素将探测相同的备选单元。

     

    为了解决上述的二次聚集,另一个解决冲突的方法是:双散列

    比如选择di = i * Hash2(key),即发生冲突时,我们将第二个散列函数应用到key并在距离Hash2(key)、 2Hash2(key)、……进行探测。

     

    如果di取值可能为伪随机数列。称伪随机探测再散列。仍然以学生排号作为例子,

    现有两名同学,李四,吴用。李四与吴用事先已排好序,现新来一名同学,名字叫王五,对它进行编制

    10.. .... 22 .. .. 25
    李四.. .... 吴用 .. .. 25

       赵刚未来之前

    10.. .. 22 23 25
    李四..   吴用 王五  

       (a)线性探测再散列对赵刚进行编址,且di=1

    10... 20 22 .. 25
    李四.. 王五 吴用    

       (b)二次探测再散列,且di=-2 

    1... 10... 22 .. 25
    王五.. 李四.. 吴用    

       (c)伪随机探测再散列,伪随机序列为:5,3,2

    b)再哈希法

    当散列表较满时,冲突增加,插入可能失败。于是建立另外一个大约两倍大的散列表(而且使用新的散列函数),扫描原来散列表,计算每个未删除元素的新的散列值,并将其插入到新表中。

    缺点:这是非常昂贵的操作,运行时间O(N),不过再散列不是经常发生,实际效果没那么差

    c)拉链法

    将所有关键字为同义词的记录存储在同一线性链表中。如下:

     

    d)创建一个公共溢出区(比较长用于实际操作中)

           假设哈希函数的值域为[0,m-1],则设向量HashTable[0..m-1]为基本表,另外设立存储空间向量OverTable[0..v]用以存储发生冲突的记录
    经过以上方法,基本可以解决掉hash算法冲突的问题。

        还有许多用于散列表的方法,比如散列函数不好或装填因子过大,都会使堆积现象加剧。为了减少堆积的发生,不能像线性探查法那样探查一个顺序的地址序列(相当于顺序查找),而应使探查序列跳跃式地散列在整个散列表中。衍生出二次探查法,双重散列表法。

     参考资料:http://blog.csdn.net/swartz_lubel/article/details/76796129

    http://blog.jobbole.com/106733/

    http://blog.csdn.net/u013074465/article/details/45059639

     




  • 相关阅读:
    MySQL主从复制-指定数据库复制
    linux下如何添加一个用户并且让用户获得root权限
    vim加密文件
    nginx_upstream_check_module-master对nginx的后端机器进行健康状态检查报403错误【转】
    Nginx配置SSL证书部署HTTPS网站
    MySQL数据备份之mysqldump使用
    nginx location语法使用说明
    Linux 使用 iptables屏蔽IP段
    nginx中获取真实ip
    在nginx中配置如何防止直接用ip访问服务器web server及server_name特性讲解
  • 原文地址:https://www.cnblogs.com/curo0119/p/8336819.html
Copyright © 2020-2023  润新知