• Java8的HashMap原理


    一、组成结构

      1、数组Node<K,V>[] table

      2、链表Node<K,V> next

      3、红黑树TreeNode

    二、put方法

      整体流程图如下:

    在执行put操作时,首先根据hash方法获取key.hashcode,之后根据hashcode通过取模运算(table[table.length-1 & hash])获取索引,当发现当前索引没有值时,直接将put进来的k-v存储在当前位置;那么如果当前索引位置有值(也就是说将要push数据的k.hasdcode与数组中的某一个k.hashcode相同)此时需要通过equal比较key是否也相同,如果key相同,则说明是同一个key,那么需要将原来的oldvalue替换为新的value;
    还有一种情况,就是当k.hashcode相同,但是key不相同时,这种情况就叫做hash碰撞,在这种情况下解决方案是在当前hashcode所指向的node链表下继续添加k-v,如果链表的长度超过8时,自动将当前链表转换为红黑树来存储,为什么要转为红黑树呢?因为红黑树的速度比链表更快,熟悉算法的朋友应该知道链表的时间复杂度为O(n),红黑树的时间复杂度为O(logn)。

    最后判断是否需要扩容
    以上也说明了在使用map时,key为什么要必须覆写equals方法以及hashcode方法。

     1、对key进行hash取值,目的是为了获取更好的散列性,具体可以参考https://blog.csdn.net/qq_32999113/article/details/102527859

    public V put(K key, V value) {
            return putVal(hash(key), key, value, false, true);
        }

    2、putVal

     final V putVal(int hash, K key, V value, boolean onlyIfAbsent,
                       boolean evict) {
            Node<K,V>[] tab; Node<K,V> p; int n, i;
    //table为null或者长度为0,则表示没有元素,调用resize()方法进行扩容,并进行长度赋值
            if ((tab = table) == null || (n = tab.length) == 0)
                n = (tab = resize()).length;
    //对hash后的key进行取模操作,并判断数组上的key是否有值,如果没有值则构建一个node放上去
            if ((p = tab[i = (n - 1) & hash]) == null)
                tab[i] = newNode(hash, key, value, null);
    //如果存在值
            else {
                Node<K,V> e; K k;
    //如果位置上的key与新key相同,则直接进行值覆盖
                if (p.hash == hash &&
                    ((k = p.key) == key || (key != null && key.equals(k))))
                    e = p;
    //如果值不相等,判断数组上的节点是否为红黑数结构    
                else if (p instanceof TreeNode)
                    e = ((TreeNode<K,V>)p).putTreeVal(this, tab, hash, key, value);
    //不是数节点,则为链表结构
                else {
                    for (int binCount = 0; ; ++binCount) {
    //循环判断链表上的key是否为null,为空则创建新的node,并放入
                        if ((e = p.next) == null) {
                            p.next = newNode(hash, key, value, null);
                            if (binCount >= TREEIFY_THRESHOLD - 1) // -1 for 1st
    //判断链表的数量是否大于8个,大于则需要进行结构树化
                                treeifyBin(tab, hash);
                            break;
                        }
    //如果链表上的key不为null则判断与新的key是否相等,相等则直接赋值
                        if (e.hash == hash &&
                            ((k = e.key) == key || (key != null && key.equals(k))))
                            break;
                        p = e;
                    }
                }
    //赋值
                if (e != null) { // existing mapping for key
                    V oldValue = e.value;
                    if (!onlyIfAbsent || oldValue == null)
                        e.value = value;
    //空实现
                    afterNodeAccess(e);
                    return oldValue;
                }
            }
            ++modCount;
    //判断容量是否大于阈值,大于则进行扩容操作
            if (++size > threshold)
                resize();
            afterNodeInsertion(evict);
            return null;
        }    

    3、先看看树化操作,treeifyBin(tab, hash);

        final void treeifyBin(Node<K,V>[] tab, int hash) {
            int n, index; Node<K,V> e;
    //判断数组的长度是否小于64,小于的话,不会树化,是先进行数组的扩容
            if (tab == null || (n = tab.length) < MIN_TREEIFY_CAPACITY)
                resize();
            else if ((e = tab[index = (n - 1) & hash]) != null) {
                TreeNode<K,V> hd = null, tl = null;
                do {
    //将链表上的节点node转变为TreeNode,并且生成的是一个双向的链表
                    TreeNode<K,V> p = replacementTreeNode(e, null);
                    if (tl == null)
                        hd = p;
                    else {
                        p.prev = tl;
                        tl.next = p;
                    }
                    tl = p;
                } while ((e = e.next) != null);
                if ((tab[index] = hd) != null)
    //将链表树化
                    hd.treeify(tab);
            }
        }

    final void treeify(Node<K,V>[] tab) { TreeNode<K,V> root = null; for (TreeNode<K,V> x = this, next; x != null; x = next) { next = (TreeNode<K,V>)x.next; x.left = x.right = null; //x就是当前链表遍历的节点,如果根节点为null,则把链表的第一个节点设为根节点 if (root == null) { x.parent = null; x.red = false; root = x; } else { K k = x.key; int h = x.hash; Class<?> kc = null; //先将根节点赋值给P进行循环 for (TreeNode<K,V> p = root;;) { int dir, ph; K pk = p.key; //新节点的hash值h与p节点的hash值做比对,小于往左放,大于往右放 if ((ph = p.hash) > h) dir = -1; else if (ph < h) dir = 1; //如果值是相等的,接下来这一段是根据更多的方法去判断当前节点是往左还是往右 else if ((kc == null && (kc = comparableClassFor(k)) == null) || (dir = compareComparables(kc, k, pk)) == 0) dir = tieBreakOrder(k, pk); TreeNode<K,V> xp = p; //根据dir的正负判断p节点的右还是左,假如是左,则把左节点赋值给P,再判断左节点是否为null,不为null则接着循环,不为null则将节点插入树中,退出循环 if ((p = (dir <= 0) ? p.left : p.right) == null) { //设置当前节点的父节点为p,以及左或是右节点的设置 x.parent = xp; if (dir <= 0) xp.left = x; else xp.right = x; //根据红黑树的特征,要进行节点的调整 root = balanceInsertion(root, x); break; } } } } //把数组相应位置的链表移除,将根节点放到数组中 moveRootToFront(tab, root); }
    treeify()的方法需要注意下,两个循环
    第一个循环是对传进来的链表的循环,目的是取出节点
    第二个循环是对已经构建好的红黑树的循环,目的是将取出的节点放入红黑数中
    //根据新加入的节点,调整树结构
    static <K,V> TreeNode<K,V> balanceInsertion(TreeNode<K,V> root,
                                                TreeNode<K,V> x) {
      // 新节点默认为红色
        x.red = true;
        // xp表示x的父结点,xpp表示x的祖父结点,xppl表示xpp的左孩子结点,xppr表示xpp的右孩子结点
        for (TreeNode<K,V> xp, xpp, xppl, xppr;;) {
            // 如果x没有父结点,则表示x是第一个结点,自动为根节点,根节点为黑色
            if ((xp = x.parent) == null) {
                x.red = false;
                return x;
            }
            // 如果父结点不是红色(就是黑色),或者x没有祖父节点,那么就证明x是第二层节点,父节点为根节点
            // 这种情况无需就行操作
            else if (!xp.red || (xpp = xp.parent) == null)
                return root;
            
            // 进入到这里,表示x的父节点为红色
            
            // 如果x的父节点是祖父结点的左孩子
            if (xp == (xppl = xpp.left)) {
                // 祖父结点的右孩子,也就是x的叔叔节点不为空,且为红色
                if ((xppr = xpp.right) != null && xppr.red) {
                    // 父节点和叔叔节点都为红色,只需要变色,且将x替换为祖父节点然后进行递归
                    xppr.red = false;
                    xp.red = false;
                    xpp.red = true;
                    x = xpp;
                }
                // 如果叔叔节点为空,或者为黑色
                else {
                    // 如果x节点为xp的右孩子
                    if (x == xp.right) {
                        // 先进行左旋,并且把x替换为xp进行递归,在左旋的过程中产生了新的root节点
                        root = rotateLeft(root, x = xp);
                        // x替换后,修改xp和xpp
                        xpp = (xp = x.parent) == null ? null : xp.parent;
                    }
                    // 如果x本来是左孩子,或者已经经过了上面的左旋之后,进行变色加右旋
                    if (xp != null) {
                        xp.red = false;
                        if (xpp != null) {
                            xpp.red = true;
                            root = rotateRight(root, xpp);
                        }
                    }
                }
            }
            // 如果x的父节点是祖父结点的右孩子
            else {
                if (xppl != null && xppl.red) {
                    xppl.red = false;
                    xp.red = false;
                    xpp.red = true;
                    x = xpp;
                }
                else {
                    if (x == xp.left) {
                        root = rotateRight(root, x = xp);
                        xpp = (xp = x.parent) == null ? null : xp.parent;
                    }
                    if (xp != null) {
                        xp.red = false;
                        if (xpp != null) {
                            xpp.red = true;
                            root = rotateLeft(root, xpp);
                        }
                    }
                }
            }
        }
    }

    左旋操作

    static <K,V> TreeNode<K,V> rotateLeft(TreeNode<K,V> root,
                                          TreeNode<K,V> p) {
        // pp是祖父结点
        // p是待旋转结点
        // r是p的右孩子结点
        // rl是r的左孩子结点
        TreeNode<K,V> r, pp, rl;
        if (p != null && (r = p.right) != null) {
            // 如果rl不为空,则设置p.right=rl
            if ((rl = p.right = r.left) != null)
                rl.parent = p;
            // 如果祖父结点为null,那么r设置为黑色,r左旋之后即为root节点
            if ((pp = r.parent = p.parent) == null)
                (root = r).red = false;
            // 如果待旋转结点是左孩子节点
            else if (pp.left == p)
                pp.left = r;
            // 如果待旋转结点为右孩子
            else
                pp.right = r;
            r.left = p;
            p.parent = r;
        }
        return root;
    }

    右旋操作

    static <K,V> TreeNode<K,V> rotateRight(TreeNode<K,V> root,
                                           TreeNode<K,V> p) {
        TreeNode<K,V> l, pp, lr;
        if (p != null && (l = p.left) != null) {
            if ((lr = p.left = l.right) != null)
                lr.parent = p;
            if ((pp = l.parent = p.parent) == null)
                (root = l).red = false;
            else if (pp.right == p)
                pp.right = l;
            else
                pp.left = l;
            l.right = p;
            p.parent = l;
        }
        return root;
    }

    虽然有些复杂,但是如果你看过上一篇的红黑树介绍,慢慢研究应该看得懂的。

    4、如果树化看懂了,往树上新增节点也就很简单了,e = ((TreeNode<K,V>)p).putTreeVal(this, tab, hash, key, value);

            final TreeNode<K,V> putTreeVal(HashMap<K,V> map, Node<K,V>[] tab,
                                           int h, K k, V v) {
                Class<?> kc = null;
                boolean searched = false;
                TreeNode<K,V> root = (parent != null) ? root() : this;
    //循环找出新节点的位置
                for (TreeNode<K,V> p = root;;) {
                    int dir, ph; K pk;
                    if ((ph = p.hash) > h)
                        dir = -1;
                    else if (ph < h)
                        dir = 1;
                    else if ((pk = p.key) == k || (k != null && k.equals(pk)))
                        return p;
                    else if ((kc == null &&
                              (kc = comparableClassFor(k)) == null) ||
                             (dir = compareComparables(kc, k, pk)) == 0) {
                        if (!searched) {
                            TreeNode<K,V> q, ch;
                            searched = true;
                            if (((ch = p.left) != null &&
                                 (q = ch.find(h, k, kc)) != null) ||
                                ((ch = p.right) != null &&
                                 (q = ch.find(h, k, kc)) != null))
                                return q;
                        }
                        dir = tieBreakOrder(k, pk);
                    }
    
                    TreeNode<K,V> xp = p;
    //如果需要放到节点左边,并且左边的节点为null时,说明此位置就是新节点的位置
                    if ((p = (dir <= 0) ? p.left : p.right) == null) {
                        Node<K,V> xpn = xp.next;
                        TreeNode<K,V> x = map.newTreeNode(h, k, v, xpn);
                        if (dir <= 0)
                            xp.left = x;
                        else
                            xp.right = x;
                        xp.next = x;
                        x.parent = x.prev = xp;
                        if (xpn != null)
                            ((TreeNode<K,V>)xpn).prev = x;
    //节点放入后,也是要进行树的调整,以及把新的根节点(可能会产生新的根节点,也可能不会),放到数组中去
                        moveRootToFront(tab, balanceInsertion(root, x));
                        return null;
                    }
                }
            }

    5、最后,resize()扩容

        final Node<K,V>[] resize() {
            Node<K,V>[] oldTab = table;
            int oldCap = (oldTab == null) ? 0 : oldTab.length;
            int oldThr = threshold;
            int newCap, newThr = 0;
    //如果旧表长度不为0
            if (oldCap > 0) {
    //如果长度大于最大长度了,则不会在扩容了
                if (oldCap >= MAXIMUM_CAPACITY) {
                    threshold = Integer.MAX_VALUE;
                    return oldTab;
                }
    //翻倍扩容
                else if ((newCap = oldCap << 1) < MAXIMUM_CAPACITY &&
                         oldCap >= DEFAULT_INITIAL_CAPACITY)
                    newThr = oldThr << 1; // double threshold
            }
    //原数组长度不大于0,需要初始化数组,看是否有给默认值,没有则使用自己的默认长度16
            else if (oldThr > 0) // initial capacity was placed in threshold
                newCap = oldThr;
            else {               // zero initial threshold signifies using defaults
                newCap = DEFAULT_INITIAL_CAPACITY;
                newThr = (int)(DEFAULT_LOAD_FACTOR * DEFAULT_INITIAL_CAPACITY);
            }
            if (newThr == 0) {
    //负载因子
                float ft = (float)newCap * loadFactor;
                newThr = (newCap < MAXIMUM_CAPACITY && ft < (float)MAXIMUM_CAPACITY ?
                          (int)ft : Integer.MAX_VALUE);
            }
            threshold = newThr;
            @SuppressWarnings({"rawtypes","unchecked"})
                Node<K,V>[] newTab = (Node<K,V>[])new Node[newCap];
            table = newTab;
            if (oldTab != null) {
                for (int j = 0; j < oldCap; ++j) {
                    Node<K,V> e;
                    if ((e = oldTab[j]) != null) {
                        oldTab[j] = null;
                        if (e.next == null)
                            newTab[e.hash & (newCap - 1)] = e;
                        else if (e instanceof TreeNode)
                            ((TreeNode<K,V>)e).split(this, newTab, j, oldCap);
                        else { // preserve order
                            Node<K,V> loHead = null, loTail = null;
                            Node<K,V> hiHead = null, hiTail = null;
                            Node<K,V> next;
                            do {
                                next = e.next;
                                if ((e.hash & oldCap) == 0) {
                                    if (loTail == null)
                                        loHead = e;
                                    else
                                        loTail.next = e;
                                    loTail = e;
                                }
                                else {
                                    if (hiTail == null)
                                        hiHead = e;
                                    else
                                        hiTail.next = e;
                                    hiTail = e;
                                }
                            } while ((e = next) != null);
                            if (loTail != null) {
                                loTail.next = null;
                                newTab[j] = loHead;
                            }
                            if (hiTail != null) {
                                hiTail.next = null;
                                newTab[j + oldCap] = hiHead;
                            }
                        }
                    }
                }
            }
            return newTab;
        }

    在Java7中,重哈希是要重新计算Hash值的,而在Java8中,通过高位运算的巧妙设计,避免了这种计算。下面我们举例说明:

          我们要在初始大小为2的HashMap中存储3、5、7这3个值,Hash函数为取余法。

          Step1:在开始的时候,3、5、7经过Hash过后 3%2=1、5%2=1、7%2=1,因而3、5、7存储在同一个箱子的链表中(地址为1)。

          Step2:现在扩容了,扩容后的大小为2*2=4,现在经过Hash后3%4=3、5%4=1、7%4=3,因而3与7一起放在箱子的链表中(地址为3),5单独存放在一个箱子里(地址为1)。

          整个过程如下图所示:

     我们注意到,在扩容后3和7的位置变化了,由1—>3(=1+2)

          再进行扩容,由4容为8,那么经过Hash后,3%8=3、5%8=5、7%8=7,分别存放于3、5(=1+4)、7(=3+4)这几个位置中。

          我们发现,扩容后的元素要么在原位置,要么在原位置再移动2次幂的位置,整个过程只需要使用一个位运算符<<就可以了(在源码的resize方法中可以找到)

    我们用计算机的地址来展示这个过程:

     n为table的长度,图(a)表示扩容前的key1和key2两种key确定索引位置的示例,图(b)表示扩容后key1和key2两种key确定索引位置的示例,其中hash1是key1对应的哈希与高位运算结果。元素在重新计算hash之后,因为n变为2倍,那么n-1的mask范围在高位多1bit(红色),因此新的index就会发生这样的变化:

      因此,我们在扩充HashMap的时候,不需要像JDK1.7的实现那样重新计算hash,只需要看看原来的hash值新增的那个bit是1还是0就好了,是0的话索引没变,是1的话索引变成“原索引+oldCap”,

    可以看看下图为16扩充为32的resize示意图:

     这个设计确实非常的巧妙,既省去了重新计算hash值的时间,而且同时,由于新增的1bit是0还是1可以认为是随机的,因此resize的过程,均匀的把之前的冲突的节点分散到新的bucket了。这一块就是JDK1.8新增的优化点。

    扩容元素转移过程如下:

    1、扩容时如果原数组上是链表结构,则先根据位运算(可能)变成两个链表,然后一次性移到新数组上;

    2、如果原数组上的数据结构为红黑树,则调用方法((TreeNode<K,V>)e).split(this, newTab, j, oldCap);

    先将树拆成两个链表(实际上是分成了两棵树,因为元素的类型还是TreeNode),得到低位和高位链表元素的个数,如果低位的链表不为null并且元素个数少于6个,则会把低位的链表反树化(TreeNode->Node),

    如果低位的元素个数不少于6个并且高位的链表不存在,低位链表的数据则直接移到新的数组上。相反高位链表的判断也是如此

    final void split(HashMap<K,V> map, Node<K,V>[] tab, int index, int bit) {
                TreeNode<K,V> b = this;
                // Relink into lo and hi lists, preserving order
                TreeNode<K,V> loHead = null, loTail = null;
                TreeNode<K,V> hiHead = null, hiTail = null;
                int lc = 0, hc = 0;
                for (TreeNode<K,V> e = b, next; e != null; e = next) {
                    next = (TreeNode<K,V>)e.next;
                    e.next = null;
                    if ((e.hash & bit) == 0) {
                        if ((e.prev = loTail) == null)
                            loHead = e;
                        else
                            loTail.next = e;
                        loTail = e;
                        ++lc;
                    }
                    else {
                        if ((e.prev = hiTail) == null)
                            hiHead = e;
                        else
                            hiTail.next = e;
                        hiTail = e;
                        ++hc;
                    }
                }
    //低位判断
                if (loHead != null) {
                    if (lc <= UNTREEIFY_THRESHOLD)
                        tab[index] = loHead.untreeify(map);
                    else {
                        tab[index] = loHead;
                        if (hiHead != null) // (else is already treeified)
                            loHead.treeify(tab);
                    }
                }
    //高位判断
                if (hiHead != null) {
                    if (hc <= UNTREEIFY_THRESHOLD)
                        tab[index + bit] = hiHead.untreeify(map);
                    else {
                        tab[index + bit] = hiHead;
                        if (loHead != null)
                            hiHead.treeify(tab);
                    }
                }
            }

    注:以上内容借鉴了图灵学院-周瑜老师的课程,感谢阅读

     
  • 相关阅读:
    关于共享单车的胡言乱语
    pyspark 编写 UDF函数
    mysql load本地文件失败,提示access denied
    如何去掉文件里的^M
    我错了一半?
    Spark-shell引入第三方包
    Fiddler如何抓取使用了SSL或TLS传输的Android App流量
    Burpsuite如何抓取使用了SSL或TLS传输的Android App流量
    Linux内核通杀提权漏洞CVE-2016-5195验证
    IOS APP安全评估工具 Snoop-it
  • 原文地址:https://www.cnblogs.com/sglx/p/15191059.html
Copyright © 2020-2023  润新知