用Python实现最大堆

　　本文的内容是如何通过二叉树实现一个最大堆, 实现原理方面参考了Python的heap模块. 此外, 在正式项目上, 我还是建议你使用python自带的heap完成, 它只提供最小堆, 但是可以通过对所有元素取反或者重写__lt__方法实现最大堆.

一. 堆的数据结构

1. 数据结构分析

　　堆的本质就是一颗二叉树, 这颗二叉树必须具备以下两个性质:

　1). 对于最大堆来说, 二叉树根节点的值不小于任何子节点, 其所有子树也符合这一特征, 最小堆则相反;

　2). 堆是一颗完全二叉树, 除了底层外, 所有层都尽可能地填满, 底层元素从左到右排列.

　　上图就是一个最大堆的二叉树, 基于特性1我们可以得知, 这颗二叉树从任意叶子节点到根节点的路径一定是一个递增序列, 最大值为根节点. 因此, 当我们需要最大值时, 取出根节点的值就行了. 当我们新添加了一个叶子节点之后, 为了维护二叉树的有序性, 我们可以让这个叶子节点向顶端移动, 如下图所示:

->->

我们插入节点16后, 将这个节点的值与其父节点进行比较, 大于父节点则二者交换, 持续这个操作直到不大于父节点或没有父节点为止, 这样, 我们就在插入元素之后, 仍然保持了二叉树的有序性. 弹出节点同理, 将底层最后一个叶子节点取出填入空缺, 然后根据值的大小让这个节点往下移动就行.

　　因此, 堆在保证内部有序性的前提下, 可以做到在O(k)的时间内插入和弹出元素, k为二叉树的高度. 这也就是为什么堆的二叉树必须是完全二叉树: 在这种情况下k最小, 为log n. 因此, 堆的插入和弹出都只需要O(log n)的时间复杂度, 可以高效地获取最大值/最小值.

2. 通过列表实现二叉树

　　由于堆是一颗完全二叉树, 因此我们可以用一个列表来储存这颗二叉树的值:

　　如上图所示, 我们用列表从上到下, 从左到右记录了二叉树的所有节点. 二叉树节点右边的蓝色数字是它在列表中的索引. 因此我们可以得知, 对于一个在列表中索引为n的节点, 它的父节点索引为(n-1)//2, 它的左右子节点索引为n*2+1和n*2+2, 如果索引值溢出, 说明没有对应的父节点或子节点. 这样, 我们就通过列表储存了这颗完全二叉树的信息.

　　基于以上的分析, 我们先定义一个Heap类:

class Heap:

    def __init__(self, nums: [int] = None) -> None:
        self.cache = nums or []
        self._heapify()

    def __len__(self) -> int:
        return len(self.cache)

    def __bool__(self) -> bool:
        return len(self) > 0

    def __repr__(self) -> str:
        return f'heap({self.cache})'

    @property
    def largest(self) -> int:
        if not self.cache:
            raise Exception('Empty heap')
        return self.cache[0]

    def show(self) -> None:
        # 调用这个函数绘制一颗二叉树出来,DEBUG用
        height = int(math.log2(len(self))) + 1
        for i in range(height):
            width = 2 ** (height - i) - 2
            print(' ' * width, end='')
            blank = ' ' * (width * 2 + 2)
            print(
                blank.join(['{: >2d}'.format(num) for num in self.cache[2 ** i - 1:min(2 ** (i + 1) - 1, len(self))]]))
            print()

    def _swap(self, i: int, j: int) -> None:
        # 这个方法交换二叉树的两个节点
        self.cache[i], self.cache[j] = self.cache[j], self.cache[i]

二. 插入元素

　　这部分好像太简单了, 我实在讲不出来什么:

    def push(self, num: int) -> None:
        self.cache.append(num)
        self._siftup(self.size - 1)

    def _siftup(self, i: int) -> None:
        while i > 0:
            parent = (i - 1) >> 1
            if self.cache[i] <= self.cache[parent]:
                break
            self._swap(i, parent)
            i = parent

说白了, 当我们push一个元素时, 首先把这个元素放到列表的末端, 这相当于在完全二叉树上新建了一个叶子节点. 然后, 调用siftup方法让这个节点一直和父节点比较, 大于父节点就上浮, 直到它到达合适的位置. 这样就维护了二叉树的有序性.

三. 弹出元素

　　弹出元素的原理和插入元素大同小异: 我们将根节点的元素弹出后, 取出最后一个叶子节点作为根节点(避免破坏完全二叉树的结构), 然后让这个节点与子节点比较, 下沉到合适的位置就行. 有两点需要注意一下: 首先, 最大元素处在列表的头部, 弹出的时间复杂度是O(n), 因此我们可以把头部元素和尾部元素交换后, 删除尾部元素. 然后, 大部分节点都有两个子节点, 我们应该让更大的那个节点上浮, 这样才能保证二叉树的有序性.

　　基于以上两点, 弹出元素的代码如下:

    def pop(self) -> int:
        largest = self.largest
        self._swap(0, len(self) - 1)
        self.cache.pop()
        self._siftdown(0)
        return largest

    def _siftdown(self, i: int) -> None:
        while i * 2 + 1 < len(self):
            smaller = i
            if self.cache[i * 2 + 1] > self.cache[smaller]:
                smaller = i * 2 + 1
            if i * 2 + 2 < len(self) and self.cache[i * 2 + 2] > self.cache[smaller]:
                smaller = i * 2 + 2
            if smaller == i:
                return
            self._swap(i, smaller)
            i = smaller

四. 列表的堆化

　　我们在创建Heap对象时传入了一个列表作为堆的原始数据, 但是, 这个列表并不一定是颗有序的二叉树, 因此我们需要将其堆化.

　　最容易想到的方式是, 首先创建一个空堆, 然后将列表的所有元素依次推入堆中, 通过_siftup方法保持有序:

如上图所示, 如果我们通过_siftup来堆化所有元素, 则时间复杂度为O(n/2*log n+n/4*log n/2+...+1*1)=O(nlog n), 这和排序的时间复杂度差不多, 因此不是很理想.

　　另外一种方案是, 首先按照列表的原有顺序构建二叉树, 然后从二叉树的倒数第二层开始, 依次通过_siftdown下沉, 这样依次为k-1层, k-2层直到顶层排序:

　　这种堆化方式的时间复杂度为O(n), 计算过程如下:

T(n)=O(n/4)+O(n/8*2)+(n/16*3)+O(log n)
2*T(n)=O(n/2)+O(n/4*2)+(n/8*3)+O(2*log n)
2*T(n)-T(n)=O(n/2)+O(n/4)+O(n/8)+...+O(log n)=O(n)

 　　因此, 我们的堆化方法可以这么写:

    def _heapify(self) -> None:
        for i in reversed(range(len(self) // 2)):
            self._siftdown(i)

五. 总结

　　简单对我们创建的Heap类进行测试:

nums = list(range(14))
random.shuffle(nums)
heap = Heap(nums[:])
heap.show()
heap.push(100)
print('插入100')
heap.show()
heap.pop()
print('弹出堆顶元素')
heap.show()
for _ in range(100):
    num = random.randrange(100)
    nums.append(num)
    heap.push(num)
    assert max(nums) == heap.largest
    nums.remove(heap.pop())

print('所有测试通过!!!')

结果如下: