• golang bitmap(位图)


    一、概述

    本文将讲述Bit-Map算法的相关原理,Bit-Map算法的一些利用场景,例如BitMap解决海量数据寻找重复、判断个别元素是否在海量数据当中等问题.最后说说BitMap的特点已经在各个场景的使用性。

    二、Bit-Map算法

    先看看这样的一个场景(来自《编程珠玑》):给一台普通PC,2G内存,要求处理一个包含40亿个不重复并且没有排过序的无符号的int整数,给出一个整数,问如果快速地判断这个整数是否在文件40亿个数据当中?

    问题思考:

    40亿个int占(40亿*4)/1024/1024/1024 大概为14.9G左右,很明显内存只有2G,放不下,因此不可能将这40亿数据放到内存中计算。

    要快速的解决这个问题最好的方案就是将数据搁内存了,所以现在的问题就在如何在2G内存空间以内存储着40亿整数。

    一个int整数在golang中是占4个字节的即要32bit位,如果能够用一个bit位来标识一个int整数那么存储空间将大大减少,算一下40亿个int需要的内存空间为40亿/8/1024/1024大概为476.83 mb,这样的话我们完全可以将这40亿个int数放到内存中进行处理。

    具体思路:

    1个int占4字节即4*8=32位,那么我们只需要申请一个int数组长度为 int tmp[1+N/32]即可存储完这些数据,其中N代表要进行查找的总数,tmp中的每个元素在内存在占32位可以对应表示十进制数0~31,所以可得到BitMap表:

    tmp[0]:可表示0~31

    tmp[1]:可表示32~63

    tmp[2]可表示64~95

    如何判断int数字在tmp数组的哪个下标?

    这个其实可以通过直接除以32取整数部分,例如:整数8除以32取整等于0,那么8就在tmp[0]上。另外,我们如何知道了8在tmp[0]中的32个位中的哪个位,这种情况直接mod上32就ok,又如整数8,在tmp[0]中的第8 mod上32等于8,那么整数8就在tmp[0]中的第八个bit位(从右边数起)。

    go简单实现:

    package bitmap
    
    import (
    	"bytes"
    	"fmt"
    )
    
    type Bitmap struct {
    	words  []uint64
    	length int
    }
    
    func New() *Bitmap {
    	return &Bitmap{}
    }
    func (bitmap *Bitmap) Has(num int) bool {
    	word, bit := num/64, uint(num%64)
    	return word < len(bitmap.words) && (bitmap.words[word]&(1<<bit)) != 0
    }
    
    func (bitmap *Bitmap) Add(num int) {
    	word, bit := num/64, uint(num%64)
    	for word >= len(bitmap.words) {
    		bitmap.words = append(bitmap.words, 0)
    	}
    	// 判断num是否已经存在bitmap中
    	if bitmap.words[word]&(1<<bit) == 0 {
    		bitmap.words[word] |= 1 << bit
    		bitmap.length++
    	}
    }
    
    func (bitmap *Bitmap) Len() int {
    	return bitmap.length
    }
    
    func (bitmap *Bitmap) String() string {
    	var buf bytes.Buffer
    	buf.WriteByte('{')
    	for i, v := range bitmap.words {
    		if v == 0 {
    			continue
    		}
    		for j := uint(0); j < 64; j++ {
    			if v&(1<<j) != 0 {
    				if buf.Len() > len("{") {
    					buf.WriteByte(' ')
    				}
    				fmt.Fprintf(&buf, "%d", 64*uint(i)+j)
    			}
    		}
    	}
    	buf.WriteByte('}')
    	fmt.Fprintf(&buf,"
    Length: %d", bitmap.length)
    	return buf.String()
    }
    发布于 2018-05-25
    浪漫家园,没事就来逛逛
  • 相关阅读:
    CCF总结
    句柄的定义
    ubuntu16.04下安装和使用Kdevelop的技巧
    找不到ros相关包的解决方法
    用kdevelop构建ROS程序包
    Linux给软件添加卓面快捷方式
    工程代码结构说明——哈工大编译原理课程(五)
    符号表管理——哈工大编译原理课程(四)
    语义分析和中间代码生成——哈工大编译原理课程(三)
    语法分析器——哈工大编译原理课程(二)
  • 原文地址:https://www.cnblogs.com/lovezbs/p/12944623.html
Copyright © 2020-2023  润新知