无聊入门一下传说中的验证码识别技术,学习笔记 « Xiaoxia[PG]
无聊入门一下传说中的验证码识别技术,学习笔记
背景
笔记本硬盘坏了,数据没了,盘里面的数据价值肯定超过联想数据恢复的RMB1500高价,不过当时身五分银,还是算了。。。
新硬盘需要重装很多东西,今晚在群里看到给宿舍评分的给力投票,网址上的验证码做得很水,想涉足一下传说中的验证码识别技术!原理
对于简单的验证码,使用的原理也相当的简单。
现在有两个长度一致的二进制的数字,1110111011101和1010111011100,比较他们的相似度可以使用XOR运算!1110111011101 XOR 1010111011100 = 0100000000001
结果中,1的数目越小,相似度越高。现在比较两张单色的图片,也可以使用这样的方法。这两张图必须是规格相同的,
把两张单色的图片进行Xor,结果残留下来的白点越小,表示相似度越高!!!
- for y in range(h):
- for x in range(w):
- im2.putpixel((x,y), im1.getpixel((x,y)) ^ im2.getpixel((x,y)))
- im2.show()
上面两个1的进行XOR运算,得到了不同像素点的个数。如上图所示,一共有3个。
同时,我们把右图的1跟其他字符或数字的模板进行比较,看看相差多大。
XOR统计结果 比较字模
3 1
12 I
15 T
25 Y
30 2
34 Z
37 0
38 L
38 X
39 E
40 3
40 7
40 C
40 J
41 S
42 F
43 4
43 G
43 V
44 9
44 A
44 K
45 5
47 6
47 8
47 O
47 P
48 Q
51 M
52 N
54 D
54 R
55 B
55 U
56 W
60 H相差最大的是H,比较相似的是I,的确1和I是有点类似的,但是差距还是比较明显的。所以识别率会很高!
准备
1. 一台运行着Ubuntu10.10的笔记本
2. 接入互联网获取样本
从网站上得到获取的验证码地址为
http://su.100steps.net/2007/vote/verify.php
图片浏览器设置一下不要平滑图片,放大图片之后,就可以看到小小的验证码图片是由一大堆像素点拼凑而成的。
获取样本无非是为了找规律,样本越多对我们分析越好。因为这个验证码的规律很明显,我们暂且就获取50张吧,当然不是自己一个一个去下载,写个简单的脚本来处理!
- import urllib, random
- for i in range(50):
- url = 'http://su.100steps.net/2007/vote/verify.php'
- print "download", i
- file("./code/%04d.png" % random.randrange(10000), "wb").write(
- urllib.urlopen(url).read())i
用上面的代码保存到downloadcode.py,在当前目录建立一个code目录。然后执行
python downloadcode.py
下载了50个验证码!观测样本
为了看清楚点,去除噪点,转换成黑白单色图!
通过观察一大堆验证码,得出如下结论:
1. 验证码不复杂,只使用了一种字体类型
2. 验证码不复杂,只使用了一种字体大小
3. 验证码不复杂,只使用了一种字体颜色
4. 验证码不复杂,每张由5个字母或数字构成,5个字母或数字的位置都是固定的
5. 验证码不复杂,没有图片的歪曲变形,没有干扰线条或图案因此,这堆验证码非常适合识别验证码技术的初学者小试牛刀!
提取字模
既然已经知道每个字母或数字在图片中的具体位置,就可以从这些样本之中,把它们提取出来!!!
每个字模的大小都是8x10,宽8高10,单位像素。好吧,让脚本帮我们提取这些字模:
- import Image, os
- j = 1
- for f in os.listdir("."):
- if f.endswith(".png"):
- img = Image.open(f).convert("1")
- for i in range(5):
- x = 10 + i*18
- y = 6
- img.crop((x, y, x+8, y+10)).save("font/%d.bmp" % j)
- print "j=",j
- j += 1
执行脚本,结果生成了250个字模。
从这些字模之中,每个数字或字母,我们只需要一个看上去比较标准的就够了。飞之同学说,如果知道它是什么字体,就可以直接用脚本生成一堆标准的模板就行了,省去自己去匹配的麻烦呢。
识别程序
代码的流程比较简单,先加载标准的模板,然后读取一张验证码的图片,裁剪出这张图片的每个数字或字母的局部图,然后跟我们的标准模板进行比较,统计像素点不相同的个数。然后把每个字模的统计结果进行排序,不相同点个数最小的,相似度就应当是最高的了!!!
下面的代码把识别出来的验证码另存到result目录下,并以结果命名!
- import os, Image
- # load font modules (char, image)
- fontMods = []
- for i in range(10):
- fontMods.append((str(i), Image.open("./good/%02d.bmp" % i)))
- for i in range(26):
- c = chr(ord('A') + i)
- fontMods.append((c, Image.open("./good/%s.bmp" % c)))
- def recognize(f):
- im = Image.open(f)
- im2 = im.convert('1')
- # check 5 fonts
- result = "./result/"
- for i in range(5):
- x = 10 + i*18
- y = 6
- target = im.crop((x, y, x+8, y+10))
- points = []
- for mod in fontMods:
- diffs = 0
- for yi in range(10):
- for xi in range(8):
- if mod[1].getpixel((xi, yi)) != target.getpixel((xi, yi)):
- diffs += 1
- points.append((diffs, mod[0]))
- points.sort()
- result += points[0][1]
- result += ".png"
- print "save to", result
- im.save(result);
- for imgfile in os.listdir("."):
- if imgfile.endswith(".png"):
- recognize(imgfile)
效果图片:
50个验证码中,有两三个出现了把E识别成B的现象,其他问题都不大,识别成功率超过90%。
小结
机器识别验证码,能够超过90%的正确率已经是相当不错的了。有的验证码肉眼识别也达不到90%,所以有的网站提供的验证码,我要更换好几次!!!
如果是用来刷票,超过50%的识别率都已足够啦!这次试验只是用来进行入门,复杂一些的验证码就不能只是这么做了,还需要考虑很多问题,对图片预处理复杂很多吧,识别的时候也可以考虑加入学习功能(例如神经网络)来逐步提高识别的成功率。因此,仅仅是菜鸟入门,大牛可以无视之。