效果展示
这不是OCR,有些人可能会觉得这东西会和OCR一样,直接进行整个字的识别就行,然而并不是.
OCR是2维像素矩阵的像素数据.而手写识别不一样,手写可以把用户写字的笔画时间顺序,抽象成一个维度.这样识别的就是3维的数据了.识别起来简单很多.
最近需要做一个中文手写识别算法.搜索了网上的一些前人作品,发现都是只讲了理论,不讲实际开发.于是打算自己开发一个,并记录开发过程.
由于代码量比较多,这里不会全部贴上来讲解,代码已经放到了gitee,部分地方需对照代码进行观看,下面有URL.
思路
网上关于中文手写识别的文章不多,不过数字OCR方案确有很多.
虽然中文手写识别并不等于OCR,但总归有点关联性.
我发现数字的OCR大概是这么个套路:
神经网络的输出层每一个节点对应一个数字的相似度.而中文不能这么做.因为中文有上万字.
不过这是手写识别,我们有用户写字的时候每一笔的数据,可以先识别笔画.然后再根据笔画,去识别字.
资源获取与数据模型设定
首先我们需要一个字典,用于提供所有中文汉字的笔画顺序,这玩意在百度搜索"字典 mdb"能得到很多(我会放到源码里)
通过查看字典的"笔顺"字段,我们可以看到,字典中的字,笔顺分为了: 横,竖,撇,捺,其它 这5个类型
横竖撇捺好弄,不过这个"其它"有点特别,通过查询.中文的笔画有30多种.
我按照长相,将笔画大体分成了这7种:
| ID | 笔画 | 名称 |
|---|---|---|
| 0 | ㇐ | 横 |
| 1 | ㇑ | 竖 |
| 2 | ㇓ | 撇 |
| 3 | ㇏ | 捺 |
| 4 | ㇕㇖⺄ | 横折 |
| 5 | ㇗㇙㇞㇟ㄣ㇂ ㇛㇜ | 竖折 |
| 6 | ㇡ ㇌ | 横折折折 |
也就是说,我这里是分成7种来识别的,后续使用的时候,是再转换为5种笔画.
我们将用户输入的笔画顺序识别出来后,经过字符串相似度算法,识别出用户输入的笔画,与字典中每个字的笔画的相似度,然后进行排序.
关于字符串相似度,这里采用的是 levenshtein算法,相关代码可在我的源码中找到.
开发采集工具&采集一些数据
首先我需要采集一些笔画数据,然后交给神经网络,训练神经网络识别能力.
这里开发了一个采集工具,用来采集一些用于训练的数据:
Gitee查看源码>>
Github查看源码>>
使用方法如下:
保存后会得到一个json文件,里面是采集到的笔画数据:
每个笔画采集30次之后保存,在保存后,请将这个文件改名,然后再重新打开一次软件,采集下一个笔画
把上面表格中的7个笔画每一个采集30次左右(次数不需要完全一样)每个笔画单独采集到一个文件
再额外采集一个用于测试的数据:
训练过程
这里选择BP网络的原因是因为网络上有直接复制即可用的C#代码,毕竟我是用C#开发,基于C#的神经网络代码很少.大部分是基于C或者python的.
我对我找到的BP网络的部分代码进行了修改,训练完后可以把训练结果保存为单个json文件.也可以读取json文件接着训练,或着运用里面的训练结果进行识别.
把上面采集的7个笔画样本放入神经网络训练:
如你所见,我另外开发了一个训练工具,读取前面步骤采集到的笔画数据生成矩阵,给BP网络,进行训练.
矩阵的格式:
注:我用来训练的矩阵的大小是固定的16*16,以下只是为了说明而做的一个缩小版:
| 第0列 | 第1列 | 第2列 | 第3列 | 第4列 | 第5列 | 更多列 | |
|---|---|---|---|---|---|---|---|
| 第0行 | 0.2 | 0.0 | 0.0 | 0.0 | 0.0 | 0.0 | . |
| 第1行 | 0.0 | 0.4 | 0.0 | 0.0 | 0.0 | 0.0 | . |
| 第2行 | 0.0 | 0.0 | 0.6 | 0.0 | 0.0 | 0.0 | . |
| 第3行 | 0.0 | 0.0 | 0.0 | 0.8 | 0.0 | 0.0 | . |
| 第4行 | 0.0 | 0.0 | 0.0 | 0.0 | 1.0 | 0.0 | . |
| 第5行 | 0.0 | 0.0 | 0.0 | 0.0 | 0.0 | 0.0 | . |
| 更多行 | . | . | . | . | . | . | . |
注意:我在矩阵中使用0~1之间的浮点数标识出了哪个像素是先画出来的,哪个像素是后画出来的.
不过神经网络输入的矩阵是1维的,所以在代码中可以看到,我写了个GetDim1Matrix方法,将这里面的数据,全部连接到了一起.
在代码中,有一个MatrixData类,这个类用于存放训练或者识别用的数据并进行矩阵的输出,可以在这里面找到生成矩阵的算法.
训练完成后,使用训练结果,对测试数据进行了测试.并生成了训练结果文件:
训练工具源码:
Gitee查看源码>>
Github查看源码>>
实际使用
识别功能和采集工具做在一起了,将神经网络训练出来的结果"GData.json"文件放进采集工具工程里.运行工程即可.
在实际使用中效果没有想象中的好,笔画相似度高的字比较多,得把字写得比较工整才能识别到,想要获取更好的结果,还需要对方案进行更多的优化才行.
改进计划
目前我比较倾向于这两个方案:
- 在测试中有个现象,笔画识别错误率有点高,可能需要修改笔画识别的方式,尝试用别的方式去识别笔画
- 我找到的字典有问题,字符虽然很全,但是笔画分类才5种,只分为"横,竖,撇,捺,其它",这个"其它"比较碍事,可以尝试找笔画分类更细的字典来解决这个问题.
如果对这个项目感兴趣或者有更好优化的思路,可以给我留言