基于图像识别的表格数据提取系统

一、前言

1.1 项目需求

　　由于公司业务需要，须对从特定网站爬取下来的表格图片进行识别，将其中的数据提取出来，随后写入csv文件。表格图片形式统一，如下所示。

　　　　　　　　　　　　　　　　　　　　　　　　　　　　img 待识别图片

1.2 思路分析

　　直接识别整个图片显然是不太可能的。很自然地想到，可以将每个单元格从原图中分割出来后，逐个进行识别。因此整个任务就可以分为图片分割和内容识别两部分。关于图片分割，要想分割出每个单元格，就必须获取表格中每条横线的纵坐标和每条竖线的横坐标(图像学中图片的坐标原点在图片的左上角，向右为x轴正方向，向下为y轴正方向，以每个像素点为单位长度)。至于内容识别，经查阅资料后，决定使用Tesseract-OCR(开源的图像文本识别工具，依赖Java环境)。

1.3 实现环境

　　python3.6，所需的python第三方库有：pillow，opencv，numpy，csv，pytesseract。由于pytesseract依赖Java环境，因此需要安装JDK。

二、项目流程

2.1 图像预处理

　　要想将图片分割，就必须从图片中检测出组成表格的每条横线和竖线。通过观察图片可以发现，图片中共有3种颜色：白色的背景和字体，红色的背景和字体，黑色的字体和分割线。表格的分割线是黑色的连贯线条，要想提取出分割线，就必须同时滤除白色和红色内容的干扰。通过查阅RGB颜色表可知，黑色RGB三通道的值均为0，白色RGB三通道的值均为255，图片中深红色R通道值约为220，G、B通道值分别约为23和13。因此可以将原图进行通道分离，取其红色通道进行后续操作。opencv中的split()函数可以实现对图片的通道分离。

img_R = cv2.split(img)[2] #opencv中三通道排列顺序为BGR

　　　　　　　　　　　　　　　　　　　　　　　　　　　　img_R 红色通道图

　　分离出红色通道图之后，就可以将红色近似视为白色，选用合适的阈值对红色通道图进行二值化。为了方便后续寻线，可以将原来白色、红色的背景部分转黑，而黑线转白。opencv中的threshold()函数可以同时实现图像二值化和颜色反转。

ret, img_bin = cv2.threshold(img_R, 100, 255, cv.THRESH_BINARY_INV) #二值化阈值选为100，大于100的置0，小于100的置255

　　　　　　　　　　　　　　　　　　　　　　　　　　img_bin 红色通道图二值化后反转

　　使用不同的核对对二值化后的图像进行开运算(先腐蚀后膨胀)，分别检测出二值图像中的横线和竖线。opencv中的morphologyEx()函数可以用自定义的核对图像进行开、闭运算。根据应用场景不同，可灵活调整核的形状和大小。

kernel_row = np.ones((1, 9)) # 自定义检测横线的核
img_open_row = cv2.morphologyEx(img_bin, cv2.MORPH_OPEN, kernel_row) # 开运算检测横线

　　　　　　　　　　　　　　　　　　　　　　　　　　img_open_row 检测出的横线

kernel_col = np.ones((9, 1)) # 自定义检测竖线的核
img_open_col = cv2.morphologyEx(img_bin, cv2.MORPH_OPEN, kernel_col) # 开运算检测竖线

　　　　　　　　　　　　　　　　　　　　　　　　　　img_open_col 检测出的竖线

　　检测出横线和竖线后，可以对两张图片分别使用霍夫寻线，获得每条线两端点的坐标。但在实际操作过程中，发现寻竖线时效果总是不好，经测试后发现由于图片高度较低，竖线普遍很短，不易寻找。因此可以通过resize()将img_open_col的高度拔高后，再进行霍夫寻线，效果显著。

#图片高度较低，为了方便霍夫寻纵线，将图片的高度拉高5倍
img_open_col = cv2.resize(img_open_col, (800, 5 * img_h))

2.2 图片分割

　　事实上经过开运算后的img_open_col和img_open_row中已经清晰地呈现出来所有组成表格的横线和纵线，但要想进一步分割表格，只找到线是不够的，还必须获取线在图片中的位置。霍夫寻线可以帮助我们完成这一操作，将img_open_col和img_open_row作为参数传递给从cv2.HoughLinesP()，可返回每条线段两端点的坐标(x1, y1, x2, y2)。

lines_col = cv2.HoughLinesP(img_open_col, 1, np.pi / 180, 100, minLineLength=int(0.52 * 5 * img_h), maxLineGap=5)

　　通过打印输出lines_col的参数信息：

　　可以看出，lines_col是shape为30X1X4的numpy.adarray。事实上竖线只有7条，但通过霍夫寻线却寻出了30条，这是因为处理后的线条较粗，每条线都被当作了多条。就第一条线而言，就被当作了四条线，即上图中红色框出的部分。它们的纵坐标都相同，横坐标相差极小，可以通过后续处理将其归为一条。在表格分割中，竖线端点坐标信息中，只有横坐标为有效信息，因此后续处理中只针对其横坐标即可。横线亦然，只处理其纵坐标即可。

　　就lines_col而言，其处理的思路是：取lines_x = lines_col[: ; : ; 0] ，即取出30条线段的横坐标，随后排序并将其转换为list，对整个list进行遍历，将差异较小的几个元素用其中一个元素值代替，如4、5、6、7均替换为4，即4、5、6、7变为4、4、4、4。随后将整个list转换为set，即进行去重，4、4、4、4变为一个4。再排序后即可得到7条竖线的横坐标。

lines_x = np.sort(lines_col[:,:,0], axis=None)
list_x = list(lines_x)

#合并距离相近的点
for i in range(len(list_x) - 1):
    if (list_x[i] - list_x[i + 1]) ** 2 <= (img_w/12)**2:
        list_x[i + 1] = list_x[i]

list_x = list(set(list_x))#去重
list_x.sort()#排序

　　同上操作，可得到5条横线的纵坐标。

　　有了这12个关键数据，即可定位出每个单元格的位置。图片分割任务到此圆满完成，接下来就是内容识别了。

2.3 内容识别

　　识别部分采用的是开源的Tesseract-OCR。将需要识别的单元格分离出来后，由于原图的清晰度不够，对识别造成了一定的困难。后来将需识别的单元格图片放大后腐蚀，提高请字体清晰度。处理之后，字体样式发生了一定程度的变形，为了不影响后续识别，将每个分离出来并经处理后的单元格保存下来，制作了一个较小的数据集，对pytesseract进行训练，获得一个新的识别模型，命名为ftnum，并用该模型进行后续的识别工作。

for i in range(2):
    for j in range(5):
        #截取对应的区域
        area = img_gray[(y_val[i+2]+4) :y_val[i+3], (x_val[j+1]+10) :(x_val[j+2]-10)]
        #二值化
        area_ret, area_bin = cv2.threshold(area, 190, 255, cv2.THRESH_BINARY)
        #放大三倍
        area_bin = cv2.resize(area_bin, (0,0), fx=3, fy=3)
        #腐蚀两次，加粗字体
        area_bin = cv2.erode(area_bin, kernel_small, iterations=2)
        #送入OCR识别
        per_text = pytesseract.image_to_string(Image.fromarray(area_bin), lang="ftnum", config="--psm 7")

　　分割处理后的单元格样式如下(area_bin)：

　　识别效果：

 

三、后记

　　后来在对图像的批处理过程中，发现对某些图片的识别效果并不好，之后在图像刚读出来后就用一个resize()，将所有要处理的图像规范到同一个大小，识别效果显著改善。目前在30张图片上做过测试，识别准确率为100%。

四、源码分享及参考文献

4.1 源码

　　源码含图片爬虫及写入csv文件过程，其中爬虫是公司里一位小哥哥写的，比心，感谢！

# Created by 秋沐霖 on 2019/3/8.
from PIL import Image
import pytesseract #OCR识别
import cv2 as cv
import numpy as np
import csv
import time
import os
import requests
from bs4 import BeautifulSoup
from openpyxl.compat import range

# 获取最新图片
def getImage():
    # 当天是否发布报告的标值
    flag = 0
    headers = {
        'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/57.0.2987.98 Safari/537.36 LBBROWSER',
    }

    # 收益率曲线主页
    YieldCurveUrl='https://www.chinaratings.com.cn/AbsPrice/YieldCurve/'

    # 请求并解析网页
    html = requests.get(YieldCurveUrl, headers=headers)
    html=html.content.decode('UTF-8')
    soup = BeautifulSoup(html, 'lxml')
    #  获取今天日期
    today=time.strftime('%Y-%m-%d', time.localtime(time.time()))

    # 获取当前日期，作为图片的名字保存到本地
    img_title=soup.select('body > div.main > div > div.ctr > div.recruit > ul > li > span')[0].text.split('：')[-1]

    if img_title==today:
        flag = 1
        # print(img_title)

        # 获取最新的曲线所在页面的链接
        YieldCurveUrl='https://www.chinaratings.com.cn'+soup.select('body > div.main > div > div.ctr > div.recruit > ul > li > a')[0].get('href')

        # 请求该链接，解析出该图片的下载链接img_url
        html = requests.get(YieldCurveUrl, headers=headers)
        soup = BeautifulSoup(html.text, 'lxml')
        img_url ='https://www.chinaratings.com.cn'+ soup.select('body > div.main > div.ctr > div > div.newsmcont > p > img')[1].get('src')

        # print(img_url)
        rep = requests.get(img_url, headers=headers)

        #将图片写到本地
        with open(r'./img/'+img_title+'.png','wb')as f:
            f.write(rep.content)

    return img_title, flag


#图像预处理
def picProcess():
    img = cv.imread(file)

    #为了方便后续操作，将图像统一大小
    img = cv.resize(img, (800, 165))

    img_h = img.shape[0]
    img_w = img.shape[1]
    # 转为灰度图
    img_gray = cv.cvtColor(img, cv.COLOR_BGR2GRAY)

    #分离处红色通道
    img_R = cv.split(img)[2]
    # 红色通道图二值化，同时反转，即将原图中红色、白色变黑，黑色变白，便于后续操作
    thr = 100
    ret, img_bin = cv.threshold(img_R, thr, 255, cv.THRESH_BINARY_INV)

    # 滤波器的长度设为9，是为了避免较粗线条的干扰
    kernel_col = np.ones((9, 1))
    kernel_row = np.ones((1, 9))

    #开运算求横线和纵线
    img_open_col = cv.morphologyEx(img_bin, cv.MORPH_OPEN, kernel_col)
    img_open_row = cv.morphologyEx(img_bin, cv.MORPH_OPEN, kernel_row)
    #图片高度较低，为了方便霍夫寻纵线，将图片的高度拉高5倍
    img_open_col = cv.resize(img_open_col, (800, 5 * img_h))

    #霍夫寻线
    lines_col = cv.HoughLinesP(img_open_col, 1, np.pi / 180, 100, minLineLength=int(0.52 * 5 * img_h),
                               maxLineGap=5)
    lines_row = cv.HoughLinesP(img_open_row, 1, np.pi / 180, 100, minLineLength=int(0.75 * img_w),
                               maxLineGap=5)

    return img_w,img_h, img_gray, lines_col, lines_row

#求交点坐标
def getCoord(lines, flag):
    #求竖线的横坐标
    if flag == "col":
        lines_x = np.sort(lines[:,:,0], axis=None)
        list_x = list(lines_x)

        #合并距离相近的点
        for i in range(len(list_x) - 1):
            if (list_x[i] - list_x[i + 1]) ** 2 <= (img_w/12)**2:
                list_x[i + 1] = list_x[i]

        list_x = list(set(list_x))#去重
        list_x.sort()#排序
        return list_x

    #求横线的纵坐标
    elif flag == "row":
        lines_y = np.sort(lines[:,:,1], axis=None)
        list_y = list(lines_y)

        # 合并距离相近的点
        for i in range(len(list_y) - 1):
            if (list_y[i] - list_y[i + 1]) ** 2 <= (img_h/8)**2:
                list_y[i + 1] = list_y[i]

        list_y = list(set(list_y))  # 去重
        list_y.sort()  # 排序
        return list_y

#识别日期及数值
def recognize():
    kernel_small = np.ones((3, 3))
    text = ['关键期限点曲线值']

    #日期，为报告发布日期
    per_text = png_name
    text.append(per_text)

    add_list = ['360','1080','1800','3600','10800','ABS','RMBS']
    text = text + add_list

    #数值，放大三倍，腐蚀两次，效果较好
    for i in range(2):
        for j in range(5):
            #截取对应的区域
            area = img_gray[(y_val[i+2]+4) :y_val[i+3], (x_val[j+1]+10) :(x_val[j+2]-10)]
            #二值化
            area_ret, area_bin = cv.threshold(area, 190, 255, cv.THRESH_BINARY)
            #放大三倍
            area_bin = cv.resize(area_bin, (0,0), fx=3, fy=3)
            # 腐蚀两次，加粗字体
            area_bin = cv.erode(area_bin, kernel_small, iterations=2)

            #送入OCR识别
            per_text = pytesseract.image_to_string(Image.fromarray(area_bin), lang="ftnum", config="--psm 7")

            #易错修正
            if ' ' in per_text:
                per_text = ''.join(per_text.split()) #去多余空格
            if '..' in per_text:
                per_text.replace('..', '.')

            text.append(per_text)

    #整理顺序，方便写入表格
    index = text[8]
    text[8:13] = text[9:14]
    text[13] = index

    return text

#写入csv
def writeCsv(path):
    with open(path,"w", newline='') as file:
        writer = csv.writer(file, dialect='excel')

        #写表头
        header = ["CurveName", "RateType", "ReportingDate", "TermBase", "Term", "Rate"]
        writer.writerows([header])

        #写ABS数据
        for i in range(2,7):
            writer.writerows([["ABS", "SpotRate", text[1], "D", text[i], text[i+6] ]])
        #写RMBS数据
        for j in range(2,7):
            writer.writerows([["RMBS", "SpotRate", text[1], "D", text[j], text[j+12] ]])


if __name__ == "__main__":
    current_dir = os.getcwd()  # 返回当前工作目录
    files_dir = os.listdir(current_dir)  # 返回指定的文件夹包含的文件或文件夹的名字的列表，

    png_name, flag = getImage()

    if flag == 1:
        if "CSV存放文件夹" not in files_dir:
            os.mkdir(current_dir + "\CSV存放文件夹")
        if "img" not in files_dir:
            os.mkdir(current_dir + "\img")

        os.chdir(".\img")  # 跳进img文件夹
        files = os.listdir(".")  # 返回该文件夹下所有文件
        for file in files:
            if (os.path.splitext(file)[0] == png_name)and(os.path.splitext(file)[1] == ".png"):

                #获取交点坐标
                img_w, img_h, img_gray, lines_col, lines_row = picProcess()
                x_val = getCoord(lines_col, flag="col")
                y_val = getCoord(lines_row, flag="row")

                #分割识别
                text= recognize()

                #写入csv文件
                csv_path = current_dir+"\CSV存放文件夹\"+os.path.splitext(file)[0]+"_data.csv"
                writeCsv(csv_path)
        os.chdir(current_dir)
    elif flag == 0:
        print("今天未发布报告")

4.2 参考文献

思路启蒙：https://blog.csdn.net/huangwumanyan/article/details/82526873

霍夫寻线：https://blog.csdn.net/dcrmg/article/details/78880046

Tesseract-OCR的安装、训练及简单使用：https://www.cnblogs.com/cnlian/p/5765871.html

　　　　　　　　　　　　　　　　　　   http://www.cnblogs.com/lizm166/p/8343872.html

　　　　　　　　　　　　　　　　　　   https://www.cnblogs.com/wzben/p/5930538.html

csv文件操作：https://blog.csdn.net/lwgkzl/article/details/82147474