本期将介绍并演示PaddleOCR+Python+OpenCV实现车牌识别、身份证信息识别和车票信息识别的步骤与效果。
介绍
百度深度学习框架PaddlePaddle开源的OCR项目PaddleOCR近期霸榜github。使用测试后发现识别效果很好,对于简单的应用(车票车牌身份证等),直接用项目提供的模型即可使用。特殊应用,可自己训练后使用。
gituhub地址:https://github.com/PaddlePaddle/PaddleOCR
效果展示
分别以车牌识别、身份证信息识别和车票信息识别为例,测试效果如下视频:
实现步骤
PaddleOCR是基于百度的深度学习框架PaddlePaddle实现的,所以第一步我们需要先安装PaddlePaddle模块。直接使用pip安装即可:
——指令:pip install paddlepaddle
第二步:安装PaddleOCR。同样是pip安装:
——GPU版安装:
python -m pip install paddlepaddle-gpu==2.0.0 -i https://mirror.baidu.com/pypi/simple
——CPU版安装:
python -m pip install paddlepaddle==2.0.0 -i https://mirror.baidu.com/pypi/simple
如果要在GPU模式下使用除了有GPU外还需要安装CUDA 10.1和CUDNN对应文件,另外遇到的安装问题网上也可以找到答案,我的安装步骤到此结束。
代码演示
代码演示前需要先下载PaddleOCR提供的训练好的模型共3个,我是Win10 PC端使用下载下面三个,如果是移动端下载上面三个。
github提供的Demo如下将会保存一张识别结果图:
from paddleocr import PaddleOCR import cv2 import numpy as np from PIL import Image, ImageDraw, ImageFont from paddleocr import PaddleOCR, draw_ocr font=cv2.FONT_HERSHEY_SIMPLEX # Paddleocr目前支持中英文、英文、法语、德语、韩语、日语,可以通过修改lang参数进行切换 # 参数依次为`ch`, `en`, `french`, `german`, `korean`, `japan`。 ocr = PaddleOCR(use_angle_cls=True, lang="ch",use_gpu=False, rec_model_dir='./models/ch_ppocr_server_v2.0_rec_infer/', cls_model_dir='./models/ch_ppocr_mobile_v2.0_cls_infer/', det_model_dir='./models/ch_ppocr_server_v2.0_det_infer/') # need to run only once to download and load model into memory img_path = './imgs/B.jpg' result = ocr.ocr(img_path, cls=True) # 显示结果 from PIL import Image image = Image.open(img_path).convert('RGB') boxes = [line[0] for line in result] txts = [line[1][0] for line in result] scores = [line[1][1] for line in result] im_show = draw_ocr(image, boxes, txts, scores, font_path='./simfang.ttf') im_show = Image.fromarray(im_show) im_show.save('result.png')
识别输出信息:
输出结果图:
我们把输出结果部分改成OpenCV实现:
from paddleocr import PaddleOCR import cv2 import numpy as np from PIL import Image, ImageDraw, ImageFont font=cv2.FONT_HERSHEY_SIMPLEX # Paddleocr目前支持中英文、英文、法语、德语、韩语、日语,可以通过修改lang参数进行切换 # 参数依次为`ch`, `en`, `french`, `german`, `korean`, `japan`。 ocr = PaddleOCR(use_angle_cls=True, lang="ch",use_gpu=False, rec_model_dir='./models/ch_ppocr_server_v2.0_rec_infer/', cls_model_dir='./models/ch_ppocr_mobile_v2.0_cls_infer/', det_model_dir='./models/ch_ppocr_server_v2.0_det_infer/') # need to run only once to download and load model into memory def putText_Chinese(img,strText,pos,color,fontSize): fontpath = "./simsun.ttc" # <== 这里是宋体路径 font = ImageFont.truetype(fontpath, fontSize) img_pil = Image.fromarray(img) draw = ImageDraw.Draw(img_pil) draw.text(pos,strText, font=font, fill=color) img = np.array(img_pil) return img print('---------------PaddleOCR Start---------------------') img_path = './pics/18.jpg' img = cv2.imread(img_path) cv2.imshow("src", img) result = ocr.ocr(img_path, cls=True) #print(result) for line in result: print('----------------------------') print(line) pt1 = ((int)(line[0][0][0]),(int)(line[0][0][1])) pt2 = ((int)(line[0][1][0]),(int)(line[0][1][1])) pt3 = ((int)(line[0][2][0]),(int)(line[0][2][1])) pt4 = ((int)(line[0][3][0]),(int)(line[0][3][1])) cv2.line(img,pt1,pt2,(0,0,255),1,cv2.LINE_AA) cv2.line(img,pt2,pt3,(0,0,255),1,cv2.LINE_AA) cv2.line(img,pt3,pt4,(0,0,255),1,cv2.LINE_AA) cv2.line(img,pt1,pt4,(0,0,255),1,cv2.LINE_AA) img = putText_Chinese(img,line[1][0],(pt1[0],pt1[1]-35),(255,0,255),50) cv2.imshow("OCR-Result", img) cv2.imwrite("result.png", img) cv2.waitKey() cv2.destroyAllWindows()
输出结果图:
倾斜也可以自动识别:
车票识别: