任何 OCR 系统的一个重要组成部分是图像预处理, 图像预处理的一个重要的工作便是矫正文本方向,比如下面的图片,当进行文字识别时,我们不仅需要处理识别出的文字,还应该把文字按照正确的方向呈现出来

打开网易新闻 查看精彩图片

使用 Tesseract 和 Python 矫正文本方向

代码实战

首先我们需要建立一个py文件,在文件里面输入如下代码

from pytesseract import Output
import pytesseract
import cv2
import numpy as np
image = cv2.imread('1.png')
rgb = cv2.cvtColor(image, cv2.COLOR_BGR2RGB)
results = pytesseract.image_to_osd(rgb, output_type=Output.DICT)

print("[INFO] detected orientation: {}".format(
results["orientation"]))
print("[INFO] rotate by {} degrees to correct".format(
results["rotate"]))
print("[INFO] detected script: {}".format(results["script"]))

首先,我们需要导入一张需要检测文字方向的图片,并转换颜色空间到RGB颜色空间,然后使用pytesseract.image_to_osd函数来进行图片文字方向的检测,然后我们可以打印出来图片的旋转方向等参数

其中包含3个参数:

1、当前图片文字的方向

2、需要旋转的角度

3、检测到的文字类型

得到以上参数后,我们便可以使用opencv的旋转功能进行旋转,但是我们在专栏文章中有介绍过当直接使用opencv旋转时,会有图片区域旋转到图片以外的情况,这里我们需要特殊处理一下,如下图,图片旋转后,进行了裁剪

打开网易新闻 查看精彩图片

图片旋转后,有被裁剪

这里我们需要建立一个子函数来处理这样的问题

def rotate_bound(image, angle):
(h, w) = image.shape[:2]
(cX, cY) = (w / 2, h / 2)

M = cv2.getRotationMatrix2D((cX, cY), -angle, 1.0)
cos = np.abs(M[0, 0])
sin = np.abs(M[0, 1])

nW = int((h * sin) + (w * cos))
nH = int((h * cos) + (w * sin))
M[0, 2] += (nW / 2) - cX
M[1, 2] += (nH / 2) - cY
return cv2.warpAffine(image, M, (nW, nH))

首先,我们得到图片的中心位置,然后得到图片的转换矩阵,并进行图片的仿生变化的方式进行图片的旋转

rotated = rotate_bound(image, angle=results["rotate"])

cv2.imshow("Original", image)
cv2.imshow("Output", rotated)
cv2.waitKey(0)

这样,我们得到需要旋转的角度传递给rotate_bound的函数,便可以得到旋转后的图片了

文本方向和校正结果

首先输入一个没有旋转的图片,使用python运行代码

[INFO] detected orientation: 0
[INFO] rotate by 0 degrees to correct
[INFO] detected script: Latin

打开网易新闻 查看精彩图片

0度

然后我们输入一张经过旋转的照片,再次运行代码

[INFO] detected orientation: 90
[INFO] rotate by 270 degrees to correct
[INFO] detected script: Latin

打开网易新闻 查看精彩图片

90度

我们使用另外一张照片,看看效果

[INFO] detected orientation: 270
[INFO] rotate by 90 degrees to correct
[INFO] detected script: Latin

打开网易新闻 查看精彩图片

270度

最后我们使用180度的图片进行识别

[INFO] detected orientation: 180
[INFO] rotate by 180 degrees to correct
[INFO] detected script: Latin

打开网易新闻 查看精彩图片

180度

通过以上的验证pytesseract可以较好的识别出文本方向,然后得到旋转的角度,我们便可以成功把图片给旋转到正确的方向