谈谈OpenCV中的四边形

首先抛出一个问题，给定一系列二维平面上的的点，这些点是可以组成一个封闭的二维图形。因为这些点是矩形区域拍摄图像后识别得到的图形的边界点，所以我们要抽象出来这个矩形，也就是我们要反映出这个矩形。问题是在拍照的时候摄像头可能不是正对着图形的，那么矩形就必然在图像上反映为一个四边形, 如下图所示。 那怎么得到这个四边形的四个顶点呢？使用经典图像处理的算法的话可以使用OpenCV提供了几个和矩形相关的函数接口。另一类就是使用机器学习类算法检测定位四个角点。首先来看看使用经典图像处理的算法来进行解决。

1.最小包络正矩形

Rect boundingRect(InputArray points)函数会给我们传入的边界点计算得到一个最小的包络正矩形，并输出这个正矩形的顶点。

import cv2
from matplotlib import pyplot as plt
import numpy as np
image = cv2.imread("0.jpg")
gray = cv2.cvtColor(image, cv2.COLOR_BGR2GRAY)
ret, binary = cv2.threshold(gray, 127, 255, cv2.THRESH_BINARY)  
  
contours, hierarchy = cv2.findContours(binary, cv2.RETR_TREE, cv2.CHAIN_APPROX_SIMPLE)  
cv2.drawContours(image, contours, -1, (255, 0, 0), 2)

x, y, w, h = cv2.boundingRect(contours[0]) 
cv2.rectangle(image, (x, y), (x+w, y+h), (0, 255, 0), 2)

plt.imshow(image)
plt.show()

2.最小包络矩形

RotatedRect minAreaRect(InputArray points)和上面的使用方法一样，但是这次我们得到的是一个带有旋转角度的矩形，这个就更贴近实际的形状。

import cv2
from matplotlib import pyplot as plt
import numpy as np
image = cv2.imread("0.jpg")
gray = cv2.cvtColor(image, cv2.COLOR_BGR2GRAY)
ret, binary = cv2.threshold(gray, 127, 255, cv2.THRESH_BINARY)  
  
contours, hierarchy = cv2.findContours(binary, cv2.RETR_TREE, cv2.CHAIN_APPROX_SIMPLE)  
cv2.drawContours(image, contours, -1, (255, 0, 0), 2)

rect = cv2.minAreaRect(contours[0])
#box = cv2.cv.BoxPoints(rect)  # for OpenCV 2.x 
box = cv2.boxPoints(rect)      # for OpenCV 3.x
box = np.int0(box) 
cv2.drawContours(image, [box], 0, (0, 0, 255), 2)

plt.imshow(image)
plt.show()

3.使用边界点进行拟合得到四边形

这种方法是将边界点进行拟合，将边界点减少到4个点，这样就得到了一个四边形了。这个方法来自于opencv官方给出的example里面的find_squares.

import cv2
from matplotlib import pyplot as plt
import numpy as np
image = cv2.imread("0.jpg")
gray = cv2.cvtColor(image, cv2.COLOR_BGR2GRAY)
ret, binary = cv2.threshold(gray, 127, 255, cv2.THRESH_BINARY)  
  
contours, hierarchy = cv2.findContours(binary, cv2.RETR_TREE, cv2.CHAIN_APPROX_SIMPLE)  
cv2.drawContours(image, contours, -1, (255, 0, 0), 2)

cnt_len = cv2.arcLength(contours[0], True)
cnt = cv2.approxPolyDP(contours[0], 0.02*cnt_len, True)
if len(cnt) == 4:
    cv2.drawContours(image, [cnt], -1, (255, 255, 0), 3 )
plt.imshow(image)
plt.show()

4.最小包络四边形

第三种办法可以解决大多数情况下的问题，但是如果说我们的四边形的图像中一个角缺少很小的一块，那么得到的四边形很可能就完全和想象中不同了。原因就是拟合的过程将图形“变小”了。那么有没有一种最小包络四边形的算法呢？有！凸多边形最小面积四边形包围盒算法这个论文里面提供了一种计算的方法，而且A suite of minimal bounding objects-minboundquad() 实现了这个方法。但是这个算法的复杂度是O(n^4), n表示的是边界点构成的边的个数。相比第三种办法中的拟合方法复杂度显然是有点太高，特别是当我们的边界点比较多的时候。不过它能解决第三种方法中缺少角出现的问题。