Ремонт, сервис, услуги » Информация » Уроки компьютерного зрения на Python + OpenCV с самых азов. Часть 6




Уроки компьютерного зрения на Python + OpenCV с самых азов. Часть 6

Автор: addministr от 10-05-2022, 13:15

Категория: Информация



На прошлом уроке мы научились превращать набор особых точек, найденных специальным детектором особых точек, в граф. Там же я объяснил, зачем это вообще надо. Сегодня мы будем изучать такую область науки о компьютерном зрении, как нахождение областей интереса на изображении. Как правило, это вторая часть этапа обработки изображений (см. первый урок). И так, предположим, нам надо найти на изображении дорожный знак. Пусть мы пока ограничимся только поиском знаков «кирпич». Вот наша рабочая картинка:
Как мы можем сузить место поиска, чтобы найти знак «кирпич». Бросается в глаза, что он ярко красный. Может, попробуем выделить красный канал (ниже вы увидите, почему так делать не надо):

import cv2
my_photo = cv2.imread('bricksdsc_0263.jpg')
red_channel = my_photo[:,:,2]
cv2.imshow('MyPhoto', red_channel)
cv2.waitKey(0)

cv2.destroyAllWindows()Вот такую картинку мы получили:
Что делаем дальше? Давайте попробуем применить порог:

import cv2
import numpy as np
my_photo = cv2.imread('bricksdsc_0263.jpg')
red_channel = my_photo[:,:,2]
bin_img = np.zeros(my_photo.shape)
bin_img[red_channel > 200] = [0, 0, 255]
cv2.imshow('MyPhoto', bin_img)
cv2.waitKey(0)

cv2.destroyAllWindows()И что же у нас получилось? А вот что:
Казалось бы, ура, мы нашли знак. Как локализовать скопление ярких точек, другой вопрос. Тут проблема в другом. Сработает ли наш метод так же хорошо на другой картинке, например, вот на такой:
Применяем ту же программу, с тем же эмпирически найденным порогом:
Вот это подстава, да? Программа среагировала на шум, но не «увидела» знак. А если попробовать преобразовать в формат HSV и выделить именно красный цвет? Напомню, что значит этот формат. Канал H обозначает цвет. В зависимости от числа меняется оттенок. Канал S – насыщенность, при минимальном значении это белый цвет, при максимальном – цвет, соответствующий значению канала H. Канал V – это яркость. Минимальное значение – черный, максимальное – цвет, соответствующий комбинации H и S.Попробуем выделить канал H:

import cv2
import numpy as np
my_photo = cv2.imread('bricksWhite1.jpg')
img = cv2.cvtColor(my_photo, cv2.COLOR_BGR2HSV)
h_channel = my_photo[:,:,0]
bin_img = np.zeros(my_photo.shape)
bin_img[(h_channel < 40) * (h_channel > 20)] = [0, 0, 255]
cv2.imshow('h_channel', h_channel)
cv2.imshow('result', bin_img)
cv2.waitKey(0)

cv2.destroyAllWindows()Вот что у нас получилось:
У нас попали в наш диапазон черные стволы деревьев, видимо, они имеют чуть заметный красноватый оттенок. Можно попробовать выделить по яркости:

import cv2
import numpy as np
#my_photo = cv2.imread('bricksdsc_0263.jpg')
my_photo = cv2.imread('bricksWhite1.jpg')
#my_photo = cv2.imread('bricksvidelenka(24).jpg')
img = cv2.cvtColor(my_photo, cv2.COLOR_BGR2HSV)
h_channel = my_photo[:,:,0]
v_channel = my_photo[:,:,2]
bin_img = np.zeros(my_photo.shape)
bin_img[(h_channel < 70) * (h_channel > 20) * (v_channel>100)] = [0, 0, 255]
cv2.imshow('v_channel', v_channel)
cv2.imshow('result', bin_img)
cv2.waitKey(0)

cv2.destroyAllWindows()Вот что у нас получилось:
Относительно неплохо. «Дыры» можно заделать морфологическими операциями (операция закрытие):

kernel = np.ones((5,5),np.uint8)
closing = cv2.morphologyEx(bin_img, cv2.MORPH_CLOSE, kernel)И вот что у нас получится в итоге:
У нас остался шум. Тоже можно убрать методом морфологии, на это раз применим операции открытие:

opening = cv2.morphologyEx(bin_img, cv2.MORPH_OPEN, kernel)Если сначала применить открытие, а потом закрытие, то получим вот что:
Шум исчез, но получилось не очень красиво. А если наоборот:
Тут не получилось убрать шум. Ладно, шум, если что, можно будет убрать другим способом. Вот полный текст программы:

import cv2
import numpy as np
my_photo = cv2.imread('bricks1.jpg')
img = cv2.cvtColor(my_photo, cv2.COLOR_BGR2HSV)
h_channel = my_photo[:,:,0]
v_channel = my_photo[:,:,2]
bin_img = np.zeros(my_photo.shape)
bin_img[(h_channel < 70) * (h_channel > 20) * (v_channel>100)] = [0, 0, 255]
cv2.imshow('h_channel', h_channel)
cv2.imshow('v_channel', v_channel)
cv2.imshow('my_photo', my_photo)

kernel = np.ones((5,5),np.uint8)
opening = cv2.morphologyEx(bin_img, cv2.MORPH_OPEN, kernel)
closing = cv2.morphologyEx(opening, cv2.MORPH_CLOSE, kernel)

cv2.imshow('result', closing)
cv2.waitKey(0)

cv2.destroyAllWindows()А сейчас проверим, а сработает ли наш метод на другой картинке:
Как видим, сработал. Еще одна картинка:
А тут не увидел. Зато среагировал на знак «Остановка запрещена». Кстати, а как быть, если мы хотим не «Кирпич» детектировать, а другой знак? Может, попробовать как-то реагировать на форму? Давайте попробуем поискать круглые объекты. Для начала, вспомним, как выделять контур:

import cv2
import numpy as np

my_photo = cv2.imread('bricksWhite1.jpg')
img_grey = cv2.cvtColor(my_photo,cv2.COLOR_BGR2GRAY)

#set a thresh
thresh = 100

#get threshold image
ret,thresh_img = cv2.threshold(img_grey, thresh, 255, cv2.THRESH_BINARY)

#find contours
contours, hierarchy = cv2.findContours(thresh_img, cv2.RETR_TREE, cv2.CHAIN_APPROX_SIMPLE)

#create an empty image for contours
img_contours = np.zeros(my_photo.shape)

# draw the contours on the empty image
cv2.drawContours(img_contours, contours, -1, (255,255,255), 1)

cv2.imshow('origin', my_photo) # выводим итоговое изображение в окно
cv2.imshow('contours', img_contours) # выводим итоговое изображение в окно

cv2.waitKey()
cv2.destroyAllWindows()Посмотрим, как будет выделяться контур на разных картинках:
В обоих случаях окружность видна, но много шума. Как отделить от шума? В OpenCV есть замечательная функция HoughCircles (в нее, судя по всему, уже встроен детектор контуров, так как она работает с самим изображением):

import cv2
import numpy as np

my_photo = cv2.imread('bricks1.jpg')
#my_photo = cv2.imread('bricksWhite1.jpg')
img_grey = cv2.cvtColor(my_photo,cv2.COLOR_BGR2GRAY)

rows = img_grey.shape[0]
circles = cv2.HoughCircles(img_grey, cv2.HOUGH_GRADIENT, 1, rows / 8,
param1=100, param2=30,
minRadius=1, maxRadius=100)

res = np.zeros(my_photo.shape)
if circles is not None:
circles = np.uint16(np.around(circles))
for i in circles[0, :]:
center = (i[0], i[1])
# circle center
cv2.circle(res, center, 1, (0, 100, 100), 3)
# circle outline
radius = i[2]
cv2.circle(res, center, radius, (255, 0, 255), 3)

cv2.imshow('origin', my_photo) # выводим итоговое изображение в окно
cv2.imshow('res', res) # выводим итоговое изображение в окно

cv2.waitKey()
cv2.destroyAllWindows()Данная программа нашла довольно много окружностей:
Это можно отрегулировать порогами, задающиеся параметрами param1 и param2:

circles = cv2.HoughCircles(img_grey, cv2.HOUGH_GRADIENT, 1, rows / 8,
param1=150, param2=50,
minRadius=1, maxRadius=100)
Более наглядно будет, если отобразить найденные окружности на исходном изображении:

res = np.zeros(my_photo.shape)
if circles is not None:
circles = np.uint16(np.around(circles))
for i in circles[0, :]:
center = (i[0], i[1])
# circle center
cv2.circle(my_photo, center, 1, (0, 100, 100), 3)
# circle outline
radius = i[2]
cv2.circle(my_photo, center, radius, (255, 0, 255), 3)

cv2.imshow('origin', my_photo) # выводим итоговое изображение в окно
А как сработает на другой картинке?Смотрим:
Здесь, как видим, шума слишком много. Но один из кругов описывает искомый знак. К сожалению, метод поиска круга срабатывает тоже не всегда. Вот на этой фотографии программа нашла только шум:
Как можно помочь в данной ситуации?Первое, можно попробовать «подсунуть»  функции HoughCircles не целую картинку, а готовый контур. Только контур следует нарисовать в матрице типа uint8, вот так:

#create an empty image for contours
img_contours = np.uint8(np.zeros((my_photo.shape[0],my_photo.shape[1])))И что мы получим? Вот что (знаки нашел, но шум остался):
Другой вариант – предварительная фильтрация (кто там в комментах возмущался, зачем я пишу про фильтры?):

filterd_image = cv2.medianBlur(my_photo,7)В данном случае была применена медианная фильтрация (но функции HoughCircles была «скормлена» картинка) и вот что получилось:
На этом урок закончен, но будет еще. До новых встреч.

 

Источник: https://habr.com/ru/post/664984/





Уважаемый посетитель, Вы зашли на сайт как незарегистрированный пользователь.
Мы рекомендуем Вам зарегистрироваться либо войти на сайт под своим именем.

Архив | Связь с админом | Конфиденциальность

RSS канал новостей     Яндекс.Метрика