Выделение рукопечатного текста на бланках. Предобработка изображения текста

В дипломной работе подробно описаны морфологические операторы и показана высокая эффективность операции закрытия (Closing) для удаления шумов в бинарном изображении. Предложены несимметричные структурные элементы для удаления шумов при сохранении высокого качества фильтрации.
Для решения задачи определения небольших углов поворота при сканировании, предложено применение метода нахождения прямых Хафа. Приведены теоретические сведения об алгоритмах, реализующих метод Хафа для различных кривых, показана связь преобразований Хафа и Радона.
Реализована программа поиска сегментов линий, реализующая статистический метод Хафа, которая определяет угол поворота для бинарного изображения бланка почтового перевода.

При необходимости, работа может быть оперативно переделана и доработана под нужную обл ...

ВВЕДЕНИЕ 8
1 Постановка задачи 9
1.1 Экспериментальное исследование собственных векторов ковариационной матрицы 14
2 МОРФОЛОГИЧЕСКАЯ ФИЛЬТРАЦИЯ бинарного изображения 26
2.1 Методология систем распознавания текстов 26
2.2 Сегментация полутоновых изображений 27
2.3 Анализ структурных элементов для удаления помех операцией закрытия 36
3 ОБОБЩЕНИЕ И МОДИФИКАЦИИ ПРЕОБРАЗОВАНИЯ Хафа 46
3.1 Преобразование Хафа для поиска кругов 46
3.2 Связь преобразования Хафа с преобразованием Радона 48
3.3 Анализ аккумулятора при поиске геометрических примитивов 50
3.4 Обобщенное преобразование Хафа 51
3.5 Рекуррентная преобразования Хафа в скользящем окне 54
3.6 Алгоритм нахождения линий Хафа 57
3.7 Программа нахождения линий на изображении 59
4 ОХРАНА ТРУДА 62
4.1 Требования к организации рабочих мест специалистов-компьютерщиков 62
4.2 Правила производственной безопасности при проведении работ по техобслуживанию, настройки и ремонта ЭВМ 67
4.3 Технические средства профилактики нарушения здоровья специалистов-компьютерщиков 70
5 ЭКОНОМИЧЕСКОЕ ОБОСНОВАНИЕ РАЗРАБОТКИ СИСТЕМЫ ВЫДЕЛЕНИЯ РУКОПЕЧАТНОГО ТЕКСТА 73
5.1 Общая характеристика проекта 73
5.2 Расчет трудоемкости разработки программной продукции 73
5.3 Определение цены программного продукта 79
5.4 Расчет начальных инвестиций 83
5.5 Расчет текущих затрат 84
6 защиты. ПРАВИЛА ПОВЕДЕНИЯ И ДЕЙСТВИЯ НАСЕЛЕНИЯ В очаге бактериологического ПОРАЖЕНИЯ 87
ВЫВОДЫ 95
ПЕРЕЧЕНЬ ССЫЛОК 96

Сегментация изображения является первым шагом анализа изображений и распознавания образов. Этот критический и важный компонент анализа изображений и системы распознавания образов является одной из самых сложных задач при обработке изображений и определяет качество конечного результата анализа. Сегментация изображения - процесс распределения изображения на различные области, такие, что каждая из областей однородная, а объединение любых двух соседних областей не является однородным.
Существует много статей и обзоров методов сегментации полутоновых изображений. Сегментация цветных изображений привлекает все большее внимание в основном по следующим причинам: первое - цветные изображения предоставляют больше информации, чем полутоновые изображения; второе - мощность персональных компьютеров быс тро растет, они уже сейчас могут быть использованы для обработки цветных изображений. Методы сегментации полутоновых изображений можно обобщить на изображение цветные, используя данные каналов R, G и B или их преобразования (линейные или нелинейные)

Рисунок 2.14– Результат закриття з елементом №2. Зображення №2
Рисунок 2.15– Результат закриття з елементом №2. Зображення №3
Як видно з рис. 2.14 – 2.15, при застосування структурного елементу №2 завади з зображення практично всі видаляються, а символи тексту не пошкоджуються.
Аналогічні результати були отримані для структурного елементу з №3.
Наведемо текст програми морфологічної фільтрації, створеної за допомогою бібліотеки OpenCV:
#include "opencv2/highgui/highgui.hpp"
#include "opencv2/imgproc/imgproc_c.h"
#include <stdio.h>
IplImage* src = 0;
IplImage* dst = 0;
IplConvKernel* element = 0;
int element_shape = CV_SHAPE_CUSTOM;
//the address of variable which receives trackbar position update
int max_iters = 10;
int *values = new int(9);;
int vals[9] = { 1, 0, 1, 0, 1, 0,0, 0, 0 }; // структурний елемент
// callback function for open/close trackbar
void OpenClose(int pos)
{
int n = pos; //open_close_pos - max_iters;
int an = n > 0 ? n : -n;
for (int i = 0; i<9; i++)
values[i] = vals[i];
element = cvCreateStructuringElementEx(3, 3, 1, 1, CV_SHAPE_CUSTOM, values);
cvDilate(src, dst, element, 1);
cvErode(dst, dst, element, 1);
cvReleaseStructuringElement(&element);
// cvShowImage("Image",src);
cvShowImage("Open/Close", dst);
}
void help()
{
printf("This program demonstrated the use of the morphology operator, especially open, close, erode, dilate operations\n"
"Morphology operators are built on max (close) and min (open) operators as measured by pixels covered by small structuring elements.\n"
"These operators are very efficient.\n"
"This program also allows you to play with elliptical, rectangluar and cross structure elements\n"
"Usage: \n"
"./morphologyc [image_name -- Default baboon.jpg]\n"
"\nHot keys: \n"
"\tESC - quit the program\n"
"\tr - use rectangle structuring element\n"
"\te - use elliptic structuring element\n"
"\tc - use cross-shaped structuring element\n"
"\tSPACE - loop through all the options\n");
}
int main(int argc, char** argv)
{
char* filename = 0;
help();
filename = argc == 2 ? argv[1] : (char*)"imag300_0003_text.bmp";
if ((src = cvLoadImage(filename, 1)) == 0)
{
printf("Cannot load file image %s\n", filename);
help();
return -1;
}
dst = cvCloneImage(src);
//create windows for output images
cvNamedWindow("Open/Close", 1);
// cvNamedWindow("Erode/Dilate",1);
int c;
OpenClose(1);
// ErodeDilate(erode_dilate_pos);
cvSaveImage("out_fon.bmp", dst);
c = cvWaitKey(0);
//release images
cvReleaseImage(&src);
cvReleaseImage(&dst);
//destroy windows
cvDestroyWindow("Open/Close");
return 0;
}
Використання бібліотеки дозволить при потребі поєднати морфологічне виділення завад і пошук ліній методом Хафа.
Отже за результатами виконаних досліджень можна зробити наступні висновки:
застосування морфологічних операцій для видалення завад з симетричним структурним елементом не забезпечує необхідну якість фільтрації при двох ітераціях, а при збільшенні кількості ітерацій виникають небажані спотворення символів тексту поштового переказу;
запропонований у роботі несиметричний структурний елемент забезпечує на множені досліджених бінарних зображень поштового переказу видалення практично всіх завад без видимих спотворень нарису символів.
3 УЗАГАЛЬНЕННЯ І МОДИФІКАЦІЇ ПЕРЕТВОРЕННЯ ХАФА
3.1 Перетворення Хафа для пошуку кіл
Описаний вище алгоритм перетворення Хафа буде працювати абсолютно аналогічно не тільки при будь-якому іншому виборі параметрів прямих, але й будучи застосованим до виявлення будь-якої іншої кривої, що описується на площині деяким числом параметрів, що вплине лише на зміст і розмірність простору параметрів.
Наприклад, у вже розглянутої нами задачі пошуку кіл заданого радіуса R ми можемо вважати, що маємо справу з двопараметричним сімейством кривих (x-x0)2 + (y-y0)2 = R2, і робити пошук максимуму акумуляторної функції A(x, y ) у просторі параметрів (x, y). Зауважимо, що простір параметрів в цьому випадку практично збігається з вихідним (x, y). Оскільки набір центрів усіх можливих кіл радіуса R, що проходять через задану точку, утворює коло радіуса R навколо цієї точки, функція відгуку в перетворенні Хафа для пошуку кіл відомого розміру являє собою коло такого ж розміру з центром у голосує точці. Максимум акумулятора відповідає положенню центру кола на зображенні.
Наведемо тепер алгоритм виявлення кіл заданого радіуса на напівтонових зображеннях, що використовує оцінку орієнтації нормалі в голосуючих контурних точках. Першим кроком процесу є виявлення пікселів краю, оточуючих периметр об'єкта. Наприклад, може використовуватися оператор Собела, що дає оцінку амплітуди і напрямки вектора-градієнта. Голосуючими контурними точками вважаються точки з високим значенням модуля градієнта. Для кожного виявленого крайового пікселя використовується оцінка положення і орієнтації контуру з метою оцінки центру кругового об'єкта радіуса R шляхом руху на відстань R від крайового пікселя в напрямку нормалі до контуру (тобто в напрямку вектора-градієнта). Якщо цю операцію повторювати для кожного крайового пікселя, буде знайдено безліч положень передбачуваних точок центру, яке може бути усереднено для визначення точного місцезнаходження центру.
Рисунок 3.1 - Принцип виявлення кола невідомого радіуса на напівтоновому зображенні методом голосування
Якщо радіус кола є невідомим або змінним, необхідно включити R в якості додаткової змінної в параметричне простір-акумулятор: тоді процедура пошуку піку повинна визначити радіус, так само як і положення центру шляхом розгляду змін уздовж третього виміру параметричного простору. Якщо розмір виявленої окружності нас не цікавить і потрібно виявити тільки її центр, то можна обійтися і без збільшення розмірності простору параметрів. Нехай для кожного можливого напрямку на "центр" контурна точка голосує не крапкою на відстані R, а променем у цьому напрямку (рис. 3.1 а). Таким чином, виявляться задіяні всі можливі положення "центру" при будь-якому масштабі об'єкта, і це дозволить шукати окружності незалежно від їх радіуса (рис. 3.1 б).
На другому етапі аналізу, після виявлення потенційних центрів кіл, можна буде повторно звернутися до зображення і уточнити радіус кіл з центрами в знайдених точках. Запам'ятаємо цю ідею - вона нам ще знадобиться нижче при описі методів побудови обчислювально ефективних процедур аналізу свідчень. Зауважимо також, що рис. 3.1 а демонструє цікавий зв'язок описаного сучасного алгоритму аналізу напівтонових зображень із завданням зі шкільного курсу про побудову окружності по трьох точках. Справді, адже напрямок градієнта в точці контуру контрастною кола на зображенні є не що інше як межа серединного перпендикуляра до січної окружності при прагненні довжини січної до нуля. Якби у нас не було безперервного контура кола, а було лише точкове, то ми могли б реалізувати голосування пар точок на користь відповідних серединних перпендикулярів, і, таким чином, вирішити завдання виділення кіл невідомого розміру в бінарному точковому безлічі (рис. 3.2).
Рисунок 3.2 - Принцип виявлення кола невідомого радіуса в бінарному точковому безлічі методом голосування
В даний час розроблені також ефективні модифікації перетворення Хафа для виділення еліпсів та інших відомих видів аналітичних кривих.
3.2 Зв'язок перетворення Хафа з перетворенням Радону
В комп'ютерної рентгенівської томографії та радіоастрономії давно використовують пряме і зворотне перетворення Радону для відновлення зображень по деякому набору їх проекцій. Для деякої функції f(x, y) перетворення Радону Pθ(ρ) визначається як:
. (3.1)
Легко побачити, що це не що інше як інтегрування f(x, y) вздовж прямих, що визначаються рівнянням (3.1) для різних θ. Тому перетворення Хафа однозначно пов'язане з перетворенням Радону.
Справді, перетворення Радону і перетворення Хафа мають можливість виділення прямих на зображенні. Причому і те, і інше перетворення мають властивість придушення шумів, оскільки вздовж прямих виробляється інтегрування. За рахунок цього відношення сигнал/шум в просторі параметрів вище, ніж на вихідному зображенні, і виявлення прямих володіє більшою вірогідністю.
Нехай F(u, v) - перетворення Фур'є від f(x, y);
Pθ(ρ) - проекція f(x, y) вздовж прямих під кутом θ;
Sθ(ω) - перетворення Фур'є від Pθ(ω), тоді
. (3.2)
Це означає, що для обчислення перетворення Радону необхідно:
1) обчислити F(u, v) для f (x, y);
2) для отримати набір функцій {Sθ(ω)2} у частотній області;
3) обчислити зворотне перетворення Фур'є від кожної Sθ(ω), в результаті чого, ми отримаємо набір Pθ(ρ), які в сукупності і визначають перетворення Радону для зображення.
Таким чином, перехід від початкового зображення f(x, y) до простору ознак (ρ,θ) відбувається через частотну область, в результаті чого більша частина обчислень полягає в багаторазовому застосуванні ШПФ, що дає виграш у часі обробки.
Відомо також застосування перетворення Радону для поліпшення лінійних властивостей зашумлених зображень. Нехай дано зображення f і його перетворення Радону ν:
, (3.3)
де R – оператор перетворення Радону.
Введемо оператор E, який діє в просторі ознак (ρ, θ) і підсилює наявні піки:
. (3.4)
Покращене в сенсі лінійних властивостей зображення можна тепер отримати, застосовуючи зворотне перетворення Радону:
. (3.5)
Алгоритм включає наступні етапи:
1) обчислити перетворення Фур'є Sθ(ω) для Pθ(ρ);
2) відфільтрувати Pθ(ρ) шляхом множення на |ω| в частотній області;
3) обчислити зворотне перетворення Фур'є Qθ(t) для кожного Sθ(ω) |ω|;
4) обчислити зворотне перетворення проекцією Qθ(t) на <x, y>.
Отже, ми бачимо, що в області виявлення прямих перетворення Хафа часто вигідно використовувати у формі перетворення Радону. Однак, по-перше, це залежить від кількості інформативних точок, що підлягають виявленню (контурних і особливих точок на порядки менше, ніж всіх точок зображення, і тому їх голосування може бути більш ефективним, ніж тотальне перетворення Радону), а по-друге, як буде показано нижче, перетворення Хафа можна узагальнити на випадок виявлення об'єктів довільної форми.
3.3 Аналіз акумулятора при пошуку геометричних примітивів
Зазвичай використовуються два основні методи аналізу простору параметрів. Перший метод полягає у безпосередньому пошуку фіксованого числа локальних максимумів (одного глобального максимуму) в просторі параметрів. При цьому можливі різні способи відшукання таких максимумів.
Другий метод передбачає порогову сегментацію акумуляторної функції (або її проекцій, як у методі латеральних гістограм) і подальший аналіз зв'язкових областей простору параметрів. Очевидно, що обидва ці підходи в деякому розумінні еквівалентні, тому що обираючи поріг рівним значенню мінімального локального максимуму, ми отримаємо за допомогою другого методу те ж, що і при використанні першого. Проте залишається проблема оптимального вибору порога для конкретного зображення.
Крім того, очевидно, що короткі лінії (відрізки кривих) дадуть відносно низькі піки акумуляторної функції порівняно з довгими. Тому, вони будуть виявлені лише в тому випадку, коли "апріорі" (до споруди порога) відомо, що вони присутні на зображенні.
Розглянемо спосіб аналізу акумуляторної функції, що виключає поняття порога з розгляду. Основна ідея цього методу полягає в тому, що на кожному етапі аналізу ведеться пошук одного глобального максимуму акумуляторної функції, після чого з усіх осередків акумулятора віднімаються "внески" всіх тих точок вихідного зображення, які належать кривої, що відповідає виявленому максимуму, і знову повторюють пошук. Практичні результати застосування цього методу свідчить про його більшою, порівняно зі стандартними методами, чутливості до невеликих відрізках (вибірках), і в той же час - про високу робастності і стійкості по відношенню до шуму.
Коли мова йде про складні об'єктах, то перетворення Хафа і різні його модифікації застосовуються на етапі виділення "рис", після чого проводиться "збірка" можливих об'єктів, виходячи з їх структурного опису. Такий підхід називається "ієрархічним аналізом".
3.4 Узагальнене перетворення Хафа
Вище було описано перетворення Хафа, яке дозволяє швидко і стійко виявляти графічні примітиви, описувані аналітичними рівняннями: прямі лінії, кола, еліпси і т.п. Пізніше метод голосування контурних точок у простір параметрів був узагальнений і на випадок кривих, що не описуваних в аналітичній формі. У такій найбільш загальній формі він отримав найменування узагальненого перетворення Хафа (GHT).
Розглянемо спочатку завдання виявлення об'єкта довільної форми, заданого еталонного зображення, у випадку, коли потрібно забезпечити інваріантність результатів виявлення до зрушення зображення, але не до його масштабом (рис. 3.3).
У цьому випадку, на відміну від задач виявлення кола, істотно те, що відстань R від поточного пікселя кордону до її центру більше не константа, а є функцією R(φ) від кута φ радіуса-вектора, спрямованого від точки контуру до центру (рис. 3.3 а). На додаток, в загальному випадку, "центр" тут повинен заново інтерпретуватися як якась умовна точка локалізації O. Вибір точки локалізації O не є єдиним і може регулювати помилки. У загальному випадку слід очікувати, що положення точки локалізації поруч з центром ваги периметра об'єкта мінімізує помилки, обумовлені неточністю оцінки орієнтації краю.
Рисунок 3.3 - Ідея виявлення фігури довільної форми, інваріантної до зрушення:
а - навчання шляхом складання LUT; б - виявлення шляхом голосування з використанням LUT
Для визначення простих форм функція R(φ) може бути описана аналітично. Однак для більшості форм це неможливо. Тим не менш, Баллард показав, що такий підхід залишається життєздатним, оскільки для запам'ятовування інформації про форму можна використовувати спеціальні переглядові таблиці (look-up-table), що містять дискретні значення R(θ) для різних значень кутів. Відповідно, алгоритм складається з етапів навчання детектора Хафа шляхом складання LUT по еталонному зображенню (рис. 3.3 а) і етапу виявлення об'єкта на тестовому зображенні шляхом голосування контурних точок з використанням цієї LUT (рис. 3.3 б).
Спробуємо тепер узагальнити цю схему для випадку виявлення об'єкта довільної форми в умовах, коли об'єкт може не тільки переміщатися, але й обертатися в площині зображення. Тут ми будемо відштовхуватися від ідеї використання інформації про орієнтацію вектора-градієнта в контурних точках. У цьому випадку істотно те, що радіуса-вектор в крайовій точці є тепер не функцією від абсолютного кута напрямку на центр φ, а функцією відносного кута між напрямком градієнта і напрямом радіуса-вектора (рис. 3.4). В іншому алгоритм повністю збігається з описаним вище, проте тепер він уже має властивість інваріантності до обертання. Саме в такому, найбільш ефективному вигляді він і отримав назву узагальненого перетворення Хафа (GHT). Можна також відзначити, що за рахунок використання інформації про направлення градієнта в точках контуру, GHT володіє набагато кращою помехозахищеністю, так як точки з невідповідними напрямами градієнтів просто не голосують на користь відповідних гіпотез, а отже, співвідношення голосів, відданих за правильних кандидатів, суттєво покращується .
Рисунок 3.4 - Ідея узагальненого перетворення Хафа
Таким чином, перетворення Хафа, GHT і їх різні модифікації забезпечують інваріантне виявлення геометричних примітивів та об'єктів на зображенні з високим ступенем перешкодозахищеності і значною точністю визначення параметрів місця розташування і орієнтації. Суттєвим обмеженням застосовності цієї групи методів є те, що описані алгоритми виявляють не самі напівтонові об'єкти, а їх контури. Тому об'єкти, що не мають чітко вираженого контуру, не можуть бути піддані детектуванню з використанням GHT.
3.5 Рекурентне перетворення Хафа в ковзному вікні
При вирішенні багатьох практичних завдань корисно мати в кожній точці зображення інформацію про те, чи проходять через неї які-небудь прямолінійні відрізки, і якщо так, то які їхні параметри. Для цієї мети служить запропоноване в рекурентне перетворення Хафа в ковзному вікні (RHT).
Визначимо вікно розмірами W×W, що рухається по зображенню таким чином, що його центральна точка послідовно проходить всі крапки зображення, наприклад, зліва направо по кожному рядку і знизу вгору по рядках. Нехай для кожного положення вікна заповнюється відповідний акумулятор перетворення Хафа, після чого результати переносяться в загальний акумуляторний масив для всього зображення. Таким чином, в результаті перетворення формується двовимірний масив акумулятора, розміри якого збігаються з розмірами початкового зображення, а кожна точка характеризується параметрами найбільш достовірного відрізка прямої, що проходить через нього.
Для коректного перенесення результату голосування в кожному окремому вікні у фінальний єдиний акумулятор, необхідно змінити параметризацію простору Хафа. Будемо описувати пряму у вікні параметрами (x,Q). Тут x - координата перетину осі X вікна, а Q - кут нахилу цієї прямої до осі X. Після голосування всіх точок вікна отримаємо акумулятор, в якому в точці (x, Q) буде міститися кількість точок, що лежать на прямій, що проходить в цьому вікні через точку (x, 0) під кутом Q. Тепер для перенесення в кінцевий масив необхідно визначити для кожної точки на осі Ox вікна пряму, за яку проголосувало найбільше точок, після чого ці результати можна перенести в кінцевий масив у відповідні комірки. Однак очевидно, що при параметризації (x,Q) ми можемо захопити далеко не всі прямі, так як частина з них будуть перетинати вісь Ox далеко за межами вікна або не перетинати взагалі. Для вирішення цієї проблеми введемо додаткову параметризацію (y,Q). Прохід з параметризацією (x,Q) назвемо проходом по рядках. При проході по рядках будемо йти вікном від самого нижнього лівого положення і повністю проходити по рядку вихідного зображення до вкрай правого положення, а потім підніматися на рядок вгору. При проході за стовпцями будемо йти вікном від самого нижнього лівого положення і повністю проходити по стовпці вихідного зображення до самого верхнього положення, а потім зміщуватися на стовпець вліво. Після закінчення обох проходів, їх результати об'єднуються за допомогою операції "максимум", в результаті чого у фінальному акумуляторі виявляються записаними ті відрізки, за які було подано максимальну кількість голосів. Крім цього, враховуючи, що ми використовуємо два проходи і можемо мати кут нахилу як по відношенню до осі Ox, так і до осі Oy, масив акумулятора також повинен містити деякий прапор, який визначає, який тип значення кута міститься в даній комірці.
Заповнений таким чином масив акумулятора містить всі можливі для даного зображення варіанти розташування елементів прямих ліній - лінеаментів. Після цього необхідно виділити найбільш достовірні відрізки. Можливі наступні варіанти такої обробки: порогове відсікання і виділення локальних максимумів. Параметрами тут є деяке порогове значення і розміри прямокутної області, в якій ведеться пошук максимуму.
Описане перетворення Хафа в ковзному вікні дійсно дозволяє отримати необхідне локально-параметричне опис зображення. Проте відповідна його реалізація вимагає невиправдано великої кількості обчислень. У зв'язку з цим була запропонована наступна алгоритмічна реалізація, що дозволяє домогтися тих же результатів при значно менших обчислювальних витратах. Суть змін полягає в тому, щоб перейти до рекурентному заповнення акумулятора ковзного вікна за аналогією з тим, як це робиться для рангових фільтрів. Для цього необхідно внести наступні модифікації.
1) Перехід до натуральної параметризації прямих. Доцільно використовувати параметризацію (x,dx) для проходу по рядках і (y,dy) для проходу по стовпцях. Тут x - також точка перетину прямої осі Ox, y - відповідно осі Oy; параметр dx - зміщення координати x при зміні координати y на половину висоти вікна, dy визначається аналогічно.
2) Оптимізація процедури голосування однієї точки. У випадку, коли використовується параметризація (x,dx)/(y, dy), функція відгуку кожної точки початкового простору в точності являє собою дискретну пряму в акумуляторі, що формується за допомогою операцій цілочисельного додавання.