Восстановление трехмерного объекта по плоскому изображению

В работе описывается общая постановка задачи восстановления формы объекта по плоскому изображению («Shape-from-Shading»). Основной целью является восстановление трехмерной формы объекта по его закраске. Под закраской объекта понимается плавное изменение яркости между точками объекта. Подробно рассматриваются несколько подходов для решения задачи восстановления объемного изображения по двумерному полутоновому оригиналу. Каждый алгоритм имеет свои особенности и недостатки на различных изображениях, как синтетических, так и реальных.
Повышение качества изображений достигается двумя видами обработки изображений: реставрацией (исправлением) изображений и их улучшением. Под реставрацией обычно понимают процедуру восстановления или оценивания элементов изображения, целью которой является коррекци ...

Введение 6
Постановка задачи 8
1 Общие методы обработки изображений 9
1.1 Улучшение изображения 9
1.2 Видоизменение гистограммы 9
1.3 Плотности распределения и характеристики передачи уровней 12
1.3.1 Равномерное преобразование гистограммы 13
1.3.2 Экспоненциальное преобразование гистограммы 15
1.3.3 Преобразование гистограммы по закону Рэлея 16
1.3.4 Преобразование гистограммы по закону степени 17
1.3.5 Гиперболическое преобразование гистограммы 18
1.4 Основы пространственной фильтрации 19
1.5 Сглаживающие пространственные фильтры 23
1.5.1 Линейные сглаживающие фильтры 23
1.5.2 Нелинейные фильтры, основанные на порядковых статистиках 27
1.6 Пространственные фильтры повышения резкости 29
1.6.1 Улучшение изображений с использованием лапласиана 30
2 Восстановление формы объекта 35
2.1 Основные подходы задачи восстановления 35
2.1.1 Подходы минимизации 35
2.1.2 Подходы локализации 36
2.1.3 Линейные подходы 36
2.2 Модели отражения 36
2.3 Алгоритмы восстановления формы по закраске 39
2.3.1 Минимизация 39
2.3.2 Метод Чена и Челлаппы 40
2.3.3 Локализация 41
2.3.4 Метод Ли и Розенфельда 41
2.3.5 Линеаризация 42
2.3.6 Метод Цай и Шаха 42
3 Экспериментальные изображения 45
3.1 Синтетические изображения 45
3.2 Реальные изображения 46
3.3 Результаты 46
3.3.1 Метод Ченга и Челлаппы 47
3.3.2 Метод Цай и Шаха 49
3.3.3 Метод Ли и Розенфельда 50
4 Организационно-экономическая часть 53
4.1 Этапы разработки 53
4.2 Определение трудоемкости работ 54
4.3 Определение сметной стоимости разработки 58
5 Безопасность и экологичность проекта 62
5.1 Анализ опасных и вредных факторов, возникающих при работе за компьютером 62
5.2 Обеспечение электробезопасности и пожаробезопасности 64
5.3 Расчет воздухообмена (вентиляции) в вычислительном центре 68
5.4 Выводы 70
Заключение 72
Список литературы 73
Приложение А Примеры 74
Приложение Б Листинг программы 77

Постановка задачи
В дипломной работе требуется решить следующие поставленные задачи: описать и реализовать общие методы обработки и улучшения качества изображений; написать необходимые алгоритмы для восстановления формы объекта по плоскому полутоновому изображению; реализовать все описанные алгоритмы на компьютере и вывести полученные трехмерные изображения на экран.

Большое число скриншотов - результат работы программы

Одно прямое уравнение для гибридной поверхности: MACROBUTTON MTPlaceRef \* MERGEFORMAT SEQ MTEqn \h \* MERGEFORMAT (2.5)где — общая яркость гибридной поверхности, — «вес» зеркальной компоненты.2.3 Алгоритмы восстановления формы по закраскеБольшинство «Shape-from-Shading» алгоритмов предполагает, что направление источника света уже известно. В случае неизвестного направления источника света есть алгоритмы, которые могут оценить направление источника света без знания формы поверхности. Однако некоторые предположения о поверхностной форме все-таки требуются, такие как: локальная сферическая поверхность, универсальное и изотропное распределение поверхностной ориентации. Как только направление источника света станет известно, можно будет восстанавливать 3-D форму объекта.В данной работе было реализовано три подхода задачи восстановления: метод минимизации, локальный метод и линейный метод. Выбор этих методов обусловлен тем, что это одни из самых свежих алгоритмов на сегодняшний день и работают лучше, чем их предыдущие реализации. Так же некоторые подходы комбинируют методы восстановления по закраске со стерео методами или методами разбиения строк. И, наконец, методы связанные с межотражением и зеркальностью рассматриваются специальными или более сложными алгоритмами. В данном проекте такие методы рассматриваться не будут.2.3.1 МинимизацияПодходы минимизации вычисляют решение, которое минимизирует функцию энергии по всему изображению. Функция может включать ограничение яркости, и другие ограничения, такие как: ограничение гладкости, ограничение интегрируемости, ограничение градиента, и ограничение модуля нормали. Опишем эти ограничения, и затем обсудим метод SFS, который их использует.Ограничение яркости получено непосредственно из освещенности изображения по формуле GOTOBUTTON ZEqnNum771394 \* MERGEFORMAT (2.2). Оно указывает на полную ошибку яркости восстановленного изображения по сравнению с входным изображением: MACROBUTTON MTPlaceRef \* MERGEFORMAT SEQ MTEqn \h \* MERGEFORMAT (2.6)где — измеренная яркость изображения, — предполагаемая карта коэффициентов отражения.Ограничение гладкости гарантирует гладкую поверхность, чтобы стабилизировать сходимость к универсальному решению, и задается: MACROBUTTON MTPlaceRef \* MERGEFORMAT SEQ MTEqn \h \* MERGEFORMAT (2.7)где и — поверхностные градиенты вдоль и направлений.Ограничение интегрируемости гарантирует допустимые поверхности, такие что . Это можно описать следующим образом: MACROBUTTON MTPlaceRef \* MERGEFORMAT SEQ MTEqn \h \* MERGEFORMAT (2.8)или MACROBUTTON MTPlaceRef \* MERGEFORMAT SEQ MTEqn \h \* MERGEFORMAT (2.9)Ограничение градиента интенсивности требует, чтобы градиент интенсивности восстановленного изображения был близок к градиенту интенсивности входного изображения в направлениях и : MACROBUTTON MTPlaceRef \* MERGEFORMAT SEQ MTEqn \h \* MERGEFORMAT (2.10)2.3.2 Метод Чена и ЧеллаппыЧенг и Челлаппа применили ограничение градиента интенсивности, вместо ограничения гладкости, поэтому, их функция энергии имеет вид: MACROBUTTON MTPlaceRef \* MERGEFORMAT SEQ MTEqn \h \* MERGEFORMAT (2.11)Минимизация вышеупомянутой функции была выполнена через вариационное исчисление. В вариационном исчислении были вычислены уравнения Эйлера, которые являются дифференциальными уравнениями, и затем решены дискретно, чтобы минимизировать функцию энергии. Ченг и Челлаппа упростили уравнения Эйлера, взяв ряд Тейлора первого порядка карты отражения и подставив глубину, градиент и их производные в дискретной форме. Затем, была получена новая итеративная схема, которая обновляет глубину и градиенты одновременно. Алгоритм был реализован, используя иерархическую структуру (пирамида), чтобы ускорить вычисление. Не было никакого особого требования для инициализации границ. Начальные значения и для глубины и для градиента могут быть нулевыми.Реализация метода Ченга и Челлаппы является прямолинейной. Использовалась аппроксимация конечных разностей, чтобы вычислить частные производные. Для граничных точек, где прямая аппроксимация не могла быть применена, мы использовали обратную разностную аппроксимацию для частных производных первого порядка и обнуляли частные производные второго порядка. Во всех экспериментах устанавливаем равным 1, как предложено некоторыми авторами.2.3.3 ЛокализацияЛокальные подходы получают форму, предполагая тип локальной поверхности. Они используют информацию о производной яркости и предполагают сферическую поверхность. Здесь будет описан метод Ли и Розенфельда.2.3.4 Метод Ли и РозенфельдаЛи и Розенфельд аппроксимировали локальные поверхностные области сферическими участками. Вначале были вычислены наклон и поворот поверхности в координатах источника света, а затем преобразованы обратно к координатам наблюдателя. Они доказали, что угол наклона нормали к поверхности может быть получен следующим образом: MACROBUTTON MTPlaceRef \* MERGEFORMAT SEQ MTEqn \h \* MERGEFORMAT (2.12)где и — производные яркости вдоль осей и , — наклон источника света, — угол поворота источника света.Если у поверхности есть универсальное отражение, и если карта коэффициентов отражения задана (Ламберт), тогда у самой яркой точки есть нормаль, указывающая к источнику света, и значение косинуса наклона поверхности может быть получено отношением его интенсивности и .Этот подход — улучшение первого подхода Петлэнда [7], так как включает только первые производные интенсивности, а не вторые производные. Что делает его менее чувствительным к шуму. Однако локальное сферическое предположение о поверхности ограничивает этот метод.Главная часть в реализации алгоритма Ли Розенфельда — вращение изображения от координат наблюдателя до координат источника света, и вычисление градиента интенсивности в координатах источника света. Для этого метода нет никаких параметров, которые должны были быть определены.2.3.5 ЛинеаризацияЛинейные подходы уменьшают проблему нелинейности через линеаризацию карты коэффициентов отражения. Идея базируется на том, что доминируют компоненты низшего порядка в карте коэффициентов отражения. Поэтому, эти алгоритмы хорошо работают только при этом предположении.2.3.6 Метод Цай и ШахаЦай и Шах использовали дискретную аппроксимацию и , применяя конечные разности, чтобы линеаризовать карту коэффициентов отражения с точки зрения [10]. Функция коэффициентов отражения для поверхностей Ламберта: MACROBUTTON MTPlaceRef \* MERGEFORMAT SEQ MTEqn \h \* MERGEFORMAT (2.13)Используя следующие дискретные аппроксимации и , и , уравнение коэффициентов отражения может быть переписано в виде: MACROBUTTON MTPlaceRef \* MERGEFORMAT SEQ MTEqn \h \* MERGEFORMAT (2.14)Для фиксированной точки и данного изображения линейная аппроксимация (Через ряд Тейлора первого порядка) функции (уравнение  GOTOBUTTON ZEqnNum554995 \* MERGEFORMAT (2.14)) по карте глубины : MACROBUTTON MTPlaceRef \* MERGEFORMAT SEQ MTEqn \h \* MERGEFORMAT (2.15)Для изображения , есть таких уравнений, которые сформируют линейную систему. Эта система может быть решена, используя итеративную схему Якоби, которая упрощает уравнение GOTOBUTTON ZEqnNum454496 \* MERGEFORMAT (2.15) в следующее уравнение: MACROBUTTON MTPlaceRef \* MERGEFORMAT SEQ MTEqn \h \* MERGEFORMAT (2.16)Затем для , карта глубины при -ой итерации, может быть вычислена непосредственно из: MACROBUTTON MTPlaceRef \* MERGEFORMAT SEQ MTEqn \h \* MERGEFORMAT (2.17)Первоначальная карта глубины обнуляется для всех пикселей. Применяется гауссово сглаживание к заключительной карте глубины, чтобы получить более гладкую поверхность. Отметим так же, что глубина вычислена простым делением без матричной инверсии GOTOBUTTON ZEqnNum107151 \* MERGEFORMAT (2.17). Это достаточно простой, но эффективный алгоритм, однако, у него есть некоторые недостатки при работе с тенями. Реализация алгоритма Цай и Шаха является не очень сложной задачей. В этом алгоритме многократно вычисляется карта глубины, используя уравнение GOTOBUTTON ZEqnNum107151 \* MERGEFORMAT (2.17), то есть каждая новая итерация использует значения, полученные на предыдущем шаге. Так же в алгоритме необходимо предусмотреть деление на ноль.3 Экспериментальные изображенияОчень трудно выбрать хорошие тестовые изображения для алгоритмов SFS. Хорошее тестовое изображение должно соответствовать предположениям в алгоритмах, например: модель отражения Ламберта, постоянное значение альбедо, и исходное освещение точки. Не трудно удовлетворить эти предположения для синтетических изображений, но никакая реальная сцена не удовлетворяет этим условия. В реальных изображениях будут ошибки до такой степени, что эти предположения не будут действительны.3.1 Синтетические изображенияСинтетические изображения были сгенерированы, используя истинные карты глубины и модель отражения Ламберта. Есть, по крайней мере, два преимущества использования синтетических изображений. Во-первых, мы можем генерировать изображения с различными направлениями источника света для той же самой поверхности. Во-вторых, с истинной информацией о глубине, мы можем вычислить ошибку и сравнить производительность. Однако, недостаток использования синтетических изображений — то, что производительность на синтетических изображениях не может использоваться достоверно, чтобы предсказать производительность на реальных изображениях.Рассмотрим два синтетических изображения: вазу и портрет Моцарта. Оба изображения показаны на рисунках 3.1.1 и 3.1.2 с двумя разными источниками света ((0,0,1) и (1,0,1)).Рисунок 3.1.1 — Синтетические изображения с источником света (0,0,1)Рисунок 3.1.2 — Синтетические изображения с источником света (1,0,1)3.2 Реальные изображенияИз реальных изображений было выбрано четыре объекта, показанные на рисунке 3.2 (ваза, щенок, автомобиль и карта местности). Будем считать, что все четыре изображения имеют одинаковый источник света (0,0,1).Рисунок 3.2 — Реальные изображения с предполагаемым источником света (0,0,1)3.3 РезультатыТрудно выбрать надлежащие параметры управления для каждого алгоритма, потому что они могут изменяться от изображения к изображению. Мы вручную выбрали параметры для каждого алгоритма, чтобы получить наилучшие результаты. Это вызывает изменение параметров для различных алгоритмов и различных изображений. Все алгоритмы были обработаны одинаково при соответствующей настройке параметров.Относительно начальных условий для различных алгоритмов, мы попытались обеспечить одинаковые начальные условия для всех алгоритмов, чтобы получить справедливое сравнение. Ниже представлены 3-D графики карт глубины, вычисленные по разным алгоритмам.3.3.1 Метод Ченга и ЧеллаппыНа рисунках 3.3.1 и 3.3.2 представлены результаты применения алгоритма Ченга и Челлаппы на синтетических изображениях, а на рисунке 3.4 — на реальных.Этот алгоритм достаточно хорошо отработал на реальных изображениях. По карте глубины можно видеть почти все детали изображения в объемном представлении. Но все-таки, ближе к краям изображения, видно небольшие перепады, которые немного искажают оригинал. На синтетических изображениях так же видны некоторые перепады, но в целом объем просматривается хорошо. Если источник света не совпадает с позицией наблюдателя, то этот алгоритм показывает результаты похуже.Рисунок 3.3.1 — Применение алгоритма Ченга и Челлаппы для синтетических изображений с источником света (0,0,1)Рисунок 3.3.2 — Применение алгоритма Ченга и Челлаппы для синтетических изображений с источником света (1,0,1)Рисунок 3.4 — Применение алгоритма Ченга и Челлаппы для реальных изображений3.3.2 Метод Цай и ШахаНа рисунках 3.5.1 и 3.5.2 представлены результаты применения алгоритма Цай и Шаха на синтетических изображениях, а на рисунке 3.6 — на реальных.В целом, можно сказать, что все изображения восстановлены достаточно правильно, но видно, что этот алгоритм чувствителен к шумам и на их месте появляются перепады. На реальных изображениях алгоритм так же работает хорошо, это можно судить по рисунку 3.6. Ваза, щенок и автомобиль хорошо просматриваются в их объемной интерпретации, а вот дома на карте восстановились с заметными шумами, что сильно исказило модель.Рисунок 3.5.1 — Применение алгоритма Цай и Шаха для синтетических изображений с источником света (0,0,1)Рисунок 3.5.2 — Применение алгоритма Цай и Шаха для синтетических изображений с источником света (1,0,1)Рисунок 3.6 — Применение алгоритма Цай и Шаха для реальных изображений3.3.3 Метод Ли и РозенфельдаНа рисунках 3.7.1 и 3.7.2 представлены результаты применения алгоритма Ли и Розенфельда на синтетических изображениях, а на рисунке 3.8 — на реальных.Этот метод оценивает глубину, используя локальное сферическое предположение и производные интенсивности, что делает алгоритм неподходящим для несферических поверхностей. Он очень чувствителен к шуму, который является четким из карт глубины, полученных для реальных изображений и некоторых синтетических изображений, таким как Моцарт. Яркость реальных изображений изменяется несильно, заставляя оценку глубины колебаться, в то время как синтетические изображения приводят к хорошим картам глубины, из-за гладких поверхностей. Однако результаты могут быть улучшены, предварительно фильтруя входные изображения, чтобы уменьшить шум, полученный в результате использования алгоритма.Рисунок 3.7.1 — Приминение алгоритма Ли и Розенфельда для синтетических изображений с источником света (0,0,1)Рисунок 3.7.2 — Приминение алгоритма Ли и Розенфельда для синтетических изображений с источником света (1,0,1) Рисунок 3.8.1 — Применение алгоритма Ли и Розенфельда для реальных изображенийРисунок 3.8.2 — Применение алгоритма Ли и Розенфельда для реальных изображений4 Организационно-экономическая частьЦелью разработки данного проекта является изучение и реализация методов обработки изображений, а также создание приложения для восстановления трехмерного объекта по плоскому полутоновому изображению. MACROBUTTON MTEditEquationSection2 Equation Section (Next) SEQ MTEqn \r \h \* MERGEFORMAT SEQ MTSec \h \* MERGEFORMAT MACROBUTTON MTEditEquationSection2 Equation Section (Next) SEQ MTEqn \r \h \* MERGEFORMAT SEQ MTSec \h \* MERGEFORMAT В настоящее время задача восстановления трехмерной структуры поверхности объектов является актуальной в различных областях науки, медицины, промышленности. В работе описывается общая постановка задачи восстановления формы объекта по плоскому изображению («Shape-from- Shading»). Основной целью является восстановление трехмерной формы объекта по его закраске. Подробно рассматриваются несколько подходов для решения задачи восстановления объемного изображения по двумерному полутоновому оригиналу. Каждый алгоритм имеет свои особенности и недостатки на различных изображениях, как синтетических, так и реальных.Приложение выполняет следующие задачи:обработка изображений с помощью различных методов их улучшения;восстановление объемного изображения по его плоскому полутоновому оригиналу средствами OpenGL;Таким образом, конечным результатом работы системы является вывод на экран обработанного и восстановленного трехмерного изображения, представленного на входном рисунке.4.1 Этапы разработкиПроцесс исследования включает: обзор и анализ литературы по данной тематике; проведение исследований и решение задачи; оформление и публикация результатов исследования. Весь процесс проведения исследования делится на ряд этапов.На подготовительном этапе разрабатывается техническое задание и методика выполнения темы, проводится технико-экономическое обоснование необходимости и целесообразности разработки программного комплекса, составляется календарный план проведения работ, проводится поиск и изучение литературы. На этапе разработки приложения описываются и разрабатываются алгоритмы и методы решения данной задачи, а так же проводится реализация на компьютере. На этапе тестирования проводится ввод тестовых данных и проверка реализованных функций. На этапе обобщения выводов и составления отчета проводятся результаты исследований. 4.2 Определение трудоемкости работТрудоемкость выполнения работ по разработке по сумме трудоемкости этапов и видов работ, оцениваемых экспертным путем в человеко-часах, и носит вероятностный характер, так как зависит от множества трудно учитываемых факторов.Трудоемкость каждого вида работ определяется по формуле GOTOBUTTON ZEqnNum538373 \* MERGEFORMAT REF ZEqnNum538373 \* Charformat \! \* MERGEFORMAT (4.1): MACROBUTTON MTPlaceRef \* MERGEFORMAT SEQ MTEqn \h \* MERGEFORMAT (4.1) set bgdf1 seq formula \h\c где — минимально возможная трудоемкость выполнения отдельного вида работ в человеко-часах; — максимально возможная трудоемкость выполнения отдельного вида работ в человеко-часах; — наиболее вероятная трудоемкость выполнения отдельного вида работ в человеко-часах.В таблице 4.1 представлен полный список этапов работ, необходимых для проведения исследования, экспертные оценки и расчетные величины их трудоемкости.Оценка проводится 3-мя специалистами-экспертами: эксперт 1 — руководитель проекта;эксперт 2 — инженер-программист;эксперт 3 — инженер-математик.Каждый из экспертов устанавливает три вероятностные характеристики трудоемкости работы: Расчёт трудоёмкости и продолжительности работЭксперт 1Эксперт 2Эксперт 3Наименование этапов и содержание работ,чел/ч,чел/ч,чел/ ч,чел/ ч, чел/ ч, чел/ ч, чел/ ч, чел/ ч, чел/ ч, чел/ ч, чел/ ч, чел/ ч,чел/ ч1 Подготовительный этап1.1 Постановка задачи2332,8234334433,333,21.2 Изучение литературы40567055,745536553,752708045,3359,31.3 Составление плана5786,868108567736,9Итого по 1 этапу69,42 Этап разработки2.1 Разработка алгоритмов для обработки изображений3045604535455044,232506045,3345,92.2 Описание методов восстановления объемного изображения50658065526590675475907468,72.3 Реализация описанных алгоритмов70759076,765748073,56070756773,1Итого по 2 этапу187,73 Создание визуального интерфейса3.1 Создание визуализации для общих методов обработки30405540,835455044,230354570,8340,33.2 Создание интерфейса для вывода трехмерного изображения40607559,245607059,250608079,17603.3 Реализация дополнительной функциональности20253425,730354535,825354012031,9Итого по 3 этапу132,2 Расчёт трудоёмкости и продолжительности работ (продолжение)Эксперт 1Эксперт 2Эксперт 3Наименование этапов и содержание работ,чел/ч,чел/ч,чел/ ч,чел/ ч, чел/ ч, чел/ ч, чел/ ч, чел/ ч, чел/ ч, чел/ ч, чел/ ч, чел/ ч,чел/ ч4 Этап тестирования4.1 Тестирование приложения35456045,840455345,530445537,3344,9Итого по 4 этапу44,95 Оформление документации5.1 Оформление пояснительной записки25273327,727333532,329354437,3331,8Итого по 5 этапу31,8ИТОГО:466,0Продолжительность каждого вида работ в календарных днях (таблица 4.2) определяется по формуле GOTOBUTTON ZEqnNum698418 \* MERGEFORMAT REF ZEqnNum698418 \* Charformat \! \* MERGEFORMAT (4.2): MACROBUTTON MTPlaceRef \* MERGEFORMAT SEQ MTEqn \h \* MERGEFORMAT (4.2) set bgdf2 seq formula \h\c где — трудоемкость работ, человеко-часов; — численность исполнителей, человек. Продолжительность выполнения Наименование этапов и содержание работИсполнительТрудоёмкость, чел./часыКоличество исполнителей, чел.Продолжительность этапов и работ, раб. дн.1 Подготовительный этап1.1 Постановка задачируководитель проекта3,2111.2 Изучение литературыИнженер-математик59,3181.3 Составление планаруководитель проекта6,911Итого по 1 этапу69,410 Продолжительность выполнения (продолжение)Наименование этапов и содержание работИсполнительТрудоёмкость, чел./часыКоличество исполнителей, чел.Продолжительность этапов и работ, раб. дн.2 Этап разработки2.1 Разработка алгоритмов для обработки изображенийИнженер-математик45,9162.2 Описание методов восстановления объемного изображенияИнженер-математик68,7192.3 Реализация описанных алгоритмовМатематик-программист73,1110Итого по 2 этапу187,7253 Создание визуального интерфейса3.1 Создание визуализации для общих методов обработкиМатематик-программист40,3163.2 Создание интерфейса для вывода трехмерного изображенияМатематик-программист60173.3 Реализация дополнительной функциональностиМатематик-программист31,914Итого по 3 этапу132,2174 Этап тестирования4.