Выделение и описание характерных элементов изображения

Материал из Техническое зрение
Перейти к: навигация, поиск

Содержание

Задача выделения характерных черт

Вплоть до 80-х годов прошлого века основным классом алгоритмов обнаружения и идентификации объектов, использовавшихся в бортовых системах технического зрения, являлся класс корреляционно-экстремальных алгоритмов . Однако по мере возрастания требований к точности и надежности алгоритмов обнаружения все более сложных объектов во все более сложной реальной обстановке недостатки данной группы методов стали проявляться все более явно. Это, прежде всего, высокая вероятность аномальных ошибок, необхоодимость иметь большое число эталонов для описания разноракурсных образов трехмерных объектов, неустойчивость по отношению к яркостно-геометрической изменчивости изображений, имеющей место в реальных условиях регистрации. Таким образом, наметился переход от корреляционных детекторов заданных образов к методам и алгоритмам структурного анализа изображений.

В настоящее время последовательность процедур обработки изображений принято рассматривать в соответствии с так называемой парадигмой Марра . Эта парадигма, предложенная Д.Марром на основе длительного изучения механизмов зрительного восприятия человека, утверждает, что обработка изображений опирается на несколько последовательных уровней восходящей информационной линии "иконическое представление объектов (растровое изображение, неструктурированная информация) - символическое представление (векторные и атрибутивные данные в структурированной форме, реляционные структуры)" и должна осуществляться по модульному принципу посредством следующих этапов обработки:


  1. предобработка изображения;
  2. первичная сегментация изображения;
  3. выделение геометрической структуры видимого поля;
  4. определение относительной структуры и семантики видимой сцены.


Связанные с этими этапами уровни обработки обычно называются обработки нижнего, среднего и высокого уровней, соответственно. В то время как алгоритмы обработки нижнего уровня (фильтрация простых шумов, гистограммная обработка) могут рассматриваться как хорошо проработанные и детально изученные, алгоритмы среднего уровня (сегментация) продолжают сегодня оставаться центральным полем приложения исследовательских усилий. За последние годы значительный прогресс был достигнут по отношению к проблемам сопоставления точек и фрагментов изображений (matching) выделения признаков внутри малых фрагментов высокой точности 3D-позиционирования точек что подразумевает соответствующее моделирование и калибровку датчиков и их комбинаций, выделение простых яркостно-геометрических структур типа "точка", "край", "пятно", "прямая линия", "угол". Эти "первичные" особенности изображения, также называемые $\textit{характерными чертами }$(ХЧ), играют базовую роль при составлении яркостно-геометрических моделей объектов и разработке робастных алгоритмов их выделения.

На рис. 1 приведена классификация характерных черт (ХЧ), которые могут присутствовать на изображениях.

4-1-1.jpg

Основные типы характерных черт

Характерные черты на изображении имеют следующие виды атрибутов.


  1. $\textit{Положение: }$концы отрезка, центр отрезка, центр тяжести области, вершины многоугольников.
  2. $\textit{Геометрические}$ атрибуты: ориентация, длина, кривизна, площадь, периметр, ширина линии, минимальный и максимальный диаметр области, оси симметрии, число и положение особых точек, показатель компактности, и др.
  3. $\textit{Радиометрические}$ атрибуты: контраст, статистика распределения яркости, знак и величина края, автокорреляция.
  4. $\textit{Текстурные}$ атрибуты: матрица смежности, показатель однородности, энергия, энтропия, статистика градиентов текстуры, результаты применения текстурных фильтров, моменты.
  5. $\textit{Топологические}$ атрибуты: связность, соседство, общие точки, пересечение, параллельность, перекрытие, включение.
  6. $\textit{Цветовые/многозональные }$атрибуты: вектор атрибутов для каждого канала.
  7. $\textit{Динамические}$ атрибуты: атрибуты статических и движущихся объектов.
  8. $\textit{Временные}$ атрибуты: функции изменения атрибутов со временем.


Выбор конкретных ХЧ и их атрибутов для построения алгоритмов обнаружения должен основываться на следующих основных критериях.

  1. $\textit{Присутствие/плотность:}$ наличие данных ХЧ на всех используемых изображениях, достаточная плотность ХЧ для покрытия интересующего района.
  2. $\textit{Редкость/Уникальность: }$редкость конкретной ХЧ на изображении, уникальность ХЧ в окрестности.
  3. $\textit{Инвариантность/Устойчивость:}$ робастность по отношению к геометрическим и радиометрическим искажениям, нечувствительность к шуму.
  4. $\textit{Локализация: }$возможность точной локализации.
  5. $\textit{Интерпретация: }$возможность быстрого распознавания и интерпретации.
  6. $\textit{Скорость: }$время выделения данного класса ХЧ из исходного изображения.

При работе с реальными изображениями перечисленные критерии являются противоречивыми. Поэтому конкретный выбор ХЧ и их атрибутов зависит от доступной вычислительной мощности и от минимальной требуемой робастности описания модели объекта в терминах ХЧ. В 1 показано качество различных свойств характерных черт. Данная таблица демонстрирует противоречивость разных типов ХЧ в смысле различных критериев.

Качество ХЧ

Свойства ХЧ Качество

лучше $\qquad\qquad\to \qquad\qquad$ хуже

Присутствие/плотность точки линии области
Редкость/уникальность области линии точки
Инвариантность точки линии области
Устойчивость к шуму области линии точки
Локализация точки, особенно:

углы, центры

линии области
Интерпретация соединения,

замкнутые контуры,

замкнутые области

концевые точки

отрезков, открытые

контуры, открытые

области

особые точки,

центры тяжести

Скорость точки линии области
Влияние разрывов точки линии области
Влияние загораживания области линии точки

Если говорить о методах и алгоритмах обнаружения сложных объектов, то одна из центральных проблем, отличающих методы обработки изображений от хорошо изученной теории обработки сигналов, заключается в разработке методов обнаружения объектов, слабо чувствительных к разнообразным видам изменчивости, характерным лишь для изображений. Такими специфическими видами изменчивости являются ракурсные и радиометрические искажения, а также различные виды искажений, не сводимые к вероятностным моделям (шумы формы). На пути борьбы с ними были предложены как огромное множество эвристических алгоритмов обнаружения конкретных типов объектов, так и ряд подходов, обладающих большей общностью: методы корреляционного обнаружения преобразование Хафа морфологические подходы Пытьева и Серра. Значительный вклад в разработку методов и алгоритмов обработки изображений и машинного зрения применительно к обсуждаемым задачам обнаружения внесли работы Л.П.Ярославского, В.К.Злобина, В.Л.Лёвшина, Р.Харалика, Е.Дэвиса, Р.Неватиа, Е.Дикманнса, В.Фёрстнера и многих других. Однако, несмотря на достигнутые результаты, общее состояние проблемы выделения и идентификации сложноструктурированных объектов на моноскопических изображениях можно охарактеризовать как неудовлетворительное. Еще сложнее выглядит задача обнаружения трехмерных структур на стереоскопических изображениях. Здесь только намечаются подходы к более общим постановкам.

Рассмотрим теперь некоторые современные подходы к выделению основных типов ХЧ (точки, линии, области, структуры). Смысл этого рассмотрения в том, чтобы составить у читателя представление о направлениях развития методов анализа ХЧ.

Подробнее

  1. Выделение и описание точечных особенностей
  2. Выделение и описание контуров
  3. Выделение и описание областей

Литература для самостоятельного изучения5

В книге ($\textit{Гонсалес, Вудс}$) глава $10$ посвящена $\textit{сегментации изображений}$, а глава $11$ - их $\textit{представлению и описанию}$. Подробность изложения всех вопросов достаточно высокая. Данная книга наилучшим образом подходит для дополнительного изучения данной темы в целом.

В книге ($\textit{Форсайт, Понс}$) глава $9$ посвящена анализу и синтезу $\textit{текстур}$ на основе частотных подходов и различных разложений. Поскольку этот вопрос совсем не затрагивается в нашем кратком курсе, данная глава из может быть рекомендована целиком в качестве материала для дополнительного самостоятельного изучения.

В книге ($\textit{Шапиро, Стокман}$) работе с текстурами посвящена глава $7$. Логика изложения соответствует нашему курсу, но объем существенно больше и изложение подробнее и глубже. Поскольку тема текстурного анализа описана нами чрезвычайно кратко, данная глава из также может быть рекомендована целиком в качестве материала для дополнительного самостоятельного изучения.

В главах $14$ и $16$ книги ($\textit{Форсайт, Понс}$) задача сегментации изображения (в широком смысле) рассматривается соответственно в контексте $\textit{кластеризации }$(разбиения выборки на классы) и $\textit{вероятностной оптимизации}$ (максимума апостериорной вероятности и байесовского подхода). Эти подходы к сегментации изображений на области практически не раскрываются в нашем курсе, поэтому рекомендуем ознакомиться с $14$ и $16$ главами книги в рамках углубленного самостоятельного изучения данного курса.


$\textit{Список источников к разделу 4.1.}$


  1. $\textit{Красовский А.~А., Белоглазов И.~Н., Чигин Г.~П.}$ Теория корреляционно-экстремальных навигационных систем. - М.: Наука, 1979. [26]
  2. $\textit{Марр Д.}$ Зрение. Информационный подход к изучению представления и обработки зрительных образов. - М.: Радио и связь, 1987. [30]
  3. $\textit{Gruen A., Baltsavias E.}$ Geometrically constrained multiphoto matching\Dslash PERS. 1988. V.5. [176]
  4. $\textit{Schenk}$. Automatic Generation of DEM`s, Digital Photogrammetry: An Addentum to the Manual of Photogrammetry. - American Society for Photogrammetry{\&}Remote Sensing, 1996. [242]
  5. $\textit{Grimson W.E.L.}$ Object Recognition by Computer: The Role of Geometric Constraints. - MIT Press., 1990. [172]
  6. $\textit{Marr D., Hildreth E.}$ Theory of edge detection\Dslash Proc. R. Soc. (London). 1980. B207. P.187 - 217. [215]
  7. $\textit{Mumford D.}$ The problem of robust shape descriptors\Dslash Proc. First Int'l. Conf. Computer Vision. 1987. P.602 - 606. [226]
  8. $\textit{Gruen A., Baltsavias E.}$ Adaptive least squares correlation with geometrical constraints\Dslash SPIE. 1985. V.595. [175]
  9. $\textit{Haralick R.~M. and Chu Y.~H}$. Solving camera parameters from the perspective projection of a parameterized curve\Dslash Pattern Recogn. Lett. 1984. №17(6). PP.637 - 695. [178]
  10. $\textit{Burns J., Hanson A., Riseman E.}$ Extracting straight lines\Dslash IEEE Trans. On Patt. Analysis and Machine Intel. 1986. V.8. №4. [135]
  11. $\textit{Canny. J. }$A computational approach to edge detection\Dslash IEEE Trans. Pattern Anal. Mach. Intell. 1986. №8. P.679 - 698. [136]
  12. $\textit{Kitchen L. and Rosenfeld A}$. Gray-level corner detection\Dslash Pattern Recogn. Lett. 1982. №1. P.95 - 102. [204]
  13. $\textit{Seeger U. and Seeger R}$. Fast corner detection in grey-level images\Dslash Pattern Recogn. Lett. 1994. №15(7). P.669 - 675. [238]
  14. $\textit{Василенко Г.И., Цибулькин Л.М.}$ Голографические распознающие устройства. - М.: Радио и связь, 1985. [12]
  15. $\textit{Левшин В.~Л.}$ Биокибернетические оптико-электронные устройства автоматического распознавания изображений. - М.: Машиностроение, 1987. [52]
  16. $\textit{Ярославский Л.~П.}$ Цифровая обработка сигналов в оптике и голографии: Введение в цифровую оптику. - М.: Радио и связь, 1987. [51]
  17. $\textit{Davies E.~R.}$ Machine Vision: Theory, Algorithms, Practicalities. - Academic Press., 2-nd Edition, San Diego, 1997. [146]
  18. $\textit{Duda R.~O. and Hart P.~E}$. Use of the Hough transformation to detect lines and curves in pictures\Dslash Comm. ACM 15. 11 - 15. 1972. PP.11 - 15. [154]
  19. $\textit{Hough P.~V.~C.}$ Methods and Means for Recognizing Complex Patterns/U.S. Patent 3069654, 1962. [188]
  20. $\textit{Illingworth J. and Kittler J.}$ The adaptive Hough transform\Dslash IEEE Trans. Pattern Anal. Mach. Intell. 1987. V.9. P.690 - 698. [197]
  21. $\textit{Пытьев Ю.~П.}$ Морфологический анализ изображений\Dslash Доклад АН СССР. 1983. Т.269. № 5. С.1061 - 1064. [36]
  22. $\textit{Пытьев Ю.~П}$. Задачи морфологического анализа изображений\Dslash Математические методы исследования природных ресурсов Земли из Космоса. - М.: Наука, 1984. С.41 - 83. [37]
  23. $\textit{Serra J.}$ Image Analysis and Mathematical Morphology. - Academic Press, 1982. [240]
  24. $\textit{Serra J.}$ Introduction to mathematical morphology\Dslash Computer Vision, Graphics and Image Processing. 1986. V.35. №3. [241]
  25. $\textit{Розенфельд А.}$ Распознавание и обработка изображений с помощью вычислительных машин: Пер. с анг. - М.: Мир, 1972. [40]
  26. $\textit{Forstner W.}$ Mid-level vision processes for automatic building extraction, Automatic Extraction of Man-Made Objects from Aerial and Space Images/Birkhauser Verlag, Basel, 1995. P.179 - 188. [159]
  27. $\textit{C.~G. Harris, M.~J. Stephens.}$ 1988, Combined corner and edge detector, Proceedings of the Fourth Alvey Vision Conference, Manchester. P.147 - 151 [279]
  28. $\textit{M.K. Hu.}$ Visual pattern recognition by moment invariants\Dslash RE Trans. Information Theory. 1962. V.IT-8. P.179 - 187 [177]
  29. $\textit{J. Flusser.}$ On the independence of rotation moment invariants\Dslash Pattern recognition. 2000. V.33. P.1405 - 1410 [276]
  30. $\textit{Прэтт У}$. Цифровая обработка изображений: Пер. с анг. - М.: Мир, 1982. [34]
  31. $\textit{Павлидис Т}$. Алгоритмы машинной графики и обработки изображений: Пер. с анг. - М.: Радио и связь, 1986. [32]

Полезные ссылки

  1. ☝ К началу
  2. ☜ Анализ изображений
Личные инструменты
Пространства имён

Варианты
Действия
Навигация
Инструменты