Выделение и описание точечных особенностей

Материал из Техническое зрение
Перейти к: навигация, поиск

Содержание

Выделение точечных особенностей (операторы интереса).

В литературе по машинному зрению описаны многочисленные точечные операторы, предназначенные для выделения особых (характерных) точек на изображении. Точечные операторы могут выделять как отдельные точки (особые точки в двумерной окрестности), так и точки, принадлежащие краям (особые точки в одномерной окрестности). Все точечные операторы основаны на вычислении некоторых атрибутов и определении, превышают ли значения этих атрибутов порог. Атрибуты для каждой точки обычно вычисляются в небольшой локальной окрестности - ($3\times 3$) - ($11\times 11$) пикселов. Порог определяет число обнаруженных точек. Он может определяться адаптивно (например, для порога градиента изображения можно использовать СКО яркости изображения) или фиксироваться заранее. Альтернативным способом (без использования порога) является сортировка значений атрибутов и выбор $n$ лучших точек. Эти способы выбора характерных точек не гарантируют, что точки будут распределены по изображению равномерно. Возможна ситуация, когда все точки будут сосредоточены в одной части изображения. В алгоритмах обнаружения необходимых участков местности в задачах наведения необходимо, чтобы распределение характерных точек по изображению было как можно более равномерным. В этом случае необходимо разделить изображение на блоки, перекрывающиеся по краям, и к каждому блоку, рассматриваемому как отдельное изображение, применить точечный оператор. Во избежание кластеризации точек применяется также выделение локальных максимумов значений атрибутов в некоторой окрестности.


==Детекторы углов==. Рассмотрим способы нахождения углов на изображениях. Пусть вариация яркости изображения в зависимости от сдвига $\langle u,v \rangle$ оценивается в соответствии формулой $$ E(u,v)=\sum\limits_{x,y} {w(x,y)[I(x+u,y+v)-I(x,y)} ]^2, $$ где $I(x,y)$ - яркость в точке $\langle x, y\rangle$, $w(x,y)$ - функция окна (прямоугольного или гауссова).

Для небольших сдвигов существует приближение $$ E(uv)\approx \left[ {uv} \right]{\textbf{M}}\left[ {{\begin{array}{*{20}c} u \\ v \\ \end{array} }} \right], $$ где $$ {\textbf{M}}=\sum\limits_{x,y} {w(x,y)\left[ {{\begin{array}{*{20}c} {I_x^2 } & {I_x I_y } \\ {I_x I_y } & {I_y^2 } \\ \end{array} }} \right]}\quad \mbox{ - -} $$ матрица, состоящая из взвешенных значений производной функции интенсивности. Производные интенсивности могут подсчитываться оператором Робертса или любым другим дифференциальным оператором: $$ {\begin{array}{*{20}c} {G^x=\left[ {{\begin{array}{*{20}c} {-1} & 0 \\ 0 & 1 \\ \end{array} }} \right]\ast I,} & {G^y=\left[ {{\begin{array}{*{20}c} 0 & {-1} \\ 1 & 0 \\ \end{array} }} \right]\ast I} \\ \end{array}} $$ (здесь знаком * обозначена операция свертки изображения с маской).

Собственные значения данной матрицы указывают на направления изменения яркости внутри окна. Если одно из собственных значений существенно больше другого, то это означает, что яркость сильно меняется в одном направлении и почти неизменна в другом (перпендикулярном первому). В таком случае мы имеем дело с краем. Если оба собственных значения малы, то яркость мало меняется, и мы имеем "плоскую" равномерно яркую область. Наиболее интересна ситуация, когда оба собственных значения велики и сравнимы друг с другом, что, как правило, означает наличие в центре окна угловой точки.

Исходя из этих предпосылок, Харрисом была введена мера интенсивности угла $$ R=\det {\textbf{M}}-k(\mbox{tr}{\textbf{M}})^2, $$ где $\det {\textbf{M}}=\lambda _1 \lambda _2 $, $\mbox{tr}{\textbf{M}}=\lambda _1 +\lambda _2 $; $\lambda _1$, $\lambda _2$ - собственные значения матрицы ${\textbf{M}}$; $k$ - эмпирически подбираемый параметр со значениями порядка $0$,$04$ - $0$,$06$. При больших $R > 0$ получаем угол, при отрицательной мере получаем край, при нулевой - - "плоскую" область.


Для нахождения углов детектором Харриса необходимо сначала в каждой точке изображения вычислить меру $R$, затем рассмотреть те точки, в которых мера силы угла больше некоторого порога. Анализ собственных значений матрицы $\textbf{M}$ позволяет сопоставить углу эллипс, направление полуосей которого будет совпадать с направлениями собственных векторов, а их длины будут обратно пропорциональны собственным значениям.

Другой популярный детектор углов, оператор Фёрстнера, также основывается на анализе собственных значений матрицы $\textbf{M}$ и вычисляется по формуле $$ R=\frac{\det {\textbf{M}}}{\rm{tr}{\textbf{M}}}. $$ Оба указанных детектора инвариантны к вращению. В самом деле, при вращении изображения эллипсы поворачиваются, но их форма (то есть собственные значения матрицы взвешенных производных изображения, посчитанных по окну) сохраняется.


4-1-2.jpg

Выделение точек интереса: $\textit{a}$ - исходное изображение; $\textit{б}$ - поле модуля градиента; $\textit{в}$ - результат выделения точек оператором Фёрстнера (окно $15\times 15$; $0$,$5<R<0$,$75$)

На рис. 2 представлены точки, найденные с помощью оператора Фёрстнера.

Операторы нахождения углов не всегда обеспечивают необходимую плотность точек на изображении, что приводит к кластеризации точек. Возможна ситуация, при которой все точки будут сосредоточены в одной части изображения. Скопление точек происходит вблизи искусственных объектов, отсутствие которых приводит к значительному сокращению числа выделенных точек. К такому же результату может привести отсутствие на изображении богатых текстур. Для избежания кластеризации точек может быть использован метод выделения локальных максимумов значений атрибутов в некоторой окрестности точки. Возможно также разделить изображение на блоки, перекрывающиеся по краям, и к каждому блоку, рассматриваемому как отдельное изображение, применить точечный оператор.


Модифицированный сигма-фильтр.

Другим современным подходом является подход к поиску характерных точек изображения на основе локальных признаков. Предполагается, что особые точки имеют выделяющиеся признаки. Для выделения особых значений признаков может использоваться следующая модификация сигма-фильтра.


Обозначим через $h(x,y)$ результат применения к исходному изображению $f(x,y)$ оператора $H$ выделения признака: $$ h(x,y)=H\ast f(x,y), $$ где * обозначает операцию применения оператора (свертка + дополнительные вычисления).

Для каждого пиксела $\langle x,y \rangle$ рассматривается его окрестность $R$ размером $N\times N$, внутри которой вычисляется среднее $m$ и СКО $\sigma $ значений признака $h(x,y)$ $$ m=\frac{1}{N^2}\sum\limits_R {h(x,y),\quad \sigma ^2=} \frac{1}{N^2}\sum\limits_R {h^2(x,y)} -m^2. $$ Точка $\langle x,y \rangle$ считается особой, если $h(x,y)$ не попадает в интервал, образованный значениями $m$ и $\sigma $: $$ h(x,y)< m-\alpha \sigma \quad \mbox{или} \quad h(x,y) > m + \alpha \sigma , $$ где $\alpha $ - параметр алгоритма, определяющий коридор значений признака.

Пример выделения особых точек на тестовом изображении показан на рис. 3.

4-1-3.jpg

Выделение особых точек при помощи локальных признаков: $\textit{а}$ - тестовое изображение; $\textit{б}$ - СКО яркости ($N=5$); $\textit{в}$ - xарактерные точки, полученные с помощью модифицированного сигма фильтра ($N=5$, $\alpha =1$)

Описание точечных особенностей.

Для того чтобы сравнивать точки интереса на разных изображениях, необходимо ввести некие численные характеристики, $\textit{дескрипторы}$ точек интереса. При этом очень желательно, чтобы эти дескрипторы не зависели от сдвига, поворота и масштабирования изображения, а также от равномерных изменений яркости - то есть чтобы они были $\textit{инвариантны}$.

Сколько инвариантов использовать - вопрос, достойный исследования. Чем больше инвариантов насчитано, тем больше шансов, что объекту будет найдено уникальное соответствие. И наоборот, два-три инварианта - чересчур общая характеристика для того, чтобы она представляла ценность. В то же время, вычисление большого числа параметров по каждой найденной области (точке, линии) сопряжено с затратами машинного времени. Существует большое количество разнообразных инвариантов. Ниже приведены наиболее известные и применимые.


Инварианты Ху.

Инварианты Ху основаны на теории алгебраических инвариантов. Значения инвариантов вычисляются из центральных моментов второго и третьего порядка. Для двумерной функции яркости изображения $f(x,y)$ моменты $(p+q)$-го порядка определяется следующим образом: $$ m_{pq} =\int\limits_{-\infty }^\infty {\int\limits_{-\infty }^\infty {x^py^qf(x,y)dxdy} }, $$ где $f(x,y)$ - - значение функции интенсивности в точке.

Для дискретного изображения формула для моментов будет иметь вид $$ m_{pq} =\sum\limits_{\langle x,y\rangle \in \Omega } {x^py^q} f(x,y), $$ где $\Omega $ - образ в декартовой системе координат $(x,y)$.

Формула центральных моментов для дискретного случая $$ \mu _{pq} =\sum\limits_{\langle x,y\rangle \in \Omega } {(x-\bar {x})^p(y-\bar {y})^q} f(x,y). $$ Семь инвариантов, используемых в качестве атрибутов точек, выглядят следующим образом: \begin{align*} I_0 &= \mu _{20} +\mu _{02} ;\\ I_1 &= (\mu _{20} -\mu _{02} )^2+4\mu _{11} ^2;\\ I_2 &= (\mu _{30} -3\mu _{12} )^2+(3\mu _{21} -\mu _{03} )^2;\\ I_3 &= (\mu _{30} +\mu _{12} )^2+(\mu _{21} +\mu _{03} )^2;\\ I_4 &= (\mu _{30} -3\mu _{12} )(\mu _{30} + \mu _{12} )[(\mu _{30} +\mu _{12})^2-3(\mu _{21} +\mu _{03} )^2]+ \\ &\qquad\qquad\qquad\qquad\qquad + (3\mu _{21} -\mu _{03} )(\mu _{21} +\mu _{03} )[3(\mu _{30} +\mu _{12} )^2-(\mu _{21} +\mu _{03} )^2] ;\\ I_5 &= (\mu _{20} -\mu _{02} )[(\mu _{30} +\mu _{12} )^2-(\mu _{21} +\mu _{03})^2]+ 4\mu _{11} (\mu _{30} +\mu _{12} )(\mu _{21} +\mu _{03} );\\ I_6 &= (3\mu _{21} -\mu _{03} )(\mu _{30} +\mu _{12} )[(\mu _{30} +\mu _{12} )^2-3(\mu _{21} +\mu _{03} )^2]+ \\ &\qquad\qquad\qquad\qquad\qquad + (3\mu _{12} -\mu _{30} )(\mu _{21} +\mu _{03} )[3(\mu _{30} +\mu _{12} )^2-(\mu _{21} +\mu _{03} )^2]. \end{align*}

На практике используются только первые $4$ - $5$ инвариантов, так как вычисление последующих сопряжено с большим объемом вычислений и они не так информативны. В изображениях всегда присутствует шум, и его вклад усиливается при выполнении математических операций, особенно при умножении и возведении в степень. Об этом необходимо помнить, имея дело с инвариантами более высокого порядка.


Инварианты Флюссера.

Флюссер ввел инварианты, основанные на комплексных моментах: $$ c_{pq} =\int\limits_{0}^\infty \int\limits_0^{2\pi } {r^{p+q+1}\mbox{e}^{i(p-q)\theta }f(r,\theta ){d}r{d}\theta } . $$

Флюссер также показал, что не все инварианты Ху являются независимыми. Одиннадцать инвариантов Флюссера представлены ниже: \begin{align*} \psi _1 &= c_{11} =I_1,\\ \psi _2 &= c_{21} c_{12} =I_4,\\ \psi _3 &= \textrm{Re}(c_{20} c_{12}^2 )= I_6,\\ \psi _4 &= \textrm{Im}(c_{20} c_{12}^2 ),\\ \psi _5 &= \textrm{Re}(c_{30} c_{12}^3 )=I_5,\\ \psi _6 &= \textrm{Im}(c_{30} c_{12}^3 )=I_7,\\ \psi _7 &= c_{22},\\ \psi _8 &= \textrm{Re}(c_{31} c_{12}^2 ),\\ \psi _9 &= \textrm{Im}(c_{31} c_{12}^2 ),\\ \psi _{10} &= \textrm{Re}(c_{40} c_{12}^4 ),\\ \psi _{11} &= \textrm{Im}(c_{40} c_{12}^4 ). \end{align*} Поскольку вычисление инвариантов проходит в полярных координатах, имеет смысл предварительно насчитать значения яркости изображения в круговой окрестности точки, используя какой-либо метод интерполяции.

Численные характеристики, описывающие участки изображений, не должны меняться при изменении яркости, вращении изображения и изменении масштаба. Для уменьшения влияния контраста соответствующего фрагмента на двух изображениях вводится нормировка интенсивности $$ f_{\textrm{norm}} (x,y)=\frac{f(x,y)-M_0 }{\sigma }, $$ где $f(x,y)$ - - значение интенсивности в точке; $M_{0}$ - математическое ожидание интенсивности внутри фрагмента, $\sigma $ - СКО интенсивности изображения внутри фрагмента. Использование нормированной интенсивности увеличивает количество верных сопоставлений, повышает качество распознавания на снимках, сделанных при разных условиях освещенности.

Какую бы сложную форму ни имели инварианты, они все равно не в состоянии в $100${\%} случаев уникально охарактеризовать объект. Неоднозначности, то есть случаи, когда разные объекты (точки, области) на изображении характеризуются очень похожими параметрами, могут быть связаны с несовершенством выбранных инвариантов, с низким разрешением или шумом на изображении. Неоднозначности также возникают при наличии на изображении повторяющихся объектов. Один из способов разрешения неоднозначных ситуаций связан с разработкой более качественных инвариантов или иных дескрипторов; это направление очень актуально среди исследователей, занимающихся машинным зрением. Параллельный подход состоит в использовании пространственных соотношений между объектами.

Полезные ссылки

  1. ☝ К началу
  2. ☜ Выделение и описание характерных элементов изображения
Личные инструменты
Пространства имён

Варианты
Действия
Навигация
Инструменты