Проблемы, возникающие при стереоотождествлении

Материал из Техническое зрение
Перейти к: навигация, поиск

Задачу стереоотождествления можно разбить на следующие подзадачи:

  1. выбор эталона на одном изображении;
  2. обнаружение соответствующего эталону образа на другом изображении;
  3. субпиксельное уточнение положения образа, соответствующего эталону;
  4. оценка качества стереоотождествления.

Изображения стереопары отличаются друг от друга из-за совокупности факторов, которые можно разделить на четыре категории:

$\textit{Глобальные факторы}$ - равномерно искажающие уровень интенсивности характеристик всех элементов сцены (поля) и вызывающие геометрические искажения различного характера.

$\textit{Региональные факторы}$ - равномерно искажающие уровень интенсивности характеристик только внутри однородных областей сцены, например, изменение контраста или яркости.

$\textit{Местные факторы}$ - независимо воздействующие на каждую элементарную составляющую сцены или их группировку, например, аддитивный или мультипликативный шумы.

$\textit{Неструктурные факторы}$ - изменяющие характерные признаки сцены, например, частичное закрытие сцены облаком, искажение сцены тенями и потускнениями, и т.п.

Далее кратко обсуждаются основные проблемы, возникающие при стереоотождествлении, для преодоления которых пока не найдено универсальных способов. Они возникают во всех методах стереоотождествления, и качество конечного результата, который независимо от источника стереоизображений удобно назвать цифровой моделью рельефа (ЦМР), напрямую зависит от того, насколько успешно они будут преодолены.


Содержание

Область поиска.

Пусть изображения имеют размеры $M\times N$ пикселов и область перекрытия составляет $\alpha $ процентов. Тогда, чтобы найти некоторый эталон $f$ левого изображения, вся область перекрытия правого изображения должна быть проверена на наличие образа $f$. Это требует порядка $MNn\alpha $ операций, где $n$ - число пикселов в эталоне. Если необходимо найти соответствие всем пикселам левого изображения, требуется $k=(MNn\alpha )^{2 }$ операций. Для реальных стереопар $\alpha \approx 0{,}6$, $M>1000$, поэтому полное время стереоотождествления становится недопустимо большим.

Для ограничения области поиска соответствующего образа используются следующие основные методы.

1) Применение эпиполярной геометрии. Если известны параметры ориентации стереопары, то соответствующие точки должны лежать на соответствующих $\textit{эпиполярных линиях}$. Эпиполярная линия для некоторой точки $\langle X,Y,Z \rangle$ объектного пространства является линией пересечения плоскости изображения и плоскости, проходящей через центры проектирования камер и точку $\langle X,Y,Z \rangle$. Применение эпиполярной геометрии позволяет существенно снизить область поиска, так как областью поиска в данном случае является прямая линия, а не вся область перекрытия изображений.

2) Априорное оценивание рельефа по высоте. Этот способ дает ограничения на возможные значения параллаксов. Чем точнее можно заранее оценить диапазон высот рельефа, тем меньше диапазон допустимых параллаксов для данной стереопары. Для оценивания используют либо карты местности, либо ручные стереоизмерения объектов, либо производят построение ЦМР с грубым разрешением и по ней производят оценку.

3) Применение пирамиды изображений (иерархическое стереоотождествление). Этот способ основан на том, что если изображение прореживается в $m$ раз, то двумерная область поиска уменьшается в $m^{2}$ раз.

Метод стереоотождествления, описываемый в данной работе, направлен на максимальную скорость вычислений и использует все три способа ограничения области поиска. На обычной персональной ЭВМ это дает скорость стереоотождествления до $500$ и более точек в секунду.


Уникальность эталона.

Чтобы найти некоторый пиксел $p$ левого изображения с координатами $\langle i_{p},j_{p}\rangle$ и яркостью $g_{p}$ на правом изображении, вся область перекрытия правого изображения должна быть проверена на наличие пиксела $p$. Предположим, что каждое значение яркости присутствует на изображениях с одной и той же вероятностью и нет яркостных искажений. Тогда на области поиска размером $M_{1}$ на $N_{1}$ пикселов будет в среднем $M_{1}N_{1}/256$ отождествлений пиксела $p$, из которых только одно правильное. В присутствии шума на изображениях неоднозначность отождествления возрастает.

Для устранения неоднозначности отождествления используются эталоны с размерами большими, чем один пиксел. Чем больше размеры эталона, тем сильнее он отличается от других участков изображения; тем самым обеспечивается однозначность. Чтобы повысить вероятность правильного отождествления, обычно выбирают наиболее информативные эталоны, содержащие информацию о характерных особенностях изображения. Раздел 4.3 настоящей главы посвящен проблеме определения информативных участков изображений. В этом разделе проведено исследование некоторых вычислительно-эффективных показателей информативности и предложен новый подход к определению информативности на основе анализа статистических свойств шума по оптическому клину.


Начальные приближения.

Проблемы, связанные с ограничением области поиска и с неоднозначностью отождествления, можно разрешить, если уже известны начальные приближения положения соответствующих точек. Чем точнее известно начальное приближение, тем меньше область поиска и тем меньше вероятность того, что мера близости образов принимает дополнительные экстремальные значения (неоднозначность отождествления). Многие субпиксельные методы отождествления также требуют достаточно близкого начального приближения к истинному положению соответствующих точек. Это достигается применением иерархических методов построения ЦМР. Сначала строится ЦМР с большим разрешением, которая затем интерполируется в промежуточных точках. Поскольку построение грубой ЦМР сталкивается с уже обсужденными нами трудностями, основной выигрыш достигается именно за счет существенного уменьшения времени на построение грубой ЦМР.


Геометрические искажения образов.

Рассмотрим некоторый эталон на левом изображении. Соответствующий образ на правом изображении имеет

4-2-1.jpg

Геометрические искажения образов

форму, отличную от формы эталона (рис. 1). Это отличие обусловлено несколькими причинами. Первой причиной является различие в ориентации камер. Поскольку сцена обычно наблюдается под разными ракурсами, одни и те же участки объектов изображаются по-разному. Поскольку размеры образов обычно выбираются небольшими ($9$ - $25$ пикселов), этот тип искажений моделируется 6-параметрическим аффинным преобразованием.

Второй причиной геометрических искажений является трехмерная форма наблюдаемых объектов и рельефа. Если поверхность участка сцены находится под углом к базисной линии камер, то ракурсные искажения могут быть существенными (рис. 1). Для обеспечения точности стереоотождествления необходимо учитывать этот тип искажений. Это можно сделать двумя способами. Во-первых, можно непосредственно моделировать данный тип искажений. Для этого применяется $8$-параметрическая проективная модель. Поскольку искажениям за счет рельефа подвергаются большие участки изображений, размерами которых пренебрегать нельзя, $6$-параметрическая модель здесь не подходит. Вторым способом является коррекция исходных изображений. Для этого используется иерархическая стратегия создания ЦМР. Сначала получается первое приближение ЦМР, которое используется для пересчета исходных изображений с целью убрать искажения, вызванные рельефом. Затем по пересчитанным изображениям создается новое приближение к ЦМР.


Другой причиной геометрических различий образов является использование камер, отличающихся по принципу получения изображений, например, если одно изображение получено камерой с центральной проекцией, а другое - с помощью панорамной камеры. Этот тип искажений существенно отличается от типов, рассмотренных выше. Для учета его применяются более сложные модели, например, полиномиальная модель $n$-го порядка.

В 2 перечислены рассмотренные типы искажений и применяемые для их учета модели преобразований.

Причины геометрических искажений образов и их модели

Причина

геометрических искажений

Модель

преобразований

Уравнения Количество

определяемых

параметров

Различная

ориентация камер

Аффинная $${\begin{array}{*{20}c} {{x}'=a_0 +a_1 x+a_2 y} \end{array} }$$

$${\begin{array}{*{20}c} {{y}'=b_0 +b_1 x+b_2 y} \end{array} }$$

6
Рельеф и

трехмерная форма объектов

Проективная $${\begin{array}{*{20}c} {{x}'=\frac{a_0 +a_1 x+a_2 y}{c_0 +c_1 x+c_2 y},} \end{array} }$$

$${\begin{array}{*{20}c} {{y}'=\frac{b_0 +b_1 x+b_2 y}{c_0 +c_1 x+c_2 y}} \end{array} }$$

8
Разный тип

проектирования

Полиномиальная $${\begin{array}{*{20}c} {{x}'=\sum\limits_{p=0}^n {\sum\limits_{q=0}^n {a_{pq} x^py^q} } ,} \end{array} }$$

$${\begin{array}{*{20}c} {{y}'=\sum\limits_{p=0}^n {\sum\limits_{q=0}^n {b_{pq} x^py^q} } ,} \end{array} }$$

$(n+1)(n+2)$

В целом, геометрические искажения образов вызываются принципиальной невозможностью точного совпадения условий наблюдения (по координатам) одной и той же сцены (участка двумерного поля) для получения изображений стереопары. Эффект воздействия ошибок, вызванных этими искажениями, на корреляционную функцию как метрику сравнения двух изображений, проявляется в уменьшении собственного значения экстремума и в увеличении ширины этой функции в окрестности экстремума.

Яркостные различия образов.

В настоящее время не существует общепринятой модели изменчивости оптических характеристик трехмерных сцен, охватывающей все возможные условия наблюдения. Объясняется это, прежде всего, многообразием условий наблюдения и характером изменчивости природных образований и объектов, отсутствием достаточно полного объема экспериментальных данных о характеристиках изменчивости.

Для сравнительно небольших участков сцены, когда угол наблюдения и дальность можно считать постоянными, изменения наблюдаемой на входе приемного устройства яркости текущего изображения $f_{H}$ можно описать моделью вида $$ \begin{gather}\tag{1} f_{H }(x,y) = af_{0 }(x,y)+b , \end{gather} $$ где $f_{0}(x,y)$ - зависимость яркости эталонного изображения от координат $x,y$; $a$ и $b$ - коэффициенты, описывающие изменение наблюдаемой яркости. При этом $a>0$ всегда, $b$ - может быть больше или меньше $0$ в зависимости от условий наблюдения.

Целесообразно представление всего изображения совокупностью $n$ областей, в пределах каждой из которых коэффициенты яркости изменяются пропорционально, сами области не пересекаются и в сумме образовывают полное изображение, т.е. $$ \begin{gather}\tag{2} f_{0}(x,y)= \sum\limits_{i=1}^n {f_{0_i } (x,y)\chi_i } (x,y), \end{gather} $$ где $\chi_{i}(x,y) \ne 0$ в $i$-й области, $\chi_{i}(x,y)= 0$ вне $i$-й области. Очевидно, что такое разбиение можно сделать всегда, уменьшая размер соответствующих областей. Модель изменчивости в этом случае можно представить в виде $$ \begin{gather}\tag{3} f_{H} (x,y)=\sum\limits_{i=1}^n [ a_{i} f_{0 i}(x,y) + b_{i} ] \chi_{i}(x,y) , \end{gather} $$ где $a_{i}$, $b_{i}$ описывают изменение наблюдаемой яркости в $i$-й области. Очевидно, что такая модель хороша лишь в тех случаях, когда возможно представление изображения относительно небольшим числом соответствующих областей.

Могут наблюдаться резкие вариации освещенности из-за наличия теней от объектов. При этом перепады освещенности могут достигать нескольких раз. В этом случае можно представить модель изменчивости в виде $$ \begin{gather}\tag{4} f_{H} (x,y) = a(x,y) f_{0 }(x,y) + b(x,y) , \end{gather} $$ где $a(x,y)$ и $b(x,y)$ имеют тот же смысл, что и в приведенных выше моделях изменчивости, но меняются в зависимости от изменения пространственных координат $x, y$. Поведение этих коэффициентов практически невозможно предсказать заранее, а характерные размеры на изображении в этом случае часто соизмеримы с характерными размерами природных образований. Случайный характер поведения коэффициентов $a(x,y)$, $b(x,y)$ и широкий диапазон изменения их статистических характеристик приводит к большим трудностям практического использования данной модели в аналитических исследованиях.

Для обеспечения качественного стереоотождествления площадными методами необходим учет функций $a(x,y)$, $b(x,y)$. Корреляционная функция автоматически учитывает эти функции путем центрирования и нормирования яркости образа. В стереоотождествлении методом наименьших квадратов эти функции вводятся явно в виде параметров модели.

Ложное отождествление.

На рис. 2 показан пример корреляционной функции, получаемой при стереоотождествлении. Положение максимума корреляци-

4-2-2.jpg

Пример корреляционной функции, полученной при отождествлении участков изображений

онной функции определяет положение соответствующего образа. При увеличении зашумленности изображения значения боковых максимумов могут превысить значение главного максимума (см. подраздел 2.2). Это является одной из главных причин аномальных ошибок ложного отождествления. На увеличение боковых максимумов по сравнению с главным максимумом влияют также геометрические и яркостные различия образов, затенение и загораживание объектов на изображении. Чтобы уменьшить вероятность ложного отождествления, применяются методы ограничения области поиска. Область поиска ограничивается так, чтобы по возможности локализовать главный максимум и уменьшить число боковых максимумов.

Полезные ссылки

  1. ☝ К началу
  2. ☜ Сравнение и привязка изображений. Стереоотождествление
Личные инструменты
Пространства имён

Варианты
Действия
Навигация
Инструменты