Обработка и комплексирование многоспектральных видеоданных

Материал из Техническое зрение
Перейти к: навигация, поиск

Как в процессе функционирования автономной системы машинного зрения, так и в работе человека-оператора автоматизированной системы управления, многие проблемы возникают вследствие естественной низкой различимости объектов на оптическом изображении (дождь, туман и т. д.), либо возможного присутствия различных дополнительных помех (маскировка, пиротехнические средства, прожекторы и т. п.). Значительную роль в снижении характеристик обнаружения играют также шумовые компоненты сигналов, образующиеся из-за особенностей применяемых датчиков и неидеальности каналов передачи данных. Большинство разработчиков перспективных систем управления ЛА видят основной путь борьбы с этой группой проблем в совместном использовании датчиков различной физической природы(ДРФП).

Изображения, получаемые от различных типов двумерных датчиков, имеют свои характерные яркостно-геометрические особенности, которые обусловлены как физикой формирования самого изображения, так и характеристиками оптико-электронных трактов. Данные особенности в значительной степени определяют выбор алгоритмов предварительной обработки и распознавания. Так, существенные сложности при обработке изображений в оптическом диапазоне представляют затемненные участки, на которых теряют эффективность локальные и градиентные алгоритмы. В то же время, изображение в ИК-диапазоне обладает свойством отсутствия теней, что дает возможность выделить тени на оптическом изображении в случае совместной обработки изображений, получаемых от ТВ и ИК-датчиков. Изображения, получаемые в миллиметровом диапазоне, характеризуются хорошим качеством в условиях дождя, тумана, облачности, однако геометрические размеры объектов сцены на таких изображениях значительно отличаются от действительных. Таким образом, комплексная обработка изображений в различных спектральных диапазонах предоставляет дополнительные возможности при автоматизации обработки и распознавания.

В 1 обобщаются основные характеристики и наиболее известные признаки восьми типов двумерных датчиков, обладающих существенной разделительной способностью по отношению к типовым объектам интереса ЛА. Все перечисленные типы датчиков могут практически использоваться при решении задач управления и выпускаются серийно по существующим технологиям.

Таблица 1

Тип датчика Формат представления данных Полезные признаки
Тепловизионный $\bullet $ 2D-тепловое изображение $\bullet $ форма, max/min эмиссия, количество и расположение горячих пятен, окружение (среда)
Радар миллиметрового диапазона $\bullet $ 2D-отраженный профиль \par

$\bullet 1$D или 2D-поляризационные изображения

$\bullet $ 2D-поле скоростей

$\bullet $ распределение и степень протяженности

рассеивателей

$\bullet $ четный и нечетный номер и располо-

жение упругих рассеивателей

$\bullet $ частоты пульсации и ширина пучка

рассеивания

Лазерный локатор $\bullet $ 3D-изображение

$\bullet $ доплеровская модуляция

(вибрация)

$\bullet $ 2D-поле скоростей

$\bullet $ размер, 3D-форма, расположение объектов

$\bullet $ пульсация, структурная и поверхностная

частоты

$\bullet $ пространственное распределение

движущихся участков сцены

Локатор с синтетическим раскрывом \par $\bullet $ 2D-изображение $\bullet $ размер и расположение объектов
Телевизионный $\bullet $ 2D-полутоновое видеоизображение $\bullet $ форма, размеры, текстура, внутренняя

структура объектов, окружение

Микроволновый радар $\bullet $ доплеровская модуляция

$\bullet $ 2D-изображение

$\bullet $ скорость, частота пульсации и ширина пучка

$\bullet $ размер, формат, количество и расположение объектов

Акустический датчик $\bullet $ отраженный звуковой сигнал $\bullet $ частоты пульсации, гармоники отношения частот, источники специфического шума
Интерферометр $\bullet $ спектральная и временная зависимость микроволнового излучения $\bullet $ частота, частотная модуляция, амплитудная модуляция, продолжительность пульсации, интервалы пульсации

Для экспериментальной съемки ДРФП в ГосНИИАС был создан ряд специальных аппаратно-программных стендов. Ниже даны примеры различных многоспектральных регистраций. На рис. 8 представлены ТВ, ЛЛ и ИК-регистрации движущегося объекта на малой дальности ($150$ м). Видна надежная селекция объекта на ЛЛ-изображении, а также яркое пятно от выхлопных газов двигателя в ИК-диапазоне. На рис. 9 показаны ТВ, ЛЛ и ИК-изображения, полученные при наблюдении объекта на средней дальности ($400$ м). На ЛЛ-изображении селектируется только подвижный объект. На рис. 10 представлены ТВ, ЛЛ и ИК-регистрации изображений объекта на большой дальности ($2000$ м). Объект наблюдается на изображениях всех трех датчиков, но форма объекта визуально неразличима. На рис. 11 представлены изображения городской сцены в ТВ и двух ИК-диапазонах (3 - 5 и 8 - 14 мкм).

7-1-8.jpg

ТВ, ЛЛ и ИК-изображения движущегося объекта на малой дальности ($150$ м)

7-1-9.jpg

ТВ, ЛЛ и ИК-изображения объекта на средней дальности ($400$ м)

7-1-10.jpg

ТВ, ЛЛ и ИК-изображения объекта на большой дальности ($2000$ м)

7-1-11.jpg

Изображения городской сцены в ТВ и двух ИК-диапазонах (3 - 5 и 8 - 14 мкм)

Как видно из приведенных примеров, изображения, получаемые от датчиков различных диапазонов, имеют существенную корреляцию, поскольку имеются естественные взаимосвязи между физическими величинами, которые измеряются этими датчиками. Это означает, что со статистической точки зрения данные, формируемые различными каналами многоканальных систем дистанционного наблюдения, не могут рассматриваться как независимые источники свидетельств об объектах сцены наблюдения. Тем не менее, каждый диапазон несет и определенную специфическую информацию об объекте наблюдения, что позволяет системам машинного зрения, использующим несколько различных датчиков, демонстрировать лучшие результаты по сравнению с системами, основанными на одном спектральном диапазоне.

Комплексирование данных различной физической природы может осуществляться на основе логического или вероятностного объединения поканальных решений, полученных в ходе раздельного анализа информации, поступающей от каждого датчика. Известны также схемы комплексирования, основанные на классификации объединенных наборов признаков, формируемых по совокупности признаков, выделяемых в ходе анализа изображений разных каналов. Однако большинство современных подходов к построению многоканальных систем машинного зрения предполагают уже не "комплексирование" многозональной информации в прежнем узком смысле, а сложный многоэтапный процесс $\textit{совместного анализа данных}$, на различных этапах которого в центре рассмотрения оказываются изображения от различных датчиков, происходит их перекрестный опрос, запрашиваются различного рода подтверждения и уточнения и т. д. и т. п. Разработанный в ГосНИИАС оригинальный подход к классификации алгоритмов и структур для работы с данными различной физической природы получил название ПОМИ ($\textit{платформа обработки многоспектральной информации}$). Он позволяет в едином ключе описывать, анализировать и разрабатывать наиболее широкий спектр схем обработки и комплексирования многозональной информации. Для того чтобы описать общую структуру ПОМИ, необходимо сначала определить набор типов данных, а затем, опираясь на них, набор типов процедур обработки.

В последние годы в области комплексирования данных существует принятая концепция $\textit{семантических уровней }$представления данных, включающая $\textit{уровень измерений, признаковый уровень, уровень оценок достоверности, символьный уровень}$. Упомянутые $\textit{оценки достоверности}$ представляют собой векторы вероятностного или нечеткого описания принадлежности объекта некоторому классу или типу объектов. В то же время любой тип данных в вычислительных системах есть совокупность $\textit{элементов}$, организованная в некоторую $\textit{структуру}$. Соответствующая схема $\textit{уровней организации данных}$ включает растровые данные, 2D-структурированные данные, 3D-структурированные данные, а также данные, структурированные во времени.

Таким образом, любой практический тип данных может быть описан путем использования двух "координат" - $\textit{семантического уровня и организационного уровня}$. Комплексирование также может выполняться на любом уровне первой схемы и одновременно на любом уровне второй схемы. Перечислим вкратце, какие виды процедур обработки и комплексирования можно определить для представленного таким образом набора типов данных. $\textit{Семантические межуровневые процедуры}$ сохраняют структуру, изменяя тип содержащихся в ней элементов. $\textit{Структурные межуровневые процедуры}$ сохраняют типы элементов при изменении структурной организации данных. $\textit{Процедуры попарного комплексирования}$ объединяют две входные структуры в одну выходную структуру того же типа. Необходимо также выделить два различных типа комплексирования: $\textit{комплексирование элементов и комплексирование структур}$. Эти процедуры должны применяться для каждой из структур данных, поддерживаемых системой обработки данных различной физической природы, используя следующие процедуры комплексирования структур: объединение, пересечение и ранговое комплексирование структур. $\textit{Процедуры фильтрации}$ являются внутриуровневыми процедурами с одним входом и одним выходом. Они всегда сохраняют размерность элементов данных. В их число входят:$\textit{ преобразование элементов}$ - часто используются на измерительном и признаковом уровнях, например, гистограммные преобразования полутоновых изображений или отображение признаковых пространств; $\textit{линейные и нелинейные преобразования}$ - обработка растровых данных в пространственной или частотной областях; $\textit{геометрические преобразования}$ - преобразуют любые пространственные данные, используя некоторую геометрическую модель. Может быть использован широкий набор таких процедур, например, они могут использоваться для обеспечения условий взаимной привязки и синхронизации данных при регистрации.

В частности, на основании проводившихся в ГосНИИАС численных экспериментов по комплексированию многоспектральных данных на уровне векторов достоверности оказалось возможным сделать следующие выводы.

1. Комплексирование всегда обеспечивает более высокую достоверность распознавания, чем каждый из каналов в отдельности. При отказе одного из каналов решение практически принимается по одному оставшемуся каналу.

2. При комплексировании по методу Демпстера - Шафера больший вес придается показаниям канала с меньшим показателем неуверенности.

3. В присутствии помех высокой интенсивности комплексирование на уровне векторов достоверности позволяет принять решение даже тогда, когда ни по одному из каналов в отдельности его принять невозможно.

Последний вывод можно проиллюстрировать следующим числовым примером (см. 2 ).

Таблица 2

Диапазон $k_1$ $k_2$ $s_1$ $s_2$ $s_\theta$
ТВ $0{,}303$ $0{,}345$ $0{,}161$ $0{,}184$ $0{,}655$
ИК $0{,}469$ $0{,}549$ $0{,}253$ $0{,}296$ $0{,}451$
ТВ+ИК $0{,}568$ $0{,}674$ $0{,}308$ $0{,}366$ $0{,}326$

Здесь $k_1$ и $k_2$ - исходные значения оценок принадлежности наблюдаемого объекта одному из двух близких классов, формируемых независимо по каждому спектральному каналу алгоритмами обнаружения и идентификации объектов. После этого на их основе рассчитывается нормированный вектор оценок достоверности $\textbf{s} = \langle s_1 , s_2 , s_\theta \rangle$, где $s_1$ и $s_2$ - коэффициенты уверенности в принадлежности объектов к 1 и 2 классу; $s_\theta$ - коэффициент неуверенности распознавания типа цели; $s_1+s_2+s_\theta =1$ - условие нормировки. Как видно, в данном примере $\textit{коэффициент неуверенности}$ распознавания типа цели $s_\theta$ по каждому из каналов в отдельности много больше оценки достоверности принадлежности цели обоим классам ($s_1$ и $s_2$ соответственно). В то же время, по результатам комплексирования мы вправе принять решение об обнаружении объекта класса 2, так как достоверность распознавания объекта этого класса оказывается больше, чем достоверность неопределенного решения: $s_2(\textrm{ТВ}+\textrm{ИК})=0,366 > 0,326=s_\theta(\textrm{ТВ}+\textrm{ИК})$.

Полезные ссылки

  1. ☝ К началу
  2. ☜ Авиационные и космические приложения
Личные инструменты
Пространства имён

Варианты
Действия
Навигация
Инструменты