Application of the Method of Statistical Differentiation for the Gridding of Aerophoto Image to a Satellite Image

Gafarov R.M., Arkhipov I.O., Korobeynikov A.V., Elantsev M.O.

Abstract


The work deals with the creation of an autonomous navigation system for unmanned aerial vehicles by way of gridding airborne images to a satellite image of the terrain. This system can be used for navigation in conditions of global positioning signal (GPS, GLOBASS) interference while maintaining the radio silence mode. Special points combined into triangles are calculated according to the images of the airborne image of the aircraft and the corresponding part of the satellite image. Each triangle is described by a descriptor, which includes information about the types of special points forming this triangle, the order of their visiting, and the position of the vertex of the triangle relative to the base. Using the method of statistical differentiation can significantly reduce the amount of enumeration by comparing only equivalent triangles with the same descriptors. The result of comparing the triangles of the two images is the set of pairs of corresponding segments, among which the pair with the best result of correlation criteria is selected. The chosen pair of segments gives the parameters of the shift, rotation and the scaling factor, which allow you to tie the coordinates of the picture of the onboard camera of the aircraft to the space image of the terrain. In the conclusion of the paper, an example is given of the constructed trajectory of an unmanned aerial vehicle with reference to a satellite image.

Keywords


navigation; aerial vehicle; UAV; computer vision; satellite image

Full Text

В настоящее время большое внимание уделяется созданию автономных систем навигации для беспилотных летательных аппаратов (БПЛА), основанных на сопоставлении бортовой визуальной информации с заранее подготовленными по космическим снимкам (КС) изображениями местности, над которой совершается полет. Основной причиной является необходимость дублирования спутниковых систем навигации (GPS или ГЛОНАСС), сигнал с которых может быть недоступен или потерян, а бортовая инерциальная система БПЛА не обеспечивает требуемую точность [1-3]. Таким образом, вычисление текущих координат БПЛА осуществляется путем установления соответствия между кадрами бортового видеорегистратора с фрагментами КС местности, имеющего четкую координатную привязку и хранящегося в графической базе данных БПЛА. Основная трудность при разработке таких систем навигации заключается в том, что сопоставляемые изображения могут существенно отличаться условиями съемки, динамическим характером формирования кадров фотосъемки, а также временем суток и сезонными изменениями местности, что способствует взаимному рассогласованию геометрических и яркостных параметров изображений. Кроме того, определение координат местоположения должно осуществляться в реальном масштабе времени. Отмеченные особенности предъявляют повышенные требования к применяемым методам и алгоритмам. Наиболее перспективным в указанных условиях представляет применение метода статистической дифференциации для вычисления параметров рассогласования изображений, изложенного в работах [4, 5]. Снизить зависимость качества определения координат БПЛА от изменений местности со времени изготовления КС позволяет привязка между последовательными кадрами бортового видеорегистратора с последующим вычислением параметров преобразований сдвига, поворота и масштаба между соседними кадрами БПЛА [6, 7]. При этом определяются текущие координаты БПЛА относительно начальной точки полета. Со временем происходит накопление ошибки координат БПЛА. В этом случае требуется регулярный сброс ошибки координат путем привязки текущего снимка БПЛА к КС, если текущая подстилающая поверхность хорошо согласуется с КС. Предлагается следующая схема привязки кадров видеорегистратора БПЛА к изображению КС местности, над которой планируется полет (рис. 1). В подготовительной части КС приводится к масштабу, соответствующему высоте полета, и загружается в память бортового вычислительного устройства. В начале полета после набора заданной высоты производится привязка текущего кадра видеорегистратора к начальной точке маршрута БПЛА. Далее следует автономная фаза полета, в течение которой с определенным шагом кадры видеорегистратора последовательно связываются между собой с учетом их взаимного сдвига, поворота и масштаба. Промежуток между кадрами выбирается исходя из скорости полета с тем, чтобы взаимное перекрытие составляло не менее 2/3 соседних кадров. Кроме того, накапливается величина общего рассогласования текущего кадра и точки предыдущей привязки к космическому снимку. Если эта величина превышает заданное значение, следует фаза расчета положения кадра на космическом снимке и привязка к ней текущего кадра бортового видеорегистратора. Затем снова следует фаза автономного полета и т. д. Рис. 1. Схема привязки кадров видеорегистратора БПЛА к изображению космического снимка местности Алгоритм, реализующий метод статистической дифференциации и изложенный в работе [8], был адаптирован под указанные условия и модифицирован с целью повышения его эффективности и надежности. Он состоит из следующих основных этапов. 1. На изображениях и простым детектором выделяются множества особых точек и , , где - функция детектора особых точек. В каждом из них отбирается заданное число наиболее значимых точек, которым соответствуют самые большие по абсолютной величине значения функции . Каждая точка помимо координат характеризуется знаком . Выделенные таким образом на изображениях и особые точки образуют два множества и соответственно. 2. Из множества выделенных особых точек изображения образуют триады - треугольники (обозначим множество таких треугольников ), которые в дальнейшем используют для установления соответствий с подобными треугольниками на изображении . При указанных преобразованиях в основу определения соответствий может быть положено инвариантное свойство сохранения подобия треугольников в и. 3. Всего из точек можно образовать треугольников. Быстрое возрастание при увеличении препятствует установлению соответствий методом перебора всех треугольников из и (например, при ). Объем перебора можно значительно сократить, предварительно разбив множество на классы эквивалентных треугольников . Треугольники считаются эквивалентными, если они: a) подобны; b) имеют одинаковую ориентацию о; c) имеют совпадающие типы точек вершин, то есть,,. Рис. 2. Формат дескриптора J Разбиение на эквивалентные треугольники множеств и осуществляется дескриптором J, состоящим из шести полей (рис. 2). С каждым треугольником связывается функция яркости в промежутке между вершинами, образующими его основание. Количество отсчетов функции яркости задается постоянным, независимо от длины основания. 4. Указанные выше действия выполняются также для сопоставляемого изображения . 5. Для определения геометрических параметров рассогласования по сдвигу, повороту и масштабу сравниваются треугольники, выделенные на изображениях и и относящиеся к одному классу эквивалентности. Треугольники считаются соответствующими, если параметры их взаимных отличий удовлетворяют заданным требованиям. Факт соответствия фиксируется в двумерной гистограмме , где - номер отрезка, являющегося основанием треугольника в , а - подобный же номер отрезка в . Следует отметить, что один и тот же отрезок может быть основанием нескольких треугольников, вершины 2 которых попадают в область , ограниченную двумя дугами с радиусом равным длине отрезка (рис. 3). После сравнения всех треугольников наибольшие элементы гистограммы соответствуют тем треугольникам, в области которых присутствует большое число соответственных точек. Рис. 3. Область для треугольников с основанием 1-3 6. Селекция треугольников по гистограмме позволяет выделить два множества и отрезков - оснований треугольников, являющихся соответственными на сравниваемых изображениях. Пара отрезков и , по координатам которых вычисляются параметры трансформирующего преобразования , определяется по максимуму корреляции функций и для этих отрезков. Экспериментальная проверка предлагаемой схемы привязки производилась с использованием космических снимков Yandex и Google и видеокадров БПЛА для местности, над которой проходил полет. Размер кадров составлял 342×228 пикселов и 256 градаций серого. Частота кадров видеорегистратора БПЛА составляла 30 кадров/с, из которых выбирался каждый 10-й для их взаимной привязки и накопления общей величины рассогласования в автономной фазе полета. Далее следовала привязка последнего кадра БПЛА к космическому снимку путем выделения на них отрезков и с наилучшим по корреляционному критерию показателем и вычисление по ним взаимного сдвига, поворота и масштаба. Пример сопоставления изображений с выделенными отрезками и показан на рис. 4. На снимках на рис. 4 отмечены соответственные отрезки, по которым определяются параметры трансформирующего преобразования. На рис. 5 приведен пример участка траектории полета БПЛА с указанными на космическом снимке точками привязки в виде белых квадратных маркеров. Проведенные эксперименты показали перспективность предложенных методов статистической дифференциации для вычисления параметров рассогласования изображений и схемы привязки кадров видеорегистратора БПЛА к космическому снимку. а б Рис. 4. Пример привязки изображений: а - фрагмент космического снимка; б - кадр из видеоряда БПЛА Рис. 5. Пример участка траектории полета БПЛА на космическом снимке

Galleys

PDF (Русский)
References References

Корнеев М. А., Максимов А. Н., Максимов Н. А. Методы выделения точек привязки для визуальной навигации беспилотных летательных аппаратов // Труды МАИ : электронный журнал. - Вып. 58.

Степанов Д. Н. Определение положения и ориентации беспилотного летательного аппарата на основе системы технического зрения // Программные системы. Теория и приложения. - 2011. - № 4 (8). - C. 33-43.

Пуртов И. С., Синча Д. П. Исследование методов и разработка алгоритмов обработки видеоинформации в задачах локализации положения БЛА на основе распознавания изображений при помехах и искажениях // Труды МАИ : электронный журнал. - Вып. 52.

Гафаров М. Р., Гафаров Р. М. Метод статистической дифференциации для определения сдвига и поворота изображений // Интеллектуальные системы в производстве: научно-практический журнал. - 2013. - № 2 (22) - С. 130-133.

Гафаров М. Р., Гафаров Р. М., Полтанова Е. С. Определение параметров геометрических трансформаций изображений методом статистической дифференциации // Интеллектуальные системы в производстве. - 2015. - № 1. - С. 41-44.

Максимов А. Н., Еланцев М. О., Архипов И. О., Широков В. А. Сопоставление характерных точек на последовательных кадрах в задачах аэронавигации по зрительным образам // Молодые ученые - ускорению научно-технического прогресса в XXI веке : сборник материалов IV Всероссийской научно-технической конференции аспирантов, магистрантов и молодых ученых с международным участием / отв. за выпуск: А. П. Тюрин, В. В. Сяктерева. 2016.- Ижевск : Изд-во ИжГТУ имени М. Т. Калашникова, 2016. - С. 428-432.

Архипов И. О., Еланцев М. О. Методика определения координат летательного аппарата по зрительным образам // Интеллектуальные системы в производстве. - 2016. - № 4 (31). - С. 4-7.

Гафаров М. Р., Гафаров Р. М., Полтанова Е. С. Определение параметров геометрических трансформаций изображений методом статистической дифференциации.




DOI: http://dx.doi.org/10.22213/2410-9304-2017-2-109-112

Article Metrics

Metrics Loading ...

Metrics powered by PLOS ALM

Refbacks

  • There are currently no refbacks.


Copyright (c) 2017 Гафаров Р.М., Архипов И.О., Коробейников А.В., Еланцев М.О.

Creative Commons License
This work is licensed under a Creative Commons Attribution 4.0 International License.

ISSN 1813-7911