Розпізнавання об'єктів є Надзвичайно складним завдання в області комп'ютерного зору и однією з основних проблем, что вінікають при розробці практичних систем візуального відстеження. У даній работе Було проаналізовано методи відстеження та розпізнавання об'єктів. Віділено основні підході до розпізнавання об'єктів: шаблони, оптичний потік, віднімання фону, нейронних мереж. Розглянуто основні підході до спостереження за об'єктами: відстеження точок, відстеження локального максимуму, відстеження силует. Такоже БУВ проведень аналіз останніх ДОСЛІДЖЕНЬ и публікацій в області ПІДТРИМКИ Прийняття РІШЕНЬ в управлінні безпілотнім наземних транспортних засоби (БНТЗ) на основе візуального відстеження.

Анотація наукової статті з комп'ютерних та інформаційних наук, автор наукової роботи - В. І. Дубровін, С. О. Ікол


ANALYSIS OF METHODS OF RECOGNITION AND TRACKING OBJECTS ON VIDEO SEQUENCE

An unmanned ground vehicle (UGV) ability to track and go behind a moving target is in demand in different applications, especially in situations where the coordination of several UGV is needed. The column movement is one of the common tasks where the UGV cooperation is required. In implementing the decision support system in the UGV management in the column, the visual tracking module is essential one. It allows you to recognize and then track the target silhouette in the image. Object recognition is an extremely difficult task in the computer vision field and one of the main problems that arise in the development of practical systems of visual tracking. An unmanned ground vehicle is an object of increased danger, since it works at high speed and in close proximity to a person. The basic requirements for image processing techniques are presented for usage in the visual tracking system. In this work, tracking and object recognition methods are analyzed. There are such main approaches to object recognition as patterns, optical flow, background subtraction, neural network. Such main approaches to tracking objects are identified: points tracking, kernel tracking, silhouette tracking. Also, recent studies and publications in the field of decision support in the UGV management based on visual tracking are analyzed. Comparative tables are based on such characteristics as processing time of single frame, processing of occlusion and accuracy of methods. The conclusions are that in view of the presented limitations for tracking, it is proposed to use in future several methods of recognition and tracking simultaneously: the YOLO object recognition method for the classification of objects; SURF technique as a key point detector for object identification in class space; and the correlation filter for tracking an object on a video sequence. Usage of a combination of given methods will increase the system`s fault-tolerance to the disappearance of the master image from the image or its partial occlusion


Область наук:
  • Комп'ютер та інформатика
  • Рік видавництва: 2018
    Журнал: Вісник Херсонського національного технічного університету

    Наукова стаття на тему 'АНАЛІЗ МЕТОДІВ РОЗПІЗНАВАННЯ ТА відстеження ОБ'ЄКТІВ НА ВІДЕО ПОСЛІДОВНОСТІ'

    Текст наукової роботи на тему «АНАЛІЗ МЕТОДІВ РОЗПІЗНАВАННЯ ТА відстеження ОБ'ЄКТІВ НА ВІДЕО ПОСЛІДОВНОСТІ»

    ?УДК 004.93'12

    В 1. ДУБРОВ1Н, СО. 1КОЛ

    Запорiзька нацiональний технiчний унiверситет

    АНАЛ1З МЕТОД1В РОЗП1ЗНАВАННЯ ТА В1ДСТЕЖЕННЯ ОБ'СКТЮ НА В1ДЕО

    ПОСЛ1ДОВНОСТ1

    Розтзіавання o6'eKmie е Надзвичайно складним завдання в областi комп'ютерного зору i одтею з основних проблем, что вінікають при розробцi практичних систем візуального вiдстеження. У датй po6omi Було проанал1зовано методи вiдстеження та розтзнавання об'ектiв. Відшено основнi тдході до розпгзнавання об'ектiв: шаблони, оптичний потж, вiднiмання фону, нейронних мереж. Розглянуто основнi тдході до спостереження за об'єктах: вiдстеження точок, вiдстеження локального максимуму, вiдстеження силуету. Такоже БУВ проведень анал1з осmаннiх до ^ джень i публiкацiя в областi пiдтримку Прийняття рiшенням в управлiннi безпшотнім наземних транспортних засоби (БНТЗ) на основi в1зуального вiдсmеження.

    Ключовi слова: в1зуальне вiдсmеження, кооперацiя БНТЗ, розпгзнавання про 'екmiв, режим реального

    годині.

    В.І. Дубровіна, С.А. ІКОЛ

    Запорізький національний технічний університет

    АНАЛІЗ МЕТОДІВ РОЗПІЗНАВАННЯ І ВІДСТЕЖЕННЯ ОБ'ЄКТІВ НА відеопослідовність

    Розпізнавання об'єктів є надзвичайно складним завданням в області комп'ютерного зору і однією з основних проблем, що виникають при розробці практичних систем візуального відстеження. У даній роботі проведено аналіз методів відстеження та розпізнавання об'єктів. Розглянуто основні підходи до розпізнавання об'єктів: шаблони, оптичний потік, віднімання фону, нейронна мережа. Виділено основні підходи до спостереження за об'єктами: стеження за точками, стеження за локальними максимумами, стеження за силуетом. Також проведено аналіз останніх досліджень і публікацій в області підтримки прийняття рішень в управлінні безпілотним наземним транспортним засобом (БНТС) на основі візуального відстеження.

    Ключові слова: візуальне відстеження, кооперація БНТС, розпізнавання об'єктів, режим реального часу.

    V.I. DUBROVIN, S.A. IKOL

    Zaporozhye National Technical University

    ANALYSIS OF METHODS OF RECOGNITION AND TRACKING OBJECTS ON VIDEO SEQUENCE

    An unmanned ground vehicle (UGV) ability to track and go behind a moving target is in demand in different applications, especially in situations where the coordination of several UGV is needed. The column movement is one of the common tasks where the UGV cooperation is required.

    In implementing the decision support system in the UGV management in the column, the visual tracking module is essential one. It allows you to recognize and then track the target silhouette in the image.

    Object recognition is an extremely difficult task in the computer vision field and one of the main problems that arise in the development of practical systems of visual tracking. An unmanned ground vehicle is an object of increased danger, since it works at high speed and in close proximity to a person. The basic requirements for image processing techniques are presented for usage in the visual tracking system. In this work, tracking and object recognition methods are analyzed. There are such main approaches to object recognition as patterns, optical flow, background subtraction, neural network. Such main approaches to tracking objects are identified: points tracking, kernel tracking, silhouette tracking. Also, recent studies and publications in the field of decision support in the UGV management based on visual tracking are analyzed. Comparative tables are based on such characteristics as processing time of single frame, processing of occlusion and accuracy of methods. The conclusions are that in view of the presented limitations for tracking, it is proposed to use in future several methods of recognition and tracking simultaneously: the YOLO object recognition method for the classification of objects; SURF technique as a key point detector for object identification in class space; and the correlation filter for tracking an object on a video sequence. Usage of a combination of given methods will increase the system Ss fault-tolerance to the disappearance of the master image from the image or its partial occlusion.

    Keywords: visual tracking, cooperation of an unmanned ground vehicles, object recognition, real-time mode.

    Постановка проблеми

    Здатність безпілотного наземного транспортного засобу (БНТС) відстежувати і пересуватися за рухомою метою затребувана в самих різних додатках, особливо в ситуаціях, коли необхідна координація декількох БНТС. Кооперація БНТС вимагає, щоб окремі транспортні засоби (ТЗ) мали інформацію про позиції та поведінці оточуючих їх ТС перед будь-якими спільними діями. Однією з найбільш поширених завдань, в яких потрібно кооперація БНТС, є пересування в колоні. Das [1] дав визначення цього завдання як проблеми управління відносної позицією і орієнтацією роботів в групі. Запропоновано багато різних форм взаємодії роботизованих платформ в групі, однією з найпоширеніших є модель провідний / ведений. Дана форма взаємодії найкраще підходить для управління декількома БНТС шляхом візуального відстеження без передачі інформації по зовнішньому каналу зв'язку.

    Аналіз останніх досліджень і публікацій Завдання підтримки прийняття рішень в управління БНТС в колоні вимагає, щоб мобільний робот слідував за метою, підтримуючи певну дистанцію і орієнтацію в просторі щодо неї. Таке завдання особливо корисна для роботизованих конвоїв, коли ведучий автомобіль віддалено управляється по радіоканалу, а решта автомобілі рухаються за ним, формуючи колону і дозволяючи транспортувати предмети постачання або транспортні засоби через небезпечні райони без ризику для життя людей. Один користувач може управляти всією групою роботів, явно не вказуючи керуючі команди для кожного з них. В альтернативному сценарії провідне БНТС може бути оснащено більш досконалими датчиками і обчислювальними можливостями для загального планування і навігації, в той час як ведені БНТС в колоні є простими і / або спеціалізованими. Децентралізація одного великого і дорогого робота знижує ймовірність катастрофічного збою місії. Використання декількох мобільних роботів дозволяє досягти вирішення складніших завдань. БНТС, оснащені можливістю стежити за людьми, можуть виявитися особливо корисними в індустрії робототехніки [2]. Роботизовані "мулли" могли б слідувати за людьми до певної точки, а потім переміщатися самостійно по записаному маршруту, перевозячи вантажі.

    Ще одне потенційне застосування БНТС - пошук і порятунок, коли БНТС слід за командами медиків і повертає стабілізованих пацієнтів в стаціонарні лікарні, при цьому тільки один медик повинен знаходиться біля БНТС, залишаючи інших вільно продовжувати роботу з іншими пацієнтами в зоні лиха.

    БНТС повинні не тільки виявляти, розпізнавати і відстежувати свої цілі в реальному часі, а й орієнтуватися на їх поведінку. В результаті вирішальне значення має розпізнавання цілей і їх поведінки. БНТС, як правило, оснащені різноманітною комбінацією датчиків для відстеження цілей. Gockley в своїй роботі [3] використовував активну оптичну систему (LIDAR) для виявлення цілі (людини) і створення траєкторій його руху, щоб роботизована платформа могла пересуватися по тій же траєкторії. Технологія отримання і обробки інформації про віддалені об'єкти за допомогою активних оптичних систем забезпечує точні вимірювання, але не звільняє від двозначності в ідентифікації об'єкта. Методи електронного троса, що використовують радіочастотну ідентифікацію (RFID), є ефективними, але вимагають додаткових датчиків для більш точних вимірювань. Одним із прикладів систем стеження за людиною з використанням декількох датчиків є роботи Germa [4] і Fiala [5], в яких дослідники об'єднали дані, отримані з RFID-датчиків і дані, отримані шляхом обробки зображень. Багато системи використовують комп'ютерний зір через вичерпної інформації про навколишнє середовище, пасивної роботи і щодо високої частоти поновлення даних.

    При реалізації системи підтримки прийняття рішень в управлінні БНТС одним з найважливіших модулів є модуль візуального відстеження. Він дозволяє розпізнавати і згодом відстежувати силует цілі на зображенні. Під БНТС в даному випадку мається на увазі повнометражний автомобіль [6], оснащений системою управління. БНТС є об'єктом підвищеної небезпеки, оскільки працює на великих швидкостях і в безпосередній близькості від людини. Тому до системи візуального відстеження висуваються додаткові вимоги для підвищення безпеки:

    • обробка одного кадру відеопослідовності не повинна перевищувати 2 мс (режим реального часу);

    • система візуального відстеження повинна бути стійкою до змін освітлення, масштабу образу об'єкта на зображенні і його часткової оклюзії;

    • система візуального відстеження повинна володіти функцією повторного знаходження об'єкта спостереження після того, як він пропав на кілька кадрів з відеопослідовності.

    Мета дослідження

    Мета даної роботи полягає в аналізі методів розпізнавання і відстеження об'єктів на двовимірному зображенні, які дозволять БНТС відстежувати образ ведучого автомобіля або людини.

    Виклад основного матеріалу дослідження Розпізнавання об'єктів

    Розпізнавання об'єктів є важливим завданням в будь-якому алгоритмі стеження. Існує кілька основних напрямків в реалізації методів розпізнавання (рис. 1).

    Шаблони. Розпізнається об'єкт може бути представлений моделлю шаблону. Модель шаблону може бути створена з використанням базової форми геометрії, силуетів об'єктів або їх унікальних точок. Вона може містити як зовнішній вигляд, так і спеціальну інформацію про цікавить об'єкті. Даний підхід може використовуватися для розпізнавання об'єктів, не схильних до великих спотворень на зображенні, оскільки збільшення кількості характеристик в моделі шаблону призводить до зменшення швидкості обчислень.

    Унікальні точки. Одним з методів розпізнавання об'єктів є пошук унікальних точок на зображенні. Цей метод зазвичай використовується для виявлення точок на зображенні, які мають унікальні характеристики у своїй конкретній області. Під унікальними точками маються на увазі деякі ділянки зображення, які є відмінними в межах даного зображення. Найпоширеніші методи пошуку унікальних точок - це методи Harris [7], SIFT, SURF, BRIEF, ORB [8].

    Оптичний потік призначений для розрахунку поля оптичного потоку зображення і подальшої кластеризації [9, 10]. Цей метод розраховує вектори переміщення всіх пікселів на зображенні, що дозволяє більш ефективно виявляти рухомі об'єкти. Однак велика кількість обчислень і висока чутливість до шуму на зображенні роблять його непридатним для використання в режимі реального часу.

    Фазова кореляція [11] - це метод для оцінки відносного трансляційного зміщення між двома схожими зображеннями (кореляція цифрового зображення) або іншими наборами даних. Він зазвичай використовується при реєстрації зображень і залежить від представлення даних в частотної області, як правило, обчислюється швидкими перетвореннями Фур'є.

    Мал. 1. Методи і підходи до розпізнавання об'єкта.

    Дискретні методи оптимізації. Обчислення оптичного потоку може бути досягнуто шляхом квантування пошукового простору, потім кожного пікселя зображення ставиться у відповідність мітка таким чином, щоб відстань між послідовними кадрами було мінімальним [12].

    Віднімання фону. Виявлення об'єкта може бути досягнуто шляхом створення моделі сцени і після цього для кожного наступного зображення виконується розрахунок відхилення від моделі. Області зображення, в яких відхилення від моделі перевищує порогове значення, належать рухається об'єкту. В даному підході виділяють два основні методи. Це рекурсивне і нерекурсівние віднімання фону. Рекурсивний метод [13] не підтримує буфер для оцінки фону. Замість цього він оновлює фонову модель на основі кожного, хто входить кадру. У нерекурсівние методі [13] для оцінки фону

    використовується ковзне вікно. Він зберігає буфер попередніх відеокадрів і оцінює фонове зображення на основі тимчасової зміни кожного пікселя в буфері. В результаті помилка в фонової моделі може затримуватися протягом тривалого періоду часу.

    Нейронні мережі [14] - це розділ штучного інтелекту, в якому для обробки сигналів використовуються явища, аналогічні тим, що відбувається в нейронах живих істот. Найважливіша особливість нейронних мереж, яка свідчить про їх широких можливостях і величезний потенціал, полягає в паралельності обробки даних при апаратній реалізації. При великій кількості міжнейронних зв'язків це дозволяє значно прискорити процес обробки інформації. У багатьох випадках стає можливим перетворення сигналів в реальному часі. Крім того, при великому числі міжнейронних з'єднань мережу набуває стійкість до помилок, які виникають на деяких лініях. Функції пошкоджених зв'язків беруть на себе справні лінії, в результаті чого діяльність мережі не зазнає істотних збурень.

    Таблиця 1

    Порівняння методів розпізнавання об'ектов_

    Підходи Методи Швидкість (к / с) Оклюзія Точність Автор

    Шаблони Унікальні точки 30 + середня [7, 8, 23, 28]

    Оптичний потік Фазовая кореляція 30 - середня [11]

    Дискретні методи оптимізації <30 - середня [12]

    Віднімання фону Рекурсивне <30 - середня [13]

    Чи не рекурсивне 30 - середня [13, 24]

    Нейронна мережа >30 + висока [14, 31]

    Для розпізнавання образів мережу накопичує в процесі навчання знання про основні властивості образів, таких як геометричне відображення структури образу, розподіл головних компонентів або про інші характеристики. При узагальненні підкреслюються відмінності образів один від одного, які і складають основу для вироблення класифікаційних рішень.

    Так як спільного рішення для задачі розпізнавання об'єктів на зображенні не існує, часто ці методи доводиться поєднувати зі знаннями з предметної області.

    Стеження за об'єктом

    Стеження за об'єктом можна охарактеризувати як проблему оцінки траєкторії руху об'єкта на площині зображення. У разі використання методів спостереження за об'єктами для БНТС необхідно враховувати відносний рух камери і сцени, що в свою чергу ускладнює завдання. Мета відстеження об'єктів - генерувати маршрут для об'єкта в реальному часі, знаходячи його положення в кожному окремому кадрі відеопослідовності [15]. Згідно роботі [16], відстеження об'єктів можна класифікувати як стеження за точками, відстеження локального максимуму і відстеження силуету. Як описано в роботі [16], методи відстеження можна розділити на наступні категорії (рис. 2):

    Стеження за точками. У структурі зображення рухомі об'єкти можуть бути представлені у вигляді набору унікальних точок. Стеження за особливими точками [16] являє собою складну проблему, особливо щодо випадків окклюзий або помилкового розпізнавання об'єкта.

    Фільтр Калмана. Даний тип відстеження заснований на алгоритмі оптимальної рекурсивної обробки даних. Фільтр Калмана [17] являє собою набір математичних рівнянь, який є ефективним обчислювальним засобом для оцінки стану процесу у декількох аспектах: він підтримує розрахунок оцінки минулих, нинішніх і майбутніх станів, в тому числі за умов, коли точний характер модельованої системи невідомий. Рівняння для фільтрів Калмана діляться на дві групи: рівняння поновлення за часом і рівняння поновлення вимірювань. Рівняння поновлення за часом відповідають за прогнозування вперед (за часом) поточного стану і оцінки ковариации помилок для отримання апріорної оцінки для наступного кроку часу. Рівняння вимірювання відповідають за зворотний зв'язок.

    Множинні гіпотези. Даний алгоритм [16] є ітеративним, і для досягнення кращих результатів розглядається кілька кадрів в один момент часу. Ітерація починається з набору існуючих гіпотез шляху. Кожна гіпотеза - це набір роз'єднаних треків. Для кожної гіпотези робиться прогноз стану об'єкта в подальшому кадрі. Потім прогнози порівнюються шляхом обчислення міри відстані. Метод множинних гіпотез здатний відстежувати кілька об'єктів, обробляти оклюзії і обчислювати оптимальні рішення.

    Мал. 2. Методи і підходи стеження за метою.

    Кореляційні фільтри. Більшість кореляційних фільтрів навчаються по набору унікальних точок (областей), які спостерігаються на першому кадрі. Позиція об'єкта визначається кореляційним відношенням унікальних точок з поточного та попереднього кадру. Однак, як тільки об'єкт частково або повністю закритий, кореляційне відношення, з кожним наступним кадром починає зменшуватися, що в підсумку призводить до втрати об'єкта спостереження або помилкового відстеження.

    Стеження за локальним максимумом. В даному підході об'єкти відстежуються шляхом обчислення руху ядра (локального максимуму) на кожному кадрі. Методи розрізняються за принципом уявлення зовнішнього вигляду, кількості відслідковуються об'єктів і техніки, яка використовується для оцінки руху об'єкта.

    Прості шаблони [18] - це метод обробки цифрових зображень для пошуку невеликих частин зображення відповідно до моделі з зображенням (шаблоном) в кожному кадрі. Процедура зіставлення містить шаблон зображення для всіх можливих позицій в оригінальному документі і обчислює числовий індекс, який визначає, наскільки добре модель відповідає зображенню цієї позиції. Даний метод стійкий до часткової оклюзії об'єкта.

    Метод середнього зсуву має на меті знайти область зображення, яка найбільш схожа на раніше ініціалізувала модель. Область зображення, що підлягає відстеженню, представлена ​​гістограмою. Процедура підйому градієнта використовується для переміщення трекера в місце, яке максимізує оцінку подібності між моделлю і поточної областю зображення. Цільова модель зазвичай представлена ​​функцією щільності ймовірностей.

    Опорні вектори [19] - це метод класифікації, використовує набори позитивних і негативних результатів для навчання. Позитивні зразки містять зображення відслідковується об'єкта, а негативні зразки складаються з фону. Даний метод стійкий до оклюзії при відстеженні одного об'єкта на зображенні. Також для ініціалізації даного методу необхідно вказувати початкову позицію об'єкта.

    Стеження за силуетом. Деякі об'єкти на зображенні можуть мати складну форму і не можуть бути чітко визначені простими геометричними фігурами. Методи, засновані на силуеті [18], дають точний опис фігури для таких об'єктів. Метою відстеження об'єктів на основі силуету

    є пошук області об'єкта в кожному кадрі за допомогою його моделі, згенерованої на попередніх кадрах.

    Метод порівняння контурів [18], працює за принципом итеративного переміщення первинного контуру в попередньому кадрі до його нової позиції в поточному кадрі. Переміщення контуру вимагає, щоб певна частина зображення об'єкта в поточному кадрі перекривалася з областю зображення об'єкта в попередньому кадрі. Порівняння контурів може виконуватися з використанням двох різних підходів. У першому підході використовуються моделі простору станів для моделювання форми і руху контуру. Другий підхід безпосередньо розвиває контур, зводячи до мінімуму його енергію, використовуючи методи прямої мінімізації.

    Порівняння форм. Даний метод виробляє зіставлення довічного зображення з відомої базою даних зображень. Він використовується для розпізнавання фігур і забезпечує статистичні відносини між кількістю переглядів об'єктом і зберігаються в базі даних зображень. Зіставлення форми засноване на фактичній формі об'єкта на зображенні а не на прямому зіставленні пікселів, як це зроблено при зіставленні шаблонів зображень. Таким чином, збіги інваріантні до перетворення форми, розміром і орієнтації.

    Таблиця 2

    Порівняння методів спостереження за об'ектамі_

    Підходи Методи Швидкість (к / с) Оклюзія Точність Автор

    Стеження за точками Фільтр Калмана 30 - низька [17]

    множинні гіпотези <30 + низька [16]

    Кореляційний фільтр 30 + середня [32]

    Стеження за локальним максимумом Прості шаблони 30 +/- середня [18]

    Метод середнього зсуву 30 - низька [20, 27]

    опорні вектори <30 + середня [19]

    Стеження за силуетом Порівняння контурів <30 - середня [18, 21]

    порівняння форм <30 +/- середня [29, 30]

    Практичне застосування методів розпізнавання і відстеження об'єктів на двовимірному

    зображенні

    Розпізнавання об'єктів є надзвичайно складним завданням в області комп'ютерного зору і однією з основних проблем, що виникають при розробці практичних систем візуального відстеження. Методи розпізнавання об'єктів, засновані на зовнішньому вигляді, такі як зіставлення гістограми кольору (Gevers [20]), часто використовуються в додатках візуального відстеження через простоту їх реалізації. На жаль, зіставлення тільки колірної характеристики об'єкта призводить до низької точності ідентифікації. Використання колірних маркерів усуває потенційні невідповідності, але вимагає додаткового втручання в візуальні характеристики об'єкта, що не завжди представляється можливим. Методи розпізнавання геометричних об'єктів є перспективними альтернативами підходам на основі зовнішнього вигляду. Тут розпізнавання засноване на формі об'єкта, на відміну від методів, заснованих на його колірної характеристиці. Ці методи використовують виявлення контурів і геометричної інформації про об'єкт для його класифікації. Так в роботі [21] використовується фільтр Габора для відстеження гравців на футбольному полі. Початкове зображення проходить кілька стадій обробки: застосування порогової обробки, оконтуривания отриманих об'єктів на зображенні і визначення геометричних центрів гравців. В даному підході контури використовуються для виділення всіх об'єктів одного класу (однієї команди) без урахування індивідуальних характеристик образів гравців. Kass в своїй роботі [22] пропонує використовувати метод «змії» або енергозберігаючий сплайн для вилучення характеристик контурів. Активні моделі контурів ефективні, але досить повільні, і схильні до помилок при оклюзії об'єкта на зображенні.

    Weng в своїй роботі [23] запропонував алгоритм поліпшення продуктивності розпізнавання об'єктів. У цій роботі використана поліпшена версія SURF - методу для вилучення унікальних точок на зображенні. Для визначення матриці позиції використовувалися томографічні методи. Результат моделювання показав, що цей алгоритм ефективно відстежує і розпізнає об'єкт. Однак його швидкості і точності недостатньо для використання в системах візуального відстеження реального часу.

    Zhang в своїй роботі [24] запропонував підхід, заснований на комбінуванні різниці кадрів і непараметричного методу для відстеження змін на відеопослідовності. Результати моделювання показали, що ефективність цього підходу вище, в порівнянні з методом GMM [25] і непараметрическим методом моделювання фону [26]. Крім того, він може видаляти шум з фону, який

    дає можливість більш точно визначати об'єкт, що рухається. Істотним недоліком цього підходу є низька точність в умовах пересування і камери і об'єкта дослідження одночасно.

    Co§kun в своїй роботі [27] використовував метод CAMShift (Continuously Apative Mean-Shift) для відстеження об'єкта на відеопослідовності. Крім того, він продемонстрував роботу цього методу на літальної платформі зі зміною розміру об'єкта спостереження і освітлення. Недоліком даного методу є велика залежність від колірної характеристики досліджуваного об'єкта.

    Chen [28] розробив систему візуального відстеження на основі однієї камери для мобільного робота, схильного обмеженням у русі. Колісний мобільний робот міг пересуватися по траєкторії, яка була закладена в відеоряд за допомогою попередньої зйомки. Система позиціонування використовувала геометричне відносини порівнюваних координат унікальних точок для отримання перетворення, яке пов'язує фактичний стан і орієнтацію мобільного робота з прокладеними в відеоряді. Дана система може використовуватися у випадках повторного проходження БНТС по вже відомій траєкторії, але не підходить для руху по заздалегідь невідомому маршруту.

    Luigi Freda [29] запропонував дворівневу систему відстеження і пересування за метою. На нижньому рівні працює рухлива камера, встановлена ​​на роботі, завдання якої полягала у відстеженні мети й утриманні її образу в центрі зображення. На верхньому рівні на основі координат цілі на зображенні і кута нахилу камери розраховувалися керуючі сигнали. Експериментальні дослідження проводилися на роботі MagelanPro. Основним завданням дослідження було відстеження м'яча і пересування за ним. Для відстеження положення м'яча на зображенні використовувалася бінаризація за кольором з наступним згладжуванням шуму і визначення форми об'єкту.

    Celine Teuli в своїй роботі [30] запропонував метод для візуального відстеження на основі даних, отриманих з відеокамери. В експерименті було задіяно безпілотний літальний апарат, який стежив за мініатюрної машинкою. Система розпізнавання цілі була заснована на бинаризации за кольором з кількох пороговим значенням. Потім інформація, отримана від системи розпізнавання, використовувалася для керування положенням і кутом нишпорення БПЛА для переслідування положення цілі. Методи до розпізнавання цілей використовуються в роботах [29, 30] сильно схильні до впливу освітлення і можуть давати помилкові спрацьовування, через що не можуть застосовуватися для візуального відстеження на БНТС.

    Redmon в своїй роботі [31] запропонував новий підхід до розпізнавання об'єктів (YOLO - you only look once). Відмінною рисою даного підходу є те, що розпізнавання об'єктів розглядається як єдина регрессионная проблема. Це дозволило зробити прямий перехід від пікселів на зображенні до координат прямокутника і класифікації об'єктів. У той час як схожі методи використовують схему ковзного вікна, де спочатку використовується метод розрахунку регіону для генерації обмежують прямокутників на зображенні, а потім для кожного прямокутника використовується класифікатор. Даний метод має високу швидкість роботи, але не може використовуватися для ідентифікації об'єктів.

    Danelljan в своїй роботі [32] представив кореляційний фільтр для багатовимірних унікальних точок. В даному методі об'єднані гістограми спрямованих градієнтів з локального максимуму інтенсивності на зображенні. Для оцінки зміни масштабу використовуються одномірні фільтри, для оцінки геометричних перетворень використовуються двовимірні фільтра, і для локалізації об'єкта на зображенні використовується тривимірні фільтри. Недоліком даного методу є зростання помилки ідентифікації об'єкта за умови часткової оклюзії або тимчасового зникнення з відеоряду.

    висновки

    В роботі розглянуті методи розпізнавання і відстеження об'єктів на двовимірному зображенні. Основна увага приділяється методам, які мають високу швидкість обробки зображень для можливості їх використання в системі візуального відстеження.

    Підтримка прийняття рішень в управлінні БНТС є досить складним завданням, оскільки саме БНТС є об'єктом підвищеної небезпеки. З огляду на представлених обмежень для стеження в подальшому пропонується використання одночасно декількох методів розпізнавання і відстеження: метод розпізнавання об'єктів YOLO для класифікації об'єктів, метод розпізнавання унікальних точок SURF для ідентифікації об'єкта в просторі класу і кореляційний фільтр для відстеження об'єкта на відеопослідовності. Використання комбінації даних методів дозволить підвищити відмовостійкість системи до зникнення образу майстра з зображення або його часткової оклюзії.

    Список використаної літератури

    1. Das A.K. A vision based formation control framework / A.K. Das, R. Fierro, R.V. Kumar, J.P. Ostrowski, J. Spletzer, C.J. Taylor // IEEE Transactions on Robotics and Automation. - 2002. - P. 813-825.

    2. Троценко Е.А. Система управління БНТС в дистанційному режимі за допомогою жестів / Е.А. Троценко, Н.А. Міняйло, С.А. Ікол, П.Н. Веропотвелян // Системні технології. -Дніпропетровськ: НМетАУ, 2016. - Т.1. - С. 70-84.

    3. Gockley R. Natural person-following behavior for social robots / R. Gockley, J. Forlizzi // Proceedings of the ACM / IEEE international conference on Human-robot interaction, 2007. - P. 17-24.

    4. Germa T. Vision and RFID-based person tracking in crowds from a mobile robot / T. Germa, F. Lerasle, N. Ouadah, V. Cadenat // Computer Vision and Image Understanding. - 2010. - P. 641-651.

    5. Fiala M. Vision Guided Control of Multiple Robots // Proceedings of the First Canadian Conference on Computer and Robot Vision, 2004. - P. 241-246.

    6. Огляд безпілотного наземного транспортного засобу на базі автомобіля Jeep Cherokee. [Електронний ресурс] - Режим доступу: http://ia.ua/ru/solutions-ru/bespilotnye-technologii/unmanned-jeep-ru (дата звернення: 29.06.2018).

    7. Tuytelaars T. Local Invariant Feature Detectors: A Survey / T. Tuytelaars, K. Mikolajczyk. - B .: Foundations and Trends® in Computer Graphics and Vision, 2008. - 104 p.

    8. Karami E. Image Matching Using SIFT, SURF, BRIEF and ORB: Performance Comparison for Distorted Images / E. Karami, S. Prasad, M. Shehata // Conference: Computer Vision and Pattern Recognition, 2015. -P. 120-125.

    9. Rupali S. Rakibe. Background Subtraction Algorithm Based Human Motion Detection / Rupali S. Rakibe, Bharati D. Patil // International Journal of Scientific and Research Publications. - 2013. - Vol. 3. - I. 5. -P. 230-234.

    10. Abhishek K. C. Moving Object Tracking Using Gaussian Mixture Model and Optical Flow / K. C. Abhishek, K. Prashant // International Journal of Advanced Research in Computer Science and Software Engineering. -2013. - Vol. 3. - I. 4. - P. 243-246.

    11. Stone H.S. A fast Direct Fourier-Based Algorithm for Subpixel Registration of Images / H.S. Stone, M.T. Orchard, Ee-Chien Chang, S.A. Martucci // IEEE Transactions on Geoscience and Remote Sensing, 2001. - P. 2235-2242.

    12. Glocker B. Dense Image Registration through MRFs and Efficient Linear Programming / B. Glocker, N. Komodakis, G. Tziritas, N. Navab, N. Paragios // Medical Image Analysis Journal. - 2008. -Vol. 12. -I. 6. - P. 731-741.

    13. Sen-Ching S. Robust techniques for background subtraction in urban traffic video / S. Sen-Ching, Cheung and Chandrika Kamath // Proceedings of SPIE - The International Society for Optical Engineering, 2003. -P. 120-132.

    14. Simon Haykin Neural Networks and Learning Machines / Simon Haykin. - B .: McMaster University Hamilton, Ontario, 2009. - 938 p.

    15. Ruolin Z. Object Tracking and Detecting Based on Adaptive Background Subtraction / Z. Ruolin, D. Jian // Procedia Engineering Journal. - 2012. - Vol. 29. - P. 1351-1355.

    16. J. Joshan Athanesious. Systematic Survey on Object Tracking Methods in Video / J. Joshan Athanesious, P. Suresh // International Journal of Advanced Research in Computer Engineering & Technology (IJARCET). - 2012. - Vol. 1. - I. 8. - P. 242-247.

    17. Welch G. An introduction to the Kalman Filter / G. Welch, G. Bishop. - B .: In University of North Carolina at Chapel Hill, Department of Computer Science, 2001. - 81 p.

    18. Mr. Joshan Athanesious J. Implementation and Comparison of Kernel and Silhouette Based Object Tracking / Mr. Joshan Athanesious J., Mr. Suresh P. // International Journal of Advanced Research in Computer Engineering & Technology. - 2013. - Vol. 2. - I. 3 - P. 1298-1303.

    19. Mishra R. Multiple Object Tracking by Kernel Based Centroid Method for Improve Localization / R. Mishra, Mahesh K. Chouhan, Dr. Dhiiraj Nitnawwre // International Journal of Advanced Research in Computer Science and Software Engineering. - 2012. - Vol. 2. - I. 7. - P. 137-140.

    20. Gevers T. Color-based Object Recognition / T. Gevers, A.W.M. Smeulders // Image Analysis and Processing: 9th International Conference, 2006. - P. 319-326.

    21. Дубровін В.І. Обробка відеоряду спортивних ігор з використанням фільтра Габора / В.І. Дубровін, Ю.В. Твердохліб, Д.В. Панченко // Радіоелектроніка та інформатика науково-технічний журнал. - Харків: ХНУРЕ, 2014. - № 1. - С. 46-49.

    22. Kass M. Snakes: Active Contour Models / M. Kass, A. Witkin, D. Terzopoulos // International Journal of Computer Vision. -1988. -Vol. 1. - I. 4. - P. 321-331.

    23. Weng E.N.G. Objects Tracking from Natural Features in Mobile Augmented Reality / E.N.G. Weng, R.U. Khan, S.A.Z. Adruce, O.Y. Bee // Procedia-Soc. Behav. Sci. - 2013. - Vol. 97. - P. 753-760.

    24. Zhang J. Moving Object Detection Based on Nonparametric Methods and Frame Difference for Traceability Video Analysis. / J. Zhang, J. Cao, B. Mao // Procedia Comput. Sci. - 2016. -Vol. 91. - P. 995-1000.

    25. Zivkovic Z. Efficient Adaptive Density Estimation per Image Pixel for the Task of Background Subtraction / Z. Zivkovic, F. van der Heijden // Pattern recognition letters. - 2006. - Vol. 27. - I. 7. - P. 773-780.

    26. Elgammal A. Non-parametric Model for Background Subtraction / A. Elgammal, D. Harwood, L. Davis // Proceedings of Computer Vision-ECCV 2000, 2000. - P. 751-767.

    27. Co§kun M. Implementation of Tracking of a Moving Object Based on Camshift Approach with a UAV / M. Co§kun, S. Unal. // Procedia Technol. - 2016. - №22. - P. 556-561.

    28. Chen J. Adaptive Homography Based Visual Servo Tracking for Fixed and Camera-in-Hand Configurations / J. Chen, M. Dawson, W. Dixon, and A. Behal // IEEE Transactions on Control Systems Technology. - 2005. P. 814- 825.

    29. Freda L. Vision-based interception of a moving target with a nonholonomic mobile robot / L. Freda, G. Oriolo // Robotics and Autonomous Systems. - 2007. - P. 419-432.

    30. Teuliere C. Chasing a moving target from a flying UAV / C. Teuliere, L. Eck, and E. Marchand // In Proc. IEEE / RSJ Int. Conf. on Intelligent Robots and Systems. - 2011. - P. 4929-4934.

    31. Redmon J. You only look once: Unified, real-time object detection / J. Redmon, S. Divvala, R. Girshick, and A. Farhadi // Conference діє до: 2016 IEEE Conference on Computer Vision and Pattern Recognition (CVPR) , 2016. - P. 1-11. - Режим доступу: https://pjreddie.com/media/files/papers/yolo.pdf

    32. Danelljan M. Accurate Scale Estimation for Robust Visual Tracking. [Електронний ресурс] / M. Danelljan, G. Hager, F. S. Khan, and M. Felsberg // Proceedings of the British Machine Vision Conference. - 2014. -№24. - P. 1-11. - Режим доступу: http://www.bmva.org/bmvc/2014/files/paper038.pdf.


    Ключові слова: візуальне відстеження / кооперація БНТЗ / розпізнавання об'єктів / режим реального часу. / visual tracking / cooperation of an unmanned ground vehicles / object recognition / real-time mode

    Завантажити оригінал статті:

    Завантажити