Розглянуто особливості застосування методу зіставлення блоків, використовуваного в стандартах відеокодування MPEG-1, -2 і H.261 / 262/263 для формування панорамного зображення в автоматизованій системі комерційного огляду поїздів і вагонів. Детально описано алгоритм визначення швидкості переміщення фрагментів зображення об'єктів, знятих короткофокусної оптикою.

Анотація наукової статті з фізики, автор наукової роботи - Обухова Н.А., Тимофєєв Б.С.


Analyze of the motion parameters in the train video observation system

The features of block matching algorithm employed in standards of compression: MPEG-1, -2 and H.261 / 262/263 using for panoramic image generation in automatic system of trains and carriages commercial control are considerate The speed detection algorithm for video images of objects got with short-focus lenses is described in detail.


Область наук:
  • фізика
  • Рік видавництва: 2005
    Журнал
    Известия вищих навчальних закладів Росії. Радіоелектроніка
    Наукова стаття на тему 'АНАЛІЗ ПАРАМЕТРІВ РУХУ В СИСТЕМІ ВІДЕОСПОСТЕРЕЖЕННЯ ЗАЛІЗНИЧНИХ СОСТАВІВ'

    Текст наукової роботи на тему «АНАЛІЗ ПАРАМЕТРІВ РУХУ В СИСТЕМІ ВІДЕОСПОСТЕРЕЖЕННЯ ЗАЛІЗНИЧНИХ СОСТАВІВ»

    ?УДК 621.397.13

    Н. А. Обухова, Б. С. Тимофєєв

    Санкт-Петербурзький державний університет аерокосмічного

    приладобудування

    Аналіз параметрів руху в системі відеоспостереження поїздів

    Розглянуто особливості застосування методу зіставлення блоків, використовуваного в стандартах відеокодування MPEG-1, -2 і H.261 / 262/263 для формування панорамного зображення в автоматизованій системі комерційного огляду поїздів і вагонів. Детально описано алгоритм визначення швидкості переміщення фрагментів зображення об'єктів, знятих короткофокусної оптикою.

    Панорамне зображення, протяжні об'єкти, швидкість, "зріз швидкостей", вектори руху, алгоритм поєднання блоків, мажоритарний принцип, пророкує модель

    Застосування автоматизованих систем комерційного огляду поїздів і вагонів (АСКО ПВ) дозволяє вирішити ряд необхідних для функціонування залізниці завдань, а саме, виявити пошкодження вагонів, виявити наявність негабаритного вантажу, провести звірку проходить складу з відповідним йому натурних листом. Вихідними даними для вирішення перерахованих вище завдань є телевізійні (ТБ) зображення контрольованих складів. Необхідність установки камер в безпосередній близькості до залізничних колій (1.2 ... 1.5 м) обумовлює використання в системі камер з короткофокусним об'єктивами, що вносять істотні геометричні спотворення в зображення (рис. 1).

    Для корекції геометричних спотворень пропонується синтезувати на екрані комп'ютера панорамне зображення складу. Його складають з фрагментів вихідних кадрів, вирізаних з їх центральній частині, де геометричні спотворення мінімальні. Отримується панорамне зображення володіє наступними важливими перевагами: • практично відсутні геометричні спотворення по горизонталі, а спотворення

    по вертикалі мінімізовані;

    • чіткість зображення по площі синтезованого кадру помітно вище, ніж у вихідного: в центральній частині роздільна здатність короткофокусного об'єктива більше, ніж на краях;

    • забезпечується високий рівень компресії даних в порівнянні з вихідною послідовністю кадрів: коефіцієнт стиснення від 32 до 96

    раз [1].

    Мал. 1

    42 © Н. А. Обухова, Б. С. Тимофєєв, 2005

    Основним завданням при формуванні панорамного зображення є визначення швидкості руху об'єкта, так як саме нею визначається розмір обрізання фрагмента по горизонталі. Якщо швидкість визначена невірно, в формованої панорамі будуть або пропуски, або накладення фрагментів зображення.

    Загальні положення. Швидкість складу вимірюють на основі так званого видимого руху зображення в площині ТВ-кадру. Видимий рух ^ D-рух) визначається змінами яскравості пікселів L (x, y, k) з координатами x, y в кадрі з номером

    k. Для його оцінки найбільш часто використовують оптичний потік: проекції на площину зображення векторів, що відображають рухи об'єктів в тривимірній сцені. Вектор оптичного потоку (vx, Vy) визначають через швидкості (vx, Vy) = (dx / dt, dy / dt).

    Вектором руху описується зміщення пікселя (або групи пікселів) між двома кадрами. Оскільки часовий проміжок між сусідніми кадрами фіксований, між векторами руху і оптичним потоком існує безпосередній зв'язок.

    Щоб визначити оптичний потік, зазвичай застосовують диференційний аналіз або метод поєднання блоків.

    Метод суміщення блоків, прийнятий в стандартах відеокодування MPEG-1, -2 і H.261 / 262/263 завдяки своїй простоті є більш популярним, ніж диференційний аналіз, незважаючи на більш високу точність останнього. При використанні методу поєднання блоків мінімальне значення вектора руху, яке може бути знайдено, дорівнює одному пікселю. В рамках розв'язуваної задачі ця точність є достатньою, тому при оцінці швидкості руху складу пропонується використовувати вектори руху, які визначаються шляхом суміщення блоків.

    Метод суміщення блоків складається з наступних основних кроків:

    • поточний кадр ділиться на квадратні блоки з розміром M х N пікселів (зазвичай M = N = 8);

    • для кожного блоку формується область пошуку в попередньому кадрі, що має розмір (2d + M +1) х (2d + N +1), де d - максимально можливе зміщення в горизонтальному і у вертикальному напрямках;

    • виконується суміщення блоків поточного кадру з блоками попереднього кадру відеопослідовності і оцінюються зміщення блоку за координатами x і y - вектор руху;

    • в якості критерію відповідності блоків використовується середня абсолютна різниця (middle absolute deference, MAD) яскравості пікселів, яка в точці найкращого поєднання набуває мінімум:

    1 N-1M-1

    MAD (Ax, Ay) = - ^ ^ Fc (k + i, l + j) - Fp (k + Ax + i, l + Ay + j) | = Min, (1)

    N j = 0 i = 0

    де Fc, Fp - значення яркостей пікселів в поточному і в попередньому кадрах відповідно; k, l - координати пікселя лівого верхнього кута поточного блоку; N = M - розміри блоку; Ax, Ay - зміщення центру блоку (вектор руху).

    Найпростішим і надійним алгоритмом, що дозволяє виконати узгодження блоків, є повний перебір (Full Search, FS), однак через великий обсяг проведених обчислень він володіє низькою швидкістю. Запропоновано значне число алгоритмів, в яких в тій чи іншій мірі оптимізовані стратегії пошуку мінімуму. Ці алгоритми можна розділити на наступні групи:

    • зменшують число контрольних точок, засновані на припущенні про унімодальної цільової функції: трехшаговий алгоритм [2], алгоритми логарифмічного [3], ортогонального і поперечного [4], [5] пошуків, алгоритм пошуку по

    • кваярштаміе можливість повільних рухів в відеопослідовності (в цьому випадку вектори руху тяжіють до центральної точки області пошуку): блоковий градієнтний пошук [6], "новий" трехшаговий алгоритм [7], четирехшаговий алгоритм [8];

    • пророкують початкове наближення (при цьому звужується область пошуку): ієрархічні алгоритми [9] і алгоритми з прогнозом [10].

    Найбільш часто вектора руху визначають за допомогою алгоритму трехшаговий пошуку (3 Step Search, 3SS).

    Особливості методу поєднання блоків при визначенні векторів руху для протяжних об'єктів. Завдання визначення векторів руху для оцінки швидкості складу і формування на основі цієї інформації панорамного зображення має ряд особливостей.

    1. Залізничний потяг рухається в горизонтальному напрямку, отже, зміщення всіх фрагментів його зображення повинні бути однаковими. Однак при відеозйомці короткофокусним об'єктивом в надходять кадри вносяться істотні геометричні спотворення: типу "бочка / подушка", типу "трапеція", а також кубічна нелінійність (див. Рис. 1). Через геометричних спотворень блоки зображення, що знаходяться в різних частинах кадру, набувають різні зміщення не тільки по горизонталі, але і по вертикалі.

    2. Оброблюване зображення в більшій своїй частині слаботекстуріровано: будь-які деталі практично повністю відсутні на зображеннях бічних поверхнях цистерн; для вагонів характерні періодичні вертикальні і горизонтальні структури.

    3. У проміжках між вагонами освітленість різко змінюється. При зйомці проти джерела світла (сонця) на стику між вагонами вона істотно зростає. Через інерційності системи автоматичного регулювання чутливості зображення поверхні вагона "йде в чорне". При зйомці з джерелом світла, розташованим позаду відеокамери, проміжки між вагонами виявляються темними і зображення поверхні вагона "йде в біле". В обох випадках детальність зображення втрачається.

    4. Додатковими факторами, що зменшують рівень детальності зображення, є відблиски, які особливо ймовірні в темний час доби при штучному освітленні. При недостатній витримкою в зображенні проявляється смаз, обумовлений рухом об'єкта спостереження.

    5. Для побудови якісного панорамного зображення складу необхідно визначати не один вектор руху, відповідний, наприклад його середньої швидкості, а сукупності векторів так званого зрізу швидкостей. Це пов'язано з особливостями відеоспостереження об'єктів за допомогою короткофокусної оптики. Хоча склад рухається поступально по лінійної траєкторії, видимий рух різних частин вагонів має різні швидкості в залежності від їх відстаней до відеокамери. Як приклад на рис. 2 в лівій його частині показані взаємні расположе-

    0 13 15 15 15 15 15 13 13

    0 0 0

    34 33 32 26 15 19

    Мал. 2

    ня камери і різних типів вагонів, а в правій - реально знайдені вектори руху в зонах вертикального зрізу кадру. Наприклад, в зоні зображення коліс цистерни швидкість руху буде нижче, ніж в зоні зображення її опуклого боки. Якщо для формування панорами використовувати фіксовану швидкість, то зображення бічній поверхні цистерни буде стисло, а коліс - розтягнуто. В результаті можливе накладення цифр бортових номерів, що утруднить їх прочитання.

    Алгоритм визначення векторів руху. Розглянемо метод обліку описаних особливостей розв'язуваної задачі. Для побудови панорами складу з кожного кадру відеопослідовності використовувалася центральна смуга змінної ширини, відповідної в кожному перетині швидкостям переміщення фрагментів зображення. Тому виявилося можливим збільшити стандартний розмір блоків 8 * 8 в вертикальному напрямку і використовувати дев'ять блоків розміром 32 * 8 (рис. 3). Кожен блок відповідає має однакову швидкість зоні зображення: колеса, каретка, низ цистерни / вагона, максимально опукла частина і т. Д. Збільшення розміру блоків дозволяє знизити вплив перешкод. Розташування блоків в центральній частині кадру знижує до мінімуму вплив геометричних спотворень. Слід також враховувати, що в центрі кадру роздільна здатність відеокамери максимальна.

    Достовірність знайдених векторів руху в значній мірі визначається характером цільової функції (1) при пошуку [11]. Перед відеокамерами під час руху іноді

    Мал. 3

    проходять ділянки з досить високою детальністю (краю вагонів, ребра жорсткості, вікна, двері), але в більшості випадків - з малої (гладкі боки цистерн, плоскі поверхні вагонів). Слабка детальність зображення при пошуку векторів руху є причиною виникнення функції, спадної до початку або до кінця діапазону пошуку (рис. 4, а) або мультимодальной цільової функції (рис. 4, б, в). Мал. 4, а демонструє цільову функцію, відповідну значимого вектору руху, рис. 4, б - нульового. Це практично повністю виключає можливість використання для роботи алгоритмів, заснованих на унімодальному характер цільової функції, наприклад ЗББ, і робить найбільш доцільним застосування алгоритму ББ. Повний перебір має високу обчислювальну ємність, що утрудняє його використання при роботі в режимі реального часу. Для зменшення обчислювальної ємності і зниження тимчасових витрат враховувалася такі особливості, як рух поїзда тільки по горизонталі і тільки в одному напрямку. Тому напрямок руху визначалося за початковими кадрам, а потім пошук здійснювався тільки в цьому напрямку і по половині діапазону.

    Наявність численних фрагментів зображення, практично повністю позбавлених деталей, навіть в разі використання алгоритму ББ неминуче призводить до виникнення аномальних векторів, що не передають рух об'єкта, а виникають через наявність шумів і змін освітленості. Частота їх появи безпосередньо пов'язана з видом конкретної частини зображення: краю вагона / цистерни дають максимальне число достовірних векторів, бічні поверхні - мінімальне. Значну частку із загального набору складають нульові вектори руху, які виникають при проходженні стиків між вагонами, а також низьких платформ і піввагонів. В результаті для отримання достовірної оцінки швидкості не можна користуватися векторами руху, визначеними по одному кадру, а слід проводити їх оцінку з усередненням за часом. Часовий інтервал усереднення визначається проміжком, протягом якого швидкість складу залишається майже незмінною через його інерційності.

    Мал. 4

    60

    30

    0

    2

    JlL

    J_L

    1

    /

    I

    ||lili.....

    1

    20

    39

    U,-

    Мал. 5

    Значення векторів руху в декількох кадрах є вибіркою випадкових чисел. Аналіз отриманих експериментально гістограм векторів руху (рис. 5) дає підстави стверджувати, що закон розподілу частот появи різних значень векторів характеризується наявністю багатьох мод. Перша мода відповідає нульовим векторах руху, а одна з наступних - істинним. Конкретний вид гістограми залежить від детальності зображення за період спостереження. При високій детальності (рис. 5, 1) справжня мода досить яскраво виражена, при низькій (рис. 5, 2) - виникає істотна неоднозначність в оцінці векторів руху. Виразність мод безпосередньо пов'язана з якістю вихідного зображення: при його погіршенні (зниженні чіткості, появі засвічень, відблисків, смаза і ін.) Переважання нульовий моди збільшується з одночасним зменшенням значення моди, відповідної істинному руху. Тому при використанні вихідних відеоданих з низькою якістю існує ймовірність помилки в оцінці швидкості, а також ймовірність зростання розкиду значень оцінок. Використання таких векторів при формуванні панорамного зображення неприпустимо, оскільки це призведе до стрибкоподібним змінам величини вирізаних фрагментів і утруднить зорове сприйняття формованого зображення.

    В умовах Багатомодові і суттєвої асиметрії розподілу найбільш доцільним уявлялося застосувати мажоритарний принцип визначення миттєвих векторів руху, т. Е. Віддати перевагу вектору, який має максимальну частоту появи, за умови виключення з розгляду моди, відповідної нульовим векторах.

    Для виключення некоректних оцінок швидкості та додаткового згладжування надходить використовувалися логічний пророкує фільтр і регрессионная пророкує модель. Логічний пророкує фільтр побудований з урахуванням інерційності складу (неможливості різкої зміни швидкості за малі проміжки часу). Застосування зазначеного фільтра дозволило ефективно усунути аномальні вектори швидкості. Результат дії цього фільтра показаний на рис. 6, що представляє зміну оцінки модуля вектора руху Vд в залежності від номера

    кадру п без фільтра (рис. 6, крива 1) і після його застосування (рис. 6, крива 2).

    15

    0

    -15 -30

    "РW \ A

    Мал. 6

    v

    д

    n

    UJ 30 20 10 0

    цистерна

    i

    А

    платформа

    I

    \

    вагон

    I

    5

    Мал. 7

    U = F (U, U, w) U a = Фт WU

    j L

    4 U = Z a p ф p p = 1

    U

    Мал. 8

    На підставі досвідчених даних отримані типові розподілу значень векторів швидкості по вертикалі кадру при використанні об'єктива з кутом зору близько 120 ° і розташуванні камери на відстані 1.5 м від борта вагона для різних типів вагонів (рис. 7). Знайдено, що найбільш характерні розподілу векторів можуть бути описані за допомогою поліноміальної моделі четвертого порядку. Модель дозволяє отримати оцінку вектора руху для кожного з дев'яти блоків. Параметри моделі оновлювалися через заданий число кадрів за знайденими векторах руху. Для цього обчислювалася

    різниця між виміряним вектором руху Uj і його оцінкою Про ^ і векторах з меншими відмінностями від оцінки при ідентифікації параметрів моделі присвоювалися біль-

    \ 2 "

    шие ваги wtj = exp

    до (Uj - Uj

    (K - константа).

    Алгоритм обробки (рис. 8) включав в себе масштабування встановлених апріорно параметрів моделі, порівняння передбачених і знову отриманих даних, ідентифікацію уточнених параметрів моделі методом найменших квадратів і розрахунок за моделлю значень векторів швидкості для кожного з блоків. Оцінки векторів руху для блоків з номерами j = 0 ... 8 виходили по залежності

    іj = а0Ф0 (X j) + а1Ф1 (X j) + а2Ф2 (X j) + а3ф3 (X j) + а4Ф (X j), де фр (х), р = 0 ... 4 - базисні функції, ортонормированном на системі з дев'яти точок з вагами

    wj = 1 >/ L-xIj, Xj = (J - N? 2) / (N? 2), N = 8.

    (2)

    Базисні функції отримані з послідовності 1, х, х2, ... методом ортогона-зації Грамма-Шмідта [12] згідно рекурентним виразами, які при симетричній щодо початку координат області змін аргументу мають вигляд:

    N

    ь рФ р + 1 (х) = ХФ р (х) - ьр ф р-1 (х); 'Р =? м>х ф р (XI) ф ^ 1 (х).

    I = 1

    Г А [\ -1/2

    , а X p визначалися з ус-

    N

    Для розрахунку належало ф ^ (х) = 0, ф0 (х) = ^

    VI = 1)

    ловий нормування. Коефіцієнти а р визначалися з умови мінімізації суми

    1

    3

    7

    a = ФтWU, де Ф - матриця, складена з відліків базисних функцій фр (х); W -

    діагональна матриця вагових коефіцієнтів, отриманих за виразом (2); U - вектор, елементи якого являють собою зважені суми виміряного вектора руху і його оцінки: Uj = (Uj + wtjUj 1 + wtj) для кожного блоку.

    Наведений алгоритм дозволив визначити сукупність швидкостей руху фрагментів зображення з достатніми для формування коректної панорами складу рівнями точності і стабільності. Фрагменти сформованих панорамних зображень представлені на рис. 9.

    бібліографічний список

    1. Тимофєєв Б. С. Системи відеоспостереження поїздів // Інформаційно-керуючі системи. 2004. № 1. С. 2-9.

    2. Motion compensated interframe coding for video conferencing / T. Koga, K. Linuma, A. Hirano et al. // NTC81. Nov. 1981. P. G 5.3.1-G 5.3.5.

    3. Jain J. R, Jain K. A. Displacement measurement and its application in interframe image coding // IEEE Trans. Commun. 1981. Vol. COM-29. P. 1799-1806.

    4. Puri A, Hang H. M., Shilling D. L An efficient block matching algorithm for motion-compensated coding // IEEE Int. Conf. Acoustic, Speech and Signal Processing. 1987. Vol. 19. P. 1063-1066.

    5. Chanbani M. The cross-search algorithm for motion estimation // IEEE Trans. Commun. 1990. Vol. COM-38. P. 950-953.

    6. Liu L.-K., Feig E. A. Block-Based Gradient Descent Search Algorithm for Block Motion Estimation in Video Coding // IEEE Trans. Circuit Syst. Videotech. 1996. Vol. CSV-6, № 1. P. 108-115.

    7.Li R, Zeng B, Liou M. L. A new three-step search algorithm for block motion estimation // IEEE Trans. Circuit Syst. Videotech. 1994. Vol. CSV-4, № 1. P. 438-442.

    8. Po L. M., Ma W.C. A Novel four-step search algorithm for fast block estimation // IEEE Trans, Circuit Syst. Videotech. 1996. Vol. CSV-6, № 3. P. 313-317.

    9. Shi Y.Q., Xia X. A. Thresholding Multiresolution Block Matching Algorithm // IEEE Trans. Circuit Syst. Videotech. 1997. Vol. CSV-7, № 2. P. 437-440.

    10. Xu J.-B., Po L.-M., Cheung C.-K. Adaptive Motion Tracking Block Matching Algorithms for Video coding // IEEE Trans. Circuit Syst. Videotech. 2000. Vol. CSV-10, № 3. P. 417-422.

    11. Обухова Н. А. Виявлення і супровід рухомих об'єктів шляхом порівняння блоків // Інформаційно-керуючі системи. 2004. № 1. С. 30-37.

    12. Каліткін Н. Н. Чисельні методи. М .: Наука, 1978. 512 с.

    N. A. Obuckhova, B. S. Timofeev

    Saint-Petersburg state aerospace technology university

    Analyze of the motion parameters in the train video observation system

    The features of block matching algorithm employed in standards of compression: MPEG-1, -2 and H.261 / 262/263 using for panoramic image generation in automatic system of trains and carriages commercial control are considerate The speed detection algorithm for video images of objects got with short-focus lenses is described in detail.

    Panoramic image, super long objects, speed, "speeds shear", moving vectors, block matching algorithm, majority principle, predicting model

    Стаття надійшла до редакції 25 лютого 2005 р.

    621.391

    І. С. Грузман, К. В. Новіков

    Новосибірський державний технічний університет

    Швидкий алгоритм сегментації анізотропних

    зображень на основі локальних спектральних

    *

    моментів

    Пропонується методика визначення параметрів алгоритму сегментації анізотропних зображень виходячи із заданого рівня помилки, що складається в прийнятті рішення про те, що ізотропна область є анізотропної. Для підвищення швидкості сегментації зображень запропоновано обчислювати оцінки спектральних моментів енергетичного спектра в просторової області. Дана оцінка обчислювальної складності алгоритму.

    Анізотропні зображення, сегментація, спектральні моменти, енергетичний спектр

    Інтерферограмми, зображення відбитків пальців, трас, залишених різними інструментами, холодним або вогнепальною зброєю, характеризуються наявністю квазіперіодичних структур [1]. Щоб автоматизувати процеси текстурного аналізу таких зображень [1], [2], перш за все необхідно їх сегментувати, т. Е. Розділити на анізотропні (інформативні) і ізотропні (неінформативні) області.

    * Робота виконана за підтримки фонду "Науковий потенціал".

    50 © І. С. Грузман, К. В. Новіков, 2005


    Ключові слова: ПАНОРАМНЕ ЗОБРАЖЕННЯ / PANORAMIC IMAGE / протяжних об'єктів / SUPER LONG OBJECTS / ШВИДКІСТЬ / SPEED / "ЗРІЗ ШВИДКОСТЕЙ" / ВЕКТОРИ РУХУ / MOVING VECTORS / АЛГОРИТМ суміщений БЛОКІВ / BLOCK MATCHING ALGORITHM / мажоритарним принципом / MAJORITY PRINCIPLE / пророкувало МОДЕЛЬ / PREDICTING MODEL / "SPEEDS SHEAR"

    Завантажити оригінал статті:

    Завантажити