Проаналізовано ключові моменти розробки архітектури нейронної мережі для гібридної моделі з використанням семантичних відносин в залежності від способу їх відображення на асоціативної нейронної мережі. Наводиться аналіз і вибір мережевої архітектури, виходячи з поставлених цілей розробки системи класифікації текстових документів.

Анотація наукової статті з комп'ютерних та інформаційних наук, автор наукової роботи - Козоброд Андрій В'ячеславович, Мєшков Володимир Євгенович, Мєшкова Катерина Володимирівна


EXAMINE OF HIBRID NEURONET MODELS ARCHITECTURE FOR TASK OF TEXT AUTOCLASSIFICATION

In this article has been examined a key moments of neuronet's creating for hibrid model which used semantic relations. Method of neuronet's creating depend on presentation method of semantic relations in associative neuronet. The analysis and choice of network architecture, proceeding from objects in view of system engineering of classification of text documents is resulted.


Область наук:
  • Комп'ютер та інформатика
  • Рік видавництва: 2010
    Журнал: Известия Південного федерального університету. Технічні науки
    Наукова стаття на тему 'Аналіз архітектур гібридних нейромережевих моделей в задачах автоматичної класифікації текстової інформації'

    Текст наукової роботи на тему «Аналіз архітектур гібридних нейромережевих моделей в задачах автоматичної класифікації текстової інформації»

    ?6. Gayadhar P., Sidhartha P., Ardil C. Hybrid Neuro Fuzzy Approach for Automatic Generation Control of Two-Area Interconnected Power System // International Journal of Computational Intelligence 5: 1. - 2009.

    7. Petru R., Emil M. Behavior-Based Neuro-Fuzzy Controller for Mobile Robot Navigation // IEEE Transactions on instrumentation and measurement. - 2003. - Vol. 52, № 4.

    8. Ranadhir G.A Novel Hybrid Learning Algorithm for Artificial Neural Networks // School of Information Technology. - 2002. - P. 214.

    9. Leu Y., Wei Y., Hsum L. RGA-based on-line tuning of BMF fuzzy-neural networks for adaptive control of uncertain nonlinear systems // Neurocomputing. - 2009. - № 72. - P. 2636-2642.

    10. Stefan S. Optimizing a production process by a neural network / genetic algorithm approsh // Egngn Applic. Artif. Intell. - Vol. 9, № 6. - P. 681-689.

    11. Ярушкіна Н.Г. Основи теорії нечітких і гібридних систем: Учеб. посібник. - М.: Фінанси і статистика, 2004. - С. 320.

    12. Фінал В.І., Молчанов А.Ю. Метод моделювання самоналагоджувальних систем управління // Известия ТРТУ. - 2004. - № 8 (43). - С. 45-49.

    13. Курейчик В.М. Модифіковані генетично оператори // Известия ПФУ. Технічні науки. - 2009. - № 12 (101). - С. 7-15.

    14. Курейчик В.В., Курейчик В.М., Родзин С.І. Концепція еволюційних обчислень, інспірованих природними системами // Известия ПФУ. Технічні науки. - 2009. - № 4 (93). - C. 16-24.

    Бублей Сергій Євгенович

    Технологічний інститут федерального державного автономного

    освітньої установи вищої професійної освіти «Південний

    федеральний університет »в м Таганрозі.

    E-mail: Ця електронна адреса захищена від спам-ботів. Вам потрібно увімкнути JavaScript, щоб побачити її..

    347928, м Таганрог, пров. Некрасовський, 44.

    Тел .: 88634371689.

    Кафедра систем автоматичного управління; аспірант

    Bubley Sergey Evgehievich

    Taganrog Institute of Technology - Federal State-Owned Autonomy Educational

    Establishment of Higher Vocational Education "Southern Federal University".

    E-mail: Ця електронна адреса захищена від спам-ботів. Вам потрібно увімкнути JavaScript, щоб побачити її..

    44, Nekrasovskiy, Taganrog, 347928, Russia.

    Тел .: +78634371689.

    The Department of Automatic Control Systems; Postgraduate Student.

    УДК 004.89

    А.В. Козоброд, В.Є. Мєшков, Е.В. Мєшкова

    АНАЛІЗ архітектури ГІБРИДНИХ нейромережевому МОДЕЛЕЙ В ЗАДАЧАХ АВТОМАТИЧНОЇ КЛАСИФІКАЦІЇ ТЕКСТОВОЇ

    ІНФОРМАЦІЇ

    Проаналізовано ключові моменти розробки архітектури нейронної мережі для гібридної моделі з використанням семантичних відносин в залежності від способу їх відображення на асоціативної нейронної мережі. Наводиться аналіз і вибір мережевої архітектури, виходячи з поставлених цілей розробки системи класифікації текстових документів.

    Гібридна нейромережева архітектура; автоклассіфікація; семантичні відносини.

    A.V. Kozoborod, V.E. Meshkov, E.V. Meshkova

    EXAMINE OF HIBRID NEURONET MODELS ARCHITECTURE FOR TASK OF TEXT AUTOCLASSIFICATION

    In this article has been examined a key moments of neuronet's creating for hibrid model which used semantic relations. Method of neuronet's creating depend on presentation method of semantic relations in associative neuronet. The analysis and choice of network architecture, proceeding from objects in view of system engineering of classification of text documents is resulted.

    Hibrid neuronet architecture; autoclassification; semantic relations.

    У даній статті наводиться аналіз і вибір мережевої архітектури, виходячи з поставлених цілей розробки системи класифікації текстових документів.

    Завдання аналізу архітектури гібридної нейросетевой моделі, з подальшим вибором її складових, обумовлена ​​особливістю моделюється мережі. В даному випадку гібридна модель являє собою нейронну мережу з заздалегідь встановленими семантичними відносинами, що є більш розвиненим аналогом описаної в роботі [1].

    Завдання автоматичної класифікації відноситься до типу завдань, для вирішення яких створюється система, заснована на знаннях. В основному для класифікації необхідні описові, декларативні знання - знання про структуру, форму, властивості об'єктів предметної області. Для них більш застосовні семантичні мережі і фрейми. Тому вираз властивостей, зв'язків об'єктів предметної області, і власне про самих предметних областях (областях знань) в розроблюваної моделі здійснюється семантичним засобами.

    Виходячи з цього, спочатку слід зробити вибір: чи відображаються семантичні зв'язки у вигляді специфічних зв'язків між нейронами (наприклад, гальмують і активізують), або вони встановлюються як або інакше? Це питання є ключовим, тому що визначає не тільки вибір виду мережі і нейронів в ній, а й сам принцип її дії. Проблема відображення семантичних зв'язків в нейронних мережах досить обширна, проте власне семантичні зв'язки реалізовані в обчислювальних мережах. Нас же більше цікавить вираження їх на асоціативної нейронної мережі, тому приймається рішення про побудову гібридної моделі на базі звичайної асоціативної нейронної мережі прямого поширення.

    Таким чином, в розроблюваної моделі семантичні зв'язку відображаються не на архітектурі самої мережі шляхом введення специфічних зв'язків, а в установлених відносинах між нейронами мережі. У ній відсутні правила, витяг сенсу і власне логічні обчислення, передача збудження і структура аналогічна асоціативної нейронної мережі. Однак, незважаючи на це, сама гібридна нейронна мережа є описом класів.

    Можна умовно уявити рівні вираження зв'язків в моделі у вигляді ієрархії з наступною точки зору:

    | Нейронна мережа - рівень опису загальної структури системи, що складається з об'єктів;

    | Семантична мережа - рівень взаємодії, відносин між об'єктами.

    Семантичної мережею обробляються об'єкти, відносини між об'єктами, нечіткі фактори впевненості і т.д., заздалегідь встановлені і чітко визначені. Окремі елементарні об'єкти представляються у вигляді окремих нейронів. Більш складні об'єкти, утворені від елементарних об'єктів, будуть представлені або сукупністю цих об'єктів, або будуть абстраговані до

    нового елементарного об'єкта. Елементарні відносини між елементарними об'єктами представляються у вигляді зв'язків між нейронами. Цей підхід відображення об'єктів узятий за основу в розроблюваної мережі, де кожен нейрон має своє значення.

    Для реалізації гібридної моделі була обрана полносвязная нейронна мережа прямого поширення. Вибір повно архітектури обумовлений тим, що кожен нейрон передає свій вихідний сигнал іншим нейронам, в тому числі і самому собі. Всі вхідні сигнали передаються всім нейронам. Вихідними сигналами мережі можуть бути всі або деякі вихідні сигнали нейронів після кількох тактів функціонування мережі. Так як в даній гібридної моделі присвоюється власне значення кожного нейрона, то саме на основі повно-мережі можна зв'язати один одним будь-які нейрони, виходячи з їх смислових відносин. Вид відносин в дано випадку не враховується.

    Обрана багатошарова нейронна мережа, що входять в шари нейрони пов'язані між собою ієрархічно: нейрони першого шару пов'язані відношенням «входить в" з нейронами другого шару, а вони, в свою чергу, з нейронами третього шару (класами).

    Таким чином, семантичні відносини в даній моделі виражаються двояко:

    | У вигляді відносини підпорядкованості між нейронами різних верств;

    | У вигляді встановлених смислових відносин між нейронами одного шару.

    Нейрони першого шару передають один одному сигнал, і збуджують нейрони другого шару, що знаходяться на більш високому рівні ієрархії. Так, слова, що містяться в тексті, зв'язуються з більш загальним «поняттям предметної області».

    У даній моделі семантичні, смислові зв'язки відображені на асоціативної нейронної мережі, що дає можливість використовувати переваги асоціативної нейронної мережі. Тому головним завданням є пошук такої архітектури мережі, яка дозволяє виділяти власні закономірності і навчатися, і використовувати можливості семантичних зв'язків при створенні «семантичного образу» області знання, розділу класифікації або пошукового запиту. З цією метою проаналізовані різні варіанти створення гібридної ній-росетевой моделі, її архітектури виходячи з різних завдань шарів і способів їх вирішення.

    Шари трохи різні в моделі, так як виконують різні завдання, і аналіз можливих варіантів проводився саме з цієї точки зору.

    Завданням першого шару є виявлення в тексті термінів предметної області, пов'язаних з її ключовими поняттями, і їх виявлення, навіть якщо вони явно не присутні в тексті. По суті, робиться спроба виявлення поняття, виходячи з його смислових зв'язків.

    У ньому використовується заздалегідь встановлені семантичні відносини між нейронами, відображені в матриці інцидентності [2]. Перший шар містить N нейронів, що відповідають кількості слів словника. Також його нейрони пов'язані зі нейронами другого шару, виходячи з смислових відносин.

    Завданням другого шару є уточнення образу предметної області за допомогою асоціативної нейронної мережі. Тому хоча обидва шару мережі є повнозв'язну, їх зміст відрізняється.

    Вибір параметрів другого шару, кількості вхідних в нього нейронів, а також наявності прихованих шарів більш складний і залежить від вибору формування образу предметної області.

    Можливі три варіанти:

    1. Варіант I. Другий шар є аналогом першого. Порушувані в ньому за допомогою смислових зв'язків поняття звертаються до третього шару (який містить класи), в залежності від кількості звернень приймається рішення про приналежність тексту до класу.

    2. Варіант II. Другий шар є аналогом першого, проте в ньому реалізується навчання, шляхом встановлення прямих смислових зв'язків між нейронами цього шару, отриманих на основі навчальних вибірок з різними текстами. Даний тип навчання важко віднести до якогось певного типу.

    3. Варіант III. Навчання реалізується за допомогою прихованого шару, для якого другий шар є вхідним. На вхід прихованого шару подається вектор, що складається зі слів тексту і виявлених за допомогою першого шару ключових понять предметної області. Навчання прихованого шару (шарів) здійснюється звичайним способом для асоціативних нейронних мереж, наприклад навчанням з учителем, оскільки клас текстів заздалегідь відомий. Вихідним є шар 3 (за нейронами якого закріплені області знань, класи).

    Виходячи з обраного варіанту, різні способи визначення кількості нейронів в шарі. Для перших двох варіантів він визначається як N + М ,, де N - кількість слів у словнику, М - кількість узагальнених, комплексних понять, що не входять в словник першого шару.

    Для варіанту III, крім цього, здійснюється також розрахунок кількості нейронів прихованого шару, вибір типу передачі збудження, вибір типу навчання, а також всіх необхідних параметрів шару - так, як це зазвичай визначається для асоціативної нейронної мережі.

    Загалом, для нейронної мережі обраний тип частково повно багатошарової мережі без зворотних зв'язків, за винятком окремо розглянутих варіантів. Мережа без зворотних зв'язків, в якій нейрони вхідного шару отримують вхідні сигнали, перетворюють їх і передають один одному, а потім нейронам другого шару, і так далі до вихідного третього, який видає вихідні сигнали і класифікує текст.

    Зворотні зв'язку відсутні, оскільки на початковому етапі зв'язку в гібридної мережі встановлюються семантично, а на етапі перетворення в асоціативну нейронну мережу проводиться навчання за зразками із заздалегідь відомою областю знань - для першого шару, і другого шару в варіантах I, II.

    Для прихованих шарів, передбачуваних у варіанті III, повинні бути використані зворотні зв'язки, так як навчання проводиться на вибірках документів із заздалегідь відомим класом, і його мета - уточнити образ предметної області. Аналогічно і для третього варіанту реалізації шару 3, розглянутого нижче.

    Що стосується 3 шари, то його нейронам відповідають різні класи (предметні області), з якими пов'язані нейрони шару 2. Тут також можливі різні варіанти реалізації 3 шари, що залежать від способу формування класів і вибору формування образу предметної області (розглянутих вище варіантів створення другого шару ). Третій шар є вихідним.

    На даний момент розглянуті наступні варіанти реалізації 3 шари:

    1. Кількість нейронів 3 шари відповідає кількості класів (для даної моделі, «областей знань»). Він же є вихідним. поняття

    предметної області, закріплені за нейронами шару 2, співвідносяться з якою-небудь областю знань. Галузь знань, до якої відноситься найбільша кількість понять, тобто нейрон шару 3, який отримав найбільшу кількість звернень до вхідних в нього поняттям, і відповідно найбільший рівень сигналу, і є необхідний клас. Виходячи зі структури мережі при виборі варіантів I, II цей варіант досить легко реалізуємо.

    2. Аналогічно, для варіанта III третій шар також є вихідним, кількість нейронів 3 шари відповідає кількості класів, однак приналежність до класу встановлюється шляхом навчання прихованих шарів (як було описано вище).

    3. Кількість нейронів шару 3 відповідає подклассам, що входять в різні класи. Вихідні вектори - класи, що складаються з нейронів-підкласів (нейронів, за якими закріплені будь-які галузі знань, яким відповідають поняття 2 шари).

    Таким чином, навчанням закріплюється відповідність вхідного набору понять (шар 2) вихідного набору підкласів. За кожним набором підкласів закріплений який-небудь клас.

    Очевидно, що вхідний набір понять (тобто нейронів 2 шари) буде різний, в залежності від вибору варіанту створення другого шару. Вхідний набір нейронів у даному випадку залежить від вибору способу формування образу предметної області (відповідно, варіантів I або II).

    Такий спосіб може уточнити класифікацію, але є значно більш трудомісткою. У той же час, саме цей спосіб дозволить краще використовувати властивості асоціативної нейронної мережі.

    Як і в випадку варіанту III, тут навчання реалізується за допомогою прихованого шару, для якого другий шар є вхідним. Аналогічно, здійснюється розрахунок кількості нейронів прихованого шару, всіх необхідних параметрів шару, параметрів алгоритму навчання (в даному випадку, навчання з учителем).

    Потрібно також звернути увагу на наступний момент. У розробляється моделі є можливість формувати власні класи, виходячи з наданих вибірок, створювати класи «за подобою» відібраних документів, що не відносячи їх до якого-небудь класу. Для реалізації даної функції може бути використаний варіант II створення другого шару, при цьому в третьому шарі формується класів повинні відповідати «порожні» нейрони.

    У представленій гібридної моделі в більшості випадків практично не проводився вибір істотних для розв'язуваної задачі ознак і формування прізнакових просторів.

    Виходячи із запропонованих варіантів створення гібридної нейросетевой моделі, можливо створення мереж з різними архітектурами, по-різному вирішальними поставлене завдання пошуку оптимальної структури. Вибираючи архітектуру гібридної нейросетевой моделі, представляється особливо цікавою реалізація варіантів II і III створення другого шару, оскільки вони втілюють різні принципи формування предметної області.

    У перспективі автори припускають випробувати різні комбінації представлених підходів з метою порівняти їх ефективність для класифікації текстових документів.

    БІБЛІОГРАФІЧНИЙ СПИСОК

    1. Мєшкова Є.В. Методика побудови класифікатора тексту на основі гібридної нейро-мережевої моделі // Известия ПФУ. Технічні науки. - 2008. - № 4 (81). - С. 212-215.

    2. Мєшкова Є.В. Розробка гібридної нейросетевой моделі для автоматичної класифікації тексту // Інформаційні системи та технології. Теорія і практика: зб. науч. праць / За редакцією О.М. Береза. - Шахти: Вид-во ЮРГУЕС, 2008. - С. 96-113.

    Козоброд Андрій В'ячеславович

    Волгодонский інститут сервісу.

    E-mail: Ця електронна адреса захищена від спам-ботів. Вам потрібно увімкнути JavaScript, щоб побачити її..

    347375, м Волгодонськ, вул. Чернікова, 6.

    Тел .: +79281574449.

    Кафедра інформатики; аспірант.

    Мєшков Володимир Євгенович

    E-mail: Ця електронна адреса захищена від спам-ботів. Вам потрібно увімкнути JavaScript, щоб побачити її..

    Тел .: +79081927613.

    Кафедра інформатики; к.т.н .; професор.

    Мєшкова Катерина Володимирівна

    E-mail: Ця електронна адреса захищена від спам-ботів. Вам потрібно увімкнути JavaScript, щоб побачити її..

    Кафедра інформатики; к.т.н .; доцент.

    Kozobrod Andrej Vyacheslavovich

    Volgodonsk Institute of Service.

    E-mail: Ця електронна адреса захищена від спам-ботів. Вам потрібно увімкнути JavaScript, щоб побачити її..

    6, Chernikova Street, Volgodonsk, 347375, Russia.

    Phone: +79281574449.

    Department of Informatic; Postgraduate Student.

    Meshkov Vladimir Evgen'evich

    E-mail: Ця електронна адреса захищена від спам-ботів. Вам потрібно увімкнути JavaScript, щоб побачити її..

    Phone: +79081927613.

    Department of Informatic; Cand. of Eng. Sc .; Professor.

    Meshkova Ekaterina Vladimirovna

    E-mail: Ця електронна адреса захищена від спам-ботів. Вам потрібно увімкнути JavaScript, щоб побачити її..

    Department of Informatic; Cand. of Eng. Sc .; Associated Professor.

    УДК 681. 51; 681.52

    В.В. Борисов, А.А. Бошляков, Д.А. Іванов, А.Ю. Лебедєв

    РЕАЛІЗАЦІЯ нейромережевому РЕГУЛЯТОРА ДЛЯ УПРАВЛІННЯ

    пьезодвігателей

    Описується нейросетевой регулятор для перспективного п'єзоелектричного приводу для робототехнічних комплексів. Нейромережевий регулятор синтезується в три етапи: формується навчальна множина, вибирається структура регулятора, проводиться настоянка його вагових коефіцієнтів. Для експериментальної перевірки отриманих теоретичних результатів розробляється макет мехатронного п'єзоелектричного модуля. Проведені експериментальні дослідження підтвердили ефективність прийнятих рішень.

    Нейронна мережа; пьезодвігателей; універсальний мікроконтролер; нейросетевой регулятор; робототехніка.


    Ключові слова: ГІБРИДНА нейромережевому АРХІТЕКТУРА / АВТОКЛАССІФІКАЦІЯ / семантичні відношення / HIBRID NEURONET ARCHITECTURE / AUTOCLASSIFICATION / SEMANTIC RELATIONS

    Завантажити оригінал статті:

    Завантажити