Відмінною особливістю наукового журналу як об'єкта оцінювання є його політематичний характер, що вимагає отримання оцінок від експертів, які є фахівцями в різних наукових областях. Інша особливість кожен експерт оцінює своє безліч журналів, тому матриця експертних оцінок виявляється неповною. Пропонується методика побудови абсолютної шкали на безлічі експертних оцінок і використання ковзають сум для лексикографічного впорядкування журналів.

Анотація наукової статті з математики, автор наукової роботи - Федорець Олег Володимирович


One of the distinctive features of a scientific journal is its multidisciplinary character that demands estimations from the experts in various scientific fields. Another feature is that each expert estimates the set of journals; therefore a matrix of expert estimations turns out to be incomplete. The routine is offered for absolute scale construction based on an expert estimations set; moving totals method is suggested for journals lexicographic ordering.


Область наук:
  • Математика
  • Рік видавництва: 2009
    Журнал: Управління великими системами: збірник праць

    Наукова стаття на тему 'Агрегирование результатів експертної стратифікації без використання матриць парного порівняння на прикладі рейтингу наукових журналів'

    Текст наукової роботи на тему «Агрегирование результатів експертної стратифікації без використання матриць парного порівняння на прикладі рейтингу наукових журналів»

    ?УДК 005.935.3 + 025.2 ББК 65.050.2-73

    Агрегування РЕЗУЛЬТАТІВ ЕКСПЕРТНОЇ СТРАТИФИКАЦИИ БЕЗ ВИКОРИСТАННЯ матриць парних порівнянь НА ПРИКЛАДІ РЕЙТИНГУ НАУКОВИХ ЖУРНАЛОВ1

    Федорець О. В.

    (Установа Російської академії наук Всеросійський інститут наукової і технічної інформації РАН, Москва)

    Відмінною особливістю наукового журналу як об'єкта оцінювання є його політематичний характер, що вимагає отримання оцінок від експертів, які є фахівцями в різних наукових областях. Інша особливість-кожен експерт оцінює своє безліч журналів, тому матриця експертних оцінок виявляється неповною. Пропонується методика побудови абсолютної шкали на безлічі експертних оцінок і використання ковзних сум для лексикографічного впорядкування журналів.

    Ключові слова: організація експертизи, рейтинг наукових журналів, агрегування експертних оцінок, неповні експертні дані, побудова кількісної шкали, змінна сума.

    1 Ця стаття є відповіддю на критичні зауваження на адресу статті [8] того ж автора, опублікованій в цьому випуску Збірника. Як складова частина дискусії про рейтинги наукових журналів ця стаття не проходила наукового рецензування та публікується в авторській редакції. Редакційна колегія Збірника може не розділяти поглядів і ідей автора (прим. Ред.).

    2 Федорець Олег Володимирович, старший науковий співробітник (Ця електронна адреса захищена від спам-ботів. Вам потрібно увімкнути JavaScript, щоб побачити її.).

    1. Введення

    Не можна сказати, що відмова від матриць парного порівняння, винесене в заголовок статті, продиктований якимось упередженням проти цього інструменту агрегування експертних оцінок. Просто в ситуації, коли кількість оцінюваних об'єктів вимірюється тисячами, кількість експертів сотнями і лише менше 2% елементів матриць парного порівняння визначені, необхідно було шукати інший підхід.

    Новий об'єкт оцінювання (науковий журнал), велика розмірність завдання, неповні матриці експертних оцінок, відмова від використання матриць парного порівняння, запропонований евристичний алгоритм, що не позбавлений недоліків - все це, описане в попередній статті [8], викликало жваву дискусію. Відгуків надійшло досить багато (вісім), тому неможливо відповісти на всі зауваження і пропозиції. Однак по деяких ключових питаннях рецензенти висловили подібне думка, що дозволяє відповісти відразу багатьом.

    Стаття складається з вступу і двох розділів, сформованих таким чином:

    У першому розділі, побудованому у вигляді діалогу, дана відповідь на окремі критичні зауваження А. І. Орлова, так як його рецензія [7] істотно відрізняється від інших. У цьому ж розділі йде мова про терміни «експертна класифікація» і «Групові ранжування». У підсумку робиться вибір на користь третьої терміна - «експертна стратифікація».

    Матеріал другого розділу групується не по персонам рецензентів, а за виявленими ними проблем. Це пояснюється схожими зауваженнями рецензентів по деяких ключових питаннях: критерій «максимальна оцінка», квантификация (оцифровка) якісних оцінок за допомогою вербальночісловой шкали, підсумовування оцифрованих експертних оцінок. Оскільки з моменту написання обговорюваної статті пройшло більше півроку, будуть запропоновані два напрямки вдосконалення методики проведення експертизи і агрегатів-

    вання оцінок - організаційне і математичне. Організаційний напрям стосується розширення складу експертної групи та поділу процедури агрегування оцінок на дві стадії. Математичний напрямок - це побудова обгрунтованою кількісної шкали на безлічі якісних експертних оцінок і метод ковзної суми, заснований на критеріальною-частотному підході до подання результатів експертної стратифікації.

    2. Відповіді на деякі критичні зауваження А. І. Орлова [7]

    2.1. ЗАУВАЖЕННЯ 1

    «Безглуздість цього« ТОР-20 »кидається в очі. Наприклад, в ньому вказані видання другорядних вузів (наприклад, «Известия Томського політехнічного університету»), але відсутній «Вісник МГУ ім. М. В. Ломоносова »- загальновизнаний лідер серед вузів країни. Як могла з'явитися така безглуздість, що дискредитує застосування експертних методів? »

    Безглуздим було б включення «Вісника МДУ» в список, оскільки такого журналу не існує. МДУ ім. М. В. Ломоносова видає безліч видань, кожне зі своєю тематикою, редколегією, підписних індексом, кодом та іншими

    атрибутами самостійного журналу. Жодна інформаційна служба в світі не трактує все тематичні серії «Вісника МДУ» як єдине видання, і жодна бібліотека не може видати з фондів екземпляр цього неіснуючого журналу -в замовленні доведеться уточнити назву серії.

    Що стосується нібито «другорядність» Томського політехнічного університету, на його сайті http://www.tpu.org.ua повідомляється, що в 1997 році він включений в «Звід особливо цінних об'єктів культурної спадщини народів Росії». З інших джерел в Інтернеті можна дізнатися, що в цьому Зводі сьогодні всього 14 ВНЗ, три з яких - суто гуманітарні.

    Втім, ми будуємо рейтинг не університетів і не видавництв, а наукових журналів.

    2.2. ЗАУВАЖЕННЯ 2

    «Чиє ж думку вивчалося? Напевно, споживачів інформації - читачів видань ВІНІТІ? Зовсім ні. Редакторів реферативних журналів. Чи є вони науковцями? Наскільки знайомі з думками споживачів? У статті О. В. Федорця [8] відповідей на ці питання немає. Створюється враження, що опитували не тих, від кого можна було б отримати адекватну інформацію. Про значимість наукових видань треба питати науковців - провідних вчених, співробітників НДІ, викладачів вузів, хоча б тих, хто працює з ВІНІТІ - позаштатних референтів ».

    На жаль, від автора не залежало визначення складу експертів. В даному випадку необхідно чітко відділяти наукову проблематику статті від організаційних і фінансових можливостей, які зазвичай обмежені. Зрозуміло, контингент експертів безпосередньо впливає на результат будь-якої експертизи. Перш ніж залучати до експертизи провідних вчених і витрачати їх дорогоцінний час, необхідно розробити і протестувати методику. А для цієї мети цілком підходять і експерти-редактори, у яких є як мінімум вищу освіту, близьке до тематики реферативного журналу (РЖ), і які знаходяться в постійній взаємодії з позаштатними референтами. Редактори також володіють інформацією про кількість і склад передплатників свого реферативного журналу.

    2.3. ЗАУВАЖЕННЯ 3

    «Свій внесок в безглуздість висновків могла внести і процедура обробки даних. Цілком природно, що свої оцінки експерти дають в порядкової шкалою. Але описана в статті О. В. Федорця процедура обробки даних повністю суперечить вимогам теорії вимірювань. ... Висновки повинні бути інваріантні щодо допустимих перетворень в порядкової шкалою. Отже, оцифровка згідно з таблицями 2 і 3 неприпустима, складати оцінки експертів не можна, і т.д. ... »

    На це твердження можна відповісти витягом з рецензії Б. Г. Миркина:

    <Я думаю, що квантизация вербальних шкал в манері, описаної в статті - розумне справу, тому що концепція порядкової шкали неадекватно відображає розподіл її континууму людиною, тим більше, експертом. Слід, однак, подбати про стійкість результатів щодо зміни інтервалів між значеннями шкали, що, на мій погляд, неважко, бо досягається чисто обчислювальними засобами »[5].

    Одним з таких чисто обчислювальних засобів є коефіцієнти рангової кореляції. Дослідження рангової кореляції дозволяє визначити статистичну значущість відмінності ранжировок, але не дозволяє судити про те, в кращу або в гіршу сторону змінився ранжируваних список при зміні шкали або методики агрегування експертних оцінок. Для відповіді на це питання необхідно порівнювати ранжування з якимись еталонами - еталонним безліччю журналів або еталонної ранжуванням журналів.

    У еталонне безліч повинні входити журнали, наукова цінність яких не підлягає сумніву. Далі можна порівнювати верхні частини (TOP-x%) ранжируваних списків за кількістю входжень в них еталонних журналів. Щоб сформувати еталонне безліч російських журналів, досить взяти зі списку ВАК ті видання, які рекомендовані для публікації здобувачам наукового ступеня доктора наук. Для включення до еталонного список зарубіжних журналів можна відібрати видання, які відображаються в Journal Citation Report і мають імпакт-фактором вище середнього серед журналів, що входять до відповідних тематичні області.

    Питання полягає в тому, які тематичні списки є «більш еталонними» - отримані в результаті обробки експертної інформації або ранжирування за критерієм цитування. Це питання має вирішуватися в залежності від рівня компетентності експертної групи.

    2.4. ЗАУВАЖЕННЯ 4

    «Неадекватні методи аналізу даних поєднуються з неадекватною термінологією. «Експертну класифікацію»

    зазвичай називають кластерізованний ранжуванням, а термін «класифікація» пов'язують з вимірами за шкалою найменувань, бо термін «класифікація» відповідає розбиття на невпорядковані класи ».

    Штучне приведення результату експертної класифікації по упорядкованим класів до кластерізованний ранжування може спричинити спотворення експертних оцінок і втрату важливої ​​інформації, оскільки між кластерізованний ранжуванням і результатом експертної класифікації по упорядкованим класах немає взаємооднозначної відповідності.

    Звернемося першоджерела: «Кожну кластерізованний ранжування, як і будь-який бінарне відношення, можна задати матрицею || х (а, Ь) || з 0 і 1 порядку до X к. При цьому х (а, Ь) = 1 тоді і тільки тоді, коли а < Ь або а = Ь. У першому випадку х (Ь, а) = 0, а в другому х (Ь, а) = 1. При цьому хоча б одне з чисел х (а, Ь) і х (Ь, а) дорівнює 1 »[6, стр. 399].

    Тепер припустимо, що два учасники експертної групи зійшлися на думці, що три об'єкти ранжуються так: [а < Ь < з]. Однак вони видали розрізняються експертні оцінки: номера упорядкованих класів {5, 4, 1} і {5, 2, 1} відповідно. Якщо уявити оцінки двох експертів у вигляді матриць || х (а, Ь) || з 0 і 1 як описано вище, то матриці будуть однакові. Якщо ж побудувати матриці парних порівнянь з кососімметріческіх калібруванням (де елемент дорівнює різниці оцінок), то вони будуть відрізнятися.

    Перехід від матриці парних порівнянь, заданої в деякій калібрування, до откалиброванной по-іншому матриці можливий не завжди, але лише при дотриманні деяких додаткових змістовних умов і нерідко пов'язаний з втратою важливої ​​інформації [2].

    Термін «експертна класифікація» був запозичений з навчального посібника Б. Г. Литвака, де в розділі «Методи отри-

    ня кількісних і якісних експертних оцінок »читаємо наступне:« Експертна класифікація. Цей метод доцільно використовувати, коли необхідно визначити приналежність оцінюваних альтернативних варіантів до встановлених і прийнятим до використання класів, категорій, рівням, сортам (далі - класам). ... Залежно від цілей експертизи може виникнути необхідність віднесення альтернативних варіантів до впорядкованих класах. Скажімо, необхідно віднести оцінювані об'єкти до відповідних категорій, причому так, щоб більш бажані були віднесені до більш кращим категоріям. Природно, це відбивається на процедурі експертної класифікації. Але головне, щоб експерт однозначно розумів поставлену перед ним задачу »[4].

    Пошук більш короткого і одночасно ясного назви для поняття «експертна класифікація за впорядкованим класів» привів до терміну «стратифікація», який використовується в соціології, геології, медицині. Словосполучення «експертна стратифікація» виявлено в Інтернеті на персональному сайті Павла Горського, де міститься відповідне визначення: «Тут важливо відзначити, що класи невпорядкований один щодо одного, т. Е. Не можна сказати, що якийсь клас важливіше (краще, старше, дорожче і п.т.) іншого. Наприклад, людей можна класифікувати по підлозі або національності. Правильна постановка діагнозу - також приклад класифікації. Другий спосіб структурування називається стратифікація. Ця назва походить від англійського терміна «страта», (stratum) що означає «шар, пласт». Іншими словами, стратифікація є розбиття множини на ряд рівнів або шарів. На відміну від класів, страти впорядковані »[3].

    Далі Горський пише: «Зв'язок страт з якимось абстрактним« якістю »вкрай важлива для розуміння ідеї стратифікації. «П'ятизірковий» готель не просто краще «двозіркового», а можна говорити на скільки він краще »[3].

    Отже, відповідний термін знайдений і визначений - це «експертна стратифікація».

    3. Основні проблеми та шляхи їх вирішення

    3.1. МАКСИМАЛЬНАЯ ОЦІНКА І НЕОБХІДНІСТЬ ОРГАНІЗАЦІЙНОГО ПОЛІПШЕННЯ

    Організаційний захід, що дозволяє поліпшити якість експертизи - це збільшення кількості експертів по кожній тематиці.

    В ідеалі експертиза повинна проводитися в два етапи. На першому етапі збираються оцінки по окремих тематиках і обчислюються медіани, на другому етапі агрегируются медіани тематичних оцінок. При такій організації експертизи агрегируются не індивідуальні експертні оцінки, а усереднені тематичні оцінки. В такому випадку критерій МАКСІМАЛЬНАЯ_ОЦЕНКА, справедливо став об'єктом критики рецензентів, фактично перетворився б з найвищої оцінки об'єкта одним експертом в найвищу з тематичних медіан, що зробило б його більш стійким до помилок і суб'єктивізму.

    3.2. Побудова АБСОЛЮТНОЮ ШКАЛИ на безліч експертних ОЦЕНОК

    Не можна не погодитися з зауваженнями рецензентів, що довільна оцифровка порядкових експертних оцінок неприпустима. Взявши за основу вербально-числову шкалу Харрінгтона, необхідно було переконатися у відповідності її чисельних значень отриманого безлічі експертних оцінок. Але бажано було розробити методику побудови власної шкали на безлічі експертних оцінок. Цього не було зроблено, що викликало справедливу критику. Щоб закрити цю прогалину, далі наведено математична модель, що дозволяє обчислити коефіцієнти важливості (вагові коефіцієнти) упорядкованих класів на безлічі експертних оцінок. Відмінність нових коефіцієнтів від раніше використовувалися оказа-

    лось невелика, але тепер вербально-числова шкала отримала розподіл усіх обгрунтування.

    Нехай результати віднесення об'єктів до впорядкованих класів представлені у вигляді п експертних списків. Кількість елементів в списках по-різному. Приклад - це пара значень (а, х), де а - унікальний ідентифікатор об'єкта (код, найменування, позначення і т.п.), х - порядковий номер класу (категорії, рівня, сорти і т.п.). Крім порядкового номера, кожному класу відповідає вербальне опис (наприклад «високий», «середній», «низький» і т.п.), яке повинно бути однаково зрозумілим усім експертам. Потрібно визначити числові значення, відповідні впорядкованим класах. В результаті буде побудована абсолютна шкала на безлічі експертних оцінок, відповідна порядковим експертними оцінками.

    Розглянемо випадкову подію «об'єкт з оцінкою х перевага при порівнянні зі випадково обраним об'єктом з 7-го експертного списку». Точкову оцінку ймовірності цієї події можна обчислити таким чином:

    (1) р = тх ,, + кх, 7/2

    '' Х, 7 '

    ^ 7

    де тх, 7 - кількість об'єктів в 7-м списку з оцінкою, менш кращою, ніж х; кх, 7 - кількість об'єктів в 7-м списку з оцінкою, що дорівнює х; s7 - загальна кількість об'єктів в 7-м списку.

    Слід пояснити зміст виразу кх, 7/2 у формулі (1). В середньому на великій кількості порівнянь випадково обраний об'єкт з оцінкою х переважніше половини об'єктів і, відповідно, менш кращий, ніж половина об'єктів з такою ж оцінкою х.

    У даній моделі вважається, що у всіх об'єктів є неповторним «точні» оцінки, огрубляет номерами класів. Враховується й те, що випадково обраний об'єкт порівнюється не тільки з іншими об'єктами того ж класу, але і з самим собою. Тоді при нестрогой трактуванні переваги ( «більш

    кращий або рівноцінний ») середня кількість менш бажаних об'єктів одно

    1 КХ,

    * = До- 2 /.

    КХ, ​​1 1 = 1

    При суворої трактуванні переваги ( «кращий») середня кількість менш бажаних об'єктів одно

    1 кх, -1

    * 2 = кг 2 '|

    х, 1 + 1 = 0

    Використовуючи формулу суми перших п членів арифметичної прогресії, неважко довести, що величина кх. / 2 є середнім арифметичним величин * і * 2.

    Тепер переконаємося, що сума оцінок ймовірностей протилежних подій дорівнює одиниці:

    р + р- = Тх1 + кх1 / 2 + 5 - Тх1 - кх1 + кх1 / 2 = 1

    х, 1 х, |

    5 ,. 5,.

    Розміри експертних списків можуть істотно відрізнятися, тому в якості числової інтерпретації якісної оцінки х пропонується використовувати зважене середнє арифметичне ймовірностей Р ^. Беручи в якості вагових коефіцієнтів розміри експертних списків і потім підставляючи замість Рх, формулу (1), отримуємо такий вираз:

    2 5, • Р 2 (т. + К. / 2)

    / 1 I х..1 / 1 \ х, 1 х, 1 /

    (2) р = ± = ± -------- = ----------------,

    х п п

    25 2

    1 = 1 1 = 1

    де п - кількість експертних списків, в яких є хоча б один об'єкт з оцінкою х.

    Продемонструємо побудову числовий шкали на прикладі оцінювання восьми об'єктів, які отримали порядкові оцінки 6-ти експертів за п'ятибальною шкалою, позначених як Еь Е2, ..., Е6 (див. Таблицю 1). Об'єктам для наочності

    присвоєні імена - латинські букви від А до Н. Дані для прикладу взято без зміни з попередньої статті [8].

    Таблиця 1. Індивідуальні експертні оцінки

    Об'єкт Е1 Е2 Ее Е4 Е5 Еб

    А5 4 3 1

    О 5 2 4 3

    З 3 5 5

    Б 4 3 4

    Е 4 4 3

    3 4 3 5

    Про 1 3 2

    Н 5 4

    Для прикладу в таблиці 1 застосування (2) дозволяє обчислити наступні ненормовані коефіцієнти важливості для градацій порядкової шкали: Р5 = 0,86; Р4 = 0,61; Р3 = 0,31; Р 2 = 0,10; Р1 = 0,13.

    Незвичайне нерівність Р2 < Р1: пояснюється дуже малою кількістю експертів і оцінюваних об'єктів в прикладі, представленому в таблиці 1. На вибірках значного обсягу подібна подія представляється малоймовірним.

    Розглянемо результати експертної стратифікації 11067 наукових журналів. Генеральна сукупність експертних оцінок складалася з 43336 ненульових оцінок, що зберігаються в 240 експертних списках. Середній розмір експертного списку - 180 журналів, кожен журнал отримав в середньому 4 оцінки. Неважко підрахувати, що в разі побудови матриць парного порівняння журналів в середньому лише менше 2% елементів матриць були б визначені.

    В результаті застосування (2) отримані наступні числові значення (ненормовані коефіцієнти важливості) порядкових бальних оцінок для побудови вербальночісловой шкали, які можна побачити в табл. 2 в колонці Рх.

    Для порівняння наводиться шкала Харрінгтона і числові значення, що використовувалися в попередній версії шкали [8].

    З таблиці 2 видно, що всі отримані значення Рх укладаються в інтервали шкали Харрінгтона, а відхилення Рх від Qx незначні, при цьому відносна похибка зменшується в міру просування від «низької» оцінки до «високої».

    Для розробленого алгоритму не обов'язково нормування коефіцієнтів важливості таким чином, щоб їх сума дорівнювала одиниці, так як впорядкування об'єктів при цьому не зміниться.

    Таблиця 2. Статистична вербально-числова шкала

    Назва рівня X Кількість об'єктивним тов Нове значення, Рх Шкала Харрінг- тони Перед. Значення, д.

    Високий 5 8618 0,894 1,0 - 0,8 0,900

    Вище середнього 4 6674 0,731 0,8 - 0,63 0,715

    Середнє 3 8739 0,550 0,63 - 0,37 0,500

    Нижче середнього 2 8585 0,351 0,37 - 0,2 0,285

    Низький 1 10720 0,133, 0 про "1, 2 0, 0,100

    3.3. МЕТОД МАЛИХ СУМ І ПІДСУМОВУВАННЯ ОЦЕНОК Одним з найбільш відомих алгоритмів впорядкування об'єктів за результатами парних порівнянь є метод малих сум. Зокрема, рекомендація ознайомитися з цим методом міститься в рецензії Л. Ч. Абаєва [1].

    Припустимо, матриці парних порівнянь служать для представлення даних більш простого типу - числових оцінок. Матриці парних порівнянь визначені так, що кожен елемент являє собою різницю оцінок об'єктів. У цьому випадку метод малих сум призводить до впорядкування об'єктів за сумою отриманих ними оцінок [9].

    До суми експертних оцінок можна прийти і іншим шляхом. Далі пропонується критеріальною-частотний підхід до подання результатів експертної стратифікації, який також призводить до підсумовування числових оцінок.

    3.4. Критеріальна-ЧАСТОТНИЙ ПІДХІД І зважену суму ЧАСТОТ ОЦЕНОК

    Нехай т - кількість упорядкованих класів або якісних рівнів порядкової шкали. Кожному об'єкту зіставлений вектор частотного розподілу оцінок К (2) = (до ^), ..., до&), ..., кт (г)), де 1 = 1, 2, ..., т, до&) - кількість експертів, отнёсшіх об'єкт? до 1-го якісного рівня (т. е. частота оцінки).

    У нашому випадку експерти - фахівці в різних наукових областях - незалежно один від одного оцінюють різні тематичні аспекти політематичних журналів, тому заміна абсолютної частоти на відносну некоректна. Дійсно, нехай об'єкти А і В оцінені за п'ятибальною порядкової шкалою, отримавши при цьому вектори частот (0, 0, 0, 0, 1) і (0, 0, 1, 0, 1). Після заміни на відносні частоти отримаємо (0, 0, 0, 0, 1) і (0, 0, /, 0, '/ г), т. Е. Частота оцінки об'єкта В знижується в 2 рази. Наприклад, журнал В публікує статті в суміжних областях - біології та хімії. Біолог присвоїв оцінку 5 ( «висока»), а хімік оцінку 3 ( «середня»). Чи означає це, що ми повинні при цьому штучно занижувати частоту оцінок у журналу В? Очевидно, що немає.

    Будемо вважати, що к1 (2) - це значення 1-го критерію оцінювання об'єкта. Виходячи з гіпотези про незалежність критеріїв за перевагою, задамо аддитивную функцію цінності ^ (?) У вигляді лінійної згортки критеріїв:

    (3) ^ (2) = 2 "=! ™ ГКГ (2 ^

    де - ваговий коефіцієнт 1-го критерію, до (?) - значення критерію, дорівнює кількості експертних оцінок 1-го рівня, присвоєних об'єкту 2.

    У разі цілочисельних значень критеріїв лінійна згортка рівносильна підсумовування вагових коефіцієнтів. Таким чином, ми знову приходимо до підсумовування «оцифрованих» експертних оцінок, що і було зроблено в [8] при обчисленні одного з критеріїв, які застосовувались для лексикографічного впорядкування журналів.

    3.5. МЕТОД КОВЗНОЇ СУМИ числових ОЦЕНОК

    Чи потрібно було обчислювати зважену суму всіх оцінок об'єкта? Тут слід погодитися з рецензентами, що не потрібно. Більш правильним видається окремо враховувати високі і низькі оцінки, наприклад, підсумовувати оцінки за групами з подальшим лексикографічним упорядкуванням за сумами. Наприклад, спочатку обчислити зважену суму оцінок, близьких до «високої», потім до «вище середньої» і т.д., так як можна порівняти між собою тільки близькі рівні порядкової шкали, а «високий» рівень може настільки якісно відрізнятися від «низького» , що ця відмінність неможливо виміряти кількісно. Наведемо простий приклад. Навряд чи можна виміряти знання учнів таким чином, щоб визначити, скільки «двієчників» можуть компенсувати обсяг знань одного відмінника (наприклад, спільними зусиллями написати контрольну роботу або пройти тестування на «відмінно»). Зате можливо порівняти «відмінника» з «хорошистом» або «трієчника» з «двієчником».

    Отже, перед підсумовуванням необхідно визначити відрізки порядкової шкали, в межах яких оцінки допустимо підсумовувати. Якщо застосувати ковзний відрізок шкали, як це робиться в методі змінного середнього при згладжуванні часових рядів, то пропонований метод агрегування експертних оцінок можна назвати методом ковзної суми. Для п'ятибальною порядкової шкали і довжини відрізка, що дорівнює трьом, маємо три узагальнених критерію на основі модифікації формули (3):

    Р5 (2) = 2 (2), Р4 (2) = 2 (2), Р3 (2) = X ™ 'до' (2) .

    ??{5,4,3} ?? {4,3,2} 1е {3,2,1}

    Далі в таблиці 3 наведено результат обчислення ковзних сум для прикладу з таблиці 1. У разі зменшення довжини змінного відрізка до двох точок ми отримаємо чотири узагальнених критерію для лексикографічного впорядкування об'єктів.

    3.6. ПРИКЛАД

    Замінюємо номера класів з таблиці 1 числовими значеннями, отриманими раніше за формулою (2): Р5 = 0,86; Р4 = 0,61; Р3 = 0,31; Р2 = 0,10; Рх = 0,13. Результат заміни - в таблиці 3, там же - значення трьох ковзних сум, за якими проводиться упорядкування об'єктів.

    Лексикографическое впорядкування (найдорожчі) за трьома колонкам Бх призводить до наступної кластерізованний ранжировке: Р > З > А У В > {Р, Е}> І>Про .

    Таблиця 3. Агрегирование оцінок методом ковзної суми

    за трьома точкам

    х Е1 Е2 Ее Е4 Е5 Е6 р5 Р4

    А 0,86 0,61 0,31 0,13 1,78 1,02 0,44

    В 0,86 0,10 0,61 0,31 1,78 1,02 0,41

    З 0,31 0,86 0,86 2,03 0,31 0,31

    р 0,61 0,31 0,61 1,53 1,53 0,31

    Е 0,61 0,61 0,31 1,53 1,53 0,31

    Р 0,31 0,61 0,31 0,86 2,09 1,23 0,62

    Про 0,13 0,31 0,1 0,31 0,41 0,54

    І 0,86 0,61 1,47 0,61 0

    Залишився кластер {Р, Е}, в якому об'єкти не впорядковані. Для додаткового упорядкування всередині кластерів можна застосовувати різні підходи в залежності від характеру завдання і оцінюваних об'єктів. Перехід від оцінок до рангів не завжди підходить, так як є огрубіння результатів експертної стратифікації. Пропонується два способи обчислення додаткового критерію для упорядкування всередині кластерів:

    1. Обчислити суму оцінок об'єктів, які менш кращі, ніж даний об'єкт, і впорядкувати об'єкти всередині кластерів по спадаючій цієї суми.

    2. Обчислити суму оцінок об'єктів, які є кращими, ніж даний об'єкт, і впорядкувати об'єкти всередині кластерів по зростанню цієї суми.

    Перший спосіб задає наступне відносини переваги усередині кластера: D > E, так як 1,03 > 0,95.

    Другий спосіб призводить до аналогічного результату D > E, так як 2,33 < 4,05.

    Відповідь: F > C > A> B > D > E > H > G .

    У попередньому варіанті алгоритму [8] дані цього ж прикладу привели до іншого ставлення переваги:

    F>B>C>A>H>D>E>G.

    Головна відмінність нового результату ранжирування - суттєва зміна позицій об'єктів B і H. Позиції інших об'єктів змінилися не більше ніж на один ранг.

    Для наукових журналів другий спосіб обчислення додаткового критерію для упорядкування всередині кластерів видається більш логічним, так як факт входження журналу «в число перших» важливіший, ніж його перевага над значною кількістю інших журналів. Тут можна провести аналогію з різними видами спорту. Є види спорту, в яких важлива кількість переможених суперників (турніри), а є види, в яких важливо прийти до фінішу в числі перших (гонки).

    3.7. Ранжування ЖУРНАЛІВ МЕТОДОМ КОВЗНОЇ СУМИ

    Повернемося до агрегування результатів експертної стратифікації наукових журналів і їх ранжирування. Фрагмент списку (TOP-20), отриманого методом ковзних сум, представлений в таблиці 4. Перші двадцять журналів, отримані в цей раз, майже повністю збігаються з першої двадцяткою в попередній статті. З огляду на великі розміри ранжируваних списків (11067 журналів), відмінність по перших двадцяти елементів списків можна вважати незначним: в новий список T0P-20 увійшли журнали Technica (Suisse) і Journal of

    Crystal Growth, вийшли журнали Thin Solid Films і Известия Томського політехнічного університету. У старому списку журнали Technica (Suisse) і Journal of Crystal Growth займали відповідно 21 і 24 місця, в той час як покинули TOP-20 журнали Thin Solid Films і Известия Томського політехнічного університету зайняли в новому списку відповідно 21 і 22 місця.

    У таблиці 5 представлений фрагмент списку TOP-20, отриманий методом ковзних сум при довжині змінного відрізка, що дорівнює двом точкам даних. Лексикографическое впорядкування вироблялося по чотирьом змінним сумами. Зміни стали більш помітними. У порівнянні з таблицею 4 в T0P-20 змінилося 6 журналів.

    Таблиця 4. Т0Р-20 ранжированного списку наукових журналів, отриманого методом ковзної суми за трьома точкам

    № Країна Код ISSN Назва

    1 США 1046-6770 Proceedings of SPIE

    2 Росія 0869-5652 Доповіді Російської академії наук

    3 Німеччина 0341-5775 Maschinenmarkt (MM)

    4 Велікобрі- тания 0028-0836 Nature: International Weekly Journal of Science (Gr. Brit.)

    5 Німеччина 0042-1758 VDI-Nachrichten

    6 США 0036-8075 Science

    7 США 0027-8424 Proceedings of the National Academy of Sciences of the United States of America

    8 Німеччина 0344-6166 Produktion: Die Wirtschaftszeitung fur die deutsche Industrie

    9 Україна 1025-6415 Доповщ Нацiональноi академп наук Украши

    10 США 0007-7135 Business Week. European Edition

    11 США 0022-2461 Journal of Materials Science

    12 США 0003-6951 Applied Physics Letters

    13 Росія 0236-1493 Г орний інформаціонноаналітіческій бюлетень

    14 Швейцарія 0040 ^ бб Technica (Suisse)

    15 Велікобрі- тания 0013-5194 Electronics Letters

    1б Росія 0321-2б53 Известия вищих навчальних закладів (ВНЗ). Північно-Кавказький регіон. Технічні науки

    17 Росія 03б7-б7б5 Известия Російської академії наук (РАН). Сер. фізична

    1S Швейцарія 0921-5093 Materials Science and Engineering. A. Structural Materials: Properties, Microstructure and Processing

    19 США 0021-S979 Journal of Applied Physics

    20 Нідерлан- ди 0022-024S Journal of Crystal Growth

    Таблиця 5. Т0Р-20 ранжированного списку наукових журналів, отриманого методом ковзної суми по двох точках.

    № Країна Код ISSN Назва

    1 Росія 08б9-5б52 Доповіді Російської академії наук

    2 США 104б-б770 Proceedings of SPIE

    3 Німеччина 0341-5775 Maschinenmarkt (MM)

    4 Велікобрі- тания 0028-083б Nature: International Weekly Journal of Science (Gr. Brit.)

    5 США 0007-7135 Business Week. European Edition

    б Німеччина 0344-б1бб Produktion: Die Wirtschaftszeitung fur die deutsche Industrie

    7 Німеччина 0042-1758 VDI-Nachrichten

    s США 003б-8075 Science

    9 США 0003-б951 Applied Physics Letters

    10 Україна 1025-б415 Доповщ Нацiональноi академп наук Украши

    11 США 0027-8424 Proceedings of the National Academy of Sciences of the United States of America

    12 Росія 1998-8б21 Вісник Томського державного університету (ТГУ)

    13 Німеччина 0341-2636 F + H: Fordern und Heben: Zeitschrift fur Materialfluss und Warenwirtschaft

    14 Росія 0367-6765 Известия Російської академії наук (РАН). Сер. фізична

    15 Росія 1729-3642 Економіка і фінанси

    16 Росія 0236-1493 Г орний інформаціонноаналітіческій бюлетень

    17 США 0031-9007 Physical Review Letters

    18 США 0021-8979 Journal of Applied Physics

    19 Німеччина 0012-0901 DVZ: Deutsche Logistik-Zeitung

    20 США 0018-9464 IEEE Transactions on Magnetics

    Другий варіант ковзаючого відрізка (по двох точках) видається більш адекватним розв'язуваної задачі, так як підвищується ранг журналів, які отримали значну кількість оцінок «висока» і «вище середньої», при цьому «середні» оцінки не впливають на суму оцінок за першим відрізку шкали.

    Вгору піднялися наступні видання:

    № Назва журналу попер. № Вектор частот

    12 Вісник Томського державного університету (ТГУ) 35 (9, 3, 1, 4, 9)

    13 F + H: Fordern und Heben: Zeitschrift fur Materialfluss und Warenwirtschaft 28 (2, 4, 2,10, 4)

    15 Економіка і фінанси 27 (1, 0, 3, 6, 7)

    17 Physical Review Letters 25 (7, 5, 4, 3, 9)

    19 DVZ: Deutsche Logistik-Zeitung 40 (3, 1, 1, 4, 8)

    20 IEEE Transactions on Magnetics 33 (4, 3, 3, 5, 7)

    З першої двадцятки спустилися вниз наступні видання:

    № Назва журналу попер. № Вектор частот

    23 Electronics Letters 15 (2, 5, 7, 7, 5)

    26 Journal of Materials Science 11 (7, 8, 12, 5, 6)

    41 Technica (Suisse) 14 (3, 5, 10, 6, 4)

    54 Journal of Crystal Growth 20 (5, 3, 10, 4, 5)

    63 Известия вищих навчальних закладів (ВНЗ). Північно-Кавказький регіон. Технічні науки 16 (21, 15, 11, 5, 4)

    138 Materials Science and Engineering. A. Structural Materials: Properties, Microstructure and Processing 18 (10, 8, 13, 3, 4)

    4. Висновок

    Незважаючи на істотне доопрацювання, в основі процедури агрегування неповних результатів багатоаспектною експертної стратифікації як і раніше лежить вербально-числова шкала, підсумовування оцінок і лексикографическое впорядкування, але тепер числові оцінки отримали розподіл усіх обгрунтування, а підсумовування виконується всередині ковзають відрізків шкали.

    Агрегування результатів експертної стратифікації складається з наступних етапів:

    1. збір тематичних експертних списків, елементами яких є пари значень (а, х), де а - унікальний ідентифікатор об'єкта, х - порядковий номер класу;

    2. побудова абсолютної шкали на безлічі порядкових експертних оцінок, яка задає відповідність між номером упорядкованого класу і числовою оцінкою класу, що відповідає її коефіцієнту важливості (вагового коефіцієнту);

    3. заміна порядкових експертних оцінок на вагові коефіцієнти;

    4. вибір довжини змінного відрізка на шкалі;

    5. обчислення ковзних сум вагових коефіцієнтів для кожного об'єкта;

    6. лексикографическое впорядкування об'єктів по спадаючій отриманих сум;

    7. додаткове впорядкування об'єктів всередині утворилися кластерів на підставі результатів підсумовування

    вагових коефіцієнтів більше (або менше) бажаних об'єктів в експертних списках.

    На закінчення дякую редакції за надану мені можливість опублікувати результати роботи і організацію обговорення, а також всіх учасників дискусії, які пожертвували свій час на прочитання моєї статті і написання відгуків.

    література

    1. Абаєв Л. Ч. Про один підхід до використання експертних методів для оцінки наукових журналів // Управління великими системами. - 2009. - Випуск 27. - С. 36 - 46.

    2. Блюміна С. Л., ШУЙКОВА І. А., Сара П. В.,

    Черпак І. В. Нечітка логіка: алгебраїчні основи і додатки: Монографія. - Липецьк: ЛЕГІ, 2002. - 113 с.

    3. ГОРСЬКИЙ П. Введення в дисципліну «Підтримка прийняття

    рішень ».- [Електронний ресурс] .- Режим доступу:

    http: // www. gorskiy.org.ua/Articles/Dmss/d0.html

    4. ЛИТВАК Б. Г. Експертні технології в управлінні: навч. посібник. - 2-е изд., Испр. і доп. - М .: Справа, 2004. - 400 с.

    5. Миркин Б. Г. Про статтю «Колективна експертиза наукових журналів: методика агрегування експертних оцінок і побудови рейтингу» // Управління великими системами. - 2009. - Випуск 27. - С. 53 - 58.

    6. ОРЛОВ А. І. Теорія прийняття рішень: навч. для вузів. -М ..: Іспит, 2006. - 576 с.

    7. ОРЛОВ А. І. Методологічні помилки ведуть до неправильних управлінським рішенням // Управління великими системами. - 2009. - Випуск 27. - С. 59 - 65.

    8. ФЕДОРЕЦЬ О. В. Колективна експертиза наукових журналів: методика агрегування експертних оцінок і побудови рейтингу // Управління великими системами. -2009. - Випуск 27. - С. 12 - 35.

    9. ЧЕБОТАРЬОВ П. Ю. Метод малих сум і призводять до нього моделі // Збірник праць ВНДІ системних досліджень.- 1989.- №3.- С. 94 - 110.

    AGGREGATING RESULTS OF EXPERT STRATIFICATION BYPASSING MATRICES OF PAIRED COMPARISON: CASE OF SCIENTIFIC JOURNALS RATING

    Oleg V. Fedorets, All-Russian institute of scientific and technical information, senior research officer (Ця електронна адреса захищена від спам-ботів. Вам потрібно увімкнути JavaScript, щоб побачити її.

    Abstract: One of the distinctive features of a scientific journal is its multidisciplinary character that demands estimations from the experts in various scientific fields. Another feature is that each expert estimates the set of journals; therefore a matrix of expert estimations turns out to be incomplete. The routine is offered for absolute scale construction based on an expert estimations set; moving totals method is suggested for journals lexicographic ordering.

    Keywords: expertise organization, scientific journals rating, aggregation of expert estimations, incomplete expert data, numerical scale construction, moving total.

    Стаття представлена ​​до публікації членом редакційної колегії Д. А. Новіковим


    Ключові слова: ОРГАНІЗАЦІЯ ЕКСПЕРТИЗИ / РЕЙТИНГ НАУКОВИХ ЖУРНАЛІВ / Агрегування експертних ОЦЕНОК / НЕПОВНІ ЕКСПЕРТНІ ДАНІ / Побудова КІЛЬКІСНОЇ ШКАЛИ / ковзної СУМА / EXPERTISE ORGANIZATION / SCIENTIFIC JOURNALS RATING / AGGREGATION OF EXPERT ESTIMATIONS / INCOMPLETE EXPERT DATA / NUMERICAL SCALE CONSTRUCTION / MOVING TOTAL

    Завантажити оригінал статті:

    Завантажити