Пропонується узагальнений алгоритму експертного опитування для відбору перспективних, що розробляються і освоюваних технологій. За рахунок одночасного застосування різних методів аналізу експертних оцінок пропонована методика може бути використана для отримання обґрунтованих результатів. Розглядаються дві групи методів обробки даних: чисельні і турнірні.

Анотація наукової статті з комп'ютерних та інформаційних наук, автор наукової роботи - Єрошкін Сергій Юрійович, Поляков Володимир Валентинович


Analysis of Approaches to Evaluating of Expert Information at Innovative Decisions Forecasting

Generalized algorithm of expert interrogation for selection of perspective, developed and mastered technologies is offered. Due to simultaneous application of various methods of analysis of expert estimations offered technique can be used for acquiring of proved results. Two groups of data processing methods are considered: numerical and tournament.


Область наук:

  • Комп'ютер та інформатика

  • Рік видавництва: 2005


    Журнал: Наукові праці: Інститут народногосподарського прогнозування РАН


    Наукова стаття на тему 'Аналіз підходів до оцінки експертної інформації при прогнозуванні інноваційних рішень'

    Текст наукової роботи на тему «Аналіз підходів до оцінки експертної інформації при прогнозуванні інноваційних рішень»

    ?С. ^ Е. ? Рошкін, 3-3- Фої&ков

    АНАЛІЗ ПІДХОДІВ ДО ОЦІНКИ ЕКСПЕРТНОЇ ІНФОРМАЦІЇ ПРИ ПРОГНОЗИРОВАНИИ ІННОВАЦІЙНИХ

    РІШЕНЬ

    Прогнозування перспективних, що розробляються і освоюваних технологій включає аналіз технологічного потенціалу галузей, оцінку рейтингу технологій в галузях і оцінку рейтингу технологій за трьома основними критеріями: а) значимість і актуальність; б) інвестиційна привабливість; в) комерційний потенціал.

    Зіставлення результатів технологічного прогнозування з можливостями їх реалізації призводить до вибору переліку технологій і до вироблення відповідної стратегії розвитку економіки.

    Методика експертного оцінювання включає чотири основні етапи.

    1. Збір пропозицій щодо вирішення наукових проблем і формування вихідних списків за різними напрямками.

    2. Формування експертних комісій з різних напрямків.

    3. Формування критеріїв оцінки проектів (прогнозних рішень).

    4. Оцінювання проектів за обраними критеріями та їх ранжування для подальшого обговорення і прийняття остаточного рішення.

    Після визначення цілей і етапів експертизи формується робоча група з проведення опитувань, що складається з керівника робіт і аналітиків, які безпосередньо займаються обробкою експертних суджень.

    Формування вихідних списків проектів. Робоча група організовує збір наукових пропозицій за поданням фахівців інститутів РАН, вузів та інших установ. Отримані пропозиції розподіляються за певними напрямами.

    Інформація про проекти повинна відображати наступні позиції: 1) найменування проекту; 2) розробники проекту; 3) оцінити потреби; 4) коротка анотація з ретроспективним аналізом проблеми; 5) особливості методики і основні наукові характеристики; 6) планований період реалізації.

    * Під перспективними, що розробляються і освоюваними технологіями далі будемо розуміти прогнозні рішення або проекти.

    Відбір експертів. При формуванні складу комісій експертів з певних напрямків необхідно враховувати їх: а) професійний рівень; б) досвід наукової діяльності; в) авторитет в науковому середовищі. Крім того, група не повинна складатися з представників однієї вузької спеціальності, однієї наукової школи або однієї установи.

    Велику роль в оцінці компетентності експертів може зіграти анкета експерта, яка містить персональні, професійно-кваліфікаційні дані та інформацію про область наукових інтересів.

    Для оцінки компетентності експертів можуть бути використані різні непрямі методи. Вони поділяються на дві групи: 1) методи, засновані на оцінці об'єктивних якостей, самооцінки, взаємної оцінки, професійних ознак (таких як стаж роботи, посада, науковий ступінь, і т.д.); 2) методи, засновані на оцінці ступеня впливу даного експерта на узгодженість групи. Остання група методів ефективна лише при достатній однорідності групи експертів.

    Практика показує, що на етапі попереднього формування експертної комісії можна використовувати метод самооцінки. Цей метод дозволяє при мінімальних витратах часу і без проведення трудомістких експертиз на стадії відбору зробити досить надійну оцінку компетентності. Суть процедури полягає в підготовці спеціальних анкет, заповнюючи які експерт показує свою ерудицію та аналітичні здібності. Важливо, щоб експерт, заповнив анкету в короткий термін (5-10 хв.).

    Зразкове звернення до кандидата в експерти може виглядати наступним чином: «Вас просять оцінити питання відповідно до об'єму Ваших знань. Прочитайте уважно всі питання і виберете той, який Ви знаєте краще за інших. Дайте цього питання оцінку 5. Потім знайдіть питання, який Ви знаєте гірше інших і дайте йому оцінку 1. Після цього оціните залишилися питання щодо цих двох, використовуючи бали 1, 2, 3, 4, 5. Таким чином, питання, про яке Ви знаєте майже стільки ж, як і за першим, також отримає оцінку 5. Питання, розташований приблизно в «середині» слід оцінити в 3 бали і т.д.

    Зауважимо, що оцінка є відносною і залежить від обсягу Ваших знань з даної проблематики. Чи не намагайтеся поліпшити оцінки - керуйтеся Вашим особистим враженням ».

    Отримавши ці дані, можна розрахувати сумарний чисельний індекс як індивідуальної компетентності експерта, так і груповий по кожному питанню.

    Підготовка експертизи. Підготовка експертизи починається зі створення робочої групи. Керівником групи, відповідальним за вирішення проблеми є начальник відповідного департаменту компанії (організації). Далі в робочу групу повинні входити ве-

    дущіе фахівці компанії і галузевих інститутів з даної проблематики. Робоча група формує допоміжну групу експертизи, куди включаються фахівці, що займаються безпосередньо підготовкою експертизи, збором і обробкою експертних суджень.

    Робоча група формує експертну комісію для проведення експертизи. До складу експертної комісії включаються науковці, компетентні у відповідній галузі; виробничники, які добре знають практичні і конкретні питання впровадження НТП на галузевих виробництвах, а також представники адміністрації, які мають великий досвід організації розробки і впровадження результатів НТП.

    Щоб уникнути зниження точності і надійності експертизи, в експертну групу потрібно ввести не менше 5 осіб. Відомий досвід проведення експертних опитувань подібного роду показує, що оптимальним слід вважати склад комісії з 8-10 експертів.

    При складанні списку експертів слід враховувати також і представництво групи. Бажано, щоб експертна група складалася з представників декількох наукових напрямків по предметної області експертизи.

    Один з експертів призначається (або вибирається) керівником експертної комісії. Він є також членом робочої групи. Через нього здійснюється зв'язок і взаємодія між робочою групою і експертною комісією.

    Робоча група складає підлягає експертизі вихідний список оцінюваних об'єктів, який лунає експертам для аналізу з описом цілей експертизи.

    Робота експертів над вихідним списком полягає в тому, що вони виключають непотрібні або додають відсутні, в списку об'єкти, тобто встановлюють список базових об'єктів (базовий список).

    Базові списки аналізуються робочою групою і потім складається остаточний список об'єктів за наступним правилом: якщо більше половини всіх експертів виключили (додали) об'єкт, то він не входить (входить) в остаточний список.

    Формування критеріїв оцінки проектів. В основі методичного підходу до вирішення цього завдання пролягає метод так званого аналітичного ієрархічного виду з наданням ваг значимості критеріям на різних рівнях ієрархії. Подібна структура дозволяє на кожному рівні і в кожній групі близьких за змістом критеріїв проводити відбір, ранжування і оцінювати їх пріоритетність.

    Що стосується аналізованої завданню структура системи критеріїв є дворівневе ієрархічне дерево, на верхньому рівні якого знаходяться групи однотипних критеріїв, що відповідають різним цілям оцінювання. Нижній рівень дерева визначають безпосередньо самі критерії, за якими експерти оцінюють

    проекти. Критеріальною-цільова система оцінювання формується робоча група.

    За кожним критерієм розроблена якісна бальна шкала з невеликого числа градацій. Це, з одного боку, полегшує роботу експерта, а з іншого, - підвищує надійність і обгрунтованість отриманих оцінок.

    Для кращої диференціації при відборі проектів бажано визначити відносну важливість або пріоритетність критеріїв як на рівні груп, так і окремо всередині кожної групи. З цією метою застосовується розроблена інформаційна технологія експертних досліджень, що спирається на математичний апарат аналізу і обробки суджень експерта, який буде розглянуто нижче.

    Необхідним етапом формалізації процесу вироблення оптимальної стратегії науково-технічного розвитку є ідентифікація критеріальною-цільової структури управління. Така ідентифікація можлива тільки в рамках її найважливішого розділу - теорії цілеспрямованих ієрархічних систем. Відповідно до цієї теорії, системний підхід передбачає якісну структуризацію оптимізаційної задачі шляхом побудови так званого «дерева цілей». Для цього необхідно з'ясувати, що розуміє особа, яка приймає рішення (ЛІР), під глобальними цілями, а також які подцели і критерії забезпечать необхідну формалізацію кінцевих цілей. У аналізованої проблематики кінцеві цілі повинні припускати створення і подальше впровадження нововведень, а це, в свою чергу, визначає проміжні цілі за напрямками науково-технічного розвитку відповідних організаціям і підприємствам.

    Оскільки цілі дають якісне опис перевагу (оптимальності), потрібно знайти відповідні їм критерії, які висловлювали б це опис в кількісному вигляді, тобто були вимірні в фізичних шкалах, або оцінені експертами. У теорії систем цілі і критерії об'єднуються в систему на основі завдання їх ієрархії. Для цього використовується поняття конкретизації - підрозділи, розбиття цілі на підцілі нижчого рівня, що сприяє роз'ясненню сенсу цілей вищого рівня [1]. Так будується ієрархія «зверху вниз» - агломеративного дерево цілей. Спочатку визначаються нові вимоги до діяльності галузі (регіону і т.п.) в перспективному періоді з переліком критеріїв оцінки діяльності галузі. Далі встановлюється рівень деталізації цілей науково-технічного розвитку. Наприклад: галузь в цілому; основні комплексні технології для виробництва однотипної продукції; елементи комплексних технологій; складові частини цих елементів, включаючи технологію, обладнання та кадри [2].

    Важливо, щоб при розподілі цілей на підцілі кожен з аспектів мети більш високого рівня було враховано в одній з подцелей. При цьому треба запобігти розростання дерева, як по горизонталі, так і по вертикалі.

    Процес побудови ієрархічної системи може відбуватися не єдиним чином. Однак в будь-якому випадку, слідуючи принципам ієрархічності і конкретизації, система повинна бути побудована так, щоб отриманий на нижньому рівні набір критеріїв відповідав наступним умовам:

    • повнота - охоплення всіх важливих сторін і аспектів проблеми;

    • інформативність - корисність укладеної в них інформації для аналізу;

    • розкладність - можливість спрощення процесу оцінювання результатів, тобто незалежного розгляду окремих цілей;

    • ненадмірність - відсутність дублювання при обліку цілей.

    Після того, як структуровані цілі і критерії оцінки науково-технічного розвитку, необхідно встановити їх пріоритетність, що є другим етапом даної задачі ідентифікації. При цьому на кожному рівні ієрархії пріоритетність або порівняльна важливість елементів щодо елементів більш високого рівня повинна бути виражена в кількісній формі - у вигляді вагових коефіцієнтів або терезів.

    Таким чином, призначення методики полягає в використанні експертних даних для побудови критеріально-цільової структури і обчислення ваг пріоритетності критеріїв. Отримані ваги надалі використовуються при моделюванні оптимального вибору перспективних комплексних технологій.

    Ідентифікація критеріальною-цільової структури науково-технічного розвитку соціально-економічних систем передбачає істотне використання інформації, одержуваної від висококваліфікованих фахівців - експертів.

    Більш неоднозначна ситуація має місце при розгляді методів експертного опитування для визначення ваг пріоритетності цілей і критеріїв в задачах прийняття рішень, що є предметом досліджень теорії експертних оцінок.

    Математична теорія експертних оцінок є досить молодим науковим напрямком. За останні два десятиліття експертні методи отримали бурхливий розвиток як в теоретичному, так і в прикладному аспектах. Відбувається розробка понятійного апарату, формування стрункої логічної схеми отримання, аналізу та обробки експертної інформації.

    У ряді методів вважається, що експерт може безпосередньо порівняти об'єкти і виставляти їм чисельні оцінки або, наприклад, може оцінити інтервал між рівнями перевагу об'єктів і за-

    тим попарно порівнювати ці інтервали. В інтерактивній процедурі експерт в процесі діалогу повинен визначити, чи задовольняють його обчислені на ЕОМ ваги і, якщо немає, скорегувати керуючий параметр моделі, що є відношенням максимального і мінімального ваг.

    Існує ряд поширених методів, в яких необгрунтовано використовуються арифметичні операції над експертними оцінками щодо шкал, в яких вони виміряні [3]. Прикладом може служити так званий метод середніх рангів, в якому ранги об'єктів, призначені групою експертів, усереднюються і отримані величини вважаються шуканими вагами, хоча відомо, що в порядкових шкалах операція усереднення некоректна.

    Існують підходи, в яких вагові коефіцієнти визначаються на основі інформації про парних порівняннях багатовимірних об'єктів і їх критеріальних оцінках [4-6]. Однак, по-перше, такі процедури потребують вирішення складних оптимізаційних задач, і, по-друге, отримані ваги можуть бути використані тільки для даного конкретного безлічі об'єктів, що знижує їх практичну цінність.

    Велику групу становлять методи, засновані на ймовірнісної трактуванні експертних суджень. Тут передбачається, що судження можуть змінюватися під дією випадкових факторів [7]. Звідси випливає, що оцінка важливості об'єкта також є випадковою величиною, а експерт оцінює кожну її реалізацію. Оскільки від одного експерта не можна отримати набір суджень при незалежних повторних випробуваннях, то необхідні частоти знаходяться в результаті опитування групи експертів, яку вважають однорідною [7]. Таким чином, статистичні моделі вимагають, як мінімум, наявність великих експертних груп і перевірки їх однорідності.

    Для розглянутої тут завдання найбільш відомими і розробленими є процедури, в основі яких лежить модель Терстоуна [4, 8], а також деякі інші методи, які використовують в якості вихідної інформації, наприклад, матриці частот переваг експертів [9].

    Аналіз існуючих методів експертних оцінок призводить до необхідності вироблення іншого концептуального погляду на характер експертної інформації. Слід виходити з того, що компетентний експерт проводить оцінку можливих варіантів переваг в достатній мірі суб'єктивно і висловлює свої судження продумано. Фактори, які впливають на його думку, носять, головним чином, невипадковий характер. Вони мають природу нестатистичні властивості, пов'язану з розмитістю понять і категорій людського мислення і багатозначністю мови.

    Говорити про розподіл ймовірностей індивідуальних суджень немає достатніх підстав, так як немає можливості оцінити воспро-

    ізводімость експертних оцінок і їх статистичну стійкість. Отже, в умовах, що не забезпечують передумови ймовірнісної концепції, можна застосовувати більш адекватний математичний апарат, що спирається на ідеї теорії нечітких множин [10]. Поняття нечіткої множини і лінгвістичної змінної дозволяють досліднику моделювати невизначеності, що не мають стохастичною природи (пов'язані, скажімо, з помилками вимірювання). Зокрема, для опису висловлювань експерта зручно використовувати терми відповідних лінгвістичних змінних, які, в свою чергу, формалізуються через функції приналежності нечітких множин [10]. В цьому випадку обробка і аналіз експертних оцінок зводиться до оперування з функціями приналежності, для чого є розвинений математичний апарат.

    Позначений підхід узгоджується з важко оспорюваної точкою зору, згідно з якою людині значно легше давати якісну вербальну інформацію, ніж кількісні оцінки. Крім того, якісні судження, на думку більшості психологів, є стійкими до модифікацій структури цілей експерта. Таким чином, якісні оцінки значно надійніші, ніж кількісні, хоча і менш інформативні. Звідси випливає важливий висновок: якщо отримується від експертів інформація має якісний характер, то і знайдені ваги пріоритетності також слід вважати наближеними, так як після обробки нечіткої вербальної інформації можна отримати точні кількісні результати.

    Такий підхід до вирішення обговорюваної проблеми ідентифікації цільової структури лежить в основі розробки методики експертного попиту і спеціальних експертних процедур аналізу та обробки експертних оцінок.

    Методика побудови критеріально-цільової структури. Першим етапом ідентифікації критеріальною-цільової структури науково-технічного розвитку соціально-економічної системи є побудова дерева цілей - агломеративного ієрархічної структури цілей, підцілей та критеріїв діяльності системи.

    Аналіз ситуації на основі узагальнення відомих підходів дозволяє запропонувати досить просту процедуру вирішення цього завдання. Наведемо опис методики роботи з експертами.

    Реалізуємо підготовчий етап експертизи. З цією метою утворюється ініціативна група з проведення експертного опитування, в яку можуть входити ЛПР - керівник робіт, відповідальний за вирішення проблеми; кілька експертів, обраних за рекомендацією ЛПР; і один або кілька людей, яких умовно назвемо аналітиками. Завдання останніх - підготовка і проведення експертизи, а також її математичне забезпечення (аналіз і обробка інформації).

    Ініціативна група визначає глобальні цілі дослідження і основні чинники, що характеризують ступінь досягнення цієї мети. Далі група виробляє, так звані базові або початкові списки елементів на кожному рівні ієрархії створюваного дерева цілей. При цьому зв'язку між елементами різних рівнів виявляються «зверху-вниз».

    Оскільки базові списки можуть бути місцями неповними, а місцями - надмірними, наступний етап експертизи полягає у формуванні розширеної експертної комісії, в яку в індивідуальному порядку передаються підготовлені списки.

    Робота експерта зі списками полягає в тому, що він на свій розсуд може додати або виключити якісь елементи в списках, після чого скориговані списки передаються аналітикам для узагальнення і аналізу.

    З огляду на те, що неузгодженість суджень експертів неминуча, для вироблення і прийняття остаточного рішення доцільно зібрати всіх експертів за «круглим столом», щоб обговорити всі спірні моменти.

    Можлива ситуація, коли за один тур обговорення не вдається прийти до єдиної думки з якихось питань. Тому слід провести повторні тури по методу «Дельфі» [4], поки не буде знайдено взаємоприйнятне рішення. Як правило, певні труднощі з узгодженням думок виникають на нижніх рівнях дерева (критерії та показники). У зв'язку з цим тут зазвичай має місце надмірність елементів. Тому потрібно провести дослідження списків на надмірність за допомогою спеціальних математичних методів візуалізації даних і зниження розмірності. Ці дослідження необхідні ще й тому, що в основі реалізації другого етапу ідентифікації критеріальною-цільовий структури - визначенні ваг пріоритетності цілей і критеріїв - лежить метод парних порівнянь. Трудовитрати експертів при дослідженні даного методу істотно залежать від кількості оцінюваних об'єктів.

    Якщо зібрати експертів за «круглим столом» не представляється можливим, то для формування остаточних списків слід використовувати мажоритарну правило відбору, наприклад, правило простої більшості: елемент залишається або виключається зі списку, якщо за це «проголосувало» більше половини експертів, що входять в комісію. У складних випадках слід залишити спірні елементи в списку і застосувати методи зниження розмірності.

    Їх застосування є бажаним (хоча і необов'язковим) етапом аналізу критеріальною-цільової структури. Незважаючи на те, що застосування методів зниження розмірності виходить за рамки теми цієї роботи і є самостійною складною проблемою, для повноти картини дамо короткий уявлення про них.

    Мета процедур зниження розмірності - скорочення надмірності числа критеріїв за рахунок виділення найбільш інформативних критеріїв на базі статистичного аналізу їх структурних зв'язків.

    Методи зниження розмірності простору критеріїв засновані на переході від великого числа до вихідних критеріїв / ь ..., / к до меншого числа інформативних змінних уь ..., ут, т<к. В якості вихідної інформації приймається матриця вимірювань критеріїв в експериментальних точках.

    У загальному випадку задача зниження розмірності ставиться як оптимізаційна: необхідно визначити такий набір змінних

    у = (у1, ..., ут) з класу допустимих перетворень критеріїв

    / = (/1,...,/т), при якому досягає максимуму обрана міра інформативності 1т (у).

    Конкретний вибір заходи 1т і класу допустимих перетворень призводить до різних методів зниження розмірності методом факторного аналізу, головних компонент, багатовимірного шкалювання і дискримінантного аналізу. Однак зниження розмірності критеріального простору в цих методах відбувається не за рахунок виключення частини критеріїв з вихідного набору /, а за рахунок використання меншої кількості нових латентних змінних у, які є функціями від / і погано піддаються інтерпретації.

    Тому доцільно використовувати метод, що дозволяє знизити розмірність, залишаючись в тій же системі критеріїв, тобто перейти до системи /1,...,/ш, найкращим чином прогнозують залишилися (к-т) критеріїв. Така система критеріїв виходить в результаті рішення оптимізаційної задачі / т ^ шах.

    Тут мірою інформації служить функціонал

    де КЩ - множинний коефіцієнт кореляції, що характеризує тісноту зв'язку / щ-го критерію з сукупністю / а,., / т-

    Таким чином, процедура вибору інформативних критеріїв дозволяє знизити розмірність дерева цілей і застосовувати на другому етапі ідентифікації метод парних порівнянь.

    Узагальнений алгоритм експертного опитування. Вже згадана завдання визначення пріоритетності цілей і критеріїв у вигляді терезів на теорії експертних оцінок відноситься до класу задач кількісного оцінювання варіантів. Аналіз літератури з цього питання дозволив виділити три основні етапи реалізації експертизи подібного роду. ка-

    щ = т + 1

    ждий з етапів є самостійною завдання. Вирішення цих завдань можливе лише у взаємозв'язку і нерозривно пов'язане з тим методом і тими передумовами, які дослідник вибирає для вирішення основного завдання експертизи.

    Наведемо узагальнений алгоритм проведення експертизи:

    • отримання вихідної інформації від експертів;

    • аналіз прийнятності (несуперечності) суджень експерта;

    • агрегування експертних оцінок і отримання результуючих ваг пріоритетності.

    Отримання експертної інформації. За способами отримання експертної інформації можна виділити дві основні групи методів - це методи безпосереднього оцінювання пріоритетності об'єктів в деякій апріорно заданої числової або бальною шкалою і методи, які використовують інформацію про перевагу у вигляді парних порівнянь.

    Між «вихідними» і «вхідними» даними експертизи, іншими словами, між видом остаточних оцінок, і тими, які безпосередньо запитуються у експерта, немає взаємооднозначної відповідності. Так, грунтуючись на частотах відповідей типу «краще-гірше», в яких відбивається лише порядок переваги, можна будувати кількісні оцінки перевагу. Навпаки, нерідкі опитування, коли проставляються експертами бали, тобто деякі числа безпосередньо годяться лише для ранжирування об'єктів. В експертизі використовуються також вербальні шкали, парні і множинні порівняння, але всі вони, в кінцевому рахунку, спрямовані на оцінювання одного з перерахованих типів.

    Якщо шкала заздалегідь не задана, єдині питання, які не пов'язані з сильними припущеннями про здатність експертів до самостійної квантификации своїх суб'єктивних уявлень, - це питання про порядок переваги. Порядок може встановлюватися як на різних подмножествах вихідного безлічі об'єктів (парні і множинні порівняння, ранжування), так і на комбінації об'єктів (порівняння «різниць», «сум», лотерей). Залежно від обраного варіанту отримуємо конкретний тип даних, які запитуються у експерта. Оцінки перевагу, розраховані за цими даними, можуть бути порядковими (ранги), кількісними або чимось проміжним (наприклад, наближено-кількісними). З формальної точки зору вони утворюють якусь апостеріорну шкалу, в якій виміряні об'єкти.

    Є два принципово різних способу для отримання кількісних оцінок на основі «порядкової» інформації (за відповідями типу «краще-гірше»): запитувати якомога повніші відомості про переваги кожного експерта і кваліфікувати або аналізувати відносно прості дані, але по групі в цілому, вважаючи, що за частотами «перемог» і «поразок» об'єктів стоять невідомі значення їх переваги.

    Для визначення інтенсивності переваги найчастіше використовують бали. При відсутності апріорної шкали це може мати два пояснення. Перше - кожен експерт має свою суб'єктивну шкалу, в якій і оцінюються об'єкти. Таке припущення, правда, виглядає дещо фантастично. Більш правдоподібно друге - бали розглядаються як простий спосіб отримання поглибленої інформації про переваги. В цьому випадку знову виникає проблема перевірки «достатності» відповідної інформації для прібліженноколічественного уявлення переваг. Оскільки в явному вигляді вона нам недоступна (вона «захована» в призначені бали), то вирішити цю проблему неможливо. Крім того, в порівнянні з методами попередньої групи, тут з'являється такий сильний джерело спотворень, як «самоквантіфікація»: експерт повинен сам підібрати числа, що відображають його уявлення про якість об'єктів, і навряд чи він буває точним. Можна вказати і на деформації, пов'язані з недостатнім числом градацій в запропонованій шкалі. Таким чином, хоча бали завжди несуть багатшу інформацію про переваги ніж «порядкові» дані, вони ж можуть містити дуже суттєві викривлення. Бали не залишають можливості перевіряти міру «кількісно-сті» переваг, і в тих завданнях оцінювання, про які йде мова, лише з певною натяжкою можуть оброблятися як числа.

    Проблема балів обтяжується також необхідністю поєднання оцінок різних експертів. Якщо два експерта мають повністю збігаються переваги, це ще не означає, що вони використовуються для їх вираження однаковими оцінками шкали і кожному об'єкту будуть приписані одні і ті ж бали. Існуючі тут технічні прийоми (фіксація оцінки кращого об'єкта і т.д.) не вирішують проблеми в цілому.

    Звісно ж, що більш надійні, контрольовані результати дає підхід, коли для впорядкування (вибору) і кількісної оцінки використовуються дані тільки про порядок переваги. Як уже зазначалося, для практичних експертиз більше підходять відносно прості форми: індивідуальний вибір «кращих» об'єктів, ранжування, парні і множинні порівняння. «Платою» за об'єднання інформації є те, що в окремих випадках кількісні оцінки, розраховані за допомогою «частотних» методів, лише приблизно відображають суб'єктивний характер переваг.

    Індивідуальний вибір одного або декількох кращих об'єктів, навпаки, простий для експерта, але дає бідну інформацію про його переваги. Це знижує надійність результату.

    Найбільш придатними для даної задачі експертного оцінювання є парні порівняння. Перевага парних порівнянь - в більшій свободі для вираження інтересів, простоті самої процедури оцінювання з точки зору експерта, особливо в ситуа-

    ції поганий «розрізнення» об'єктів. Очевидно, що експерту легше порівнювати пари об'єктів, ніж «розмістити» на числовий шкалою відразу все безліч об'єктів. Відзначимо ще два важливих переваги цього способу. По-перше, певна «надмірність» одержуваної інформації дозволяє провести аналіз суджень експерта і тим самим ефективно вирішити задачу експертизи. Недоліком цієї форми оцінювання є порівняльна трудомісткість процедури, що вимагає для впорядкування п об'єктів проведення п (п-1) / 2 порівнянь. На практиці рекомендується застосовувати парні порівняння не більше ніж на 10-15 об'єктів.

    Методи, засновані на парних порівняннях, отримали велике поширення і досить часто використовуються для знаходження ваг пріоритетності. При цьому від експерта фактично потрібно кількісна інформація про перевагу. З точки зору теорії вимірювань, якісні оцінки типу «краще-гірше», як зазначалося, не дозволяють провести впорядкування об'єктів на числовий шкалою.

    Перевірка спроможності індивідуальних переваг. Експертне оцінювання проводиться тоді, коли об'єктивне вимір неможливо або недоцільно. Проте, в традиційному уявленні перевірка спроможності індивідуальної відповіді означає його порівняння з певним еталоном - «істинної» оцінкою або її наближенням. Пропонується, наприклад, метод порівняння з групової середньої, яка в цьому випадку приймається за еталон. Для того, щоб усереднена думка відповідало «істинного», основна частина експертів повинна давати правильні відповіді. Перевірити, чи так це насправді в конкретній експертизі, практично неможливо, а провести попереднє тестування вдається далеко не завжди. Взагалі, надія на використання «істинної» або близькою до неї оцінки в аналізі експертних даних, який повинен виявити цю оцінку, навряд чи виправдані. Згадана і аналогічні їй ідеї застосовні швидше для незначної корекції вже відомого результату. Більш того, в численних експертизах, призначених для знаходження розумного компромісу між свідомо незбіжними точками зору, саме поняття істинності або еталона втрачає сенс.

    Даний підхід є актуальним не тільки для нечітко поставлених експертних завдань, які складають більшість в соціології та економіці, а й для задач узгодження інтересів, де він дозволяє виділити незрілі, «хаотичні» переваги. Вперше він був запропонований С. Кендаллом і Б. Смітом для перевірки можливості суворого впорядкування об'єктів, потім поширений на завдання угруповання і несуворого ранжирування [11]. У методі, запропонованому С. Кендаллом і Б. Смітом, для визначення внутрішньої узгодженості парних порівнянь в якості запобіжного несуперечності суджень експерта використовується число циклічних (нетранзитивність) трійок елементів в матриці.

    У загальному випадку схема побудови критерію індивідуальної узгодженості експерта має наступний вигляд:

    • вибір міри узгодженості експертних оцінок;

    • завдання «еталонної» моделі освіти суперечливих суджень;

    • розрахунок розподілів заходи для прийнятої моделі при деяких припущеннях про розподіл модельних параметрів.

    У переважній більшості робіт в якості «еталонної» моделі розглядаються випадкові судження експерта. Тоді аналіз узгодженості полягає в перевірці гіпотези про випадковий формуванні експертних оцінок. Як відповідної статистики, для якої будуються розподілу, виступає обрана міра узгодженості.

    Перевірка групової узгодженості. Головна мета експертиз -одержання «об'єктивної» інформації про варіанти, причому така інформація не розглядається як директивна. Початкове угода складається в тому, щоб в якості «об'єктивної» використовувати оцінку, яка отримана від групи експертів як рівнодіюча їх індивідуальних думок. При цьому передбачається, що розумний компроміс між різними точками зору можна досягти. У ситуації узгодження різних інтересів експертні методи дають можливість побудувати «проект» угоди, який, в даному разі, найбільш близький до вихідних позицій всіх учасників.

    Необхідність отримання результату, узагальнюючого відповіді декількох теоретично рівноправних експертів, робить задачу узгодження думок центральної як для кожного конкретного опитування, так і для направлення в цілому.

    Існують дві можливості узгодження: шляхом послідовного зближення вихідних точок зору або застосування нікого формального правила, що дає «справедливий» компроміс, коли думки різняться фіксовані. Так як в реальності повна єдність поглядів - швидше виняток, ніж закономірність, використання формальних методів часто є вимушеним заходом, на яку йдуть, коли обговорення питання заходить в глухий кут. Найпростіший приклад - прийняття рішення більшістю голосів. У той же час у багатьох експертизах обмін думками між учасниками не передбачено (дорого, марно і т.д.), і формальні методи стають основним інструментом пошуку рішень. При цьому навантаження на експертів знижується, але зростає трудомісткість збору і обробки даних.

    Проміжне становище між неформальним обговоренням і формальним узгодженням (агрегированием) займають процедури, які можна назвати формалізованими. Вони розраховані на поступове зближення думок, але при цьому регламентуються контакти між експертами і тип експертної інформації. Коротка характери-

    стіки цих процедур дана нижче. Відзначимо основні проблеми, пов'язані з агрегування переваг.

    Основний недолік агрегування полягає в використанні щодо бідної інформації про варіанти. Більш складні міркування і мотиви, якими керується експерт, залишаються «за кадром». У неформальному обговоренні вони, навпаки, впливають на загальне рішення. Інша проблема, пов'язана з формальним узгодженням - велике різноманіття наявних методів і, як наслідок, неєдиний результату. Зазвичай рекомендується підтверджувати отримане рішення проведенням альтернативних розрахунків. Однак в тому випадку, коли рішення змінюється разом з методом, вибір залишається за організаторами експертизи або самими експертами. Ці складності можна розглядати як плату за «вольове» узгодження.

    Зі змістовної точки зору істотно, щоб будь-яка формально побудована рівнодіюча висловлювала те спільне, що міститься в отриманих відповідях. Зрозуміло, що цього можна досягти тільки за умови достатньої узгодженості (близькості) думок в групі. Якщо вони суперечливі, то агрегування перетворюється в безглузду усереднення. Отже, в кожному конкретному опитуванні має вирішуватися питання про правомірність використання формальної результуючої як «представника» групи, тобто повинна перевірятися узгодженість відповідей.

    Розглянемо методи опитування, в яких експерт не тільки вказує свої оцінки, але і може коригувати їх у взаємодії з іншими експертами. Виділяються два основних типи таких процедур опитування [11]:

    • процедури з особистими контактами між експертами;

    • процедури без особистих контактів, але зі зворотним зв'язком.

    До першого типу відносяться традиційна «дискусія за круглим столом». В ході дискусії експерт може неодноразово викликати судження, враховуючи точки зору інших учасників опитування. За останні 40 років з'явилося лише кілька істотно нових пропозицій, розвиваючих вихідну ідею дискусії. До них відносяться, зокрема, метод мозкової атаки і процедура номінальної групи. Метод мозкової атаки полягає в проведенні спільного засідання експертів за певними правилами, спрямованим на створення атмосфери вільного висловлювання думок. Принциповим є відмова експертів від критичної оцінки висловлених під час засідання суджень. Процедура, як правило, застосовується в ситуаціях, що вимагають пошуку нестандартних рішень. У методі номінальної групи учасники незалежно дають свої оцінки, потім слід їх загальне обговорення, після чого експерти знову проставляють оцінки і т. Д.

    Хоча в практиці експертиз, особливо вітчизняних, широко застосовуються процедури з прямими контактами між експертами, пріоритет в даний час належить процедурам другого типу. вони

    глибше опрацьовані в науковому плані і активно застосовуються за кордоном. Ці методи ведуть свою історію від широко відомої процедури «Дельфі» [11]. Вона полягає в наступному. Експертам пред'являють оцінюваний об'єкт (або об'єкти). У першому турі кожен експерт дає об'єкту числову оцінку. Після цього дослідник підраховує і повідомляє всім експертам середню оцінку (або медіану) і показник розкиду оцінок (наприклад, інтервал між крайніми квартилями). Експертів, що дали крайні оцінки просять обгрунтувати свою думку. Ці обґрунтування повідомляються (при збереженні анонімності) всім експертам, після чого аналогічно проводиться другий тур опитування. Ітерації закінчуються тоді, коли, на думку дослідника, буде досягнута достатня близькість оцінки експертів. Цей вихідний варіант процедури ( «стандартний Дельфі») спричинив за собою безліч модифікацій. Так, особливість методу «Дельфі П» полягає в тому, що експерт в кожному турі дає вищу, середню і нижчу оцінку: відповідно, по зворотного зв'язку передаються медіани цих трьох оцінок. Метод «спрощений Дельфі» представляє компроміс між «Дельфі» і дискусією. Експерти сидять «за круглим столом», але усно виступають лише ті, які представили крайні оцінки. У методі Форда пропонується більш витончена схема, спрямована на зменшення конформізму. У першому турі експерт повідомляє верхню і нижню межі, між якими, на його думку, лежить точна оцінка. Підраховуються середні вища і нижча оцінки. Середина інтервалів між ними повідомляється експертам, і їх просять вказати, вище або нижче її лежить точна оцінка. «Більшістю голосів» вибирається одна з областей, наприклад, верхня. У наступному турі середина цій галузі пред'являється експертам з аналогічним питанням і т.д. Опитування закінчується при досягненні досить малого інтервалу.

    Величезний досвід використання процедури «Дельфі», широко застосовується з кінця 60-х років, переконує, що повідомлення усередненої оцінки часто надає невиправдано сильно тиснуть на думки експертів. Адже експерт потрапляє в ситуацію відомих психологічних дослідів по виявленню конформізму. Дана обставина привела до критики «Дельфі» і до розробки нових процедур опитування. У цих процедурах учасник опитування з кожним кроком дізнається не середню оцінку, а думка одного зі своїх колег. Порівнюються два рівноправних судження, а не приватна думка з думкою колективу. Перейдемо до опису таких методів.

    Л.А. Панкової і М.В. Шнейдерманом запропонована так звана послідовна процедура опитування. На першому турі випадково вибирається один з експертів. Він дає оцінку об'єкту і окремо від неї текст, що містить відомі експерту відомості і думки про різні особливості оцінюваного об'єкта, які експерт бере до уваги при винесення оцінки. У другому турі та ж інформація посту-

    Пает від другого випадково обраного експерта. Ці два експерта знайомляться з текстами (але не оцінками) один одного, після чого повідомляють досліднику свої скориговані оцінки. У третьому турі перші два експерта отримують текст третього експерта, а він - їх тексти, і оцінки знову коригуються і т. Д. Цей метод має характерне правило зупинки, принципово відмінне від використовуваного в «Дель-фе». Критерієм закінчення опитування є не зближення, а стабілізація думок експертів.

    У процедурі «якісної зворотного зв'язку» С. Преса в першому турі всі експерти одночасно дають оцінки і докладні текстові обґрунтування своїх оцінок. Потім складається і передається кожному експерту вільна інформація, що підсумовує обґрунтування всіх експертів. У другому турі знову кожен експерт дає оцінку і її обгрунтування. Критерієм зупинки є стабілізація індивідуальних оцінок.

    С.Б. Котляром запропонована процедура, згідно з якою в кожному турі експерти випадково розбиваються на пари, і обмінюються оцінками. Правило зупинки не вказано, але, мабуть, опитування закінчується при достатньому зближенні оцінок.

    Наведений неповний перелік процедур проведення «динамічних» експертних опитувань дозволяє виділити основні ознаки, за якими ці процедури розрізняються. До таких ознак належать спосіб організації зворотного зв'язку, вид переданої по ній інформації і правило зупинення процедури.

    Наведемо ті висновки, які знайшли підтвердження в більшості досліджень.

    • В цілому в описаних процедурах ітерації підвищують точність відповідей, причому в цьому відношенні між процедурами немає суттєвої різниці. Однак більшу точність дає зворотний зв'язок, що передбачає одночасну передачу і експертних оцінок і їх обгрунтувань.

    • Ефект зближення оцінок найсильніше проявляється в «Дель-фі», проте досягнення згоди в цьому випадку не гарантує точності підсумкових оцінок.

    • Стабілізація оцінок є більш надійним критерієм зупинки, ніж їх зближення.

    • Суб'єктивна задоволеність експерта тим вище, чим інтенсивніше в процесі опитування його взаємодія з іншими експертами. У той же час, точність підсумкової оцінки не завжди позитивно корелює з задоволеністю експертів.

    • По трудомісткості і витрат часу кращої є процедура індивідуального зворотного зв'язку.

    Відомі в літературі формальні методи визначення групової узгодженості найбільш розроблені для перевірки експертних суж-

    дений, заданих у вигляді неметрізованних парних порівнянь і ранжування. В першу чергу до них відноситься коефіцієнт конкордації С. Кендалла, властивості якого досить повно досліджені в [9]. Є також цілий ряд аналогічних заходів узгодження, заснованих, головним чином, на обчисленні результуючої матриці переваг Р = (Р у), де Ру = Шу / т, ту - число експертів, які вважають г-й об'єкт краще у-го (або приписали г -му об'єкту ранг у), т - загальна кількість експертів.

    Однак для розгляду завдання визначення ваг пріоритетності такі заходи груповий узгодженості виявляються малопридатними, так як при їх використанні втрачається містить в парних порівняннях інформація про інтенсивність переваг, що призводить до занадто грубими оцінками узгодженості.

    Схема аналізу групової узгодженості аналогічна схемі перевірки несуперечності відповідей експерта, яка описана вище. Як «еталонної» моделі неузгодженості експертів використовується модель випадкового поля висловлених точок зору експертів з рівномірним розподілом. Перевірка узгодженості експертної групи полягає в прийнятті або відхиленні статистичної гіпотези про випадковий набір отриманих суджень. З цією метою необхідно провести статистичне моделювання обраної міри і узгодженості, а також побудувати відповідний розподіл цього заходу.

    Агрегування експертних переваг. Завдання упорядкування або кількісної оцінки об'єктів за даними у вигляді набору індивідуальних ранжировок або матриць парних порівнянь становить один з останніх етапів узагальненого алгоритму проведення експертизи. Обговоримо також деякі елементи теорії групового вибору, предмет якої - аналіз і синтез різних формальних правил агрегування.

    Припустимо, що є кінцеве безліч об'єктів х = (хь ..., хп); кожен їх експертів попарно порівнює всі об'єкти і впорядковує їх за перевагою. На підставі його відповідей заповнюється матриця парних порівнянь Ак = (АУК), (до - номер експерта), елементи якої визначаються наступним чином: аук = 0 при / '= /'. В разі

    1, якщо експерт вважає за краще об'єкт ХГ об'єкту Ху; ак _ |< 0, якщо експерт вважає за краще об'єкт Ху об'єкту ХГ;

    3 1/2, якщо експерт вважає ХГ і Ху рівноцінними.

    Парні порівняння є більш загальним типом аналізу експертної інформації ніж упорядкування. Дійсно, якщо задано впорядкування, то визначений результат парного порівняння будь-яких двох об'єктів. З іншого боку, для безлічі парних порівнянь, що визначається упо-

    рядоченіем, завжди виконується така умова: якщо об'єкт xi перевага об'єкту xJ|, а Xj перевага xl, то xi перевага xl (це властивість називається транзитивним, а якщо, навпаки, xl перевага xi, то кажучи, що xi, Xj і xl утворюють цикл вподобання). Для парних порівнянь загального вигляду виконання цієї умови, взагалі кажучи, не передбачається. Матриці парних порівнянь будемо розглядати як вихідні дані для побудови підсумкового упорядкування об'єктів.

    П

    Введемо матрицю A = (а.) П: A = Е Ak. Елемент матриці А:

    k = 1

    п

    а = V а * дорівнює кількості експертів, які віддають перевагу об'єкт xi об'єк. ? -1 а

    * = 1

    єкту х, плюс половина кількості експертів, які вважають X, і х. рівноцінними. Користуючись спортивної аналогією, часто корисною при аналізі експертних оцінок, можна сказати, що а. є загальна кількість «очок», набраних об'єктом xi проти об'єкта х.

    Якщо в впорядкованості по перевагу немає рівноцінних об'єктів (таке упорядкування називається строгим), будемо іноді представляти його ранжуванням тобто функцією г = г (х), яка самому кращого об'єкту ставить у відповідність число (ранг) 1, наступного - ранг 2 і т.д. Якщо г = г (х,)<г = г (ХД будемо говорити, що в ранжировке (і в упорядкуванні, яке вона представляє) об'єкт X, стоїть вище, ніж х. (або XI перевершує X. в г).

    Розглянемо декілька поширених методів впорядкування об'єктів за результатами парних порівнянь. Найпростіший метод упорядкування полягає в наступному. Для кожного об'єкта X, обчислюється сума результатів всіх його порівнянь з іншими об'єктами:

    п п т ___

    5 = 1 а. = ЗЗ ак,, = 1, п, і об'єкти упорядковуються по зменш-

    . = 1. = 1 * = 1

    нию величини 51. Цей метод називається методом малих сум.

    Якщо думки експертів замінити колами спортивного турніру, то метод сум збігається зі стандартною процедурою розподілу місць в ігрових видах спорту.

    Алгоритм малих сум має свою аксіоматику. Для деяких моделей парних порівнянь він може бути отриманий методом максимальної правдоподібності або методом найменших квадратів і володіє багатьма іншими властивостями.

    У методі малих сум показник 5, -, що визначає місце об'єкта XI в підсумковому впорядкування, залежить від результатів всіх порівнянь X ,. У роботі 1785 р Ж. А. Кондросье запропонував визначати взаємне положення будь-яких двох об'єктів X, і X. в колективному впорядкування в залежності від результатів їх порівнянь один з одним: X, ставиться

    вище, ніж X, якщо більшість індивідуумів воліють XІ об'єкту Ху. У наших позначеннях: а ^>а ^ тоді г (х,)<г = г (ху).

    Однак, такий метод суперечливий навіть в разі, коли думки експертів є впорядкування об'єктів.

    Оцінювання проектів. Оцінювання проектів відбувається за допомогою анонімного анкетування по всій системі критеріїв. Як оцінок беруться бальні градації шкал відповідних критеріїв. Після опитування отримані дані представляють собою набір (по числу експертів) таблиць типу «проекти-критерії», які підлягають математичній обробці.

    Метою обробки є отримання якоїсь узгодженої узагальненої оцінки проекту по всій експертній групі. Технологія експертиз передбачає аналіз узгодженості експертної групи, так як результуюча оцінка має сенс тільки при наявності достатньої близькості думок членів експертної комісії. В іншому випадку потрібен більш детальний аналіз точок зору експертів на проблему шляхом визначення характеру розшарування групи. Так, усередині групи може виявитися представницька високосогласованная підгрупа експертів, на думку якої і слід спиратися. Якщо такої підгрупи немає, то поставлена ​​перед експертизою завдання не може бути вирішена. Це означає, що при підготовці опитування були допущені серйозні прорахунки, які слід проаналізувати і внести корективи.

    Пропонована методологія оцінювання для отримання більш обгрунтованих результатів передбачає використання одночасно декількох різних методів моделювання експертних оцінок. При аналізі інформації застосовуються дві групи методів обробки даних: чисельні і турнірні.

    Перша група містить три процедури. У двох з них - метод Спірмена і методі визначення середнього інтервального - ранжирування проектів будуються на основі статистичних характеристик (середнього та ухилення). У методі узагальнених малих сум дані перетворюються в кососімметріческіх матриці парних порівнянь. Ранжирування тут будуються за результатами рішення системи лінійних рівнянь.

    Друга група методів містить четьгре турнірні процедури, які використовують співвідношення оцінок між парами порівнюваних об'єктів (в нашому випадку між проектами). Застосування турнірних показників корисно, коли важливі не значення оцінок експертів, а їх відносини. З бальних оцінками кожного експерта будується матриця парних порівнянь за аналогією з таблицею спортивного турніру. Як результатів використовуються турнірні показники за сумою очок (метод Коупленда), по квадратному кореню з суми квадратів очок, за мінімальним виграшу і по середньому геометричному очок.

    Одночасно кожен метод дозволяє перевіряти узгодженість експертної групи.

    Ці ж методи можуть бути застосовані при обчисленні ваг пріоритетності критеріїв. Експертам необхідно провести ранжування критеріїв всередині груп, а також оцінити важливість самих груп на верхньому рівні (теж у вигляді ранжирування). За цими оцінками будуть обчислені ваги критеріїв, які враховуються в моделях оцінювання проектів і їх подальшому впорядкуванні.

    В результаті по кожному методу отримуємо свої ранжирування, які зводяться в єдину таблицю і порівнюються між собою для побудови остаточної ранжування.

    Література і інформаційні джерела

    1. Месарович М., Такахара Я. Загальна теорія систем: математичні основи. М .: Мир, 1978.

    2. Александров Н.І., Комков Н.І. Моделювання організації та управління рішенням науково-технічних проблем. М .: Наука, 1988.

    3. Растригин Л А., Ейдук Я.Ю. Адаптивні методи багатокритеріальної оптимізації // Автоматика і телемеханіка, № 1,1985.

    4. Литвак Б.Г. Експертна інформація: методи отримання та аналізу. М .: Радио и связь, 1982.

    5. Раїв А.Г. Про один спосіб визначення вагових коефіцієнтів часткових критеріїв при побудові адитивної інтегрального показника // Автоматика і телемеханіка, № 5, 1984.

    6. Батищев Д.І., Анучин В.Ф. Побудова коефіцієнтів важливості приватних критеріїв на основі нечислової інформації / нечислове статистика, експертні оцінки і суміжні питання. М .: ВІНІТІ, 1984.

    7. Тюрін Ю.М. Про математичних завданнях в експертних оцінках // Питання кібернетики, № 58, 1979.

    8. Бешелев С.Д., Гурвіч Ф.Г. Математико-статистичні методи експертних оцінок. М .: Статистика, 1980.

    9. Шмерлінг Д.С., Дубровський З А. і ін. Експертні оцінки: методи і застосування // Питання кібернетики, № 58, 1979.

    10. Обробка нечіткої інформації в системах прийняття рішень Под ред. А.Н. Борисова. М .: Радио и связь, 1989.

    11. Панкова Л.А., Петровський А.М., Шнейдерман М.В. Організація експертизи та аналіз експертної інформації. М .: Наука, 1984.


    Завантажити оригінал статті:

    Завантажити