Умови застосування методу експертних оцінок. Експертний метод

Введення …………………………………………………………………………..3

Глава 1 Сутність, методи та процес експертних оцінок ……………………5

1.1 Сутність експертних оцінок ………………………………………………5

1.2 Роль експертів в управлінні ………………………………………………..9

1.3 Процес експертного оцінювання …………………………………………10

1.4 Методи експертних оцінок ………………………………………………..18

1.4.1 SWOT-аналіз ……………………………………………………………...18

1.4.2 Метод SMART …………………………………………………………….20

1.4.3 Метод ранжування та оцінювання ……………………………………..21

1.4.4 Метод безпосереднього оцінювання …………………………………22

1.5 Оцінка узгодженості експертів ……………………………………….23

Глава 2 Методи експертних оцінок з прикладу ВАТ «УАЗ» ...…………….24

Висновок ………………………………………………………………………32

Список використаних джерел та літератури …………………………..33

Вступ

У дослідженні управління широке поширення має метод експертних оцінок. Це складністю багатьох проблем, їх походженням з " людського чинника " , відсутністю надійних експериментальних чи нормативних інструментів.

Безперечно, що для прийняття обґрунтованих рішень необхідно спиратися на досвід, знання та інтуїцію фахівців. Після Другої світової війни у ​​рамках теорії управління (менеджменту) стала розвиватися самостійна дисципліна - експертні оцінки.

Методи експертних оцінок - це методи організації роботи з фахівцями-експертами та опрацювання думок експертів, виражених у кількісній та/або якісній формі з метою підготовки інформації для прийняття рішень ЛПР - особами, що приймають рішення.

Вивченню можливостей та особливостей застосування експертних оцінок присвячено багато робіт. Вони розглядаються форми експертного опитування ( різні видианкетування, інтерв'ю), підходи до оцінювання (ранжування, нормування, різні видивпорядкування і т.д.), методи обробки результатів опитування, вимоги до експертів та формування експертних груп, питання тренування експертів, оцінки їхньої компетентності (при обробці оцінок запроваджуються та враховуються коефіцієнти компетентності експертів, достовірності їх думок), методики організації експертних опитувань. Вибір форм та методів проведення експертних опитувань, підходів до опрацювання результатів опитування тощо. залежить від конкретного завдання та умов проведення експертизи.

Експертні методи застосовують зараз у ситуаціях, коли вибір, обґрунтування та оцінка наслідків рішень не можуть бути виконані на основі точних розрахунків. Такі ситуації нерідко виникають під час розробки сучасних проблемуправління громадським виробництвомі, особливо, при прогнозуванні та довгостроковому плануванні. В останні роки експертні оцінки знаходять широке застосування у соціально-політичному та науково-технічному прогнозуванні, у плануванні народного господарства, галузей, об'єднань, у розробці великих науково-технічних, економічних та соціальних програм, у вирішенні окремих проблем управління.

Глава 1 Сутність, методи та процес експертних оцінок

1.1 Сутність експертних оцінок

Можливість використання експертних оцінок, обґрунтування їхньої об'єктивності зазвичай базується на тому, що невідома характеристика досліджуваного явища трактується як випадкова величина, відображенням закону розподілу якої є індивідуальна оцінка фахівця-експерта про достовірність та значущість тієї чи іншої події. У цьому передбачається, що справжнє значення досліджуваної характеристики перебуває всередині діапазону оцінок, одержуваних групи експертів, і що узагальнене колективне думка є достовірним.

Однак у деяких теоретичних дослідженнях це припущення ставиться під сумнів. Наприклад, пропонується розділити проблеми, на вирішення яких застосовуються експертні оцінки, на два класу. До проввого класуналежать проблеми, які досить добре забезпечені інформацією і для яких можна використовувати принцип «хорошого вимірювача», вважаючи експерта зберігачем великого обсягу інформації, а групова думка експертів – близька до істинної. До другому класуналежать проблеми, щодо яких знань для впевненості у справедливості названих припущень недостатньо; експертів не можна розглядати як «добрих вимірювачів», і необхідно обережно підходити до обробки результатів експертизи, оскільки в цьому випадку думка одного (поодинокого) експерта, яка більше уваги приділяє дослідженню маловивченої проблеми, може виявитися найбільш значущою, а при формальній обробці вона буде втрачена. У зв'язку з цим до завдань другого класу переважно має застосовуватися якісна обробка результатів. Використання методів опосередкування (справедливих для «хороших вимірників») у разі може призвести до суттєвих помилок.

Завдання колективного прийняття рішень щодо формування цілей, удосконалення методів та форм управління зазвичай можна віднести до першого класу. Однак при розробці прогнозів та перспективних планів доцільно виявляти «рідкісні» думки та піддавати їх більш ретельному аналізу.

Інша проблема, яку потрібно мати на увазі при проведенні системного аналізу, полягає в наступному: навіть у разі вирішення проблем, що належать до першого класу, не можна забувати про те, що експертні оцінки несуть у собі не тільки вузькосуб'єктивні риси, притаманні окремим експертам, а й колективно -суб'єктивні риси, які зникають під час обробки результатів опитування (а при застосуванні Дельфі-процедури навіть можуть посилюватися). Іншими словами, на експертні оцінки слід дивитися як на деяку «суспільну точку зору», яка залежить від рівня науково-технічних знань суспільства щодо предмета дослідження, яка може змінюватися в міру розвитку системи та наших уявлень про неї. Отже, експертне опитування – це не одноразова процедура. Такий спосіб отримання інформації про складну проблему, що характеризується великим ступенем невизначеності, має стати свого роду «механізмом» у складній системі. необхідно створити регулярну систему роботи з експертами.

Слід звернути також увагу, що використання класичного частотного підходу до оцінки ймовірності при організації проведення експертних опитувань буває скрутним, а іноді й неможливим (через неможливість довести правомірність використання представницькості вибірки). Тому в даний час ведуться дослідження характеру ймовірності експертної оцінки, що базуються на теорії розмитих множин Заде, на уявленні про експертну оцінку як ступеня підтвердження гіпотези або як ймовірності досягнення мети. Одним із різновидів експертного методу є метод вивчення сильних та слабких сторін організації, можливостей та загроз її діяльності - метод SWOT-аналізу.

Збір експертної інформації залежить від вибору методу експертних оцінок. Зазвичай для збору експертної інформації складають спеціальні документи, наприклад, анкети, які затверджуються відповідними керівниками і потім розсилаються експертам.

Обробка експертної інформації здійснюється за допомогою вибраного методу, як правило, з використанням обчислювальної техніки. Отримані в результаті обробки дані аналізують та використовують для вирішення завдань аналізу та синтезу систем управління.

Експертні оцінки використовують для аналізу, діагностики стану, подальшого прогнозування варіантів розвитку:

1) об'єктів, розвиток яких або повністю або частково не піддається предметному опису або математичної формалізації;

2) в умовах відсутності достатньо представницької та достовірної статистики за характеристиками об'єкта;

3) за умов великої невизначеності середовища функціонування об'єкта, ринкового середовища;

4) при середньо- та довгостроковому прогнозуванні нових ринків, об'єктів нових областей промисловості, схильних до сильного впливу відкриттів у фундаментальних науках, (наприклад, мікробіологічна промисловість, квантова електроніка, атомне машинобудування);

5) у випадках, коли або час, або кошти, що виділяються на прогнозування та прийняття рішень, не дозволяють досліджувати проблему із застосуванням формальних моделей;

6) відсутні необхідні технічні засоби моделювання, наприклад обчислювальна техніка з відповідними характеристиками;

7) у екстремальних ситуаціях.

Завдання, які вирішуються у процесі експертних оцінок систем управління, можна поділити на дві групи:

1) завдання синтезу нових систем управління та їх оцінки;

2) завдання аналізу (вимірювання) існуючих систем управління за обраними показниками та критеріями ефективності.

До завдань першої групи належать: формування образу створюваної системи; прогнозування техніко-економічних показників стадій її життєвого циклу; обґрунтування основних напрямів реорганізації соціальної системи управління; вибір оптимальних чи задовільних способів дій і результатів з допомогою створюваної системи управління та інших.

Деяка частина експертної інформації, одержувана під час вирішення даних завдань, носить якісний характері й формується як складних суджень в описовому вигляді. Проте завдання синтезу, розв'язувані з допомогою експертних оцінок, можуть мати кількісний характер, та його рішення пов'язані з обгрунтуванням численних параметрів (характеристик) створюваної системи.

До завдань другої групи відносяться всі завдання оцінювання існуючих або створюваних варіантів систем управління за допомогою заданих показників та критеріїв ефективності. Прикладами таких завдань є: визначення структурних, функціональних чи інформаційних характеристик системи; оцінка її ефективності під час виконання різних операцій; визначення доцільності подальшої експлуатації технічних засобів управління та зв'язку та ін. Значна частина експертної інформації, що використовується при вирішенні таких завдань, носить кількісний характер або має форму елементарних суджень та обробляється з використанням різних статистичних методів.

МІНІСТЕРСТВО ОСВІТИ

РОСІЙСЬКОЇ ФЕДЕРАЦІЇ

АЛТАЙСЬКИЙ ДЕРЖАВНИЙ УНІВЕРСИТЕТ

Економічний факультет

Кафедра антикризового управління, оцінки бізнесу та інновацій

МЕТОД ЕКСПЕРТНИХ ОЦІНОК

(курсова робота)

Виконала студентка

3 курси, група 277

Стрекалова С.Б.

Робота захищена

Барнаул - 1999

Вступ 3

Глава 1. ЕКСПЕРТИЗА В УПРАВЛІННІ 5

1.1. Роль експертів в управлінні 5

1.2. Метод експертних оцінок 7

1.3. Організація експертного оцінювання 9

1.4. Підбір експертів 9

1.5. Опитування експертів 10

Розділ 2. ФОРМАЛІЗАЦІЯ ІНФРОРМАЦІЇ

І ШКАЛИ ПОРІВНЯНЬ 12

Глава 3. ОБРОБКА ЕКСПЕРТНИХ ОЦІНОК 16

3.1. Завдання обробки 16

3.2. Групова оцінка об'єктів 17

3.3. Оцінка узгодженості думок експертів 22

3.4. Обробка парних порівнянь об'єктів 25

3.5. Визначення взаємозв'язку ранжувань 27

Висновок 31

Список литературы 32

ВСТУП

Сучасна економіка висуває нові, більш високі вимоги до управління. Питання вдосконалення методів управління набувають зараз дуже важливого значення, оскільки саме у цій сфері є ще більші резерви зростання ефективності народного господарства.

Істотним чинником підвищення наукового рівня управління є застосування для підготовки рішень математичних методів і моделей. Проте, повна математична формалізація техніко-економічних завдань часто неможлива внаслідок їх якісної новизни та складності. У зв'язку з цим дедалі ширше використовуються експертні методи, під якими розуміють комплекс логічних та математико-статистичних методів та процедур, спрямованих на отримання від фахівців інформації, необхідної для підготовки та вибору раціональних рішень.

Експертні методи застосовують зараз у ситуаціях, коли вибір, обґрунтування та оцінка наслідків рішень не можуть бути виконані на основі точних розрахунків. Такі ситуації нерідко виникають при розробці сучасних проблем управління суспільним виробництвом та, особливо, при прогнозуванні та довгостроковому плануванні. В останні роки експертні оцінки знаходять широке застосування у соціально-політичному та науково-технічному прогнозуванні, у плануванні народного господарства, галузей, об'єднань, у розробці великих науково-технічних, економічних та соціальних програм, у вирішенні окремих проблем управління.

У результаті розвитку громадського виробництва зростають як складність управління, а й вимоги до якості прийнятих рішень. Для того, щоб підвищити обґрунтованість рішень та врахувати численні фактори, що впливають на їх результати, необхідний різнобічний аналіз, заснований як на розрахунках, так і на аргументованих судженнях керівників та фахівців, знайомих зі станом справ та перспективами розвитку різних областяхпрактичної діяльності. Застосування експертних методів забезпечує активну та цілеспрямовану участь фахівців на всіх етапах прийняття рішень, що дозволяє суттєво підвищити їхню якість та ефективність.

Метою нашої роботи є вивчення методу експертних оцінок – одного з найважливіших етапів прийняття грамотних управлінських рішень.

1) вивчення ролі експертизи в управлінні;

2) розгляд порядку організації експертного оцінювання;

3) вивчення видів шкал та порядку їх використання;

4) докладний розгляд заключного етапу експертного оцінювання – опрацювання експертних оцінок.

Реферат складається із вступу, трьох розділів, висновків та списку використаної літератури.

У першому розділі розглядається питання необхідності експертизи під управлінням, розглянуто метод експертних оцінок, етапи організації експертного оцінювання.

Друга глава присвячена розгляду шкал порівнянь, дані характеристики кожному виду шкал і порядок їх використання при формалізації інформації.

У третій главі розглядається обробка експертних оцінок: завдання обробки, групова оцінка об'єктів, оцінка узгодженості думок експертів, обробка парних порівнянь об'єктів та визначення взаємозв'язку ранжувань.

Оскільки метою даної є розгляд експертного оцінювання в теоретичному аспекті, то практичне застосування не розглядається.

У висновку розглядається роль методу експертних оцінок у прийнятті управлінських рішень.

Глава 1. ЕКСПЕРТИЗА В УПРАВЛІННІ

1.1. Роль експертів в управлінні

Сучасне суспільство розвивається під впливом науково-технічної революції, що постійно посилюється, яка викликає докорінні перетворення у виробництві, глибокі зміни в структурі та економіці народного господарства. Те, що відбувається науково-технічна революція за своїм впливом далеко виходить за межі сфери матеріального виробництва, захоплюючи всі сторони життєдіяльності суспільства, зумовлюючи більшість рішень, спрямованих на його раціональний економічний та соціальний розвиток.

Історія розвитку науки, техніки та виробництва показує, що одночасно із послідовним заміщенням функцій людини функціями машин збільшується його роль у сфері управління. Безперервне зростання обсягу витрат за розвиток науки, створення нової техніки і вдосконалення виробництва значно підвищує значимість рішень, прийнятих всіх рівнях управління народним господарством. Майбутнє науки. Техніки та економіки значною мірою залежить від якості та своєчасності цих рішень, а об'єктивні тенденції науково-технічного прогресу можуть прискорюватися або сповільнюватись під їх впливом.

Особливого значення в управлінні зараз набувають методи оптимізації, засновані на застосуванні формальних, найчастіше математичних моделей, що забезпечують економію часу та засобів при вирішенні багатьох практичних завдань. Побудова моделей допомагає привести складні та часом невизначені фактори, пов'язані з проблемою прийняття рішень, у логічно струнку схему, визначити, які дані необхідні для оцінки та вибору альтернатив.

У процесі управління виникає природне прагнення пошуку рішення, яке об'єктивно є найкращим з усіх можливих. Як інструмент оптимізації зараз широко використовується математичне програмування. Успіхи у застосуванні математичного програмування до вирішення різноманітних господарських, наукових, технічних і військових завдань породили методологічні погляди, згідно з якими кардинальне вирішення проблем управління можливе лише тоді, коли всі його аспекти відображаються в системі взаємопов'язаних математичних моделей.

Проте, формалізація техніко-економічних та управлінських рішень ускладнюється низкою особливостей сучасного етапу науково-технічного прогресу. Життя суспільства настільки складне, що важко розраховувати на появу моделей, які б повністю відображали природу та кількісні взаємозв'язки соціально-економічних процесів. Реальна дійсність завжди складніша за найтонші математичні моделі, а її розвиток часто випереджає формальне пізнання. Завдання управління вимагають як невід'ємний елемент вирішення участі людей. І, нарешті, сам процес управління завжди передбачає орієнтацію як на числові дані, а й у нормальний здоровий глузд. Використання математичного програмування та обчислювальної техніки дозволяє приймати рішення, що базуються на більш повній та надійній інформації. Але, поза сумнівом і те, що за будь-яких умов вибору раціонального рішення потрібно щось більше, ніж хороша математична модель.

Приймаючи рішення, ми зазвичай припускаємо, що інформація, яка використовується для їх обґрунтування, є достовірною та надійною. Але для багатьох економічних і науково-технічних завдань, які є за своїм характером якісно новими і неповторними, це припущення або не реалізується, або в момент прийняття рішення його не вдається довести.

Наявність інформації та правильність її використання значною мірою визначають оптимальність обраного рішення. Крім даних, що складаються з числових статистичних величин, інформація включає інші, не піддаються безпосередньому виміру величини, наприклад, припущення про можливих рішенняхта їх результати. Практика показує, що основні труднощі, що виникають при пошуку та виборі ділових рішень, обумовлені насамперед недостатньо високою якістю та неповнотою наявної інформації.

Основні проблеми, пов'язані з інформацією, що виникають при виробленні складних рішень, можна поділити на такі групи.

По-перше, вихідна статистична інформація найчастіше буває недостатньо достовірною.

По-друге, деяка частина інформації має якісний характері і не піддається кількісній оцінці. Так, не можна точно розрахувати ступінь впливу соціальних та політичних факторів на реалізацію планів, оцінити економічний ефект майбутніх винаходів тощо. Але, оскільки ці чинники та явища істотно впливають на результати рішень, їх не можна не враховувати.

По-третє, у процесі підготовки рішень часто виникають ситуації, коли в принципі необхідну інформацію отримати можна, однак у момент ухвалення рішення вона відсутня, оскільки це пов'язано з великими витратами часу чи коштів.

По-четверте, існує велика група факторів, які можуть вплинути на реалізацію рішення у майбутньому, але їх не можна точно передбачити.

По-п'яте, одна з найбільш істотних труднощів при виборі рішень полягає в тому, що будь-яка наукова або технічна ідея містить потенційну можливість різних схем її реалізації, а будь-яка економічна дія може призводити до численних результатів. Проблема вибору найкращого варіанта рішення може виникнути і тому, що зазвичай існують обмеження в ресурсах, а отже, прийняття одного варіанта завжди пов'язане з відмовою від інших рішень.

По-шосте, при виборі найкращого рішення ми нерідко стикаємося з багатозначністю узагальненого критерію, на основі якого можна порівняти можливі результати. Багатозначність, багатовимірність та якісна відмінність показників є серйозною перешкодою для отримання узагальненої оцінки відносної ефективності, важливості, цінності чи корисності кожного з можливих рішень.

У зв'язку з цим одна з головних особливостей вирішення складних проблем полягає в тому, що застосування розрахунків завжди переплітається з використанням суджень керівників, учених, фахівців. Ці міркування дозволяють хоча б частково компенсувати нестачу інформації, повніше використовувати індивідуальний та колективний досвід, врахувати припущення фахівців про майбутні стани об'єктів. Закономірність розвитку науки і техніки полягає в тому, що нові знання, науково-технічна інформація накопичуються протягом тривалого часу. Нерідко це накопичення йде у прихованій формі у свідомості вчених та розробників. Вони, як ніхто інший, здатні оцінити перспективи тієї галузі, де працюють, і передбачати характеристики тих систем, у створенні яких безпосередньо беруть участь.

Досвід показує, що використання несистематизованих суджень окремих фахівців виявляється при вирішенні багатьох складних наукових та технічних проблем недостатньо ефективним внаслідок різноманітності взаємозв'язків між основними елементами таких проблем та неможливості охоплення їх усіх. З використанням традиційних процедур підготовки рішень нерідко не вдається розглянути широкий діапазон факторів, врахувати весь спектр альтернативних шляхів вирішення проблем.

Все це змушує вдаватися до комплектування груп фахівців, які представляють як експерти різні галузі знань. Застосування групової експертизи дозволяє як розглянути безліч аспектів і чинників, а й об'єднати різні підходи, з допомогою яких керівник знаходить найкраще рішення.

1.2. Метод експертних оцінок

Сутність методу експертних оцінок полягає у проведенні експертами інтуїтивно-логічного аналізу проблеми з кількісною оцінкою суджень та формальною обробкою результатів. Узагальнена думка експертів, що отримується в результаті обробки, сприймається як вирішення проблеми. Комплексне використання інтуїції (неусвідомленого мислення), логічного мислення та кількісних оцінок з їхньою формальною обробкою дозволяє отримати ефективне вирішення проблеми.

При виконанні своєї ролі в процесі управління експерти виконують дві основні функції: формують об'єкти (альтернативні ситуації, цілі, рішення тощо) і вимірюють їх характеристики (ймовірності здійснення подій, коефіцієнти значущості цілей, переваги рішень тощо) . Формування об'єктів здійснюється експертами на основі логічного мислення та інтуїції. При цьому велику роль відіграють знання та досвід експерта. Вимірювання характеристик об'єктів вимагає від експертів знання теорії вимірів.

Характерними особливостями методу експертних оцінок як наукового інструменту вирішення складних неформалізованих проблем є, по-перше, науково обґрунтована організація проведення всіх етапів експертизи, що забезпечує найбільшу ефективність роботи на кожному з етапів, і, по-друге, застосування кількісних методів як при організації експертизи, так і та в оцінці суджень експертів та формальної групової обробки результатів. Ці дві особливості відрізняють метод експертних оцінок від звичайної давно відомої експертизи, яка широко застосовується в різних сферах людської діяльності.

Експертні колективні оцінки широко використовувалися у державному масштабі для вирішення складних проблем управління народним господарством уже у перші роки Радянської влади. У 1918 року за Вищої раді народного господарства було створено Раду експертів, завданням якого було вирішення найскладніших проблем реорганізації народного господарства країни. При складанні п'ятирічних планів розвитку народного господарства країни систематично використовувалися експертні оцінки широкого загалу фахівців.

Нині нашій країні і там метод експертних оцінок широко застосовується на вирішення важливих проблем різного характеру. У різних галузях, об'єднаннях та на підприємствах діють постійні або тимчасові експертні комісії, які формують рішення щодо різних складних неформалізованих проблем.

Усі безліч погано формалізованих проблем умовно можна поділити на два класи. До першого класу належать проблеми, щодо яких є достатній інформаційний потенціал, що дозволяє успішно вирішувати ці проблеми. Основні труднощі у вирішенні проблем першого класу під час експертної оцінки полягають у реалізації існуючого інформаційного потенціалу шляхом підбору експертів, побудови раціональних процедур опитування та застосування оптимальних методів обробки його результатів. При цьому методи опитування та обробки ґрунтуються на використанні принципу «хорошого» вимірника. Цей принцип означає, що виконуються такі гіпотези:

1) експерт є сховищем великого обсягу раціонально опрацьованої інформації, і тому він може розглядатися як якісне джерело інформації;

2) групова думка експертів близька до справжнього вирішення проблеми.

Якщо ці гіпотези вірні, то для побудови процедур опитування та алгоритмів обробки можна використовувати результати теорії вимірів та математичної статистики.

До другого класу належать проблеми, щодо яких інформаційний потенціал знань недостатній для впевненості у справедливості зазначених гіпотез. При вирішенні проблем із цього класу експертів вже не можна розглядати як «хороших вимірників». Тому необхідно дуже обережно проводити опрацювання результатів експертизи. Застосування методів опосередкування, справедливих для «хороших вимірників», у разі може призвести до великих помилок. Наприклад, думка одного експерта, яка сильно відрізняється від думок інших експертів, може виявитися правильною. У зв'язку з цим для проблем другого класу переважно має застосовуватися якісна обробка.

Область застосування методу експертних оцінок дуже широка. Перерахуємо типові завдання, які вирішуються методом експертних оцінок:

1) складання переліку можливих подій у різних галузях за певний проміжок часу;

2) визначення найімовірніших інтервалів часу здійснення сукупності подій;

3) визначення цілей та завдань управління з упорядкуванням їх за ступенем важливості;

4) визначення альтернативних (варіантів розв'язання задачі з оцінкою їхньої переваги;

5) альтернативний розподіл ресурсів для вирішення завдань з оцінкою їхньої переваги;

6) альтернативні варіантиприйняття рішень у певній ситуації з оцінкою їхньої переваги.

Для вирішення перерахованих типових завданьВ даний час застосовуються різні різновиди методу експертних оцінок. До основних видів належать: анкетування та інтерв'ювання; мозковий штурм; дискусія; нарада; оперативна гра; сценарію.

Кожен з цих видів експертного оцінювання має свої переваги і недоліки, що визначають раціональну сферу застосування. У багатьох випадках найбільший ефект дає комплексне застосування кількох видів експертизи.

Анкетування та сценарій припускають індивідуальну роботу експерта. Інтерв'ювання може здійснюватися як індивідуально, і з групою експертів. Інші види експертизи припускають колективну участь експертів у роботі. Незалежно від індивідуальної чи групової участі експертів у роботі доцільно отримувати інформацію від багатьох експертів. Це дозволяє отримати на основі обробки даних більш достовірні результати, а також нову інформацію про залежність явищ, подій, фактів, суджень експертів, яка не міститься у явному вигляді у висловлюваннях експертів.

При використанні методу експертних оцінок виникають проблеми. Основними є: підбір експертів, проведення опитування експертів, обробка результатів опитування, організація процедур експертизи.

1.3. Організація експертного оцінювання

Першим етапом організації робіт із застосування експертного оцінювання є підготовка та видання керівного документа, в якому формулюється мета роботи та основні положення щодо її виконання. У цьому документі мають бути відображені такі питання: постановка задачі-експерименту; цілі експерименту; обґрунтування необхідності експерименту; терміни виконання робіт; завдання та склад групи управління; обов'язки та права групи; фінансове та матеріальне забезпечення робіт.

Для підготовки цього документа, а також керівництва всією роботою призначається керівник експертизи. На нього покладається формування групи управління та відповідальність за організацію її роботи.

Після формування група управління здійснює роботу з підбору експертної групи приблизно в такій послідовності: з'ясування проблеми, що вирішується; визначення кола областей діяльності, пов'язаних із проблемою; визначення пайового складу експертів з кожної галузі діяльності; визначення кількості експертів у групі; складання попереднього списку експертів з урахуванням їхнього місцезнаходження; аналіз якостей експертів та уточнення списку експертів у групі; отримання згоди експертів щодо участі у роботі; складання остаточного переліку експертної групи.

Паралельно із процесом формування групи експертів група управління проводить розробку організації та методики проведення опитування експертів. При цьому вирішуються такі питання: місце та час проведення опитування; кількість та завдання турів опитування; форма проведення опитування; порядок фіксації та збору результатів опитування; склад документів.

Наступним етапом роботи групи управління є визначення організації та методики обробки даних опитування. На даному етапі необхідно визначити завдання та терміни обробки, процедури та алгоритми обробки, сили та засоби для проведення обробки.

У процесі безпосереднього проведення опитування експертів та обробки його результатів група управління здійснює виконання комплексу робіт відповідно до розробленого плану, коригуючи його в міру необхідності за змістом, строками та забезпеченням ресурсами.

Останнім етапом робіт групи управління є оформлення результатів роботи. На цьому етапі проводиться аналіз результатів експертного оцінювання; складання звіту; обговорення та схвалення результатів; подання підсумків роботи на затвердження; ознайомлення з результатами експертизи організацій та осіб.

1.4. Підбір експертів

Задля реалізації процедури експертного оцінювання необхідно сформувати групу експертів. Загальною вимогою для формування групи експертів є ефективне вирішення проблеми експертизи. Ефективність вирішення проблеми визначається характеристиками достовірності експертизи та витрат на неї.

Достовірність експертного оцінювання може бути визначена лише на основі практичного вирішення проблеми та аналізу її результатів. Використання експертів якраз і зумовлене тим, що немає будь-яких інших способів отримання інформації. Тому оцінка достовірності експертизи може здійснюватися, як правило, лише за апостеріорними (після досвідченими) даними. Якщо експертиза проводиться систематично з приблизно одним і тим самим складом експертів, то з'являється можливість накопичення статистичних даних щодо достовірності роботи групи експертів та отримання сталої числової оцінки достовірності. Цю оцінку можна використовувати як апріорні дані про достовірність групи експертів для подальших експертиз.

Достовірність групового експертного оцінювання залежить від загальної кількості експертів у групі, пайового складу різних фахівців у групі, від характеристик експертів.

Визначення характеру залежності достовірності перелічених чинників є ще однією проблемою процедури підбору експертів.

Складною проблемою процедури підбору є формування системи характеристик експерта, які суттєво впливають на хід та результати експертизи. Ці характеристики повинні описувати специфічні властивості фахівця та можливі відносини між людьми, що впливають на експертизу. p align="justify"> Важливою вимогою до характеристик експерта є вимірність цих характеристик.

Ще однією проблемою є організація процедури підбору експертів, тобто. визначення чіткої послідовності робіт, що виконуються у процесі добору експертів та необхідних ресурсів для їх реалізації.

Максимальна кількість експертів у групі перевіряється на обмеження фінансових ресурсів. Визначивши залежність між достовірністю, кількістю експертів та витратами на оплату, група управління надає керівництву цю інформацію та формулює можливі альтернативи рішень. Такими альтернативами можуть бути зниження достовірності результатів експертного оцінювання до рівня, що забезпечує виконання обмеження щодо витрат на оплату експертів, або збереження вихідної вимоги на достовірність експертизи та збільшення витрат на оплату експертів.

Наступним етапом роботи з підбору експертів є складання попереднього списку експертів. Під час упорядкування цього списку проводиться аналіз якостей експертів. Крім обліку якостей експертів, визначаються їхнє місцезнаходження та можливості участі обраних фахівців в експертизі. При оцінці якостей враховується думка людей, які добре знають кандидатів в експерти.

Після складання списку експертів їм надсилаються листи із запрошенням брати участь в експертизі. У листах пояснюється мета проведення експертизи, її строки, порядок проведення, обсяг роботи та умови винагороди. До листів додаються анкети даних експерта та самооцінки компетентності. Отримавши відповіді експертів група управління складає остаточний список групи експертів.

Після складання та затвердження списку експертам надсилається повідомлення про включення їх до складу експертної групи. Якщо експертне оцінювання проводиться методом анкетування, то одночасно з повідомленням про включення до експертної групи всім експертам надсилається анкета з необхідними інструкціями для їх заповнення. Повідомленням експертам про включення їх векспертизу закінчується робота з підбору експертів.

1.5. Опитування експертів

Опитування – головний етап спільної роботи групи управління та експертів. Основним змістом опитування є:

Постановка завдання та подання питань експертам;

Інформаційне забезпечення роботи експертів;

Вироблення експертами суджень, оцінок, пропозицій;

Збір результатів роботи експертів.

Можна назвати три типи завдань, які вирішуються у процесі опитування:

Оцінка якісна чи кількісна заданих об'єктів;

Побудова нових об'єктів;

Побудова та оцінка нових об'єктів.

При колективній експертизі використовуються такі основні види опитування: дискусія, анкетування та інтерв'ювання, метод колективної генерації ідей або мозковий штурм.

Анкетування може проводитись із зворотним зв'язком або без нього. При анкетуванні із зворотним зв'язком опитування експертів проводиться у кілька етапів з доведенням до експертів деяких результатів опитування попередньому етапі, включаючи оцінки окремих експертів та його аргументацию.

Головним в організації опитування є забезпечення максимуму інформації та максимуму творчої активності, самостійності експерта. Необхідно прагнути довести до кожного експерта по можливості всю інформацію, що відноситься до аналізованого явища, яку мають як експерти, так і організатори опитування, не позбавляючи в той же час експерта творчої самостійності та активності.

Проте можливості експерта з переробки інформації обмежені. У результаті експерт може ухвалити рішення, не використовуючи всієї інформації, що є у його розпорядженні. Крім того, нова інформація сприймається людиною з певним внутрішнім опором і не відразу впливає на суб'єктивні оцінки, що вже склалися. Ставлення до нової інформації доброзичливіше, а сприйняття та використання її повніше, якщо вона представляється у зрозумілій, яскравій та компактній формі.

З цих психологічних особливостейслід необхідність надання експертам можливостей для фіксації інформації, що надходить шляхом ведення записів, використання технічних засобів, а також необхідність попередньої обробки інформації та подання її експертам у найбільш сприйнятній формі.

Необхідно наголосити на суперечливості значення обміну експертами інформацією, оскільки отримання такої інформації таїть небезпеку втрати творчої незалежності у побудові моделі об'єкта експертом. Вирішення цієї суперечності повною мірою неможливе, і при кожній експертизі її організатори повинні знаходити розумний компроміс, перш за все, шляхом вибору виду опитування, форми та ступеня спілкування експертів.

Кожен із видів опитування має свої переваги та недоліки у побудові обміну інформацією між експертами та в організації їхньої незалежної творчості. Вибір того чи іншого виду опитування визначається багатьма факторами, з яких основними є:

Мета та завдання експертизи;

Істота та складність аналізованої проблеми;

Повнота та достовірність вихідної інформації;

Необхідні обсяг та достовірність інформації, що отримується в результаті опитування;

Час, відведений на опитування та експертизу загалом;

Допустима вартість опитування та експертизи в цілому;

Кількість експертів та членів групи управління, їх характеристики.

Анкетування є найефективнішим і найпоширенішим видом опитування, бо дозволяє якнайкраще поєднувати інформаційне забезпечення експертів зі своїми самостійним творчістю.

Глава 2. ФОРМАЛІЗАЦІЯ ІНФОРМАЦІЇ І ШКАЛИ ПОРІВНЯНЬ

Раціональне використання інформації, отриманої від експертів, можливе за умови утворення її у форму, зручну для подальшого аналізу, спрямованого на підготовку та прийняття рішень.

Можливості формалізації інформації залежить від специфічних особливостей досліджуваного об'єкта, надійності та повноти наявних даних, рівня прийняття рішення. Форма подання експертних даних залежить і від прийнятого критерію, на вибір якого, у свою чергу, істотно впливає специфіка досліджуваної проблеми.

Формалізація інформації, отриманої від експертів, має бути спрямована на підготовку вирішення таких техніко-економічних та господарських завдань, які не можуть бути повною мірою описані математично, оскільки є «слабоструктуризованими», тобто. містять невизначеності, пов'язані не лише з виміром, а й самим характером досліджуваних цілей, засобів їх досягнення та зовнішніх умов.

При аналізі перспектив необхідно як подати у вигляді непрямих оцінок частина інформації, не піддається кількісному виміру, і як висловити з допомогою таких оцінок кількісно вимірну інформацію, яку у момент підготовки рішення немає достатньо надійних даних. Найважливіше – формалізувати цю інформацію так, щоб допомогти приймаючому рішення вибрати з безлічі дій одну або кілька, найбільш сприятливі щодо деякого критерію.

Якщо експерт може порівняти і оцінити можливі варіанти дій, приписавши кожному їх певне число, отже, він має певної системою переваг. Залежно від того, за якою шкалою можуть бути ці переваги, експертні оцінки містять більший або менший обсяг інформації і мають різну здатність до формалізації.

Досліджувані об'єкти чи явища можна розпізнавати чи розрізняти з урахуванням ознак чи чинників. Фактор - це безліч, що складається, принаймні, з двох елементів, що відображають різні рівні деяких величин, що підлягають розгляду. Рівень одних факторів може бути виражений кількісно (у рублях, відсотках, кілограмах і т.д.) такі чинники називаються кількісними. Рівень інших не можна висловити з допомогою числа, їх називають якісними.

Фактори умовно поділяють на дискретні та безперервні. Дискретними є чинники із певним, зазвичай невеликим, числом рівнів. Фактори, рівні яких розглядаються як такі, що утворюють безперервну множину, називають безперервними. Залежно від цілей і можливостей аналізу одні й самі чинники можуть трактуватися або як дискретні, або як безперервні.

Розглянемо основні логічні аксіоми, що використовуються в експерних методах під час формалізації інформації за допомогою різних шкал.

При використанні номінальних шкалдосліджувані об'єкти можна розпізнавати та розрізняти на основі трьох аксіом ідентифікації:

1) iабо є j, або є не j ;

2) якщо iє j, то jє i ;

3) якщо iє jі jє k, то iє k .

Фактори в даному випадку виступають як асоціативні показники, які мають інформацію, яка може бути формалізована у вигляді бінарних оцінок двох рівнів: 1 (ідентичний) або 0 (різний).

У випадках, коли досліджувані об'єкти можна в результаті порівняння розташувати у певній послідовності з урахуванням будь-якого суттєвого фактора (факторів), використовуються порядкові шкали, що дозволяють встановлювати рівноцінність чи домінування.

Припустимо, що необхідно розташувати у певній послідовності nоб'єктів за будь-яким фактором (критерієм). Представимо це впорядкування у вигляді матриці де i, j = 1,2,…, n .

Величини встановлюють співвідношення між об'єктами і можуть бути визначені таким чином:

Встановимо основні аксіоми, необхідних дотримання умов упорядкування. Співвідношення означає, що iкраще j, має бути асиметричним, тобто, якщо то й транзитивним, тобто, якщо то

Співвідношення означає, що iі jрівноцінні, називається співвідношенням еквівалентності. Таке співвідношення має бути

рефлексивним, тобто.

симетричним, тобто, якщо то

транзитивним, тобто, якщо й то

Крім того, ці два співвідношення повинні бути сумісні, тобто, якщо і то, а якщо і то

І, нарешті, впорядкування має бути зв'язковим, тобто. для будь-яких i і j або або або

Використання порядкових шкал дозволяє розрізняти об'єкти й у випадках, коли чинник (критерій) не заданий у вигляді, тобто. коли ми не знаємо ознак порівняння, але можемо частково або повністю впорядкувати об'єкти на основі системи переваг, якою володіє експерт.

Будь-яка безліч Aбудемо називати впорядкованим, якщо для будь-яких двох його елементів Xі Yвстановлено, що, або Xпередує Y, або Yпередує X. Іноді не вдається встановити суворе попередження для всіх елементів множини, але можна зробити «групове» впорядкування, коли впорядковуються підмножини рівноцінних елементів. Далі можна поставити завдання порівняння та впорядкування цих підмножин.

Використання порядкових шкал дозволяє проводити перетворення отриманих від експертів оцінок, що відповідають всім функціям, що монотонно зростають. Так, наприклад, позитивні оцінки можуть бути замінені їх квадратами, або логарифмами, або будь-який інший монотонно зростаючою функцією.

Для формалізації оцінок, отриманих від експертів, часто використовують інтервальні шкали. При використанні таких шкал цих цілей можна вживати майже всі звичайні статистичні заходи. Винятком є ​​ті заходи, які передбачають знання «істинно» нульової точки шкали, яка запроваджується тут умовно.

Інтервальні шкали припускають можливість трансформації оцінок, отриманих на одній шкалі, оцінки на іншій шкалі за допомогою рівняння

Різниця між значеннями на шкалі інтервалів стають заходами на шкалі відносин, тобто. на звичайній числовій шкалі, т.к. в результаті віднімання можна позбутися постійного доданку b .

У ряді випадків при формалізації експертних оцінок використовується властивість адитивності, яка властива лише шкалі відносин. Наявність адитивності виражається такими аксіомами:

1) якщо j = aі i> 0, то i + j > a ;

2) i + j = j + i ;

3) якщо i = aі j = b, то i + j = a + b ;

4) (i + j) + k = i + (j + k).

Звичайна ситуація, коли необхідно ухвалити рішення з урахуванням адитивності, полягає в тому, що є кілька (принаймні два) якісних факторів. За наявності кількох факторів, що характеризують конкретні об'єкти, існує безліч реальних властивостей та типів зв'язків об'єктів.

Так, наприклад, фактори (показники), що характеризують ефективність створення та впровадження нової техніки, за їх об'єктивним змістом можна поділити на технічні, економічні та соціальні. З іншого боку, ці фактори можна згрупувати відповідно до їхньої ролі у процесі створення та впровадження нової техніки, виділивши, наприклад, показники, що характеризують витрати, якість, економічну ефективність і т.д.

Залежно від характеру та мети досліджуваної проблеми фактори, за якими розрізняються об'єкти, можуть бути кількісно порівняні або незрівнянні між собою, частково порівняні (тобто не будь-який з будь-яким, а лише деякі з них), упорядковані за ступенем їх важливості тощо .д. Несумірність різних чинників обумовлена ​​як необхідністю застосування різних одиниць виміру, а й тим, кожен фактор, висловлюючи певне властивість, одночасно є оцінкою ставлення до даної властивості з боку приймаючого рішення.

У практиці управління у всіх його рівнях часто виникають ситуації, коли необхідно ухвалити рішення з урахуванням багатьох факторів. Питання, які саме чинники слід вважати найважливішими, залежить від якісних особливостей об'єкта рішення та цілей, яким має відповідати це рішення.

Наприклад, під час розгляду кількох варіантів плану чи варіантів організаційно-технічних заходів слід брати до уваги чинники часу, витрат, технічних і соціальних результатів, економічної ефективності тощо. Зазвичай все розмаїття факторів намагаються призвести до однозначної комплексної оцінки, причому найбільш зручною та поширеною такою оцінкою є грошова.

Однак, оскільки наслідки будь-якого рішення, особливо рішень, пов'язаних із науково-технічним прогресом, виходять за рамки вартісних показників, необхідні вимірювачі, що характеризують значущість, корисність того чи іншого фактора (або їхнього комплексу). Такі комплексні вимірювачі широко застосовуються в оцінці якості продукції, техніко-економічного рівня виробництва, в оцінці результатів діяльності наукових організацій та інших задач. Хоча питання про створення досить обґрунтованої формалізованої системи таких вимірювачів ще далеке від остаточного вирішення, можна вказати деякі загальні риси, Що забезпечують підхід до формалізації цього процесу та до використання того чи іншого логіко-математичного апарату.

Що стосується, коли всі чинники задаються за номінальною шкалою, тобто. задаються за цією шкалою деяка ознака і вихідне безліч елементів M, мета полягає у виборі підмножини елементів M(a), що володіють цією ознакою. У таких випадках проводиться порівняння елементів, точніше їх властивостей, з ознакою – еталоном, а результат – розбиття множини – можна розглядати як упорядкування за двоелементною шкалою, за якою кожному з елементів надається бал, рівний або нулю, або одиниці.

У разі коли фактори задані за порядковою шкалою або за декількома порядковими шкалами, мета полягає в упорядкуванні елементів вихідної множини, у виявленні за допомогою експертів прихованої впорядкованості, яка, за припущенням, властива цій множині. Необхідною умовоювирішення цього завдання є припущення про транзитивність. Чим повніше упорядковані елементи, тим легше застосувати логіко-математичні та комбінаторні методи для вирішення таких завдань.

Залежно від істоти чи важливості тієї чи іншої чинника на етапі підготовки та прийняття рішень можуть бути використані різні шкали. Такі фактори, як витрати, прибуток, час, можуть бути оцінені за порядковою або інтервальною шкалою (у рублях, днях чи умовних одиницях). Для оцінки таких чинників, як термін окупності або порівняльна ефективність варіантів, може бути використана інтервальна шкала; якісні чи соціальні чинники можуть оцінюватися за порядковими чи номінальними шкалами.

Глава 3. ОБРОБКА ЕКСПЕРТНИХ ОЦІНОК

3.1. Завдання обробки

Після проведення опитування групи експертів здійснюється опрацювання результатів. Вихідною інформацією для обробки є числові дані, що виражають переваги експертів, та змістовне обґрунтування цих переваг. Метою обробки є отримання узагальнених даних та нової інформації, що міститься у прихованій формі в експертних оцінках. На основі результатів обробки формується вирішення проблеми.

Наявність як числових даних, і змістовних висловлювань експертів призводить до необхідності застосування якісних і кількісних методів обробки результатів групового експертного оцінювання. Питома вага цих методів залежить від класу проблем, вирішуваних експертним оцінюванням.

Усі безліч проблем можна розділити на два класи. До першого класу ставляться проблеми, на вирішення яких є достатній рівень знань і досвіду, т. е. є необхідний інформаційний потенціал. При вирішенні проблем, що належать до цього класу, експерти розглядаються як хороші в середньому вимірювачі. Під терміном «хороші в середньому» розуміється можливість отримання результатів виміру, близьких до істинних. Для багатьох експертів їх судження групуються поблизу справжнього значення. Звідси випливає, що з обробки результатів групового експертного оцінювання проблем першого класу можна успішно застосовувати методи математичної статистики, засновані на середовищі даних.

До другого класу ставляться проблеми, на вирішення яких ще накопичено достатній інформаційний потенціал. У зв'язку з цим судження експертів можуть дуже відрізнятися один від одного. Більше того, судження одного експерта, яке сильно відрізняється від інших думок, може виявитися істинним. Очевидно, що застосування методів опосередкування результатів групової експертної оцінки під час вирішення проблем другого класу може призвести до великих помилок. Тому обробка результатів опитування експертів у разі має базуватися на методах, які використовують принципи опосередкування, але в методах якісного аналізу.

Враховуючи, що проблеми першого класу є найпоширенішими у практиці експертного оцінювання, основна увага в цьому розділі приділяється методам обробки результатів експертизи для цього класу проблем.

Залежно від цілей експертного оцінювання та обраного методу вимірювання під час обробки результатів опитування виникають такі основні завдання:

1) побудова узагальненої оцінки об'єктів з урахуванням індивідуальних оцінок експертів;

2) побудова узагальненої оцінки з урахуванням парного порівняння об'єктів кожним експертом;

3) визначення відносних ваг об'єктів;

4) визначення узгодженості думок експертів;

5) визначення залежностей між ранжуваннями;

6) оцінка надійності результатів обробки.

Завдання побудови узагальненої оцінки об'єктів за індивідуальними оцінками експертів виникає за групового експертного оцінювання. Розв'язання цього завдання залежить від використаного експертами методу виміру.

При вирішенні багатьох завдань недостатньо здійснити впорядкування об'єктів за одним показником чи деякою сукупністю показників. Бажано мати чисельні значення кожного об'єкта, визначальні відносну його важливість проти іншими об'єктами. Іншими словами, для багатьох завдань необхідно мати оцінки об'єктів, які не тільки здійснюють їх упорядкування, а й дозволяють визначати ступінь переваги одного об'єкта перед іншим. Для вирішення цього завдання можна безпосередньо застосувати метод безпосередньої оцінки. Однак це завдання за певних умов можна вирішити шляхом обробки оцінок експертів.

Визначення узгодженості думок експертів здійснюється шляхом обчислення числового заходу, що характеризує міру близькості індивідуальних думок. Аналіз значення міри узгодженості сприяє виробленню правильного судження про загальний рівень знань з розв'язуваної проблеми та виявлення угруповань думок експертів. Якісний аналіз причин угруповання думок дозволяє встановити існування різних поглядів, концепцій, виявити наукові школи, визначити характер професійної діяльностіі т. п. Усі ці чинники дають можливість глибше осмислити результати опитування експертів.

Обробкою результатів експертного оцінювання можна визначати залежності між ранжуваннями різних експертів і тим самим встановлювати єдність та відмінність у думках експертів. Важливу роль також відіграє встановлення залежності між ранжуваннями, побудованими за різними показниками порівняння об'єктів. Виявлення таких залежностей дозволяє розкрити пов'язані показники порівняння і, можливо, здійснити їх угруповання за рівнем зв'язку. Важливість завдання визначення залежностей практики очевидна. Наприклад, якщо показниками порівняння є різні цілі, а об'єктами - засоби досягнення цілей, то встановлення взаємозв'язку між ранжуваннями, що впорядковують засоби з точки зору досягнення цілей, дозволяє обґрунтовано відповісти на питання, якою мірою досягнення однієї мети при цих засобах сприяє досягненню інших цілей.

Оцінки, одержувані на основі обробки, є випадковими об'єктами, тому одним з важливих завдань процедури обробки є визначення їх надійності. Вирішенню цього завдання має приділятися відповідна увага.

Обробка результатів експертизи є трудомістким процесом. Виконання операцій обчислення оцінок та показників їхньої надійності вручну пов'язане з великими трудовими витратами навіть у разі вирішення простих завдань упорядкування. У зв'язку з цим доцільно використати обчислювальну технікуі особливо ЕОМ. Застосування ЕОМ висуває проблему розробки машинних програм, які реалізують алгоритми обробки результатів експертного оцінювання.

3.2. Групова оцінка об'єктів

У цьому параграфі розглянемо алгоритми обробки результатів експертного оцінювання безлічі об'єктів. Нехай mекспертів зробили оцінку nоб'єктів по lпоказниками. Результати оцінки представлені у вигляді величин, де j– номер експерта, i- Номер об'єкта, h- Номер показника (ознака) порівняння. Якщо оцінка об'єктів проведена методом ранжирування, то величини є рангами. Якщо оцінка об'єктів виконана методом безпосередньої оцінки або методом послідовного порівняння, то величини є числами з деякого відрізка числової осі, або бали. Обробка результатів оцінки залежить від розглянутих методів виміру.

Розглянемо випадок, коли величини отримані методами безпосередньої оцінки чи послідовного порівняння, т. е. є числами, чи балами. Для отримання групової оцінки об'єктів у цьому випадку можна (скористатися середнім значенням оцінки для кожного об'єкта

(5.1)

де - Коефіцієнти ваг показників порівняння об'єктів, - Коефіцієнти компетентності експертів. Коефіцієнти ваг показників та компетентності об'єктів є нормованими величинами

(5.2)

Коефіцієнти ваги показників можуть бути визначені експертним шляхом. Якщо – коефіцієнт ваги h-го показника, що дається j-м експертом, то середній коефіцієнт ваги h-го показника за всіма експертами дорівнює

(5.3)

Отримання групової експертної оцінки шляхом підсумовування індивідуальних оцінок з вагами компетентності та важливості показників при вимірюванні властивостей об'єктів у кардинальних шкалах ґрунтується на припущенні про виконання аксіом теорії корисності фон Неймана-Моргенштерна як для індивідуальних, так і для групової оцінки та умов нерозрізненості об'єктів у груповому якщо вони невиразні у всіх індивідуальних оцінках (частковий принцип Парето). У реальних завданнях ці умови, як правило, виконуються, тому отримання групової оцінки об'єктів шляхом підсумовування з вагами індивідуальних оцінок експертів широко застосовується на практиці.

Коефіцієнти компетентності експертів можна обчислити за апостеріорними даними, тобто за результатами оцінки об'єктів. Основною ідеєю цього обчислення є припущення, що компетентність експертів повинна оцінюватися за ступенем узгодженості їх оцінок з груповою оцінкою об'єктів.

Алгоритм обчислення коефіцієнтів компетентності експертів має вигляд рекурентної процедури:

(5.4)

(5.5)

(5.6)

Обчислення починаються з t=1. У формулі (5.4) початкові значення коефіцієнтів компетентності приймаються однаковими і рівними.

(5.7)

(5.8)

і значення коефіцієнтів компетентності першого наближення за формулою (5.6):

(5.9)

Використовуючи коефіцієнти компетентності першого наближення, можна повторити весь процес обчислення за формулами (5.4), (5.5), (5.6) та отримати другі наближення величин

Повторення рекурентної процедури обчислень оцінок об'єктів та коефіцієнтів компетентності природно ставить питання про її збіжність. Для розгляду цього питання виключимо з рівнянь (5.4), (5.6) зміни представимо ці рівняння у векторній формі

де матриці Урозмірності та Зрозмірності рівні

Розмір у рівняннях (5.10) визначається за формулою (5.5).

Якщо матриці Уі Зневід'ємні і нерозкладні, те, як це випливає з теореми Перрона - Фробеніуса, привектори і - сходяться до власних векторів матриць Уі З, відповідним максимальним власним числам цих матриць

(5.12)

Граничні значення векторів хі kможна обчислити з рівнянь:

(5.13)

де максимальні власні числа матриць Уі З .

Умова невід'ємності матриць Уі Злегко виконується вибором невід'ємних елементів матриці Хоцінок об'єктів експертами.

Умова нерозкладності матриць Уі Зпрактично виконується, оскільки, якщо ці матриці розкладаються, це означає, що експерти та об'єкти розпадаються на незалежні групи. При цьому кожна група експертів оцінює лише об'єкти своєї групи. Природно, що отримувати групову оцінку у разі немає сенсу. Таким чином, умови невід'ємності та нерозкладності матриць Уі З, отже, і умови збіжності процедур (5.4), (5.5), (5.6) у практичних умовах виконуються.

Слід зауважити, що практичне обчислення векторів групової оцінки об'єктів та коефіцієнтів компетентності простіше виконувати за рекурентними формулами (5.4), (5.5), (5.6). Визначення граничних значень цих векторів за рівнянням (5.13) потребує застосування обчислювальної техніки.

Розглянемо тепер випадок, коли експерти проводять оцінку множини об'єктів методом ранжування так, що величини є ранги. Обробка результатів ранжирування полягає у побудові узагальненого ранжування. Для побудови такого ранжування введемо кінцевомірне дискретне простір ранжувань і метрику в цьому просторі. Кожне ранжування безлічі об'єктів j-м експертом є точка у просторі ранжувань.

Ранжування можна у вигляді матриці парних порівнянь, елементи якої визначимо так :

Очевидно, що оскільки кожен об'єкт еквівалентний самому собі. Елементи матриці антисиметричні.

Якщо все ранжируемые об'єкти еквівалентні, всі елементи матриці парних порівнянь дорівнюють нулю. Таку матрицю будемо позначати вважати, що точка в просторі ранжувань, відповідна матриці, є початком відліку.

Звернення порядку ранжируемых об'єктів призводить до транспонування матриці парних порівнянь.

Метрика як відстань між i-й та j-й ранжуванням визначається єдиним чином формулою

якщо виконані наступні 6 аксіом:

1. причому рівність досягається, якщо ранжування та тотожні;

2.

причому рівність досягається, якщо ранжування «лежить між» ранжуваннями та. Поняття «лежить між» означає, що судження про деякі пареоб'єкти в ранжируванні збігається з судженням про цю пару або в, або в або ж

4.

де виходить з деякою перестановкою об'єктів, а з тією самою перестановкою. Ця аксіома утверджує незалежність відстані від перенумерації об'єктів.

5. Якщо два ранжування однакові всюди, за винятком n-елементної множини елементів, що є одночасно сегментом обох ранжувань, то можна обчислити, як би розглядалося ранжування тільки цих n-Об'єктів. Сегментом ранжування називається безліч, доповнення якого не порожнє і всі елементи цього доповнення знаходяться попереду або позаду кожної елемента сегмента. Сенс цієї аксіоми полягає в тому, що якщо два ранжирування повністю узгоджуються на початку та в кінці сегмента, а відмінність полягає в упорядкуванні середніх n-об'єктів, то природно прийняти, що відстань між ранжуваннями повинна дорівнювати відстані, що відповідає ранжуванням середніх n-Об'єктів.

6. Мінімальна відстань дорівнює одиниці.

Простір ранжування при двох об'єктах можна зобразити у вигляді трьох точок, що лежать на одній прямій. Відстань між точками рівні При трьох об'єктах простір всіх можливих ранжування складається з 13 точок.

Використовуючи введену метрику, визначимо узагальнене ранжування як таку точку, яка найкраще узгоджується з точками, що є ранжуванням експертів. Поняття найкращого узгодження на практиці найчастіше визначають як медіану та середнє ранжування.

Медіана є така точка у просторі ранжувань, сума відстаней від якої до всіх точок – ранжувань експертів є мінімальною. Відповідно до визначення медіана обчислюється з умови

Середнє ранжування є такою точкою, сума квадратів відстаней від якої до всіх точок – ранжувань експертів є мінімальною. Середнє ранжування визначається за умови

Простір ранжування звичайно і дискретно, тому медіана і середнє ранжування можуть бути тільки будь-якими точками цього простору. У загальному випадку медіана та середнє ранжування можуть не співпадати з жодним з ранжувань експертів.

Якщо враховується компетентність експертів, то медіана та середнє ранжування визначаються з умов:

де - Коефіцієнти компетентності експертів.

Якщо ранжування об'єктів проводиться за декількома показниками, то визначення медіани спочатку проводиться для кожного експерта за всіма показниками, а потім обчислюється медіана за багатьма експертами:

(j =1,2,…,m);

де - Коефіцієнти ваг показників.

Основним недоліком визначення узагальненого ранжування у вигляді медіани чи середнього ранжування є трудомісткість розрахунків. Природний спосіб відшукання або у вигляді перебору всіх точок простору ранжування неприйнятний внаслідок дуже швидкого зростання рівномірності простору зі збільшенням кількості об'єктів і, отже, зростання трудомісткості обчислень. Можна звести завдання пошуку або до специфічної задачі цілісного програмування. Проте це дуже ефективно зменшує обчислювальні труднощі.

Розбіжність узагальнених ранжувань за різних умов з'являється за малому числі експертів і неузгодженості їх оцінок. Якщо думки експертів близькі, то узагальнені ранжирування, побудовані за критеріями медіани та середнього значення, збігатимуться.

Складність обчислення медіани чи середнього ранжування призвела до необхідності застосування простих способівпобудови узагальненого ранжування.

До таких способів відноситься спосіб сум рангів.

Цей спосіб полягає у ранжируванні об'єктів за величинами сум рангів, отриманих кожним об'єктом від усіх експертів. Для матриці ранжувань складаються суми

Для обліку компетентності експертів достатньо помножити кожну i-ю ранжування на коефіцієнт компетентності j-го експерта У цьому випадку обчислення суми рангів для i-го об'єкта проводиться за такою формулою:

(i =1,2,…,n).

Узагальнене ранжування з урахуванням компетентності експертів будується з урахуванням упорядкування сум рангів всім об'єктів.

Слід зазначити, що побудова узагальненого ранжування за сумами рангів є коректною процедурою, якщо призначаються ранги як місця об'єктів у вигляді натуральних чисел 1, 2, ..., n. Якщо призначати ранги довільним чином, як числа в шкалі порядку, сума рангів, взагалі кажучи, не зберігає умову монотонності перетворення і, отже, можна отримувати різні узагальнені ранжування при різних відображеннях об'єктів на числову систему. Нумерація місць об'єктів може бути здійснена єдиним чином за допомогою натуральних чисел. Тому при добрій узгодженості експертів побудова узагальненого ранжування за методом сум рангів дає результати, що узгоджуються з результатами обчислення медіани.

Ще одним більш обґрунтованим у теоретичному відношенні підходом до побудови узагальненого ранжування є перехід від матриці ранжувань до матриці парних порівнянь та обчислення власного вектора, що відповідає максимальному власному числу цієї матриці. Упорядкування об'єктів провадиться за величиною компонент власного вектора.

3.3. Оцінка узгодженості думок експертів

При ранжируванні об'єктів експерти зазвичай розходяться в думках щодо проблеми, що вирішується. У зв'язку із цим виникає необхідність кількісної оцінки ступеня згоди експертів. Отримання кількісної міри узгодженості думок експертів дозволяє більш обґрунтовано інтерпретувати причини розбіжності думок.

Наразі відомі два заходи узгодженості думок групи експертів: дисперсійний та ентропійний коефіцієнти конкордації.

Дисперсійний коефіцієнт конкордації. Розглянемо матрицю результатів ранжування nоб'єктів групою з mекспертів ( j =1,…,m ; i =1,…,n), де - ранг, що присвоюється j-м експертом i-му об'єкту. Складемо суми рангів по кожному стовпцю. В результаті отримаємо вектор із компонентами

(i=1,2,…,n). (5.14)

Величини розглянемо як реалізації випадкової величини та знайдемо оцінку дисперсії. Як відомо, оптимальна за критерієм мінімуму середнього квадрата помилки оцінка дисперсії визначається формулою:

, (5.15)

де - оцінка математичного очікування, рівна

Дисперсійний коефіцієнт конкордації визначається як відношення оцінки дисперсії (5.15) до максимального значення цієї оцінки

Коефіцієнт конкордації змінюється від нуля до одиниці, оскільки.

Обчислимо максимальне значення оцінки дисперсії у разі відсутності пов'язаних рангів (всі об'єкти різні). Попередньо покажемо, що оцінка математичного очікування залежить лише від кількості об'єктів та кількості експертів. Підставляючи в (5.16) значення (5.14), отримуємо

Розглянемо спочатку сумовані за iпри фіксованому j. Це є сума рангів для j-го експерта. Оскільки експерт використовує для ранжування натуральні числа від 1 до n, то, як відомо, сума натуральних чисел від 1 до nдорівнює

(5.19)

Підставляючи (5.19) до (5.18), отримуємо

(5.20)

Таким чином, середнє значення залежить лише від числа експертів mта числа об'єктів n .

Для обчислення максимального значення оцінки дисперсії підставимо в (5.15) значення (5.14) і зведемо в квадрат двочлен у круглій дужці. В результаті отримуємо

(5.21)

Враховуючи, що з (5.18) випливає

отримуємо

(5.22)

Максимальне значення дисперсії досягається при найбільшому значенніпершого члена у квадратних дужках. Розмір цього члена істотно залежить від розташування рангів - натуральних чисел у кожному рядку i. Нехай, наприклад, усі mекспертів дали однакове ранжування для всіх nоб'єктів. Тоді в кожному рядку матриці будуть розташовані однакові числа. Отже, підсумовування рангів у кожній i-u рядку дає m-кратне повторення i-ro числа:

Зводячи в квадрат і підсумовуючи i, отримуємо значення першого члена (5.22) :

(5.23)

Тепер припустимо, що експерти дають незбігаючі ранжування, наприклад, для випадку n =mвсі експерти надають різні ранги одному об'єкту. Тоді

Порівнюючи цей вираз з при m =n, переконуємося, що перший член квадратних дужках формули (9) дорівнює другому члену і, отже, оцінка дисперсії дорівнює нулю.

Таким чином, випадок повного збігу ранжування експертів відповідає максимальному значенню оцінки дисперсії. Підставляючи (5.23) (5.22) і виконуючи перетворення, отримуємо

(5.24)

Введемо позначення

(5.25)

Використовуючи (5.25), запишемо оцінку дисперсії (5.15) як

Підставляючи (5.24), (5.25), (5.26) в (5.17) і скорочуючи на множник ( n-1), запишемо остаточний вираз для коефіцієнта конкордації

(5.27)

Ця формула визначає коефіцієнт конкордації у разі відсутності пов'язаних рангів.

Якщо ранжування є пов'язані ранги, то максимальне значення дисперсії в знаменнику формули (5.17) стає менше, ніж за відсутності пов'язаних рангів. Можна показати, що за наявності пов'язаних рангів коефіцієнт конкордації обчислюється за такою формулою:

(5.28)

(5.29)

У формулі (5.28) - показник пов'язаних рангів у j-й ранжуванні, - число груп рівних рангів j-й ранжуванні, - число рівних рангів k-ї групі пов'язаних рангів при ранжируванні j-м експертом. Якщо збігаються рангів немає, то =0,=0 і, отже,=0. І тут формула (5.28) збігається з формулою (5.27).

Коефіцієнт конкордації дорівнює 1, якщо ранжування експертів однакові. Коефіцієнт конкордації дорівнює нулю, якщо всі ранжування різні, т. е. немає збігу.

Коефіцієнт конкордації, що обчислюється за формулою (5.27) або (5.28), є оцінкою справжнього значення коефіцієнта і, отже, є випадковою величиною. Для визначення значущості оцінки коефіцієнта конкордації необхідно знати розподіл частот різних значеньчисла експертів mта кількості об'єктів n. Розподіл частот для Wпри та обчислено в . Для великих значень mі nможна використати відомі статистики. При числі об'єктів n>7 оцінка значимості коефіцієнта конкордації може бути зроблено за критерієм. Величина Wm (n -1 ) має розподіл з v=n-1 ступенями свободи.

За наявності пов'язаних рангів розподіл з v=n-1 ступенями свободи має величина:

(5.30)

Ентропійний коефіцієнт конкордаціївизначається формулою (коефіцієнт згоди):

де Н- Ентропія, що обчислюється за формулою

(5.32)

а – максимальне значення ентропії. У формулі для ентропії – оцінки ймовірностей j-го рангу, що присвоюється i-му об'єкту. Ці оцінки ймовірностей обчислюються як відносини кількості експертів , приписавших об'єкту ранг jдо загальної кількості експертів.

Максимальне значення ентропії досягається при рівноймовірному розподілі рангів, тобто коли. Тоді

Підставляючи це співвідношення у формулу (5.32), отримуємо

(5.35)

Коефіцієнт згоди змінюється від нуля до одиниці. При розміщенні об'єктів за рангами рівноймовірно, оскільки в цьому випадку . Цей випадок може бути обумовлений або неможливістю ранжування об'єктів за сформульованою сукупністю показників або повною неузгодженістю думок експертів. При , що досягається при нульовій ентропії ( H=0), всі експерти дають однакове ранжування. Дійсно, у цьому випадку для кожного фіксованого об'єкта всі експерти надають йому один і той самий ранг. j, отже, , a Тому і H =0.

Порівняльна оцінка дисперсійного та ентропійного коефіцієнтів конкордації показує, що ці коефіцієнти дають приблизно однакову оцінку узгодженості експертів при близьких ранжуваннях. Однак якщо, наприклад, вся група експертів розділилася в думках на дві підгрупи, причому ранжирування в цих підгрупах протилежні (пряма та зворотна), то дисперсійний коефіцієнт конкордації дорівнюватиме нулю, а ентропійний коефіцієнт конкордації дорівнюватиме 0,7. Таким чином, ентропійний коефіцієнт конкордації дозволяє зафіксувати факт поділу думок на дві протилежні групи. Обсяг обчислень для ентропійного коефіцієнта конкордації дещо більше, ніж дисперсійного коефіцієнта конкордації.

3.4. Обробка парних порівнянь об'єктів

При вирішенні завдання оцінки великої кількості об'єктів (ранжування, визначення відносних ваг, бальна оцінка) виникають проблеми психологічного характеру, зумовлені сприйняттям експертами безлічі якостей об'єктів. Експерти порівняно легко вирішують завдання парного порівняння об'єктів. Виникає питання, як отримати оцінку всієї сукупності об'єктів з урахуванням результатів парного порівняння, не накладаючи умови транзитивності? Розглянемо алгоритм розв'язання цього завдання. Нехай mекспертів проводять оцінку всіх пар об'єктів, даючи числову оцінку

(5.36)

Якщо при оцінці пари експертів висловилися за перевагу експертів висловилися навпаки експертів вважають ці об'єкти рівноцінними, то оцінка математичного очікування випадкової величини дорівнює

(5.37)

Загальна кількість експертів дорівнює сумі

(5.38)

Визначаючи звідси і підставляючи його (5.37), отримуємо

(5.39)

Очевидно, що сукупність величин утворює матрицю на основі якої можна побудувати ранжування всіх об'єктів і визначити коефіцієнти відносної важливості об'єктів.

Введемо вектор коефіцієнтів відносної важливості об'єктів порядку tнаступною формулою:

де - матриця математичних очікувань оцінок пар об'єктів, - Вектор коефіцієнтів відносної важливості об'єктів порядку t . Розмір дорівнює

(5.41)

Коефіцієнти відносної важливості першого порядку є відносними сумами елементів рядків матриці. X. Справді, вважаючи t=1, з (5.40) отримуємо

(5.42)

Коефіцієнти відносної важливості другого порядку ( t=2) є відносні суми елементів рядків матриці X 2 .

(5.43)

Якщо матриця Хневід'ємна і нерозкладна, то при збільшенні порядку величина сходиться до максимального числа матриці Х

а вектор коефіцієнтів відносної важливості об'єктів прагне власного вектора матриці X, що відповідає максимальному власному числу

Визначення власних чисел та власних векторів матриці проводиться рішенням рівняння алгебри

де Е-одинична матриця, та системи лінійних рівнянь

де k- Власний вектор матриці X, що відповідає максимальному власному числу. Компоненти власного вектора є коефіцієнти відносної важливості об'єктів, які вимірюються в шкалі відносин.

З практичної точки зору обчислення коефіцієнтів відносної важливості об'єктів простіше проводити послідовною процедурою за формулою (5.40) при t=1, 2, … Як показує досвід, 3-4 послідовних обчислень достатньо, щоб отримати значення і kблизькі до граничних значень, що визначаються рівняннями (5.46), (5.47).

Матриця неотрицательна, оскільки її елементи (5.39) неотрицательны. Матриця називається нерозкладною, якщо перестановкою рядів (рядків та однойменних стовпців) її не можна призвести до трикутного вигляду

(5.48)

де - нерозкладні підматриці матриці X. Подання матриці Ху вигляді (5.48) означає розбиття об'єктів на lдомінуючих множин

При 1 =nматриця Хнерозкладна, т. е. існує лише одне домінуюче безліч, що збігається з вихідним безліччю об'єктів. Розкладність матриці Хозначає, що серед експертів є великі розбіжності щодо оцінки об'єктів.

Якщо матриця Хнерозкладна, то обчислення коефіцієнтів відносної важливості дозволяє визначити, у скільки разів один об'єкт перевершує інший об'єкт за показниками, що порівнюються. Обчислення коефіцієнтів відносної важливості об'єктів дозволяє одночасно побудувати ранжування об'єктів. Об'єкти ранжуються отже першим об'єктом вважається об'єкт, у якого коефіцієнт відносної важливості найбільший. Повне ранжування визначається ланцюжком нерівностей

з якої випливає

Якщо матриця Х розкладається, то визначити коефіцієнти відносної важливості можна тільки для кожної множини. Для кожної матриці визначається максимальне власне число і відповідний цьому власний вектор. Компоненти власного вектора є коефіцієнти відносної важливості об'єктів, що входять у безліч. За цими коефіцієнтами здійснюється ранжування об'єктів даної множини. Загальне ранжування об'єктів дається співвідношенням

Таким чином, якщо матриця Хнерозкладна, то за результатами парного порівняння об'єктів можливе як вимірювання переваги об'єктів у шкалі відносин, так і в шкалі порядку (ранжування). Якщо ж матриця Хрозкладна, то можливе лише ранжування об'єктів.

Слід зазначити, що відношення переваги може бути виражене будь-яким позитивним числом З. При цьому має виконуватися умова. Зокрема, можна вибрати З=2 так, що якщо , то якщо і якщо , то .

3.5. Визначення взаємозв'язку ранжувань

При обробці результатів ранжирування можуть виникнути завдання визначення залежності між ранжуваннями двох експертів, зв'язку між досягненням двох різних цілей при вирішенні однієї і тієї ж сукупності проблем або взаємозв'язку між двома ознаками.

У цих випадках мірою взаємозв'язку може бути коефіцієнт рангової кореляції. Характеристикою взаємозв'язку безлічі ранжувань чи цілей буде матриця коефіцієнтів рангової кореляції. Відомі коефіцієнти рангової кореляції Спірмена та Кендала.

Коефіцієнт рангової кореляції Спірмена визначається формулою:

де - взаємний кореляційний момент першого та другого ранжувань, - дисперсії цих ранжувань. За даними двом ранжуванням оцінки взаємного кореляційного моменту та дисперсії обчислюються за формулами:

(5.51)

(5.52)

де n– кількість ранжованих об'єктів, - ранги у першому та другому ранжуваннях відповідно, - середні ранги у першому та другому ранжуваннях. Оцінки середніх рангів визначаються формулами:

(5.53)

Обчислимо оцінки середніх рангів і дисперсій у припущенні, що у ранжуваннях відсутні пов'язані ранги, т. е. обидві ранжування дають суворе впорядкування об'єктів. У цьому випадку середні ранги (5.53) є сумами натуральних чисел від одиниці до n, поділені на n. Отже, середні ранги для обох ранжувань однакові та рівні

(5.54)

При обчисленні оцінок дисперсій зауважимо, що й розкрити круглі дужки у формулах (5.52), то під знаком сум будуть перебувати натуральні числа та його квадрати. Два ранжирування можуть відрізнятися один від одного лише перестановкою рангів, але сума натуральних чисел та їх квадратів не залежить від порядку (перестановки) доданків. Отже, дисперсії (5.52) для двох будь-яких ранжувань (за відсутності пов'язаних рангів) будуть однакові та рівні

(I = 1,2). (5.55)

Підставляючи значення з (5.51) і з (5.55) у формулу (5.50), отримаємо оцінку коефіцієнта рангової кореляції Спірмена

(5.56)

Для проведення практичних розрахунків зручніше користуватися іншою формулою коефіцієнта кореляції Спірмена. Її можна отримати з (5.56), якщо скористатися тотожністю

У рівності (5.57) перші дві суми у правій частині, як це випливає з виразу (5.55), однакові і рівні

Підставляючи у формулу (5.56) значення суми (5.57) і використовуючи рівність (5.58), отримуємо наступну зручну для розрахунків формулу коефіцієнта рангової кореляції Спірмена :

(5.59)

Коефіцієнт кореляції Спірмена змінюється від -1 до +1. Рівність одиниці досягається, як це випливає з формули (5.59), при однакових ранжуваннях, тобто коли значення має місце при протилежних ранжуваннях (пряме та зворотне ранжування). За рівності коефіцієнта кореляції нулю ранжування вважаються лінійно незалежними.

Оцінка коефіцієнта кореляції, яка обчислюється за формулою (5.59), є випадковою величиною. Для визначення значущості цієї оцінки необхідно задатися величиною ймовірності, прийняти рішення про значущість коефіцієнта кореляції та визначити значення порога за наближеною формулою

(5.60)

де n- кількість об'єктів, - функція, зворотна функції

для якої є таблиці. Після обчислення порогового значення оцінка коефіцієнта кореляції вважається значною, якщо.

Для визначення значущості оцінки коефіцієнта Спірмена можна скористатися критерієм Стьюдента, оскільки величина

приблизно розподілена за законом Стьюдента з n – 2 ступенями свободи.

Якщо ранжування є пов'язані ранги, то коефіцієнт Спірмена обчислюється за такою формулою :

(5.62)

де - Оцінка коефіцієнта рангової кореляції Спірмена, що обчислюється за формулою (5.59), а величини рівні

(5.63)

У цих формулах - кількість різних пов'язаних рангів у першому та другому ранжуваннях відповідно.

Коефіцієнт рангової кореляції Кендалла за відсутності пов'язаних рангів визначається формулою:

де n– кількість об'єктів, - ранги об'єктів, sign x- Функція, рівна

Порівняльна оцінка коефіцієнтів рангової кореляції Спірмена і Кендал показує, що обчислення коефіцієнтів Спірмена проводиться за більш простою формулою. Крім того, коефіцієнт Спірмена дає більш точний результат, оскільки він є оптимальною за критерієм мінімуму середньої квадратної помилки оцінкою коефіцієнта кореляції.

Звідси випливає, що при практичних розрахунках кореляційної залежності ранжувань краще використовувати коефіцієнт рангової кореляції Спірмена.

ВИСНОВОК

Динамізм і новизна сучасних народногосподарських завдань, можливість виникнення різноманітних чинників, які впливають ефективність рішень, вимагають, щоб ці рішення приймалися швидко і водночас були добре обгрунтовані. Досвід, інтуїція, почуття перспективи у поєднанні з інформацією допомагають фахівцям точніше вибирати найбільш важливі цілі та напрямки розвитку, знаходити найкращі варіанти вирішення складних науково-технічних та соціально-економічних завдань в умовах, коли немає інформації щодо вирішення аналогічних проблем у минулому.

Використання методу експертних оцінок допомагає формалізувати процедури збору, узагальнення та аналізу думок фахівців з метою перетворення їх у форму, найбільш зручну для прийняття обґрунтованого рішення.

Але, слід зазначити, що метод експертних оцінок неспроможна замінити ні адміністративних, ні планових рішень, лише дозволяє поповнити інформацію, необхідну підготовки і прийняття таких рішень. Широке використання експертних оцінок правомірне лише там, де для аналізу майбутнього неможливо застосувати точніші методи.

Експертні методи безперервно розвиваються та вдосконалюються. Основні напрями цього розвитку визначаються рядом факторів, серед яких можна вказати на прагнення розширити сфери застосування, підвищити ступінь використання математичних методів та електронно-обчислювальної техніки, а також знайти шляхи усунення недоліків, що виявляються.

Незважаючи на успіхи, досягнуті в останні роки у розробці та практичному використанні методу експертних оцінок, є низка проблем та завдань, що вимагають подальших методологічних досліджень та практичної перевірки. Необхідно вдосконалювати систему відбору експертів, підвищення надійності характеристик групової думки, розробку методів перевірки обґрунтованості оцінок, дослідження прихованих причин, що знижують достовірність експертних оцінок.

Проте, вже сьогодні експертні оцінки разом із іншими математико-статистическими методами є важливим інструментом вдосконалення управління всіх рівнях.

СПИСОК ЛІТЕРАТУРИ:

2. Беклешев В.К., Завлін П.М. Нормування праці у НДІ та КБ. М: Економіка, 1973. 203 с.

10. Добров Г.М., Єршов Ю.В., Левін Є.І., Смирнов Л.П. Експертні оцінки у науково-технічному прогнозуванні. Київ: Наукова думка, 1974. 263 с.

11. Євланов Л.Г. Ухвалення рішень в умовах невизначеності. М.: ІУНГ, 1976. 196 с.

12. Євланов Л.Г., Кутузов В.А. Експертні оцінки в управлінні. М: Економіка, 1978. 133 с.

13. Карданська Н. Прийняття управлінського рішення. М.: ЮНИТИ, 1999. 407 з.

14. Кемені Д., Снелл Д. Кібернетичне моделювання. М: Радянське радіо, 1972. 234 с.

15. Кравченко Т.К. Процес ухвалення планових рішень. М.: Економіка, 1974. 183 с.

16. Міркін Б.Г. Проблема групового вибору. М: Наука, 1974. 256 с. . 17. Міхєєв В.І. Соціально-психологічні аспекти управління. Стиль та методи роботи керівника. М: Молода гвардія, 1975. 181 с.

18. Пфанцагль І. Теорія вимірів. М.: Світ, 1976. 278 з.

19. Тихомиров Ю.А. Управлінське рішення. М.: Наука, 1996. 278 з.

20. Федоренко Н.П. Оптимізація економіки. М: Наука, 1977. 236 с.

21. Ямпольський С.М., Лісічкін В.А. Прогнозування науково-технічного прогресу. М.: Економіка, 1974. 302 с.

ЕКСПЕРТНІ МЕТОДИ ПРИЙНЯТТЯ РІШЕНЬ

Приймати рішення можна або з урахуванням об'єктивних даних (зокрема з допомогою оптимізаційних методів і вероятностно-статистических моделей), або з урахуванням думок фахівців (експертів). У завданнях стратегічного та оперативного управління, техніко-економічного аналізу, забезпечення екологічної безпеки, управління природокористуванням та охорони навколишнього природного середовища тощо. постійно використовуються різноманітні методи експертних оцінок. Про них розповідається у цьому розділі.

Основні ідеї методів експертних оцінок

Приклад методів експертних оцінок.Як змінюватиметься економічна ситуація з часом? Що буде з навколишнім середовищем через десять років? Як зміниться екологічна ситуація? Чи буде забезпечена екологічна безпека промислових виробництв або навколо буде простягатися рукотворна пустеля? Достатньо вдуматися в ці постановки природних питань, проаналізувати, як десять або більше двадцять років тому ми уявляли сьогодні, щоб зрозуміти, що стовідсотково надійних прогнозів просто не може бути. Замість тверджень з конкретними числами очікується лише якісних оцінок. Проте ми, менеджери, економісти, інженери повинні приймати рішення, наприклад, про екологічні та інші проекти та інвестиції, наслідки яких позначаться через десять, двадцять і т.д. років. Як бути? Залишається звернутися до методів експертних оцінок. Що це за методи?

Безперечно, що для прийняття обґрунтованих рішень необхідно спиратися на досвід, знання та інтуїцію фахівців. Після Другої світової війни в рамках кібернетики, теорії управління, менеджменту та дослідження операцій стала розвиватися самостійна дисципліна – теорія та практика експертних оцінок.

Методи експертних оцінок - це методи організації роботи з фахівцями-експертами та опрацювання думок експертів. Ці думки зазвичай виражені частково у кількісній, частково у якісній формі. Експертні дослідження проводять з метою підготовки інформації для прийняття рішень ЛПР (нагадаємо, ЛПР – особа, яка приймає рішення). Для проведення роботи з методу експертних оцінок створюють Робочу групу (скорочено РГ), яка організує за дорученням ЛПР діяльність експертів, об'єднаних (формально чи сутнісно) в експертну комісію (ЕК).

Експертні оцінки бувають індивідуальніі колективні. Індивідуальні оцінки- Це оцінки одного фахівця. Наприклад, викладач одноосібно ставить позначку студенту, а лікар – діагноз хворому. Але у складних випадках захворювання чи загрозі відрахування студента за погане навчання звертаються до колективномудумку - симпозіуму лікарів чи комісії викладачів. Аналогічна ситуація – в армії. Зазвичай командувач приймає рішення одноосібно. Але у складних та відповідальних ситуаціях проводять військову раду. Один із найвідоміших прикладів такого роду - військова рада 1812 р. у Філях, на якій під головуванням М.І. Кутузова вирішувалося питання: "Давати чи не давати французам бій під Москвою?"

Інший найпростіший приклад експертних оцінок – оцінка номерів у КВК. Кожен із членів журі піднімає фанерку зі своєю оцінкою, а технічний працівник обчислює середню арифметичну оцінку, яка оголошується як колективна думка журі (нижче побачимо, що такий підхід некоректний з точки зору теорії вимірювань).

У фігурному катанні процедура ускладнюється - перед усередненням відкидаються найбільша та найменша оцінки.Це робиться для того, щоб не було спокуси завищити оцінку одній спортсменці (наприклад, співвітчизниці) або занизити іншу. Такі оцінки, що різко виділяються із загального ряду, будуть відразу відкинуті.

Експертні оцінки часто використовуються при виборі, наприклад:

Один варіант технічного пристрою для запуску в серію з декількох зразків,

Групи космонавтів із багатьох претендентів,

Набір проектів науково-дослідних робіт для фінансування з маси заявок,

Одержувачів екологічних кредитів з багатьох бажаючих,

При виборі інвестиційних проектівдля реалізації серед поданих і т.д.

Існує безліч методів отримання експертних оцінок. В одних із кожним експертом працюють окремо, він навіть не знає, хто ще є експертом, а тому висловлює свою думку незалежно від авторитетів. В інших експертів збирають разом для підготовки матеріалів для ЛПР, при цьому експерти обговорюють проблему один з одним, навчаються один у одного і невірні думки відкидаються. В одних методах кількість експертів фіксована і така, щоб статистичні методи перевірки узгодженості думок і потім їх усереднення дозволяли приймати обґрунтовані рішення. В інших - кількість експертів зростає в процесі проведення експертизи, наприклад, при використанні методу "снігової грудки" (про нього - далі).

Не менше існує й методів обробки відповідей експертів, зокрема дуже насичених математикою та комп'ютеризованих. Багато хто з них ґрунтується на досягненнях статистики об'єктів нечислової природи та інших сучасних методах прикладної статистики.

Один з найбільш відомих методів експертних оцінок – це метод "Дельфі". Назва дано за асоціацією з давнім звичаєм для отримання підтримки при ухваленні рішень звертатися до Дельфійського храму. Він був розташований біля виходу отруйних вулканічних газів. Жриці храму, надихавшись отрути, починали пророкувати, промовляючи незрозумілі слова. Спеціальні "перекладачі" - жерці храму тлумачили ці слова і відзначали на питання прочан, що прийшли зі своїми проблемами. За традицією кажуть, що Дельфійський храм був у Греції. Але там немає вулканів. Мабуть, він був в Італії – у Везувію чи Етни, а самі описані передбачення відбувалися у XII-XIV ст. Це випливає з найвищого досягнення сучасної історичної науки – нової статистичної хронології.

У 1960-х роках методом Дельфі назвали експертну процедуру прогнозування науково-технічного розвитку. У першому турі експерти називали ймовірні дати тих чи інших майбутніх звершень. У другому турі кожен експерт знайомився з прогнозами решти. Якщо його прогноз сильно відрізнявся від прогнозів основної маси, його просили пояснити свою позицію і часто він змінював свої оцінки, наближаючись до середніх значень. Ці середні значення видавалися замовнику як групове думка. Треба сказати, що реальні результатиДослідження виявилися досить скромними - хоча дата висадки американців на Місяць була передбачена з точністю до місяця, всі інші прогнози провалилися - холодного термоядерного синтезу та засоби від раку у ХХ ст. людство не дочекалося.

Однак сама методика виявилася популярною – за наступні роки вона використовувалася не менше 40 тис. разів. Середня вартість експертного дослідження за методом Дельфі - 5 тис. доларів США, але в ряді випадків доводилося витрачати і більші суми - до 130 тис. доларів.

Дещо осторонь основного русла експертних оцінок лежить метод сценаріїв, що застосовується насамперед для експертного прогнозування. Розгляньмо основні ідеї технології сценарних експертних прогнозів. Екологічне чи соціально-економічне прогнозування, як і будь-яке прогнозування взагалі, може бути успішним лише за певної стабільності умов. Проте рішення органів влади, окремих осіб, інші події змінюють умови, і події розвиваються інакше, ніж раніше передбачалося. Цілком очевидно, що після першого туру президентських виборів 1996 про подальший розвиток подій можна було говорити лише в термінах сценаріїв: якщо в другому турі переможе Б.М. Єльцин, то буде те й те, якщо ж переможе Г.А. Зюганів, то події підуть так і так.

Метод сценаріїв необхідний у соціально-економічної чи екологічної області. Наприклад, при розробці методологічного, програмного та інформаційного забезпечення аналізу ризикухіміко-технологічних проектів необхідно скласти детальний каталог сценаріїв аварій, пов'язаних із витоками токсичних хімічних речовин. Кожен із таких сценаріїв описує аварію свого типу, зі своїм індивідуальним походженням, розвитком, наслідками, можливостями попередження.

Таким чином, метод сценаріїв - це метод декомпозиції завдання прогнозування, що передбачає виділення набору окремих варіантів розвитку подій (сценаріїв), що в сукупності охоплюють усі можливі варіанти розвитку. При цьому кожен окремий сценарій повинен допускати можливість досить точного прогнозування, а загальна кількість сценаріїв має бути доступна для огляду.

Можливість такої декомпозиції не очевидна. При застосуванні методу сценаріїв необхідно здійснити два етапи дослідження:

Побудова вичерпного, але доступного для огляду сценаріїв;

Прогнозування в рамках кожного конкретного сценарію з метою отримання відповідей на питання, що цікавлять дослідника.

Кожен із цих етапів лише частково формалізуємо. Суттєва частина міркувань проводиться на якісному рівні, як це прийнято у суспільно-економічних та гуманітарних науках. Одна з причин полягає в тому, що прагнення до зайвої формалізації та математизації призводить до штучномувнесення певності там, де її немає по суті, або використання громіздкого математичного апарату. Так, міркування на словесному рівні вважаються доказовими в більшості ситуацій, тоді як спроба уточнити зміст слів, що використовуються, за допомогою, наприклад, теорії нечітких множин призводить до вельми громіздких математичних моделей.

Набір сценаріїв має бути доступним для огляду. Доводиться виключати різні малоймовірні події – приліт інопланетян, падіння астероїда, масові епідемії раніше невідомих хвороб тощо. Саме собою створення набору сценаріїв - предмет експертного дослідження. Крім того, експерти можуть оцінити ймовірність реалізації того чи іншого сценарію.

Прогнозування в рамках кожного конкретного сценарію з метою отримання відповідей на питання, що цікавлять дослідника, також здійснюється відповідно до описаної вище методології прогнозування. За стабільних умов можуть бути застосовані статистичні методи прогнозування часових рядів. Однак цьому передує аналіз за допомогою експертів, причому найчастіше прогнозування на словесному рівні є достатнім (для отримання цікавих дослідника та ЛПР висновків) і не потребує кількісного уточнення.

Як відомо, при ухваленні рішень на основі аналізу ситуації(як кажуть, при ситуаційному аналізі), у тому числі аналіз результатів прогнозних досліджень, можна виходити з різних критеріїв. Так, можна орієнтуватися те що, що ситуація складеться найгіршим, чи найкращим, чи середнім (у якомусь сенсі) образом. Можна спробувати намітити заходи, що забезпечують мінімально допустимі корисні результати за будь-якого варіанта розвитку ситуації, і т.д.

Ще один варіант експертного оцінювання – мозковий штурм. Організується він як збори експертів, на виступи яких накладено одне, але дуже суттєве обмеження – не можна критикувати пропозиції інших. Можна їх розвивати, можна висловлювати свої ідеї, але не можна критикувати! Під час засідання експерти, "заражаючись" один від одного, висловлюють дедалі більш екстравагантні міркування. Години через дві записане на магнітофон чи відеокамеру засідання закінчується, і починається другий етап мозкового штурму – аналіз висловлених ідей. Зазвичай зі 100 ідей 30 заслуговують на подальше опрацювання, з 5-6 дають можливість сформулювати прикладні проекту, а 2-3 виявляються в результаті приносять корисний ефект - прибуток, підвищення екологічної безпеки, оздоровлення навколишнього природного середовища і т.п. При цьому інтерпретація ідей – творчий процес. Наприклад, при обговоренні можливостей захисту кораблів від торпедної атаки було висловлено ідею: "Вибудувати матросів уздовж борту і дмухати на торпеду, щоб змінити її курс". Після опрацювання ця ідея призвела до створення спеціальних пристроїв, що створюють хвилі, що збиваються з курсу торпеду.

Основні стадії експертного опитування.Докладніше розглянемо окремі етапи експертного дослідження. Як свідчить досвід, з погляду менеджера - організатора такого дослідження доцільно виділяти такі стадії проведення експертного опитування.

1) Прийняття рішення про необхідність проведення експертного опитування та формулювання Особою, яка приймає рішення (ЛПР) її мети.Таким чином, ініціатива має виходити від керівництва, що надалі забезпечить успішне вирішення організаційних та фінансових проблем. Очевидно, що вихідний поштовх може бути дано доповідною запискою одного із співробітників або дискусією на нараді, але реальний початок роботи – рішення ЛПР.

2) Підбір та призначення ЛПР основного складу Робочої групи,скорочено РГ (зазвичай - наукового керівника та секретаря). При цьому науковий керівник відповідає за організацію та проведення експертного дослідження загалом, а також за аналіз зібраних матеріалів та формулювання висновку експертної комісії. Він бере участь у формуванні колективу експертів та видачі завдання кожному експерту (разом із ЛПР або його представником). Він сам – висококваліфікований експерт та визнаний іншими експертами формальний та неформальний керівник експертної комісії. Справа секретаря – ведення документації експертного опитування, вирішення організаційних завдань.

3) Розробка РГ(точніше, її основним складом, насамперед науковим керівником та секретарем) та затвердження у ЛПР технічного завдання на проведення експертного опитування. На цій стадії рішення про проведення експертного опитування набуває чіткості у часі, фінансовому, кадровому, матеріальному та організаційному забезпеченні. Зокрема, формується Робоча Група, у РГ виділяються різні групи фахівців – аналітична, економетрична (фахівці за методами), комп'ютерна, роботи з експертами (наприклад, інтерв'юерів), організаційна. Дуже важливо для успіху, щоб усі ці позиції були затверджені ЛПР.

4) Розробка аналітичною групою РГ докладного сценарію (тобто регламенту) проведення збору та аналізу експертних думок (оцінок).Сценарій включає насамперед конкретний вид інформації, яка буде отримана від експертів (наприклад, слова, умовні градації, числа, ранжирування, розбиття або інші види об'єктів нечислової природи). Наприклад, досить часто експертів просять висловитися у вільній формі, відповівши при цьому на деякі заздалегідь сформульовані питання. Крім того, їх просять заповнити формальну картку, у кожному пункті обравши одну із кількох градацій. Сценарій має містити й конкретні методи аналізу зібраної інформації. Наприклад, обчислення медіани Кемені, статистичний аналіз люсіанів, застосування інших методів статистики об'єктів нечислової природи та інших розділів прикладної статистики (про деякі з названих методів йтиметься нижче). Ця робота лягає на економетричну та комп'ютерну групу РГ. Традиційна помилка – спочатку зібрати інформацію, а потім думати, що з нею робити. В результаті, як показує сумний досвід, інформація використовується лише на 1-2%.

5) Підбір експертіввідповідно до їх компетентності. На цій стадії РГ складає список можливих експертів і оцінює ступінь їх придатності для запланованого дослідження.

6) Формування експертної комісії. На цій стадії РГ проводить переговори з експертами, отримує їхню згоду на роботу в експертній комісії (скорочено ЕК). Можливо, частина намічених РГ експертів не може увійти до експертної комісії (хвороба, відпустка, відрядження та ін.) або відмовляється з тих чи інших причин (зайнятість, умови контракту та ін.). ЛПР затверджує склад експертної комісії, можливо, викресливши чи додавши частину експертів до пропозицій РГ. Проводиться укладання договорів з експертами щодо умов їх роботи та її оплати.

7) Проведення збору експертної інформації.Часто перед цим проводиться набір та навчання інтерв'юерів – однієї з груп, що входять до РГ.

8) Комп'ютерний аналіз експертної інформаціїза допомогою включених до сценарію методів. Йому зазвичай передує введення інформації у комп'ютери.

9) При застосуванні згідно з сценарієм експертної процедури з кількох турів - повтореннядвох попередніх етапів.

10) Підсумковий аналіз експертних думок, інтерпретація отриманих результатіваналітичною групою РГ та підготовка заключного документаЕК для ЛПР.

11) Офіційне закінченнядіяльності РГ, у тому числі затвердження ЛПР заключного документа ЕК, підготовка та затвердження наукового та фінансового звітів РГ про проведення експертного дослідження, оплата праці експертів та співробітників РГ, офіційне припинення діяльності (розпуск) ЕК та РГ.

Розберемо докладніше окремі стадії експертного дослідження. Почнемо з підбору експертів: кадри вирішують усі! Які експерти - така й якість висновку експертної комісії.

Підбір експертівПроблема підбору експертів є однією з найскладніших у теорії та практиці експертних досліджень. Очевидно, як експерти необхідно використовувати тих людей, чиї міркування найбільше допоможуть прийняттю адекватного рішення. Але як виділити, знайти, підібрати таких людей? Треба прямо сказати, що немає методів підбору експертів, які напевно забезпечують успіх експертизи.Зараз ми не обговорюватимемо проблему існування різних "партій" серед експертів та звернемо увагу на різні інші сторони процедур підбору експертів.

У проблемі підбору експертів можна виділити дві складові. складання списку можливих експертів та вибір з них експертної комісії відповідно до компетентності кандидатів.

Складання списку можливих експертів полегшується тоді, коли аналізований вид експертизи проводиться багаторазово. У таких ситуаціях зазвичай ведеться реєстрможливих експертів, наприклад, у галузі державної екологічної експертизи чи суддівства фігурного катання, З якого можна вибирати за різними критеріями або за допомогою датчика (або таблиці) псевдовипадкових чисел.

Як бути, якщо експертиза проводиться вперше, усталені списки можливих експертів відсутні? Однак і в цьому випадку кожен спеціаліст має певне уявлення про те, що потрібно від експерта в подібній ситуації. Для формування списку є корисний метод "снігової грудки",при якому від кожного фахівця, що залучається як експерт, отримують певну кількість (зазвичай 5 - 10) прізвищ тих, хто може бути експертом з тематики, що розглядається. Очевидно, деякі з цих прізвищ зустрічалися раніше у діяльності РГ, а деякі – нові. Кожного знову опитують за тією ж схемою. Процес розширення списку припиняється, коли нові прізвища практично перестають зустрічатися. У результаті виходить досить великий перелік потенційних експертів. Метод "снігової грудки"має й недоліки. Число турів до зупинки процесу нарощування кома не можна заздалегідь передбачити. Крім того, ясно, що якщо на першому етапі всі експерти були з одного "клану", дотримувалися в чомусь близьких поглядів або займалися подібною діяльністю, то і метод "снігової грудки" дасть, швидше за все, осіб із цього ж "клану" . Думки та аргументи інших "кланів" будуть втрачені. (Тут йдеться про те, що спільнота фахівців реально розбита на групи, названі вище "кланами", і спілкування йде в основному всередині "кланів". Неформальна структура науки, до якої належать "клани", досить складна для вивчення. Зазначимо тут, що "клани" зазвичай утворюються на основі великих формальних центрів (вузів, наукових інститутів), наукових шкіл.

Питання оцінки компетентності експертів щонайменше складний. Зрозуміло, що успішність участі у попередніх експертизах - добрий критерій для діяльності дегустатора, лікаря, судді у спортивних змаганнях, тобто. таких експертів, які беруть участь у довгих серіях однотипних експертиз. Однак, на жаль, найбільш цікаві та важливі унікальні експертизи великих проектів, які не мають аналогів. Використання формальних показників експертів (посада, вчені ступінь і звання, стаж, число публікацій...), очевидно, в сучасних умовах, що швидко змінюються, може мати лише допоміжний характер, хоча подібні показники найпростіше застосовувати.

Часто пропонують використовувати методи самооцінки та взаємооцінки компетентності експертів. Обговоримо їх, почавши з методу самооцінки, у якому експерт сам дає інформацію у тому, у яких галузях він компетентний, а яких - немає. З одного боку, хто краще може знати можливості експерта, аніж він сам? З іншого боку, при самооцінці компетентності швидше оцінюється міра самовпевненості експерта, ніж його реальна компетентність. Тим більше, що саме поняття "компетентність"суворо не визначено. Можна його уточнювати, виділяючи складові, але ускладнюється попередня частина діяльності експертної комісії. Досить часто експерт перебільшує свою реальну компетентність. Наприклад, більшість людей вважають, що вони добре розуміються на політиці, економіці, проблемах освіти та виховання, сім'ї та медицини. Насправді експертів (і навіть знаючих людей) у цих областях дуже мало. Бувають ухилення і в інший бік, надмірно критичне ставлення до своїх можливостей.

При використанні методу взаємооцінки, крім можливості прояву особистісних та групових симпатій та антипатій, грає роль мала поінформованість експертів про можливості один одного. У сучасних умовах досить хороше знайомство з роботами та можливостями один одного може бути лише у фахівців, які багато років (не менше 3-4) працюють спільно, в одній кімнаті, над однією темою. Саме про такі пари можна сказати, що вони разом пуд солі з'їлиПроте залучення таких пар фахівців не дуже доцільне, оскільки їхні погляди через схожість життєвого шляхунадто схожі один на одного.

Якщо процедура експертного опитування передбачає безпосереднє спілкування експертів, необхідно враховувати ще низку обставин. Велике значення мають їх особистісні (соціально-психологічні) якості. Так, один-єдиний " говорун" може паралізувати діяльність усієї комісії на спільному засіданні. До зриву можуть призвести і неприязні відносини членів комісії, і науковий і посадовий статус членів комісії, що сильно розрізняється. У таких випадках важливе дотримання регламенту роботи, розробленого РГ.

Необхідно наголосити, що підбір експертів – одна з основних функцій Робочої групи, і жодні методики підбору не знімають із неї відповідальності. Іншими словами, саме на Робочій групі лежить відповідальність за компетентність експертів, за їхню принципову здатність вирішити поставлене завдання. Важливою є вимога до ЛПР щодо затвердження списку експертів. При цьому ЛПР може як додати до комісії окремих експертів, так і викреслити деяких з них - з власних міркувань, з якими членам РГ та ЕК знайомитись немає необхідності.

Існує ряд нормативних документів, що регулюють діяльність експертних комісій у тих чи інших сферах. Прикладом є Закон Російської Федерації"Про екологічну експертизу" від 23 листопада 1995 р., в якому регламентується процедура експертизи "господарської або іншої діяльності, що намічається" з метою виявлення можливої ​​шкоди, який може завдати аналізована діяльність навколишньому природному середовищу.

Про розробку регламенту проведення збору та аналізу експертних думок.Існує безліч методів отримання експертних оцінок. В одних із кожним експертом працюють окремо, він навіть не знає, хто ще є експертом, а тому висловлює свою думку незалежно від авторитетів, "кланів" та окремих колег. В інших експертів збирають разом для підготовки матеріалів для ЛПР, при цьому експерти обговорюють проблему один з одним, приймають чи відкидають аргументи один одного, навчаються один у одного, і невірні чи недостатньо обґрунтовані думки відкидаються. В одних методах число експертів фіксоване і таке, щоб статистичні методи перевірки узгодженості думок і потім (у разі досить гарної узгодженості думок) їх усереднення дозволяли приймати обґрунтовані рішення з погляду економетрики. В інших - кількість експертів зростає в процесі проведення експертизи, наприклад, при використанні методу "снігової грудки" для формування команди експертів.

В даний час не існуєзагальноприйнятої науково обґрунтованої класифікації методів експертних оцінок і тим більше однозначних рекомендацій щодо їх застосування. Спроба силою затвердити одну з можливих точок зору на класифікацію методів експертних оцінок може завдати лише шкоди.

Однак для розповіді про різноманіття експертних оцінок необхідна якась робоча класифікація методів. Одну з таких можливих класифікацій ми даємо нижче, перераховуючи підстави, за якими ділимо експертні оцінки.

Одне з основних питань – що саме має надати експертна комісія в результаті своєї роботи – інформацію для ухвалення рішення ЛПР чи проект самого рішення? Від відповіді це методологічне питання залежить організація роботи експертної комісії, і він є першою підставою для розбиття методів.

МЕТА - ЗБІР ІНФОРМАЦІЇ ДЛЯ ЛПР. Тоді Робоча група має зібрати якомога більше інформації, що стосується справи, аргументів "за" і "проти" певних варіантів рішень. Корисний наступний метод поступового збільшення числа експертів. Спочатку перший експерт наводить свої міркування з питання, що розглядається. Складений ним матеріал передається другому експерту, який додає свої аргументи. Накопичений матеріал надходить до наступного - третього - експерта... Процедура закінчується, коли вичерпується потік нових міркувань.

Зазначимо, що експерти у розглянутому методі лише постачають інформацію, аргументи "за" та "проти", але не виробляють узгодженого проекту рішення. Немає жодної необхідності прагнути до того, щоб експертні думки були узгоджені між собою. Більше того, найбільшу користь приносять експерти з мисленням, яке відхиляється від масового. Саме від них слід очікувати найоригінальніших аргументів.

МЕТА - ПІДГОТОВКА ПРОЕКТУ РІШЕННЯ ДЛЯ ЛПР. Математичні методи в експертних оцінках застосовуються зазвичай саме для вирішення завдань, пов'язаних із підготовкою проекту рішення. При цьому часто некритично приймають догми узгодженості та одновимірності. Ці догми "кочують" з однієї публікації до іншої, тому доцільно їх обговорити.

ДОГМА УГОДНОСТІ. Часто без жодних підстав вважається, що рішення може бути прийняте лише на основі узгоджених думок експертів. Тому виключають із експертної групи тих, чия думка відрізняється від думки більшості. При цьому відсіваються як некваліфіковані особи, які потрапили до складу експертної комісії з непорозуміння або з міркувань, що не мають відношення до їхнього професійного рівня, так і найбільш оригінальні мислителі, які глибше проникли в проблему, ніж більшість. Потрібно було б з'ясувати їхні аргументи, надати їм можливість для обґрунтування їх точок зору. Натомість їх думкою нехтують.

Буває й так, що експерти поділяються на дві або більше груп, які мають єдині груповіточки зору. Так, відомий приклад поділу фахівців при оцінці результатів науково-дослідних робіт на дві групи: "теоретиків", що явно віддають перевагу НДР, в яких отримані теоретичні результати, і "практиків", що вибирають ті НДР, які дозволяють отримувати безпосередні прикладні результати (мова йде про конкурсі НДР в академічному Інституті проблем управління (автоматики та телемеханіки)).

Іноді заявляють, що у разі виявлення двох або кількох груп експертів (замість однієї погодженої думки) опитування не досягло мети. Це не так! Мета досягнута – встановлено, що єдиної думки немає.Це дуже важливо. І ЛПР при ухваленні рішень має це враховувати. Прагнення забезпечити узгодженість думок експертів будь-якою цілою може призводити до свідомого одностороннього підбору експертів, ігнорування всіх точок зору, крім однієї, найбільш улюбленої Робочої групи (або навіть "підказаної" ЛПР).

Часто не враховують ще одну суто економетричну обставину. Оскільки кількість експертів зазвичай не перевищує 20-30, то формальна статистична узгодженість думок експертів (встановлена ​​за допомогою тих чи інших критеріїв перевірки) статистичних гіпотез) може поєднуватися з реально наявним поділом експертів на групи, що робить подальші розрахунки, що не мають відношення до дійсності. Для прикладу звернемося до конкретних методів розрахунків за допомогою коефіцієнтів конкордації (тобто – у перекладі – згоди) на основі коефіцієнтів рангової кореляції Кендала або Спірмена. За економетричною теорією позитивний результат перевірки узгодженості в такий спосіб означає ні більше, ні менше, як відхилення гіпотези про незалежність і рівномірну розподіл думки експертів на безлічі всіх ранжувань. Таким чином, перевіряється нульова гіпотеза, згідно з якою ранжирування, що описують думки експертів, є незалежними випадковими бінарними відносинами, рівномірно розподіленими на багатьох ранжуваннях. Відхилення цієї нульової гіпотези за поганою традицією тлумачиться як узгодженість відповідей експертів. Інакше кажучи, ми падаємо жертвою помилок, які з своєрідного тлумачення слів: перевірка узгодженості у зазначеному математико-статистическом сенсі зовсім перевіркою узгодженості у сенсі практики експертних оцінок. (Саме ущербність аналізованих математико-статистичних методів аналізу ранжувань призвела групу фахівців до розробки нового економетричного апарату для перевірки узгодженості – непараметричних методів, заснованих на т.зв. люсіанахта входять до сучасного розділу економетрики - статистику нечислових даних). Групи експертів із близькими методами можна виділити економетричними методами кластер-аналізу.

ДУМКИ ДИСИДЕНТІВ. З метою штучно домогтися узгодженості намагаються зменшити вплив думок експертів. дисидентів, тобто. інакодумців у порівнянні з більшістю. ЖорсткийМетод боротьби з дисидентами полягає у ігноруванні їх думок, тобто. фактично у їхньому виключенні зі складу експертної комісії. Відбраковування експертів, як і відбраковування результатів спостережень (викидів), що різко виділяються, призводить до процедур, що мають погані або невідомі статистичні властивості. Так, відома крайня нестійкістькласичних методів відбракування викидів по відношенню до відхилень від передумов моделі (див., наприклад, навчальний посібник ).

М'якийСпосіб боротьби з дисидентами полягає у застосуванні робастних (стійких) статистичних процедур. Найпростіший приклад: якщо відповідь експерта - дійсне число, то думка дисидента, що різко виділяється, сильно впливає на середню арифметичну відповідь експертів і не впливає на їх медіану. Тому розумно як узгоджену думку розглядати медіану. Однак при цьому ігноруються (не досягають ЛПР) аргументи дисидентів.

У будь-якому з двох способів боротьби з дисидентами ЛПР позбавляється інформації, що йде від дисидентів, а тому може ухвалити необґрунтоване рішення, яке згодом призведе до негативних наслідків. З іншого боку, подання ЛПР всього набору думок знімає частину відповідальності та праці щодо підготовки остаточного рішення з комісії експертів та робочої групи з проведення експертного опитування та перекладає ці відповідальність та працю на плечі ЛПР.

ДОГМА ОДНОМІРНОСТІ. У застарілій, а іноді й у сучасній науково-технічній літературі поширений досить спірний підхід так званої "кваліметрії", згідно з яким об'єкт експертизи завжди можна оцінити одним числом. Дивна ідея! Оцінювати людину одним числом спадало на думку лише на невільницьких ринках. Навряд чи навіть найзавзятіші кваліметристи розглядають книгу чи картину як еквівалент числа - її "ринкової вартості". Практично всі реальні об'єкти досить складні, тому скільки-небудь точно описати їх можна лише з допомогою багатьох і багатьох чисел, і навіть математичних об'єктів нечислової природи.

Водночас не можна повністю заперечувати саму ідею пошуку узагальнених показників якості, технічного рівня та аналогічних. Так, кожен об'єкт можна оцінювати за багатьма показниками якості. Наприклад, легковий автомобіль можна оцінювати за такими показниками:

витрати бензину на 100 км шляху (у середньому);

надійність (зокрема середня вартість ремонту протягом року);

екологічна безпека, що оцінюється за вмістом шкідливих речовин у вихлопних газах;

маневреність (у тому числі радіус повороту);

швидкість набору швидкості 100 км/год після початку руху; максимальна швидкість, що досягається;

тривалість збереження в салоні позитивної температури при низькій зовнішній температурі (наприклад, мінус п'ятдесят градусів за Цельсієм) та вимкненому двигуні;

дизайн (привабливість та "модність" зовнішнього вигляду та обробки салону);

вага, і т.д.

Чи можна звести оцінки за цими показниками разом? Зрозуміло, що визначальною є конкретна ситуація, на яку вибирається автомашина. Максимальна швидкість, що досягається, важлива для гонщика, але, як нам видається, не має великого практичного значення для водія рядової приватної машини, особливо в місті з суворим обмеженням на максимальну швидкість. Для такого водія важливіша витрата бензину, маневреність та надійність. Для машин різних служб державного управління, мабуть, надійність важливіша, ніж для приватника, а витрата бензину - навпаки. Для районів Крайньої Півночі важлива теплоізоляція салону, а для південних районів – ні. І т.д.

Таким чином, важливою є конкретна (вузька) постановка завдання перед експертами. Але такої постановки часто немає. А тоді "ігри" з розробки узагальненого показника якості – наприклад, у вигляді лінійної функціївід перерахованих змінних - що неспроможні дати об'єктивних висновків. Альтернативою єдиного узагальненого показника є математичний апарат типу багатокритеріальної оптимізації- множини Парето і т.д.

У деяких випадках все-таки можна глобально порівняти об'єкти - наприклад, за допомогою тих же експертів отримати впорядкування об'єктів, що розглядаються - виробів або проектів. Тоді можна ПІДІБРАТИ коефіцієнти при окремих показниках так, щоб впорядкування за допомогою лінійної функції можливо точніше відповідало глобальному впорядкуванню(Наприклад, знайти ці коефіцієнти методом найменших квадратів). Навпаки, у таких випадках НЕ СЛІД оцінювати зазначені коефіцієнти за допомогою експертів. Ця проста ідея досі не стала очевидною для окремих укладачів методик проведення експертних опитувань та аналізу їх результатів. Вони наполегливо намагаються змусити експертів робити те, що вони виконають не в змозі- вказувати ваги, з якими окремі показники якості повинні входити до підсумкового узагальненого показника.

Надіслати свою гарну роботу до бази знань просто. Використовуйте форму нижче

Студенти, аспіранти, молоді вчені, які використовують базу знань у своєму навчанні та роботі, будуть вам дуже вдячні.

Розміщено на http://www.allbest.ru/

МОСКІВСЬКИЙ СОЦІАЛЬНО-ЕКОНОМІЧНИЙ ІНСТИТУТ

на тему «Методика проведення експертних оцінок»

Студентки:

Артюшенко Юлія Вікторівна

Група: М10Б-Д-О-З

Москва 2014

Вступ

2. Методи експертних оцінок

Висновок

Вступ

У дослідженні управління широке поширення має метод експертних оцінок. Це складністю багатьох проблем, їх походженням з " людського чинника " , відсутністю надійних експериментальних чи нормативних інструментів.

Безперечно, що для прийняття обґрунтованих рішень необхідно спиратися на досвід, знання та інтуїцію фахівців. Після Другої світової війни у ​​рамках теорії управління (менеджменту) стала розвиватися самостійна дисципліна - експертні оцінки.

Методи експертних оцінок - це методи організації роботи з фахівцями-експертами та опрацювання думок експертів, виражених у кількісній та/або якісній формі з метою підготовки інформації для прийняття рішень ЛПР - особами, що приймають рішення.

Вивченню можливостей та особливостей застосування експертних оцінок присвячено багато робіт. У них розглядаються форми експертного опитування (різні види анкетування, інтерв'ю), підходи до оцінювання (ранжування, нормування, різні види впорядкування тощо), методи обробки результатів опитування, вимоги до експертів та формування експертних груп, питання тренування експертів, оцінки їх компетентності (при обробці оцінок запроваджуються та враховуються коефіцієнти компетентності експертів, достовірності їх думок), методики організації експертних опитувань. Вибір форм та методів проведення експертних опитувань, підходів до опрацювання результатів опитування тощо. залежить від конкретного завдання та умов проведення експертизи.

Експертні методи застосовують зараз у ситуаціях, коли вибір, обґрунтування та оцінка наслідків рішень не можуть бути виконані на основі точних розрахунків. Такі ситуації нерідко виникають при розробці сучасних проблем управління суспільним виробництвом та, особливо, при прогнозуванні та довгостроковому плануванні. В останні роки експертні оцінки знаходять широке застосування у соціально-політичному та науково-технічному прогнозуванні, у плануванні народного господарства, галузей, об'єднань, у розробці великих науково-технічних, економічних та соціальних програм, у вирішенні окремих проблем управління. експертне управління ранжування

1. Сутність, методи та процес експертних оцінок

1.1 Сутність експертних оцінок

Можливість використання експертних оцінок, обґрунтування їхньої об'єктивності зазвичай базується на тому, що невідома характеристика досліджуваного явища трактується як випадкова величина, відображенням закону розподілу якої є індивідуальна оцінка фахівця-експерта про достовірність та значущість тієї чи іншої події. У цьому передбачається, що справжнє значення досліджуваної характеристики перебуває всередині діапазону оцінок, одержуваних групи експертів, і що узагальнене колективне думка є достовірним.

Однак у деяких теоретичних дослідженнях це припущення ставиться під сумнів. Наприклад, пропонується розділити проблеми, на вирішення яких застосовуються експертні оцінки, на два класу. До першого класу відносяться проблеми, які досить добре забезпечені інформацією і для яких можна використовувати принцип «хорошого вимірника», вважаючи експерта зберігачем великого обсягу інформації, а групова думка експертів близька до істинного. До другого класу належать проблеми, щодо яких знань для впевненості у справедливості названих припущень недостатньо; експертів не можна розглядати як «добрих вимірювачів», і необхідно обережно підходити до обробки результатів експертизи, оскільки в цьому випадку думка одного (поодинокого) експерта, яка більше уваги приділяє дослідженню маловивченої проблеми, може виявитися найбільш значущою, а при формальній обробці вона буде втрачена. У зв'язку з цим до завдань другого класу переважно має застосовуватися якісна обробка результатів. Використання методів опосередкування (справедливих для «хороших вимірників») у разі може призвести до суттєвих помилок.

Завдання колективного прийняття рішень щодо формування цілей, удосконалення методів та форм управління зазвичай можна віднести до першого класу. Однак при розробці прогнозів та перспективних планів доцільно виявляти «рідкісні» думки та піддавати їх більш ретельному аналізу.

Інша проблема, яку потрібно мати на увазі при проведенні системного аналізу, полягає в наступному: навіть у разі вирішення проблем, що належать до першого класу, не можна забувати про те, що експертні оцінки несуть у собі не тільки вузько суб'єктивні риси, притаманні окремим експертам, а й колективно-суб'єктивні риси, які зникають під час обробки результатів опитування (а при застосуванні Дельфі -процедури навіть можуть посилюватися). Іншими словами, на експертні оцінки слід дивитися як на деяку «суспільну точку зору», яка залежить від рівня науково-технічних знань суспільства щодо предмета дослідження, яка може змінюватися в міру розвитку системи та наших уявлень про неї. Отже, експертне опитування – це не одноразова процедура. Такий спосіб отримання інформації про складну проблему, що характеризується великим ступенем невизначеності, має стати свого роду «механізмом» у складній системі. необхідно створити регулярну систему роботи з експертами.

Слід звернути також увагу, що використання класичного частотного підходу до оцінки ймовірності при організації проведення експертних опитувань буває скрутним, а іноді й неможливим (через неможливість довести правомірність використання представницькості вибірки). Тому в даний час ведуться дослідження характеру ймовірності експертної оцінки, що базуються на теорії розмитих множин Заде, на уявленні про експертну оцінку як ступеня підтвердження гіпотези або як ймовірності досягнення мети. Одним з різновидів експертного методує метод вивчення сильних та слабких сторін організації, можливостей та загроз її діяльності - метод SWOT-аналізу.

Збір експертної інформації залежить від вибору методу експертних оцінок. Зазвичай для збору експертної інформації складають спеціальні документи, наприклад, анкети, які затверджуються відповідними керівниками і потім розсилаються експертам.

Обробка експертної інформації здійснюється за допомогою вибраного методу, як правило, з використанням обчислювальної техніки. Отримані в результаті обробки дані аналізують та використовують для вирішення завдань аналізу та синтезу систем управління.

Експертні оцінки використовують для аналізу, діагностики стану, подальшого прогнозування варіантів розвитку:

1) об'єктів, розвиток яких або повністю або частково не піддається предметному опису або математичної формалізації;

2) в умовах відсутності достатньо представницької та достовірної статистики за характеристиками об'єкта;

3) за умов великої невизначеності середовища функціонування об'єкта, ринкового середовища;

4) при середньо- та довгостроковому прогнозуванні нових ринків, об'єктів нових областей промисловості, схильних до сильного впливу відкриттів у фундаментальних науках, (наприклад, мікробіологічна промисловість, квантова електроніка, атомне машинобудування);

5) у випадках, коли або час, або кошти, що виділяються на прогнозування та прийняття рішень, не дозволяють досліджувати проблему із застосуванням формальних моделей;

6) відсутні необхідні технічні засоби моделювання, наприклад обчислювальна техніка з відповідними характеристиками;

7) у екстремальних ситуаціях.

Завдання, які вирішуються у процесі експертних оцінок систем управління, можна поділити на дві групи:

1) завдання синтезу нових систем управління та їх оцінки;

2) завдання аналізу (вимірювання) існуючих систем управління за обраними показниками та критеріями ефективності.

До завдань першої групи належать: формування образу створюваної системи; прогнозування техніко-економічних показників стадій її життєвого циклу; обґрунтування основних напрямів реорганізації соціальної системи управління; вибір оптимальних чи задовільних способів дій і результатів з допомогою створюваної системи управління та інших. Деяка частина експертної інформації, одержувана під час вирішення даних завдань, носить якісний характері і формується як складних суджень в описовому виде. Проте завдання синтезу, розв'язувані з допомогою експертних оцінок, можуть мати кількісний характер, та його рішення пов'язані з обгрунтуванням численних параметрів (характеристик) створюваної системи. До завдань другої групи відносяться всі завдання оцінювання існуючих або створюваних варіантів систем управління за допомогою заданих показників та критеріїв ефективності. Прикладами таких завдань є: визначення структурних, функціональних чи інформаційних характеристик системи; оцінка її ефективності під час виконання різних операцій; визначення доцільності подальшої експлуатації технічних засобів управління та зв'язку та ін.

1.2 Роль експертів в управлінні

Експертиза - це думка, ідея, рішення чи оцінка, засновані на реалізації цінного досвіду фахівця, глибоких знаннях предмета дослідження та технологіях якісного аналізу.

Експертиза буває індивідуальна та групова. При груповій експертизі велике значення мають добір групи експертів та методологія підсумкової обробки результатів її роботи.

Висновок експертів є документом, у якому фіксується хід дослідження та його результати. При цьому висновки та думки експертів можуть мати як категоричну ("так", "ні"), так і імовірнісну (у вигляді припущення, ранжирування, коефіцієнта переваги та ін) форму.

В організації роботи експертів необхідно дотримуватись наступних принципів:

1. Ідеї, думки та оцінки повинні вкладатися в заздалегідь підготовлену схему. Це дозволяє робити їх узагальнення, порівняння, виділення суттєвого та ін. Така схема не повинна сковувати думку та обмежувати фантазію. Схема може допускати та припускати можливість її модифікації та доповнення.

2. Обробку експертних висновків необхідно здійснювати у кількісному узагальненні, а й у вигляді якісного аналізу, виділяючи головне, істотне, важливе, актуальне, оригінальне, нове тощо. Висновок експертів може бути предметом експертизи другого етапу.

3. Експерти мають бути незалежними, тобто. звільнені від будь-яких організаційних чи концептуальних, а також психологічних обмежень. І тут найкраще реалізуються їх досвід, знання, інтуїція.

4. Робота експертної групи має бути цілеспрямованою. Розуміння, навіщо та чому проводиться експертиза, є важливим елементом її проведення. У багатьох випадках потрібна спеціальна підготовка експертів, яка відіграє роль мобілізації зусиль та інтелекту.

5. Існують різні форми організації роботи експертної групи: або кожен експерт робить експертизу індивідуально, потім результати підсумовуються та систематизуються, або експерти працюють колективно, взаємодіючи один з одним.

6. Можлива паралельна та багатоетапна робота кількох експертних груп. Зіставлення експертиз дає важливу інформацію.

Існує безліч методів отримання експертних оцінок. В одних із кожним експертом працюють окремо, він навіть не знає, хто ще є експертом, а тому висловлює свою думку незалежно від авторитетів. В інших експертів збирають разом для підготовки матеріалів для ЛПР, при цьому експерти обговорюють проблему один з одним, навчаються один у одного і невірні думки відкидаються. В одних методах кількість експертів фіксована і така, щоб статистичні методи перевірки узгодженості думок і потім їх усереднення дозволяли приймати обґрунтовані рішення. В інших - кількість експертів зростає в процесі проведення експертизи, наприклад, при використанні методу "снігової грудки".

Фахівця або групу фахівців, які виступають у ролі експертів, іноді ототожнюють з вимірювальним приладом, Що має випадкові та систематичні помилки вимірювання.

Випадкові помилки обумовлені суб'єктивністю думок експертів про питанні і можуть відхилятися в той чи інший бік від справжнього значення. Вплив таких помилок зменшується шляхом усереднення достатньої кількості оцінок.

Систематична помилка притаманна всьому колективу експертів і може бути усунена шляхом обробки одержуваних оцінок. Це говорить про те, що в окремих випадках необхідно підходити дуже обережно до результатів експертного опитування, які іноді можуть виражати в цілому помилкову точку зору, яка залежить від рівня знань і переконань експертів.

1.3 Процес експертного оцінювання

До основних етапів процесу експертного оцінювання відносять:

Формування мети та завдань експертного оцінювання;

Формування групи управління та оформлення рішення на проведення експертного оцінювання;

Вибір методу отримання експертної інформації та способів її обробки;

Підбір експертної групи та формування за необхідності анкет опитування;

Опитування експертів (експертизу);

Обробку та аналіз результатів експертизи;

Інтерпретацію одержаних результатів;

Складання звіту.

Завдання проведення експертного оцінювання ставить ЛПР. Етап формування мети та завдань експертного оцінювання є основним. Від нього залежить надійність одержуваного результату та його прагматична цінність. Формування мети та завдань експертного оцінювання диктується істотою вирішуваної проблеми. Тут мають бути враховані такі фактори: надійність і повнота наявної вихідної інформації, необхідна форма подання результату (якісна або кількісна), можливі галузі використання отриманої інформації, терміни її подання, наявні у розпорядженні керівництва ресурси, можливість залучення фахівців інших галузей знань та багато іншого. Завдання оформляється як керівного документа (наприклад, рішення проведення експертного оцінювання).

Для підготовки рішення та керівництва усією подальшою роботою призначається керівник експертизи. Він визначає склад групи управління. Група управління здійснює зворотний зв'язок з експертами або шляхом Дельфі.

На групу управління покладається не тільки вся організаційно-планова робота щодо забезпечення сприятливих умов для ефективної творчої діяльності експертів, а й аналітична робота з підбору експертної групи, визначення методів отримання та обробки інформації, складання анкет - опитувальників, змістовної інтерпретації одержуваних результатів.

Це велике і складне коло розв'язуваних завдань вимагає включення до складу групи управління висококваліфікованих фахівців як у галузі проблеми, що розглядається, так і в інших галузях - психології, математики, медицини, соціології.

Підбір конкретних експертів проводиться з урахуванням аналізу якості кожного з запропонованих експертів. Використовуються для цієї мети різноманітні способи:

оцінка кандидатів в експерти на основі статистичного аналізу результатів минулої діяльності як експертів з I проблем дослідження СУ;

колективна оцінка кандидата в експерти як фахівця у цій галузі

самооцінка кандидата в експерти;

аналітичне визначення компетентності кандидатів на експерти.

Проте всім цим методам притаманні певні недоліки, зокрема: відсутність єдиної загальновизнаної методики оцінки; висока трудомісткість оцінки; виникнення проблем етичного характеру під час використання суб'єктивних методів оцінки.

У ході зазначеної роботи найчастіше застосовують одночасно кілька способів: самооцінки та колективної оцінки якостей запропонованого експерта. Такий підхід дозволяє досить обґрунтовано підібрати експертів із необхідними якостями. Однак слід визнати, що спосіб оцінок минулої діяльності є більш об'єктивним, ніж способи самооцінок та колективної оцінки.

У випадку формування експертної групи передують такі мероприятия:

виявляється та формулюється проблема;

визначається мета та сфера діяльності групи;

складається попередній перелік експертів;

проводиться аналіз та відбір експертів (на основі використання одного або кількох способів відбору їх);

уточнюється перелік експертів; . виходить згода експерта для участі у роботі експертної групи;

визначається остаточний репрезентативний перелік експертів. Усіх потенційних експертів залежно від їхньої якості та компетенції можна класифікувати на сім класів

Приклад градації якості та компетентності експертів.

Вибір числа класів якості експертів у разі обумовлений «правилом сімки», яким зазвичай користуються під час вирішення проблем управління.

Така градація дозволяє відібрати потрібних експертів для роботи в експертній групі. Для отримання достатньо об'єктивних результатів дослідження СУ відбір бажано здійснювати з числа експертів, що належать до 1-4 класів якості. Кандидатів до експертів нижчих класів якості залучати до експертиз не доцільно.

Незалежно від обраного способу оцінки якостей кандидатів експерти повинні відповідати у всіх випадках певним вимогам, серед яких:

* професійна компетентність та наявність практичного та дослідницького досвіду в галузі управління;

* креативність (уміння вирішувати творчі завдання); . наукова інтуїція;

Зацікавленість у об'єктивних результатах експертної роботи;

* незалежність суджень;

* Діяльність «зібраність» вміння перемикатися з одного виду діяльності на інший, комунікативність, незалежність суджень, мотивованість дій);

* об'єктивність;

* нонконформізм;

* Висока загальна ерудиція.

Проведення збору думок експертів передбачає визначення: місця та часу збору думок; форми та методики збору думок; кількості турів збору думок; складу та змістовної частини документації; порядку занесення результатів думок експертів до документів.

Дуже важливим є визначення форми збору думок експертів. Серед усіх відомих форм збору думок можна відзначити індивідуальні, колективні (групові) та змішані. Таким чином, зазначені форми розрізняються насамперед за фактором участі експертів у роботі (індивідуальне чи колективне) і кожна з них має ряд різновидів:

* анкетування;

* інтерв'ювання;

* дискусія;

* мозковий штурм

* Нарада;

* Ділова гра.

Всі вони мають свої переваги і недоліки. У багатьох випадках кожен з цих різновидів використовується разом з іншими, що найчастіше забезпечує більший ефект і об'єктивність. Змішана форма застосовується при збиранні думок експертів у випадках деякої неясності проблеми, у разі розбіжностей? індивідуальних думок чи розбіжностях експертів під час колективного обговорення.

Після проведення опитування групи експертів здійснюється опрацювання результатів. Вихідною інформацією для обробки є числові дані, що виражають переваги експертів, та змістовне обґрунтування цих переваг. Метою обробки є отримання узагальнених даних та нової інформації, що міститься у прихованій формі в експертних оцінках. На основі результатів обробки формується вирішення проблеми.

Наявність як числових даних, і змістовних висловлювань експертів призводить до необхідності застосування якісних і кількісних методів обробки результатів групового експертного оцінювання. Питома вага цих методів залежить від класу проблем, вирішуваних експертним оцінюванням.

Усі безліч проблем можна розділити на два класи. До першого класу ставляться проблеми, на вирішення яких є достатній рівень знань і досвіду, т. е. є необхідний інформаційний потенціал. При вирішенні проблем, що належать до цього класу, експерти розглядаються як хороші в середньому вимірювачі. Під терміном «хороші в середньому» розуміється можливість отримання результатів виміру, близьких до істинних. Для багатьох експертів їх судження групуються поблизу справжнього значення. Звідси випливає, що з обробки результатів групового експертного оцінювання проблем першого класу можна успішно застосовувати методи математичної статистики, засновані на середовищі даних.

До другого класу ставляться проблеми, на вирішення яких ще накопичено достатній інформаційний потенціал. У зв'язку з цим судження експертів можуть дуже відрізнятися один від одного. Більше того, судження одного експерта, яке сильно відрізняється від інших думок, може виявитися істинним. Очевидно, що застосування методів опосередкування результатів групової експертної оцінки під час вирішення проблем другого класу може призвести до великих помилок. Тому обробка результатів опитування експертів у разі має базуватися на методах, які використовують принципи опосередкування, але в методах якісного аналізу.

Враховуючи, що проблеми першого класу є найпоширенішими у практиці експертного оцінювання, основна увага в цьому розділі приділяється методам обробки результатів експертизи для цього класу проблем.

Залежно від цілей експертного оцінювання та обраного методу вимірювання під час обробки результатів опитування виникають такі основні завдання:

1) побудова узагальненої оцінки об'єктів з урахуванням індивідуальних оцінок експертів;

2) побудова узагальненої оцінки з урахуванням парного порівняння об'єктів кожним експертом;

3) визначення відносних ваг об'єктів;

4) визначення узгодженості думок експертів;

5) визначення залежностей між ранжуваннями;

6) оцінка надійності результатів обробки.

Завдання побудови узагальненої оцінки об'єктів за індивідуальними оцінками експертів виникає за групового експертного оцінювання. Розв'язання цього завдання залежить від використаного експертами методу виміру.

При вирішенні багатьох завдань недостатньо здійснити впорядкування об'єктів за одним показником чи деякою сукупністю показників. Бажано мати чисельні значення кожного об'єкта, визначальні відносну його важливість проти іншими об'єктами. Іншими словами, для багатьох завдань необхідно мати оцінки об'єктів, які не тільки здійснюють їх упорядкування, а й дозволяють визначати ступінь переваги одного об'єкта перед іншим. Для вирішення цього завдання можна безпосередньо застосувати метод безпосередньої оцінки. Однак це завдання за певних умов можна вирішити шляхом обробки оцінок експертів.

Визначення узгодженості думок експертів здійснюється шляхом обчислення числового заходу, що характеризує міру близькості індивідуальних думок. Аналіз значення міри узгодженості сприяє виробленню правильного судження про загальний рівень знань з розв'язуваної проблеми та виявлення угруповань думок експертів. Якісний аналіз причин угруповання думок дозволяє встановити існування різних поглядів, концепцій, виявити наукові школи, визначити характер професійної діяльності тощо. Усі ці фактори дають можливість глибше осмислити результати опитування експертів.

Обробкою результатів експертного оцінювання можна визначати залежності між ранжуваннями різних експертів і тим самим встановлювати єдність та відмінність у думках експертів. Важливу роль також відіграє встановлення залежності між ранжуваннями, побудованими за різними показниками порівняння об'єктів. Виявлення таких залежностей дозволяє розкрити пов'язані показники порівняння і, можливо, здійснити їх угруповання за рівнем зв'язку. Важливість завдання визначення залежностей практики очевидна. Наприклад, якщо показниками порівняння є різні цілі, а об'єктами - засоби досягнення цілей, то встановлення взаємозв'язку між ранжуваннями, що впорядковують засоби з точки зору досягнення цілей, дозволяє обґрунтовано відповісти на питання, якою мірою досягнення однієї мети при цих засобах сприяє досягненню інших цілей. .

Оцінки, одержувані на основі обробки, є випадковими об'єктами, тому одним з важливих завдань процедури обробки є визначення їх надійності. Вирішенню цього завдання має приділятися відповідна увага.

Обробка результатів експертизи є трудомістким процесом. Виконання операцій обчислення оцінок та показників їхньої надійності вручну пов'язане з великими трудовими витратами навіть у разі вирішення простих завдань упорядкування. У зв'язку з цим доцільно використовувати обчислювальну техніку та особливо ЕОМ. Застосування ЕОМ висуває проблему розробки машинних програм, які реалізують алгоритми обробки результатів експертного оцінювання.

2. Методи експертних оцінок

SWOT-аналіз

Особливим різновидом експертного методу, що користується великою популярністю, є оригінальний метод SWOT-аналізу. Він отримав таку назву за першими буквами чотирьох англійських слів, які в російському перекладі означають: Сильні та Слабкі сторони, Можливості та Загрози.

Ця методологія може використовуватися як універсальна. Особливий ефект має при дослідженні процесів у соціально-економічній системі, якій властива динамічність, керованість, залежність внутрішніх та зовнішніх факторів функціонування, циклічність розвитку.

За методологією цього аналізу проводиться розподіл факторів, що характеризують предмет дослідження за цими чотирма складовими з урахуванням належності цього фактора до класу зовнішніх або внутрішніх факторів.

В результаті з'являється картина співвідношення сильних і слабких сторін, можливостей та небезпек, яка підказує, як слід змінити ситуацію, щоб мати успіх у розвитку.

Розподіл факторів за цими квадрантами або секторами матриць не завжди є легкою справою. Буває, що той самий фактор одночасно характеризує і сильні, і слабкі сторони предмета. Крім того, фактори діють ситуативно. В одній ситуації вони виглядають гідністю, в іншій - недоліком. Іноді вони бувають непорівнянні за своєю значимістю. Ці обставини можна і потрібно враховувати.

Один і той самий фактор можна розміщувати в кількох квадрантах, якщо важко однозначно визначити його місце. Це не позначиться негативно на дослідженні. Адже суть методу полягає в тому, щоб ідентифікувати фактори, розмістити їх таким чином, щоб їхня концентрація підказала шляхи вирішення проблеми, щоб вони стали керованими.

У кожному квадранті фактори не обов'язково повинні мати однакову вагу, але вони повинні бути представлені в повній своїй сукупності.

Заповнена матриця показує реальний стан справ, стан проблеми та характер ситуації. Це перший етап SWOT-аналізу.

На другому етапі необхідно провести порівняльний аналіз сильних сторін та сприятливих можливостей, який має показати, як використовувати сильні сторони. Натомість треба проаналізувати й слабкі сторони щодо існуючих небезпек. Такий аналіз покаже, наскільки можлива криза. Адже небезпека збільшується, коли вона виникає в умовах ослаблення, коли слабкі сторони не дають змоги перешкоджати небезпеці.

Звичайно, дуже корисно зробити порівняльний аналіз сильних сторін та існуючих небезпек. Адже сильні сторони можна погано використовувати при запобіганні кризі, сильні сторони треба бачити не лише щодо сприятливих можливостей, а й щодо небезпек.

У дослідженні систем управління предметом цього можуть бути різні проблеми розвитку управління. Наприклад, ефективність, персонал, стиль, розподіл функцій, структура системи управління, механізм управління, мотивація, професіоналізм, інформаційне забезпечення, комунікації та організаційну поведінку та ін.

Використання спеціально підготовлених та відібраних експертів чи внутрішніх консультантів дозволяє підвищити ефективність цього методу.

Метод SMART

Існує безліч модифікацій методу SWOT-аналізу. Найцікавіший їх метод розробки та аналіз цілей.

Відомо, що ціль управління є вирішальним чинником успіху, ефективності, стратегії та розвитку. Без мети неможливо розробити план чи програму. Але це стосується як мети управління, а й мети дослідження. Адже сформулювати коректно цю мету теж нелегко. Програма дослідження, використання методів проведення залежать від мети.

Мета повинна розроблятися за критеріями досяжності, конкретності, оцінюваності (вимірюваності) з урахуванням Місця та Часу. Ці критерії відображають англійські слова-- Specific, Measurable, Achievable, Relevant, Timed, у скороченій назві це SMART. Так називається цей метод.

Метод передбачає послідовну оцінку цілей за сукупністю критеріїв, розташованих у матричній формі. Ось набір зіставних чинників, що відбивають характеристики мети: труднодостижима-легкодостижима, високі витрати - низькі витрати, має підтримку персоналу - немає підтримки персоналу, має пріоритети - немає пріоритетів, вимагає багато часу - вимагає мало часу, має широке вплив - має обмежений вплив, орієнтована на високі технології - орієнтована на низькі (звичайні) технології, пов'язана з новою організацією управління - не пов'язана з новою організацією управління.

На наступному етапі складається матриця визначення проблем. Для досягнення мети необхідно вирішити низку проблем. Але для цього їх треба спершу визначити.

Розподіл проблем здійснюється за такими критеріями: існуюча ситуація, бажана ситуація, можливість досягнення мети. Ці критерії характеризують горизонталь матриці. По вертикалі розглядають такі критерії: визначення проблеми, оцінювання проблеми (кількісні параметри), організація рішення (хто, де, коли), витрати на вирішення проблеми.

Така матриця дозволяє скласти план досліджень.

Метод ранжирування та оцінювання.

За методом рангів експерт здійснює ранжування (упорядкування) досліджуваних об'єктів організаційної системи в залежності від їх відносної значущості (переважності), коли найбільш переважному об'єкту присвоюється ранг 1, а найменш переважно - останній ранг, рівний за абсолютною величиною числа об'єктів, що упорядковуються. Точніше впорядкування буває при меншій кількості об'єктів дослідження, і навпаки.

При переважній (по рангам) розстановці об'єктів експертизи одним експертом сума рангів повинна дорівнювати сумі чисел всього натурального ряду кількості об'єктів Н, починаючи з одиниці: Н=(Н+1): 2.

Результати рангу об'єктів ранжирування за даними опитувань визначаються як сума рангів для кожного об'єкта. У цьому перший ранг присвоюється тому об'єкту, який отримав найменшу суму рангів, а останній -- тому, в якого виявилася найбільша сума рангів, тобто. найменш значущому об'єкту (приклад визначення результуючого рангу трьох об'єктів сімома експертами)

Чим більше залучається експертів, тим вища об'єктивність результату оцінки. Проте залучення великої кількості кваліфікованих експертів та висока трудомісткість експертних робіт підвищує вартість проведення оцінок якості. Тому, щоб знизити трудомісткість робіт експертів, використовують метод рангів, який передбачає лише ранжування показників, а чи не їх чисельне визначення експертами.

Проте даний метод застосовується на практиці дослідження СУ, незважаючи на свою простоту і малу трудомісткість, порівняно. Це велика кількість ранжируемых об'єктів дослідження.

Метод безпосереднього оцінювання

Є впорядкування досліджуваних об'єктів (наприклад, при відборі параметрів для складання параметричної моделі) в залежності від їх важливості шляхом приписування балів кожному з них. При цьому найбільш важливому об'єкту приписується найбільше балів за прийнятою шкалою (дається оцінка). Найбільш поширений діапазон шкали оцінок: від 0 до 1; 0 до 5; 0 до 10; 0 до 100. У найпростішому випадку оцінка може бути 0 або 1.

Іноді оцінювання здійснюється у словесній формі. Наприклад, «дуже важливий», «важливий», «незначний» і т.п., що теж іноді для більшої зручності обробки результатів опитування переводиться в бальну шкалу (відповідно 3, 2, 1).

Безпосереднє оцінювання слід застосовувати за повної впевненості у професійній поінформованості експертів про властивості досліджуваних об'єктів. За результатами оцінок визначаються ранг та вагомість (значимість) кожного досліджуваного об'єкта.

Висновок

Нині дедалі ширше застосовуються різні методи експертних оцінок. Вони незамінні при вирішенні складних завдань оцінювання та вибору технічних об'єктів, у тому числі спеціального призначення, при аналізі та прогнозуванні ситуацій з великою кількістю значущих факторів - усюди, коли необхідне залучення знань, інтуїції та досвіду багатьох висококваліфікованих фахівців-експертів.

Експертні методи безперервно розвиваються та вдосконалюються. Основні напрями цього розвитку визначаються рядом факторів, серед яких можна вказати на прагнення розширити сфери застосування, підвищити ступінь використання математичних методів та електронно-обчислювальної техніки, а також знайти шляхи усунення недоліків, що виявляються.

Незважаючи на успіхи, досягнуті в останні роки у розробці та практичному використанні методу експертних оцінок, є низка проблем та завдань, що вимагають подальших методологічних досліджень та практичної перевірки. Необхідно вдосконалювати систему відбору експертів, підвищення надійності характеристик групової думки, розробку методів перевірки обґрунтованості оцінок, дослідження прихованих причин, що знижують достовірність експертних оцінок.

В основу експертної оцінки властивостей та ділових якостей кандидата покладено кількісні параметри та оціночні критерії, отримані в результаті інтерв'ю. Хоча тут і є елементи умовності та суб'єктивізму, проте при гарній розробці шкали оцінок та уважному (професійному) підході експертів оцінити піддослідних можна з високим ступенем достовірності.

Список використаної літератури

1.Григорів В. М. Експерти в системі управління громадським виробництвом // М.: Думка, 1976

2. Демідова А.В. Дослідження систем керування. - М.: Пріор-видав, 2005. - 96 с.

3.Ігнатьєва А.В. Дослідження систем керування. – М.: ЮНІТІ-ДАНА, 2003. – 157 с.

4. Кафідов В.В. Дослідження систем керування. – М.: Академічний Проект, 2005. – 160 с.

5.Малін А.С. Дослідження систем керування. – М.: ГУ ВШЕ, 2005. – 399 с.

6.Рейльян Я. Р. Основа прийняття управлінських рішень //М.: Фінанси та статистика, 1989

7.Ременников В.Б. Розробка управлінського рішення. Навч. допомога. - М.: ЮНІТІ-ДАНА, 2000.

8. Смолкін A.M. Менеджмент: засади організації. - М: ІНФРА-М, 1999.

Розміщено на Allbest.ru

Подібні документи

Вирішення завдань, аргументація та формування кількісних оцінок результатів формальними методами. Складові методу експертних оцінок. Метод колективної генерації ідей ("мозкова атака"). Метод дельфі, особливості методу фокус-груп, SWOT-аналіз.

презентація , доданий 30.03.2014


Сутність та зміст, основні етапи проведення експертного аналізу, сфери та особливості його практичного застосування, інтерпретація результатів. Ступінь достовірності цієї експертизи. Застосування методу експертних оцінок побудови дерева цілей.

курсова робота , доданий 25.02.2012


Поняття та особливості застосування експертних технологій як невід'ємної складової частини процесу підготовки та прийняття важливих управлінських рішень. Вивчення основних стадій експертного опитування. Підбір експертів Метод Делфі, Паттерн, мозкової атаки.

реферат, доданий 09.10.2016


Використання експертних оцінок. Застосування різних методів для вирішення одного завдання. Ранжування, парні та численні порівняння, безпосередня оцінка, метод Терстоуна – найбільш уживані процедури експертних вимірів. Методи типу дельфі.

контрольна робота , доданий 09.03.2011


Сутність та види експертних оцінок, цілі їх використання. Основні етапи експертного дослідження. Характеристика методів колективної роботи експертної групи, а також методів здобуття індивідуальної думки. Обробка результатів опитування спеціалістів.

реферат, доданий 03.04.2012


Характеристика експертних процедур: особливості евристичних методів та моделей, методів індивідуальних оцінок, колективних експертних оцінок. Специфіка проведення експертизи, зміст та обробка результатів. Експертна оцінка рівня ризику країни.

реферат, доданий 10.05.2010


Методи одержання експертних оцінок. Проблема підбору експертів. Нормативні документи, що регулюють діяльність експертних комісій. Прийняття рішень в умовах ризику та в умовах невизначеності. Завдання прийняття рішень за умов невизначеності.

контрольна робота , доданий 15.07.2010


Сутність та види рішень у процесі управління виробництвом. Основні вимоги до якості управлінських рішень. Методи оптимізації управлінських рішень. Способи оптимізації рішень методами експертних оцінок.

курсова робота , доданий 08.05.2002


Вивчення методів прогнозування розвитку: екстраполяції, балансового, нормативного та програмно-цільового методу. Дослідження організації роботи експерта, формування анкет та таблиць експертних оцінок. Аналіз математико-статистичних моделей прогнозу.

контрольна робота , доданий 19.06.2011


Методика та етапи класифікації систем з різним ознакам. Складання анкет для отримання експертних оцінок, їх обов'язкові реквізити та основні питання. Сутність та побудова дерева цілей, принципи його деталізації. Методика оцінки складних систем.

Основна ідея прогнозування на основі експертних оцінок полягає у побудові раціональної процедури інтуїтивно-логічного мислення людини у поєднанні з кількісними методами оцінки та обробки одержуваних результатів.

Сутність методів експертних оцінок у тому, що основою прогнозу закладається думкаспеціаліста або колективу фахівців, заснований на професійний, науковий та практичний досвід.

Індивідуальні експертні оцінки- ґрунтуються на використанні думок експертів-фахівців відповідного профілю.

1. Метод "інтерв'ю"передбачає бесіду прогнозиста з експертом за схемою "питання-відповідь", у процесі якої прогнозист відповідно до заздалегідь розробленої програми ставить перед експертом питання щодо перспектив розвитку прогнозованого об'єкта. Успіх такої оцінки значною мірою залежить від здатності експерта експромтом давати висновок з різних питань.

2. Метод анкетного опитування полягає в тому, що експерту пропонується для заповнення анкета (опитувальний лист), що містить перелік питань, кожен з яких логічно пов'язаний із завданням дослідження.

В анкеті можуть використовуватись такі типи питань:

· Відкриті - відповіді на ці питання можуть бути сформульовані в будь-якій формі;

· Закритого типу - пропонуються варіанти відповідей, один з яких повинен вибрати експерт.

Використання в анкеті питань закритого типу краще, оскільки спрощує статистичну обробку результатів відповіді та полегшує роботу експерта при заповненні анкети. З іншого боку, перелік відповідей на запитання може і не містити думки експерта. Тому при формуванні переліку варіантів відповідей на деякі питання слід передбачати можливість висунення експертом свого варіанта відповіді або ухилення від відповіді

3. Аналітичний метод(аналітичних записок) передбачає ретельну самостійну роботуексперта над аналізом тенденцій, оцінкою стану та шляхів розвитку прогнозованого об'єкта. Експерт може використати всю необхідну йому інформацію про об'єкт прогнозу. Свої висновки він оформляє як доповідної записки. Основна перевага цього методу – можливість максимального використання індивідуальних здібностей експерта. Однак він мало придатний для прогнозування складних систем та вироблення стратегії через обмеженість знань одного фахівця-експерта у суміжних галузях знань.

Основна перевага методів індивідуальних експертних оцінок полягає у можливості максимального використання індивідуальних здібностей експертів. Однак ці методи мало придатні для прогнозування найбільш загальних стратегій через обмеженість знань одного експерта про розвиток суміжних галузей науки та практики.

Прикладом використання експертних оцінок під час планування розвитку соціально-економічних систем може бути багатокритеріальна завдання вибору варіанта рішення, яка сьогодні актуальна у багатьох сферах діяльності.

Процедура багатокритеріального вибору включає наступні етапи:

1. Виявлення найбільш суттєвих показників (критеріїв), що характеризують досліджуваний об'єкт;

2. Визначення способу кількісної оцінки показників;

3. Визначення допустимих меж зміни показників;

4. Вибір способу пошуку найкращого варіанта;

5. Розв'язання задачі та аналіз результатів.

Як цільову функцію для оцінки варіантів рішень найчастіше використовується адитивна згортка критеріїв:

Або , (2.18)

де - вагові коефіцієнти, що характеризують значущість критерію. Чисельні значення визначаються експертами, при цьому бажано дотримання наступної умови:

Якщо критерії мають різні одиниці виміру, їх необхідно призвести до єдиного безрозмірного масштабу те щоб виконувались такі нерівності:

приклад . На думку експертів, основними показниками економічного та соціального розвиткурегіону є:

Валовий внутрішній (регіональний) продукт;

рівень зайнятості населення;

Середньомісячна заробітна платня.

Експертну оцінку значущості критеріїв за десятибальною шкалою представлено в табл. 2.2.

Керівництву регіону запропоновано чотири цільові програми розвитку регіону, спрямовані на першочергове фінансування:

1. Агропромисловий комплекс;

2. Підприємств харчової промисловості;

3. Галузі соціально-культурної сфери;

4. Житлове будівництво.

Очікувані значення основних показників, одержувані при реалізації цільових програм, що розглядаються, наведені в табл. 2.3.

Таблиця 2.2

Результати експертної оцінки

Таблиця 2.3

Очікувані значення основних соціально-економічних показників розвитку регіону

Необхідно визначити найдоцільнішу програму розвитку регіону.

Рішення:

Визначимо значення вагових коефіцієнтів:

; ; .

Таким чином, в результаті обробки експертних оцінок цільова функція має такий вигляд:

Враховуючи, що цільова програма №3 явно неефективна порівняно з програмою №2 (1500<2000; 80=80; 1000<2000), удалим её из матрицы возможных решений:

Оскільки значення показників мають різну розмірність, їх необхідно призвести до єдиного безрозмірного масштабу. Це досягається розподілом елементів кожного стовпця на максимальну величину в стовпці:

На заключному етапі визначимо значення цільової функції для запропонованих програм:

Максимальне значення цільової функції відповідає програмі №1. Отже, реалізація цієї програми найбільш доцільна.

Найбільш достовірними є колективні експертні оцінки -передбачають визначення ступеня узгодженості думок експертів щодо перспективних напрямів розвитку об'єкта прогнозування, сформульованих окремими фахівцями.

Для організації проведення експертних оцінок створюються робочі групи, функції яких входять проведення опитування, обробка матеріалів та аналіз результатів колективної експертної оцінки. Робоча група призначає експертів, які дають відповіді на поставлені питання щодо перспектив розвитку даного об'єкта.

1. Суть методу колективної генерації ідей (мозкової атаки) полягає у використанні творчого потенціалу фахівців при мозковій атаці проблемної ситуації, що реалізує спочатку генерацію ідей, а потім їх структурування, аналіз та критику з висуванням контридей та виробленням узгодженої точки зору.

Метод колективної генерації ідей передбачає реалізацію наступних етапів:

1. формування групи учасників "мозкової атаки" щодо вирішення певної проблеми. Оптимальна чисельність групи є емпіричним шляхом. Найбільш продуктивними визнано групи, що складаються з 10-15 осіб.

2. Група аналізу складає проблемну записку, в якій формулюється проблемна ситуація та міститься опис методу та проблемної ситуації.

3. Етап генерації ідей. Кожен учасник має право виступати багато разів. Критика попередніх виступів та скептичні зауваження не допускаються. Ведучий коригує процес, вітає удосконалення чи комбінацію ідей, надає підтримку, звільняючи учасників від скутості. Тривалість "мозкової атаки" - щонайменше 20 хв і трохи більше 1 год залежно від активності учасників.

4. Систематизація ідей, висловлених етапі генерації. Формується перелік ідей, виділяються ознаки, за якими ідеї можуть бути об'єднані, ідеї об'єднуються до груп відповідно до виділених ознак.

5. На п'ятому етапі здійснюється деструктурування (руйнування) систематизованих ідей. Кожна ідея зазнає всебічної критики з боку групи висококваліфікованих фахівців у складі 20-25 осіб.

6. На шостому етапі дається оцінка критичних зауважень і складається список ідей, що практично реалізуються.

Метод "635"- один з різновидів "мозкової атаки". Цифри б, 3, 5 позначають 6 учасників, кожен із яких повинен записати 3 ідеї протягом 5 хв. Аркуш ходить по колу. Таким чином, за півгодини кожен запише до свого активу 18 ідей, а всі разом – 108. Структура ідей чітко визначена. Можливі модифікації методу. Цей метод широко використовується в зарубіжних країнах (особливо в Японії) для відбору з багатьох ідей найбільш оригінальних і прогресивних у вирішенні певних проблем.

2. Метод "Дельфі". Мета методу – розробка програми послідовних багатотурових індивідуальних опитувань. Індивідуальне опитування експертів зазвичай проводиться у формі анкет-запитань. Потім здійснюється їх статистична обробка на ЕОМ і формується колективна думка групи, виявляються та узагальнюються аргументи на користь різних суджень. Оброблена на ЕОМ інформація повідомляється експертам, які можуть коригувати оцінки, пояснюючи у своїй причини своєї незгоди з колективним судженням. Ця процедура може повторюватися до 3-4 разів. В результаті відбувається звуження діапазону оцінок та виробляється узгоджене судження щодо перспектив розвитку об'єкта.

Особливості методу "Дельфі":

а) анонімність експертів - взаємодія членів групи під час заповнення анкет повністю виключається;
б) можливість використання результатів попереднього туру опитування;

в) статистична характеристика групової думки.

3. Метод "комісій"- ґрунтується на роботі спеціальних комісій. Групи експертів за "круглим столом" обговорюють ту чи іншу проблему з метою узгодження точок зору та вироблення єдиної думки. Недолік цього методу полягає в тому, що група експертів у своїх судженнях керується здебільшого логікою компромісу.

Метод експертних комісій може бути організований в одній із таких форм:

Як показала практика, метод «комісій» має суттєві недоліки:

Великий вплив такого психологічного чинника як думка авторитетних експертів, якого приєднуються інші експерти, не висловлюючи своєї погляду;

Небажання експертів публічно відмовлятися від раніше висловлених ними думок;

При роботі комісій найчастіше відбувається суперечка двох чи трьох найавторитетніших експертів, внаслідок чого інші експерти у дискусії участь або не беруть або не враховуються висловлені ними думки.

4. Метод суду – ґрунтується на організації роботи колективу експертів у формі ведення судового процесу. Використання цього доцільно за наявності кількох груп експертів, кожна з яких відстоює свою точку зору. У разі як «підсудного» виступає об'єкт прогнозування. Лідери груп, які висловлюють альтернативні точки зору, виступають як звинувачення та захист (прокурор, адвокат). Окремі експерти відіграють роль свідків, надаючи суду необхідну для ухвалення рішення інформацію. Роль судді відіграє зацікавлена ​​особа (група осіб). Так, наприклад, у телевізійній передачі «Процес», заснованої на використанні методу суду для аналізу та прогнозування розвитку різних соціально-економічних процесів, роль судді грали глядачі, голосуючи у процесі передачі телефонними дзвінками за ту точку зору, яку вони підтримували.

Метод морфологічного аналізупередбачає вибір найбільш прийнятного вирішення проблеми з-поміж можливих. Його доцільно використовувати під час прогнозування фундаментальних досліджень. Метод включає ряд прийомів, що передбачають систематизований розгляд показників об'єкта. Дослідження проводиться за методом "морфологічного ящика", який будується у вигляді дерева цілей або матриці, клітини якої вписані відповідні параметри. Послідовне з'єднання параметра першого рівня з одним із параметрів наступних рівнів є можливим вирішенням проблеми. Загальна кількість можливих рішень дорівнює добутку числа всіх параметрів, представлених у "скринці", взятих по рядках. Шляхом перестановок та різних поєднань можна виробити імовірнісні характеристики об'єктів.

Метод написання сценарію- заснований на визначенні логіки процесу чи явища у часі за різних умов. Він передбачає встановлення послідовності подій, що розвиваються при переході від ситуації до майбутнього стану об'єкта. Прогнозний сценарій визначає стратегію розвитку прогнозованого об'єкта. Він повинен відображати генеральну мету розвитку об'єкта, критерії оцінки верхніх рівнів «дерева цілей», пріоритети проблем та ресурси для досягнення основних цілей. У сценарії відображаються послідовне вирішення завдання, можливі перешкоди. При цьому використовуються необхідні матеріали щодо розвитку об'єкта прогнозування.

Прогнозний граф - це постать, що складається з точок-вершин, з'єднаних відрізками-ребрами. "Дерево цілей" - це граф-дерево, що виражає відношення між вершинами-етапами чи проблемами досягнення мети. Кожна вершина є метою для всіх гілок, що виходять з неї. "Дерево цілей" передбачає виділення кількох структурних чи ієрархічних рівнів.

Побудова "дерева цілей" потребує вирішення багатьох завдань: прогнозу розвитку об'єкта загалом; формулювання сценарію прогнозованої мети, визначення рівнів та вершин "дерева", критеріїв та їх ваг у ранжируванні вершин. Ці завдання можуть вирішуватися за необхідності методами експертних оцінок. Слід зазначити, що цієї мети як об'єкту прогнозу може відповідати безліч різноманітних сценаріїв.

Сценарій зазвичай носить багатоваріантний характер і висвітлює три лінії поведінки: оптимістичну – розвиток системи у найбільш сприятливій ситуації; песимістичну - розвиток системи у найменш сприятливій ситуації; робочу - розвиток системи з урахуванням протидії негативним факторам, поява яких є найбільш ймовірною. У рамках прогнозного сценарію доцільно опрацьовувати резервну стратегію у разі непередбачених ситуацій.

Сценарій у готовому вигляді має бути підданий аналізу. З аналізу інформації, визнаної придатної майбутнього прогнозу, формулюються мети, визначаються критерії, розглядаються альтернативні рішення.