Warunki stosowania metody oceny eksperckiej. Metoda ekspercka

Wprowadzenie……………………………………………………………………………..3

Rozdział 1 Istota, metody i proces ekspertyz…………………5

1.1 Istota ekspertyz……………………………………………5

1.2 Rola ekspertów w zarządzaniu……………………………………………..9

1.3 Proces wzajemnej oceny ………………………………………10

1.4 Metody ocen eksperckich……………………………………………..18

1.4.1 Analiza SWOT………………………………………………………...18

1.4.2 Metoda SMART…………………………………………………………….20

1.4.3 Sposób rankingu i oceny……………………………………..21

1.4.4 Metoda oceny bezpośredniej……………………………22

1.5 Ocena umowy eksperckiej………………………………….23

Rozdział 2 Metody ocen eksperckich na przykładzie OJSC „UAZ” …………….24

Zakończenie…………………………………………………………………………………32

Wykaz źródeł i wykorzystanej literatury …………………………..33

Wstęp

W badaniach nad zarządzaniem szeroko stosowana jest metoda ocen eksperckich. Tłumaczy się to złożonością wielu problemów, ich pochodzeniem z „czynnika ludzkiego” oraz brakiem wiarygodnych narzędzi eksperymentalnych lub normatywnych.

Nie ulega wątpliwości, że aby podejmować świadome decyzje, należy polegać na doświadczeniu, wiedzy i intuicji specjalistów. Po drugiej wojnie światowej w ramach teorii zarządzania zaczęła rozwijać się samodzielna dyscyplina – oceny eksperckie.

Metody ocen eksperckich to metody organizacji pracy z ekspertami i przetwarzania opinii eksperckich, wyrażonych w formie ilościowej i/lub jakościowej, w celu przygotowania informacji do podejmowania decyzji przez decydentów.

Badaniu możliwości i cech wykorzystania ocen eksperckich poświęcono wiele prac. Omawiają formy badań eksperckich ( różne rodzaje kwestionariusze, wywiady), podejścia do oceniania (ranking, standaryzacja, różne rodzaje porządkowania itp.), metody przetwarzania wyników ankiet, wymagania wobec ekspertów i tworzenie grup eksperckich, zagadnienia szkolenia ekspertów, ocena ich kompetencji (przy przetwarzaniu ocen , są wprowadzane i uwzględniane współczynniki kompetencji ekspertów, rzetelność ich opinii), metody organizacji badań eksperckich. Dobór form i metod prowadzenia badań eksperckich, podejść do przetwarzania wyników badań itp. zależy od konkretnego zadania i warunków egzaminu.

Metody eksperckie znajdują obecnie zastosowanie w sytuacjach, gdy wybór, uzasadnienie i ocena skutków decyzji nie może być dokonana na podstawie dokładnych obliczeń. Takie sytuacje często pojawiają się podczas rozwoju współczesne problemy kierownictwo produkcja społeczna a zwłaszcza w prognozowaniu i planowaniu długoterminowym. W ostatnich latach oceny eksperckie znalazły szerokie zastosowanie w prognozowaniu, planowaniu społeczno-politycznym, naukowym i technicznym Gospodarka narodowa, branże, stowarzyszenia, w opracowywaniu dużych programów naukowych, technicznych, ekonomicznych i społecznych, w rozwiązywaniu indywidualnych problemów związanych z zarządzaniem.

Rozdział 1 Istota, metody i proces ocen eksperckich

1.1 Istota ocen eksperckich

Możliwość wykorzystania ocen eksperckich i uzasadnienie ich obiektywności zwykle polega na tym, że nieznana cecha badanego zjawiska jest interpretowana jako zmienna losowa, której odzwierciedleniem prawa rozkładu jest indywidualna ocena specjalisty. o wiarygodności i znaczeniu konkretnego zdarzenia. Zakłada się, że rzeczywista wartość badanej cechy mieści się w granicach szacunków uzyskanych od grupy ekspertów, a uogólniona opinia zbiorowa jest wiarygodna.

Jednak niektóre badania teoretyczne kwestionują to założenie. Proponuje się na przykład podzielenie problemów, dla których wykorzystuje się oceny eksperckie, na dwie klasy. DO uliczkadruga klasa Należą do nich problemy w miarę dobrze zaopatrzone w informacje, przy których można zastosować zasadę „dobrego mierniczego”, uznając eksperta za depozytariusza dużej ilości informacji oraz grupową opinię ekspertów za bliską prawdziwej jeden. Współ. druga klasa Należą do nich problemy, dla których wiedza nie jest wystarczająca, aby zapewnić słuszność powyższych założeń; ekspertów nie można uważać za „dobrych mierniczych” i należy zachować ostrożność podczas przetwarzania wyników badania, ponieważ w tym przypadku opinia jednego (pojedynczego) eksperta, który zwraca większą uwagę na badanie mało zbadanego problem, może okazać się najważniejszy, a podczas formalnego przetwarzania zostanie utracony. W związku z tym w przypadku problemów drugiej klasy należy głównie stosować jakościowe przetwarzanie wyników. Stosowanie metod uśredniających (dotyczy „dobrych liczników”) w tym przypadku może prowadzić do znacznych błędów.

Zadania zbiorowego podejmowania decyzji mające na celu formułowanie celów, doskonalenie metod i form zarządzania można zwykle zaliczyć do pierwszej klasy. Przy opracowywaniu prognoz i planów długoterminowych warto jednak identyfikować opinie „rzadkie” i poddawać je dokładniejszej analizie.

Kolejnym problemem, o którym należy pamiętać przeprowadzając analizę systemową, jest to, że nawet w przypadku rozwiązywania problemów należących do pierwszej klasy nie można zapominać, że oceny eksperckie niosą ze sobą nie tylko wąsko subiektywne cechy właściwe poszczególnym ekspertom, ale także łącznie - cechy subiektywne, które nie zanikają w trakcie przetwarzania wyników ankiety (a przy zastosowaniu procedury Delphi mogą nawet się nasilać). Innymi słowy, oceny eksperckie należy postrzegać jako pewien „publiczny punkt widzenia”, zależny od poziomu wiedzy naukowo-technicznej społeczeństwa na temat przedmiotu badań, która może się zmieniać wraz z rozwojem systemu i naszych wyobrażeń na jego temat. Dlatego też badanie eksperckie nie jest procedurą jednorazową. Ten sposób uzyskiwania informacji o złożonym problemie charakteryzującym się dużym stopniem niepewności powinien stać się swego rodzaju „mechanizmem” w złożonym systemie, tj. konieczne jest stworzenie stałego systemu pracy z ekspertami.

Należy także zaznaczyć, że zastosowanie klasycznego podejścia częstotliwościowego do oceny prawdopodobieństwa przy organizacji badań eksperckich może być trudne, a czasami niemożliwe (ze względu na brak możliwości udowodnienia zasadności stosowania reprezentatywności próby). Dlatego obecnie trwają badania nad naturą prawdopodobieństwa oceny eksperckiej, w oparciu o teorię zbiorów rozmytych Zadeha, na koncepcji oceny eksperckiej jako stopnia potwierdzenia hipotezy lub jako prawdopodobieństwa osiągnięcia celu. Jedną z odmian metody eksperckiej jest metoda badania mocnych i słabych stron organizacji, szans i zagrożeń dla jej działalności – metoda analizy SWOT.

Gromadzenie informacji eksperckich uzależnione jest od wyboru metody oceny eksperckiej. Zazwyczaj w celu zebrania informacji eksperckich sporządzane są specjalne dokumenty, takie jak kwestionariusze, zatwierdzane przez odpowiednich menedżerów, a następnie przesyłane do ekspertów.

Przetwarzanie informacji eksperckich odbywa się wybraną metodą, najczęściej z wykorzystaniem technologii komputerowej. Dane uzyskane w wyniku przetwarzania są analizowane i wykorzystywane do rozwiązywania problemów analizy i syntezy systemów sterowania.

Oceny eksperckie służą do analizy, diagnozy stanu, a następnie prognozowania możliwości rozwoju:

1) przedmioty, których rozwój całkowicie lub częściowo wykracza poza opis merytoryczny lub formację matematyczną;

2) w przypadku braku wystarczająco reprezentatywnych i wiarygodnych statystyk dotyczących charakterystyki obiektu;

3) w warunkach dużej niepewności otoczenia funkcjonowania obiektu, otoczenia rynkowego;

4) do średnio- i długoterminowego prognozowania nowych rynków, obiektów nowych dziedzin przemysłu, na które duży wpływ mają odkrycia nauk podstawowych (np. przemysł mikrobiologiczny, elektronika kwantowa, inżynieria nuklearna);

5) w przypadkach, gdy czas lub środki przeznaczone na prognozowanie i podejmowanie decyzji nie pozwalają na zbadanie problemu za pomocą modeli formalnych;

6) brak niezbędnych narzędzi do modelowania technicznego, np. technologii komputerowej o odpowiednich charakterystykach;

7) w sytuacjach ekstremalnych.

Zadania rozwiązywane w procesie ocen eksperckich systemów zarządzania można podzielić na dwie grupy:

1) zadania syntezy nowych systemów sterowania i ich oceny;

2) zadanie analizy (pomiaru) istniejących systemów zarządzania według wybranych wskaźników i kryteriów efektywności.

Do zadań pierwszej grupy zalicza się: kształtowanie wyglądu tworzonego systemu; prognozowanie wskaźników technicznych i ekonomicznych etapów jego cyklu życia; uzasadnienie głównych kierunków reorganizacji systemu zarządzania społecznego; wybór optymalnych lub zadowalających metod działania i wyników przy wykorzystaniu stworzonego systemu kontroli itp.

Część informacji eksperckich uzyskanych w trakcie rozwiązywania tych problemów ma charakter jakościowy i kształtuje się w postaci złożonych ocen w formie opisowej. Jednakże problemy syntezy rozwiązywane za pomocą ocen eksperckich mogą mieć charakter ilościowy, a ich rozwiązanie będzie związane z uzasadnieniem wielu parametrów (charakterystyk) tworzonego systemu.

Zadania drugiej grupy obejmują wszystkie zadania oceny istniejących lub stworzonych opcji systemów sterowania przy użyciu określonych wskaźników i kryteriów wydajności. Przykładami takich zadań są: określenie cech strukturalnych, funkcjonalnych lub informacyjnych systemu; ocena jego skuteczności podczas różnych operacji; określenie możliwości dalszej eksploatacji urządzeń kontroli technicznej i łączności itp. Znaczna część informacji eksperckich wykorzystywanych przy rozwiązywaniu takich problemów ma charakter ilościowy lub ma formę elementarnych ocen i jest przetwarzana przy użyciu różnych metod statystycznych.

MINISTERSTWO EDUKACJI

FEDERACJA ROSYJSKA

UNIWERSYTET PAŃSTWOWY ALTAI

Wydział Ekonomii

Katedra Zarządzania Kryzysowego, Oceny Biznesu i Innowacji

METODA OCENY EKSPERTÓW

(praca na kursie)

Ukończone przez studenta

3 kursy, grupa 277

Strekalova S.B.

Praca chroniona

Barnauł – 1999

Wprowadzenie 3

Rozdział 1. DOŚWIADCZENIE W ZARZĄDZANIU 5

1.1. Rola ekspertów w zarządzaniu 5

1.2. Metoda oceny eksperckiej 7

1.3. Organizacja oceny eksperckiej 9

1.4. Wybór ekspertów 9

1,5. Ankieta ekspercka 10

Rozdział 2. FORMALIZACJA INFORMACJI

I SKALA PORÓWNAŃ 12

Rozdział 3. PRZETWARZANIE OCEN EKSPERTÓW 16

3.1. Zadania przetwarzania 16

3.2. Grupowa ocena obiektów 17

3.3. Ocena spójności opinii biegłych 22

3.4. Przetwarzanie porównań obiektów parami 25

3.5. Określenie zależności pomiędzy rankingami 27

Wniosek 31

Referencje 32

WSTĘP

Współczesna gospodarka stawia przed zarządzaniem nowe, wyższe wymagania. Kwestie doskonalenia metod zarządzania stają się obecnie bardzo istotne ważny, gdyż to właśnie w tym obszarze istnieją jeszcze większe rezerwy na zwiększenie efektywności gospodarki narodowej.

Istotnym czynnikiem podnoszenia poziomu naukowego zarządzania jest stosowanie metod i modeli matematycznych przy podejmowaniu decyzji. Jednak pełna matematyczna formalizacja problemów technicznych i ekonomicznych jest często niemożliwa ze względu na ich jakościową nowość i złożoność. Coraz częściej stosuje się w tym zakresie metody eksperckie, rozumiane jako zespół logicznych i matematyczno-statystycznych metod i procedur mających na celu uzyskanie od specjalistów informacji niezbędnych do przygotowania i wyboru racjonalnych decyzji.

Metody eksperckie znajdują obecnie zastosowanie w sytuacjach, gdy wybór, uzasadnienie i ocena skutków decyzji nie może być dokonana na podstawie dokładnych obliczeń. Takie sytuacje często powstają przy opracowywaniu współczesnych problemów zarządzania produkcją społeczną, a zwłaszcza przy prognozowaniu i planowaniu długoterminowym. W ostatnich latach oceny eksperckie znalazły szerokie zastosowanie w prognozowaniu społeczno-politycznym i naukowo-technicznym, w planowaniu gospodarki narodowej, gałęzi przemysłu, stowarzyszeń, w opracowywaniu głównych programów naukowych, technicznych, gospodarczych i społecznych oraz w rozwiązywaniu indywidualnych problemów zarządczych .

Wraz z rozwojem produkcji społecznej wzrasta nie tylko złożoność zarządzania, ale także wymagania dotyczące jakości podejmowanych decyzji. Aby zwiększyć trafność decyzji i uwzględnić wiele czynników mających wpływ na ich wyniki, konieczna jest wszechstronna analiza, oparta zarówno na wyliczeniach, jak i na uzasadnionych osądach menedżerów i specjalistów znających stan rzeczy i perspektywy rozwoju w danym państwie. różne obszary zajęcia praktyczne. Stosowanie metod eksperckich zapewnia aktywny i ukierunkowany udział specjalistów na wszystkich etapach podejmowania decyzji, co może znacząco poprawić ich jakość i efektywność.

Celem naszej pracy jest badanie metodyki ocen eksperckich – jednego z najważniejszych etapów podejmowania kompetentnych decyzji zarządczych.

1) studiowanie roli wiedzy specjalistycznej w zarządzaniu;

2) rozważenie trybu organizacji ekspertyzy;

3) badanie rodzajów skal i kolejności ich stosowania;

4) szczegółowe uwzględnienie końcowego etapu oceny eksperckiej – opracowanie opinii eksperckich.

Streszczenie składa się ze wstępu, trzech rozdziałów, zakończenia i spisu literatury.

W pierwszym rozdziale omówiono zapotrzebowanie na wiedzę ekspercką w zarządzaniu, rozważono sposób przeprowadzania ocen eksperckich oraz etapy organizacji oceny eksperckiej.

Rozdział drugi poświęcony jest omówieniu skal porównawczych, podano charakterystykę każdego rodzaju skali oraz procedurę ich wykorzystania w formalizowaniu informacji.

W rozdziale trzecim omówiono przetwarzanie ocen eksperckich: przetwarzanie zadań, ocenę grupową obiektów, ocenę zgodności opinii eksperckich, przetwarzanie porównań par obiektów oraz ustalanie relacji rankingów.

Ponieważ celem tej pracy jest rozważenie oceny eksperckiej w aspekcie teoretycznym, nie rozważa się zastosowania praktycznego.

Podsumowując, rozważono rolę metody oceny eksperckiej w podejmowaniu decyzji zarządczych.

Rozdział 1. DOŚWIADCZENIE W ZARZĄDZANIU

1.1. Rola ekspertów w zarządzaniu

Współczesne społeczeństwo rozwija się pod coraz większym wpływem rewolucji naukowo-technicznej, która powoduje zasadnicze zmiany w produkcji, głębokie zmiany w strukturze i ekonomii gospodarki narodowej. Trwająca rewolucja naukowo-technologiczna swoim wpływem wykracza daleko poza zakres produkcja materiału, obejmujący wszystkie aspekty życia społeczeństwa, determinujący większość decyzji mających na celu jego racjonalny rozwój gospodarczy i społeczny.

Historia rozwoju nauki, technologii i produkcji pokazuje, że wraz z konsekwentnym zastępowaniem funkcji człowieka funkcjami maszyny wzrasta jej rola w obszarze zarządzania. Ciągły wzrost wielkości wydatków na rozwój nauki, tworzenie nowych technologii i doskonalenie produkcji znacząco zwiększa wagę decyzji podejmowanych na wszystkich poziomach zarządzania gospodarką kraju. Przyszłość nauki. Od jakości i aktualności tych decyzji w dużej mierze zależy technologia i ekonomia, a obiektywne tendencje postępu naukowo-technicznego mogą pod ich wpływem przyspieszać lub zwalniać.

Metody optymalizacyjne oparte na wykorzystaniu formalnych, najczęściej modeli matematycznych, które pozwalają zaoszczędzić czas i pieniądze przy rozwiązywaniu wielu praktycznych problemów, zyskują obecnie szczególne znaczenie w zarządzaniu. Budowanie modeli pomaga zebrać złożone i czasami niepewne czynniki związane z problemem decyzyjnym w logicznie spójny schemat i określić, jakie dane są potrzebne do oceny i wyboru alternatyw.

W procesie zarządzania istnieje naturalna chęć znalezienia rozwiązania obiektywnie najlepszego z możliwych. Programowanie matematyczne jest obecnie szeroko stosowane jako narzędzie optymalizacyjne. Sukcesy w zastosowaniu programowania matematycznego do rozwiązywania różnego rodzaju problemów ekonomicznych, naukowych, technicznych i wojskowych dały początek poglądom metodologicznym, zgodnie z którymi zasadnicze rozwiązanie problemów sterowania jest możliwe tylko wtedy, gdy wszystkie jego aspekty zostaną ukazane w systemie wzajemnie powiązanych modeli matematycznych.

Formalizację decyzji technicznych, ekonomicznych i zarządczych komplikuje jednak szereg cech obecnego etapu postępu naukowo-technologicznego. Życie społeczeństwa jest na tyle złożone, że trudno liczyć na pojawienie się modeli w pełni oddających charakter i ilościowe zależności procesów społeczno-gospodarczych. Rzeczywistość jest zawsze bardziej złożona niż najbardziej subtelne modele matematyczne, a jej rozwój często przewyższa wiedzę formalną. Problemy zarządzania wymagają udziału ludzi jako integralnego elementu rozwiązania. I wreszcie sam proces zarządzania zawsze wiąże się z orientacją nie tylko na dane liczbowe, ale także na zwykły zdrowy rozsądek. Zastosowanie programowania matematycznego i technologii komputerowej pozwala na podejmowanie decyzji w oparciu o pełniejsze i bardziej wiarygodne informacje. Ale pewne jest również, że pod każdymi warunkami do wyboru racjonalna decyzja potrzeba czegoś więcej niż dobrego modelu matematycznego.

Podejmując decyzje, zwykle zakładamy, że informacje, na których opierają się te decyzje, są aktualne i wiarygodne. Jednak w przypadku wielu problemów ekonomicznych, naukowych i technicznych, które są jakościowo nowe i niepowtarzalne, założenie to albo w sposób oczywisty nie jest realizowane, albo nie można go udowodnić w momencie podejmowania decyzji.

Dostępność informacji i poprawność jej wykorzystania w dużej mierze decydują o optymalności wybranego rozwiązania. Oprócz danych składających się z liczbowych wielkości statystycznych, informacje obejmują inne wielkości, których nie można bezpośrednio zmierzyć, na przykład założenia dot możliwe rozwiązania i ich wyniki. Praktyka pokazuje, że główne trudności pojawiające się przy poszukiwaniu i wyborze rozwiązań biznesowych wynikają przede wszystkim z niedostateczności wysoka jakość i niekompletność dostępnych informacji.

Główne trudności związane z informacją, jakie pojawiają się przy opracowywaniu złożonych decyzji, można podzielić na następujące grupy.

Po pierwsze, początkowe informacje statystyczne często nie są wystarczająco wiarygodne.

Po drugie, część informacji ma charakter jakościowy i nie można ich określić ilościowo. Nie da się zatem dokładnie obliczyć stopnia wpływu czynników społecznych i politycznych na realizację planów, ocenić efektu ekonomicznego przyszłych wynalazków itp. Ponieważ jednak te czynniki i zjawiska mają istotny wpływ na wyniki decyzji, nie można ich ignorować.

Po trzecie, w procesie przygotowywania decyzji często pojawiają się sytuacje, gdy w zasadzie możliwe jest uzyskanie niezbędnych informacji, ale w momencie podejmowania decyzji nie są one dostępne, gdyż wiąże się to z dużą inwestycją czasu lub pieniądze.

Po czwarte, istnieje duża grupa czynników, które mogą mieć wpływ na wykonanie decyzji w przyszłości, ale nie można ich dokładnie przewidzieć.

Po piąte, jedną z najbardziej znaczących trudności w wyborze rozwiązań jest to, że w każdym pomyśle naukowym lub technicznym kryje się potencjał różnych schematów jego realizacji, a każde działanie gospodarcze może prowadzić do wielu rezultatów. Problem wyboru najlepszego wariantu rozwiązania może pojawić się także dlatego, że zazwyczaj istnieją ograniczenia zasobów, dlatego też przyjęcie jednego wariantu zawsze wiąże się z odrzuceniem innych rozwiązań.

Po szóste, wybierając najlepsze rozwiązanie, często stajemy przed niejednoznacznością uogólnionego kryterium, na podstawie którego możemy porównać możliwe wyniki. Polisemia, wielowymiarowość i różnice jakościowe wskaźników stanowią poważną przeszkodę w uzyskaniu uogólnionej oceny względnej efektywności, znaczenia, wartości czy przydatności każdego z możliwych rozwiązań.

W związku z tym jedną z głównych cech rozwiązywania złożonych problemów jest to, że stosowanie obliczeń tutaj zawsze przeplata się z wykorzystaniem osądów menedżerów, naukowców i specjalistów. Sądy te pozwalają choć częściowo zrekompensować braki informacji, pełniej wykorzystać indywidualne i zbiorowe doświadczenia, a także uwzględnić założenia specjalistów co do przyszłych stanów obiektów. Wzorzec rozwoju nauki i technologii polega na tym, że nowa wiedza oraz informacje naukowo-techniczne gromadzą się przez długi okres czasu. Często ta akumulacja zachodzi w ukrytej formie w umysłach naukowców i programistów. Oni jak nikt inny potrafią ocenić perspektywy dziedziny, w której pracują i przewidzieć charakterystykę tych systemów, w tworzenie których są bezpośrednio zaangażowani.

Doświadczenie pokazuje, że stosowanie nieusystematyzowanych ocen poszczególnych specjalistów przy rozwiązywaniu wielu złożonych problemów naukowo-technicznych nie jest wystarczająco skuteczne ze względu na różnorodność relacji między głównymi elementami takich problemów i niemożność uwzględnienia ich wszystkich. Stosując tradycyjne procedury przygotowywania decyzji, często nie jest możliwe uwzględnienie szerokiego spektrum czynników i uwzględnienie całej gamy alternatywnych sposobów rozwiązania problemów.

Wszystko to zmusza nas do sięgania po rekrutację w charakterze ekspertów grup specjalistów reprezentujących różne dziedziny wiedzy. Wykorzystanie ekspertyzy grupowej pozwala nie tylko uwzględnić wiele aspektów i czynników, ale także połączyć różne podejścia, za pomocą których menedżer znajduje najlepsze rozwiązanie.

1.2. Metoda oceny eksperckiej

Istota metody oceny eksperckiej polega na tym, że eksperci przeprowadzają intuicyjno-logiczną analizę problemu z ilościową oceną sądów i formalnym przetwarzaniem wyników. Za rozwiązanie problemu przyjmuje się uogólnioną opinię biegłego uzyskaną w wyniku przetwarzania. Zintegrowane wykorzystanie intuicji (myślenia nieświadomego), myślenia logicznego i ocen ilościowych z ich formalnym przetwarzaniem pozwala uzyskać skuteczne rozwiązanie problemu.

Wypełniając swoją rolę w procesie zarządzania, eksperci spełniają dwie główne funkcje: tworzą obiekty (alternatywne sytuacje, cele, decyzje itp.) i mierzą ich cechy (prawdopodobieństwo wystąpienia zdarzeń, współczynniki istotności celów, preferencje co do rozwiązań itp.) .) . Formowaniem obiektów zajmują się eksperci w oparciu o logiczne myślenie i intuicję. W tym przypadku dużą rolę odgrywa wiedza i doświadczenie eksperta. Pomiar cech obiektów wymaga od ekspertów znajomości teorii pomiaru.

Cechami charakterystycznymi metody oceny eksperckiej jako naukowego narzędzia rozwiązywania złożonych problemów nie dających się sformalizować jest, po pierwsze, naukowa organizacja wszystkich etapów egzaminu, zapewniająca największą efektywność pracy na każdym etapie, a po drugie, wykorzystanie metod ilościowych zarówno w organizacji badań, jak i ocenie ekspertyz oraz formalnym grupowym przetwarzaniu wyników. Te dwie cechy odróżniają metodę ocen eksperckich od zwykłego, dawno znanego badania, szeroko stosowanego w różnych sferach ludzkiej działalności.

Eksperckie oceny zbiorcze były szeroko stosowane w skali kraju do rozwiązywania złożonych problemów zarządzania gospodarką narodową już w pierwszych latach Władza radziecka. W 1918 r. przy Naczelnej Radzie Gospodarki Narodowej powołano Radę Ekspertów, której zadaniem było rozwiązanie najbardziej złożonych problemów reorganizacji gospodarki narodowej kraju. Przy sporządzaniu pięcioletnich planów rozwoju gospodarki narodowej kraju systematycznie korzystano z ocen eksperckich szerokiego grona specjalistów.

Obecnie w kraju i za granicą metoda ocen eksperckich jest powszechnie stosowana do rozwiązywania ważnych problemów o różnym charakterze. W różnych branżach, stowarzyszeniach i przedsiębiorstwach działają stałe lub tymczasowe komisje eksperckie, które formułują decyzje dotyczące różnych złożonych, niesformalizowanych problemów.

Cały zbiór słabo sformalizowanych problemów można podzielić na dwie klasy. Pierwsza klasa obejmuje problemy, dla których istnieje wystarczający potencjał informacyjny, aby skutecznie je rozwiązać. Główne trudności w rozwiązywaniu pierwszorzędnych problemów w trakcie oceny eksperckiej polegają na wykorzystaniu istniejącego potencjału informacyjnego poprzez dobór ekspertów, konstruowanie racjonalnych procedur badania i stosowanie optymalnych metod przetwarzania jego wyników. W tym przypadku metody badania i przetwarzania opierają się na zastosowaniu zasady „dobrego” licznika. Zasada ta oznacza, że ​​spełnione są następujące hipotezy:

1) ekspert jest skarbnicą dużej ilości racjonalnie przetworzonych informacji, w związku z czym można go uznać za źródło informacji wysokiej jakości;

2) opinia grupowa ekspertów jest bliska prawdziwego rozwiązania problemu.

Jeśli hipotezy te okażą się słuszne, wówczas wyniki teorii pomiaru i statystyki matematycznej będą mogły zostać wykorzystane do skonstruowania procedur badawczych i algorytmów przetwarzania.

Do drugiej klasy zalicza się problemy, w odniesieniu do których potencjał informacyjny wiedzy jest niewystarczający, aby zapewnić pewność słuszności postawionych hipotez. Przy rozwiązywaniu problemów z tej klasy ekspertów nie można już uważać za „dobrych mierniczych”. Dlatego konieczne jest bardzo ostrożne przetwarzanie wyników badań. Stosowanie metod uśredniania właściwych dla „dobrych liczników” może w tym przypadku prowadzić do dużych błędów. Przykładowo, opinia jednego eksperta, która bardzo różni się od opinii innych ekspertów, może okazać się słuszna. W związku z tym w przypadku problemów drugiej klasy należy stosować głównie przetwarzanie jakościowe.

Zakres stosowania metody oceny eksperckiej jest bardzo szeroki. Podajemy typowe problemy rozwiązywane metodą ocen eksperckich:

1) sporządzenie listy możliwych zdarzeń w różnych obszarach w określonym przedziale czasu;

2) określenie najbardziej prawdopodobnych przedziałów czasowych wystąpienia ciągu zdarzeń;

3) określenie celów i zadań zarządzania, uporządkowanie ich według stopnia ważności;

4) identyfikacja alternatyw (możliwości rozwiązania problemu wraz z oceną ich preferencji;

5) alternatywny podział zasobów do rozwiązywania problemów z oceną ich preferencji;

6) opcje alternatywne podejmowanie decyzji w określonej sytuacji z oceną swoich preferencji.

Aby rozwiązać powyższe typowe zadania Obecnie stosuje się różnego rodzaju metody oceny eksperckiej. Do głównych typów należą: kwestionariusze i wywiady; burza mózgów; dyskusja; spotkanie; gra operacyjna; scenariusz.

Każdy z tych typów ocen eksperckich ma swoje zalety i wady, które determinują racjonalny zakres stosowania. W wielu przypadkach największy efekt osiąga się poprzez zintegrowane zastosowanie kilku rodzajów badań.

Kwestionariusz i scenariusz wymagają indywidualnej pracy eksperta. Rozmowa kwalifikacyjna może być przeprowadzona indywidualnie lub z grupą ekspertów. Inne rodzaje egzaminów wymagają zbiorowego udziału ekspertów w pracach. Niezależnie od indywidualnego lub grupowego udziału ekspertów w pracach, wskazane jest uzyskanie informacji od wielu ekspertów. Umożliwia to uzyskanie w oparciu o przetwarzanie danych bardziej wiarygodnych wyników, a także nowych informacji o zależnościach zjawisk, zdarzeń, faktów i ocen ekspertów, które nie są wprost zawarte w wypowiedziach ekspertów.

Przy stosowaniu metody ocen eksperckich pojawiają się problemy. Do najważniejszych z nich należą: wybór ekspertów, przeprowadzenie ankiety wśród ekspertów, przetwarzanie wyników ankiety, organizacja procedur egzaminacyjnych.

1.3. Organizacja ekspertyz

Pierwszym etapem organizacji prac nad wykorzystaniem oceny eksperckiej jest przygotowanie i publikacja wytycznych, które formułują cel pracy i główne postanowienia dotyczące jej realizacji. Dokument ten powinien uwzględniać następujące kwestie: sformułowanie problemu eksperymentalnego; cele eksperymentu; uzasadnienie potrzeby przeprowadzenia eksperymentu; czas realizacji; zadania i skład grupy zarządzającej; obowiązki i prawa grupy; wsparcie finansowe i rzeczowe pracy.

Do przygotowania tego dokumentu i nadzorowania całości prac wyznacza się kierownika egzaminu. Powierzono mu utworzenie grupy zarządzającej i odpowiedzialność za organizację jej pracy.

Po utworzeniu grupa zarządzająca prowadzi prace nad wyborem grupy ekspertów w mniej więcej następującej kolejności: zrozumienie rozwiązywanego problemu; określenie zakresu obszarów działań związanych z problemem; określenie proporcji ekspertów w każdym obszarze działalności; określenie liczby ekspertów w grupie; sporządzenie wstępnej listy ekspertów z uwzględnieniem ich lokalizacji; analiza kwalifikacji ekspertów i doprecyzowanie listy ekspertów w grupie; uzyskanie zgody ekspertów na udział w pracach; sporządzenie ostatecznej listy grupy ekspertów.

Równolegle z procesem tworzenia grupy ekspertów, grupa kierownicza opracowuje organizację i metodykę przeprowadzania wywiadów eksperckich. W takim przypadku rozstrzygane są następujące kwestie: miejsce i czas przeprowadzenia badania; liczba i cele rund ankietowych; formularz ankiety; tryb rejestrowania i gromadzenia wyników badań; skład niezbędnych dokumentów.

Kolejnym etapem prac grupy zarządzającej jest określenie organizacji i metodologii przetwarzania danych ankietowych. Na tym etapie konieczne jest określenie zadań i terminu przetwarzania, procedur i algorytmów przetwarzania, sił i środków do przeprowadzenia przetwarzania.

W procesie bezpośredniego przeprowadzania ankiety eksperckiej i przetwarzania jej wyników, grupa kierownicza realizuje szereg prac zgodnie z opracowanym planem, dostosowując go w miarę potrzeb pod względem merytorycznym, terminowym i udostępnienia zasobów.

Ostatnim etapem pracy grupy zarządzającej jest sformalizowanie wyników pracy. Na tym etapie analizowane są wyniki ekspertyzy; kompilacja raportu; dyskusja i zatwierdzenie wyników; przedłożenie wyników pracy do zatwierdzenia; zapoznanie się z wynikami badań organizacji i osób.

1.4. Wybór ekspertów

Aby wdrożyć procedurę oceny eksperckiej, konieczne jest utworzenie grupy ekspertów. Ogólnym wymogiem przy tworzeniu grupy ekspertów jest skuteczne rozwiązanie problemu egzaminacyjnego. O skuteczności rozwiązania problemu decydują cechy rzetelności badania i jego koszt.

Wiarygodność oceny eksperckiej można określić jedynie na podstawie praktycznego rozwiązania problemu i analizy jego wyników. Korzystanie z ekspertów wynika właśnie z faktu, że nie ma innych sposobów uzyskania informacji. Dlatego też ocenę rzetelności badania można z reguły przeprowadzić jedynie w oparciu o dane a posteriori (poeksperymentalne). Jeżeli badanie przeprowadza się systematycznie przy mniej więcej tym samym składzie ekspertów, możliwe staje się zgromadzenie danych statystycznych na temat rzetelności pracy grupy ekspertów i uzyskanie stabilnej numerycznej oceny rzetelności. Ocena ta może zostać wykorzystana jako dane aprioryczne dotyczące wiarygodności panelu ekspertów w kolejnych badaniach.

Wiarygodność oceny ekspertów grupowych zależy od całkowitej liczby ekspertów w grupie, proporcji różnych specjalistów w grupie oraz charakterystyki ekspertów.

Kolejnym problemem w procedurze wyboru ekspertów jest określenie charakteru zależności wiarygodności od wymienionych czynników.

Trudnym problemem w postępowaniu kwalifikacyjnym jest ukształtowanie się systemu cech eksperckich, które w istotny sposób wpływają na przebieg i wyniki egzaminu. Cechy te powinny opisywać specyficzne cechy specjalisty i możliwe relacje między osobami, które mają wpływ na badanie. Ważnym wymogiem stawianym cechom eksperta jest mierzalność tych cech.

Kolejnym problemem jest organizacja procedury wyboru ekspertów, tj. określenie jasnej kolejności prac wykonywanych w procesie wyboru ekspertów oraz zasobów niezbędnych do ich wdrożenia.

Maksymalna liczba ekspertów w grupie jest sprawdzana pod kątem ograniczeń zasobów finansowych. Po ustaleniu związku pomiędzy niezawodnością, liczbą ekspertów i kosztami płatności, grupa zarządzająca przedstawia te informacje kierownictwu i formułuje możliwe alternatywy decyzyjne. Alternatywą może być albo ograniczenie wiarygodności wyników ekspertyzy do poziomu zapewniającego dotrzymanie ograniczenia kosztów ekspertów opłacających, albo utrzymanie pierwotnego wymogu rzetelności badania i zwiększenie kosztów ekspertów opłacających.

Kolejnym etapem procesu wyboru ekspertów jest sporządzenie wstępnej listy ekspertów. Podczas tworzenia tej listy przeprowadzana jest analiza cech ekspertów. Oprócz uwzględnienia cech ekspertów określa się ich lokalizację i możliwość udziału wybranych specjalistów w badaniu. Przy ocenie kwalifikacji bierze się pod uwagę opinię osób, które dobrze znają kandydatów na ekspertów.

Po sporządzeniu listy ekspertów wysyłane są do nich pisma zapraszające do udziału w badaniu. W pismach wyjaśnia się cel badania, jego termin, przebieg, zakres prac i warunki wynagradzania. Do pism dołączone są formularze danych eksperckich i samooceny kompetencji. Po otrzymaniu odpowiedzi ekspertów zespół zarządzający sporządza ostateczną listę ekspertów.

Po sporządzeniu i zatwierdzeniu listy do ekspertów wysyłana jest wiadomość o włączeniu ich do grupy eksperckiej. Jeżeli ocena ekspercka dokonywana jest metodą ankietową, to jednocześnie z powiadomieniem o włączeniu do grupy ekspertów wszystkim ekspertom przesyłana jest ankieta zawierająca niezbędne instrukcje dotyczące jej wypełnienia. Zawiadomienie ekspertów o włączeniu ich do egzaminu kończy prace nad wyłonieniem ekspertów.

1,5. Ankieta ekspercka

Ankieta jest głównym etapem współpracy pomiędzy grupą zarządzającą a ekspertami. Główna treść ankiety to:

Przedstawienie problemu i przedstawienie pytań ekspertom;

Wsparcie informacyjne pracy ekspertów;

Opracowywanie orzeczeń, ocen, propozycji przez ekspertów;

Zbiór wyników prac ekspertów.

Istnieją trzy rodzaje problemów, które są rozwiązywane w trakcie procesu badania:

Ocena jakościowa lub ilościowa określonych obiektów;

Budowa nowych obiektów;

Budowa i ocena nowych obiektów.

W badaniu zbiorowym stosuje się następujące główne rodzaje badań: dyskusja, zadawanie pytań i wywiad, metoda kolektywnego generowania pomysłów lub burza mózgów.

Kwestionariusze można przeprowadzać z informacją zwrotną lub bez niej. W przypadku ankietowania z informacją zwrotną badanie ekspertów przeprowadza się w kilku etapach, zwracając uwagę ekspertów na część wyników badania z poprzedniego etapu, w tym na oceny poszczególnych ekspertów i ich argumenty.

Przy organizacji ankiety najważniejsze jest zapewnienie maksimum informacji i maksymalnej aktywności twórczej oraz niezależności eksperta. Należy dążyć do udostępnienia każdemu ekspertowi w miarę możliwości wszelkich informacji związanych z analizowanym zjawiskiem, dostępnych zarówno ekspertom, jak i organizatorom badań, nie pozbawiając jednocześnie eksperta niezależności twórczej i aktywności.

Jednakże zdolność eksperta do przetwarzania informacji jest ograniczona. W rezultacie ekspert może podjąć decyzję nie wykorzystując wszystkich informacji, którymi dysponuje. Ponadto nowe informacje są odbierane przez osobę z pewnym wewnętrznym oporem i nie wpływają od razu na ustalone już subiektywne oceny. Stosunek do nowych informacji jest bardziej przychylny, a ich postrzeganie i wykorzystanie pełniejsze, jeśli zostaną przedstawione w zrozumiałej, jasnej i zwartej formie.

Tych cechy psychologiczne Wynika z konieczności zapewnienia ekspertom możliwości rejestrowania napływających informacji poprzez prowadzenie ewidencji, wykorzystanie środków technicznych, a także konieczność wstępnego przetworzenia informacji i przedstawienia jej ekspertom w jak najbardziej zrozumiałej formie.

Należy podkreślić sprzeczny charakter wymiany informacji pomiędzy ekspertami, gdyż uzyskanie takich informacji niesie ze sobą niebezpieczeństwo utraty przez eksperta samodzielności twórczej w konstruowaniu modelu obiektu. Całkowicie tej sprzeczności nie da się rozwiązać, dlatego podczas każdego badania jego organizatorzy muszą znaleźć rozsądny kompromis, przede wszystkim wybierając rodzaj badania, formę i stopień komunikacji pomiędzy ekspertami.

Każdy rodzaj ankiety ma swoje zalety i wady w budowaniu wymiany informacji pomiędzy ekspertami i organizowaniu ich niezależnej kreatywności. O wyborze tego czy innego rodzaju badania decyduje wiele czynników, z których najważniejsze to:

Cel i zadania egzaminu;

Istota i złożoność analizowanego problemu;

Kompletność i rzetelność informacji źródłowych;

Wymagana ilość i wiarygodność informacji uzyskanych w wyniku badania;

Czas przeznaczony na przegląd i ogólnie na badanie;

Akceptowalny koszt przeglądu i badania w ogóle;

Liczba ekspertów i członków zespołu zarządzającego, ich charakterystyka.

Kwestionowanie jest najskuteczniejszym i najczęstszym rodzajem ankiety, ponieważ pozwala na najlepsze połączenie wsparcia informacyjnego ekspertów z ich niezależną kreatywnością.

Rozdział 2. FORMALIZACJA INFORMACJI I SKALA PORÓWNAŃ

Racjonalne wykorzystanie informacji uzyskanych od ekspertów jest możliwe pod warunkiem ich uformowania w formę dogodną do dalszej analizy, mającej na celu przygotowanie i podjęcie decyzji.

Możliwości formalizacji informacji zależą od specyfiki badanego obiektu, wiarygodności i kompletności dostępnych danych oraz poziomu decyzyjności. Forma prezentacji danych eksperckich zależy także od przyjętego kryterium, na którego wybór z kolei istotny wpływ ma specyfika badanego problemu.

Formalizacja informacji otrzymywanych od ekspertów powinna mieć na celu przygotowanie rozwiązań takich problemów technicznych, ekonomicznych i biznesowych, których nie da się w pełni opisać matematycznie, gdyż są one „słabo ustrukturyzowane”, tj. zawierają niepewności związane nie tylko z pomiarem, ale także z samą naturą badanych celów, sposobami ich osiągnięcia i warunkami zewnętrznymi.

Analizując perspektywy, konieczne jest nie tylko przedstawienie w formie szacunków pośrednich części informacji, których nie da się skwantyfikować, ale nie tylko wyrażenie za pomocą takich szacunków informacji wymiernych, o których nie ma w danym momencie wystarczająco wiarygodnych danych przygotowania decyzji. Najważniejsze jest sformalizowanie tych informacji w taki sposób, aby pomóc decydentowi wybrać spośród wielu działań jedno lub więcej, które jest najkorzystniejsze ze względu na jakieś kryterium.

Jeśli ekspert jest w stanie porównać i ocenić możliwe opcje działań, przypisując każdemu z nich określoną liczbę, co oznacza, że ​​ma określony system preferencji. W zależności od skali, w jakiej można określić te preferencje, oceny eksperckie zawierają więcej lub mniej informacji i mają różne zdolności do formalizacji.

Badane obiekty lub zjawiska można zidentyfikować lub rozróżnić na podstawie cech lub czynników. Czynnik to zbiór składający się z co najmniej dwóch elementów odzwierciedlających różne poziomy niektórych wielkości, które należy uwzględnić. Poziom niektórych czynników można wyrazić ilościowo (w rublach, procentach, kilogramach itp.) - takie czynniki nazywane są ilościowymi. Poziomu innych nie można wyrazić liczbami, nazywa się je jakościowymi.

Czynniki dzieli się tradycyjnie na dyskretne i ciągłe. Czynniki o określonej, zwykle małej liczbie poziomów, są dyskretne. Czynniki, których poziomy tworzą ciągły zbiór, nazywane są ciągłymi. W zależności od celów i możliwości analizy te same czynniki można traktować jako dyskretne lub ciągłe.

Rozważmy podstawowe aksjomaty logiczne stosowane w metodach eksperckich przy formalizowaniu informacji przy użyciu różnych skal.

Za pomocą skale nominalne badane obiekty można identyfikować i różnicować na podstawie trzech aksjomatów identyfikacji:

1) I albo istnieje J lub nie ma J ;

2) jeśli I Jest J, To J Jest I ;

3) jeśli I Jest J I J Jest k, To I Jest k .

Czynniki w tym przypadku pełnią rolę wskaźników asocjacyjnych, które zawierają informacje, które można sformalizować w postaci ocen binarnych na dwóch poziomach: 1 (identyczny) lub 0 (różny).

W przypadkach, gdy badane obiekty można w wyniku porównania ułożyć w określonej kolejności, biorąc pod uwagę istotny(e) czynnik(i), skale porządkowe pozwalające na ustalenie równoważności lub dominacji.

Załóżmy, że konieczne jest ułożenie w określonej kolejności N obiekty według dowolnego współczynnika (kryterium). Przedstawmy to uporządkowanie w postaci macierzy gdzie ja, j = 1,2,…, N .

Ilości ustalają relacje między obiektami i można je zdefiniować w następujący sposób:

Ustalmy podstawowe aksjomaty niezbędne do spełnienia warunków porządkujących. Stosunek to oznacza I lepszy J, musi być asymetryczna, tj. jeśli wtedy i przechodnia, tj. jeśli wtedy

Stosunek to oznacza I I J są równoważne, nazywa się to relacją równoważności. Taki stosunek powinien być

refleksyjny, tj.

symetryczny, tj. jeśli wtedy

przechodni, tj. jeśli i wtedy

Ponadto te dwie relacje muszą być zgodne, czyli jeśli i wtedy oraz także wtedy i wtedy

I wreszcie kolejność musi być spójna, tj. dla dowolnego i i j lub lub lub

Zastosowanie skal porządkowych pozwala na rozróżnienie obiektów w przypadkach, gdy czynnik (kryterium) nie jest określony wprost, tj. gdy nie znamy znaku porównania, ale możemy częściowo lub całkowicie uporządkować obiekty w oparciu o system preferencji, jaki posiada ekspert.

Dowolny zestaw A nazwiemy to uporządkowanym, jeśli dla dowolnych dwóch jego elementów X I Y ustalono, że albo X poprzedzone Y, Lub Y poprzedzone X. Czasami nie jest możliwe ustalenie ścisłego pierwszeństwa dla wszystkich elementów zbioru, ale można zastosować uporządkowanie „grupowe”, gdy porządkowane są podzbiory elementów równoważnych. Następnie możemy ustawić zadanie porównywania i porządkowania tych podzbiorów.

Zastosowanie skal porządkowych umożliwia transformację szacunków uzyskanych od ekspertów odpowiadających wszystkim funkcjom rosnącym monotonicznie. Na przykład dodatnie szacunki można zastąpić ich kwadratami, logarytmami lub dowolną inną monotonicznie rosnącą funkcją.

Aby sformalizować oceny otrzymane od ekspertów, często używają skale interwałowe. Kiedy do tych celów stosuje się takie skale, można zastosować prawie wszystkie konwencjonalne miary statystyczne. Wyjątkiem są te miary, które wymagają znajomości „prawdziwego” punktu zerowego skali, który jest tu wprowadzony warunkowo.

Skale interwałowe sugerują możliwość przekształcenia ocen uzyskanych w jednej skali na oceny w innej skali za pomocą równania

Różnice pomiędzy wartościami na skali interwałowej stają się miarami na skali ilorazowej, tj. w zwykłej skali liczbowej, ponieważ w wyniku odejmowania można pozbyć się składnika stałego B .

W wielu przypadkach przy formalizowaniu ocen eksperckich wykorzystuje się właściwość addytywności, która jest nieodłączna tylko od skali ilorazowej. Obecność addytywności wyrażają następujące aksjomaty:

1) jeśli J = A I I> 0, zatem I + J > A ;

2) I + J = J + I ;

3) jeśli I = A I J = B, To I + J = A + B ;

4) (I + J) + k = I + (J + k).

Typową sytuacją, w której należy podjąć decyzję w odniesieniu do addytywności, jest sytuacja, gdy istnieje kilka (co najmniej dwa) czynników jakościowych. Jeśli istnieje kilka czynników charakteryzujących konkretne obiekty, istnieje wiele realnych właściwości i rodzajów powiązań między obiektami.

Przykładowo czynniki (wskaźniki) charakteryzujące skuteczność tworzenia i wdrażania nowej technologii, zgodnie z ich obiektywną treścią, można podzielić na techniczne, ekonomiczne i społeczne. Z drugiej strony czynniki te można pogrupować ze względu na ich rolę w procesie tworzenia i wdrażania nowej technologii, podkreślając np. wskaźniki charakteryzujące koszty, jakość, efektywność ekonomiczną itp.

W zależności od charakteru i celu badanego problemu czynniki, którymi obiekty różnią się, mogą być ilościowo porównywalne lub nieporównywalne ze sobą, częściowo porównywalne (to znaczy nie z żadnym, ale tylko z niektórymi), uporządkowane według stopnia ich znaczenie itp. .d. Niewspółmierność różnych czynników wynika nie tylko z konieczności stosowania różnych jednostek miary, ale także z tego, że każdy czynnik wyrażający pewną właściwość jest jednocześnie oceną stosunku strony do tej właściwości. decydent.

W praktyce zarządzania na wszystkich jego poziomach często pojawiają się sytuacje, w których konieczne jest podjęcie decyzji uwzględniającej wiele czynników. To, które czynniki należy uznać za najważniejsze, zależy od cech jakościowych przedmiotu decyzji oraz celów, jakie ta decyzja ma spełniać.

Na przykład, rozważając kilka opcji planu lub opcji środków organizacyjnych i technicznych, należy wziąć pod uwagę czynniki czasu, koszty, wyniki techniczne i społeczne, efektywność ekonomiczną itp. Zwykle stara się, aby cała różnorodność czynników doprowadziła do jednoznacznej, kompleksowej oceny, a najwygodniejszą i najbardziej rozpowszechnioną taką oceną jest ocena pieniężna.

Ponieważ jednak konsekwencje jakiejkolwiek decyzji, zwłaszcza decyzji związanych z postępem naukowo-technicznym, wykraczają poza zakres wskaźników kosztowych, potrzebne są miary, które charakteryzują znaczenie i użyteczność konkretnego czynnika (lub ich zespołu). Takie złożone mierniki są szeroko stosowane w ocenie jakości produktów, technicznego i ekonomicznego poziomu produkcji, w ocenie wyników działalności organizacji naukowych oraz w wielu innych zadaniach. Choć kwestia stworzenia odpowiednio uzasadnionego, sformalizowanego systemu takich liczników jest wciąż daleka od finalizacji, można wskazać pewne wspólne cechy, zapewniając podejście do formalizacji tego procesu i użycia tego lub innego aparatu logiczno-matematycznego.

W przypadku gdy wszystkie czynniki podane są w skali nominalnej, tj. Na tej skali wyszczególniony jest pewien atrybut a oraz początkowy zbiór elementów M, celem jest wybranie podzbioru elementów M(a) posiadających ten atrybut. W takich przypadkach elementy, a właściwie ich właściwości, porównuje się z cechą – wzorcem, a wynik – podziałem zbioru – można uznać za uporządkowanie w dwuelementowej skali, w której każdy z elementów przypisuje się wynik równy zero lub jeden.

W przypadku, gdy czynniki są określone na skali porządkowej lub na kilku skalach porządkowych, celem jest uporządkowanie elementów pierwotnego zbioru, zidentyfikowanie przy pomocy ekspertów ukrytego porządku, który, jak się zakłada, tkwi w tym zbiorze . Warunek konieczny Rozwiązaniem tego problemu jest założenie o przechodniości. Im pełniejsze uporządkowanie elementów, tym łatwiej jest zastosować metody logiczno-matematyczne i kombinatoryczne do rozwiązywania takich problemów.

W zależności od istoty czy wagi konkretnego czynnika, na etapie przygotowań i podejmowania decyzji można zastosować różne skale. Czynniki takie jak koszty, zysk, czas można oceniać w skali porządkowej lub przedziałowej (w rublach, dniach lub jednostkach umownych). Aby ocenić takie czynniki, jak okres zwrotu lub porównawcza skuteczność opcji, można zastosować skalę interwałową; czynniki jakościowe lub społeczne można oceniać w skali porządkowej lub nominalnej.

Rozdział 3. PRZETWARZANIE OCEN EKSPERTÓW

3.1. Zadania przetwarzania

Wyniki są przetwarzane po przeprowadzeniu badania wśród grupy ekspertów. Początkową informacją do przetwarzania są dane liczbowe wyrażające preferencje ekspertów oraz merytoryczne uzasadnienie tych preferencji. Celem przetwarzania jest uzyskanie danych uogólnionych oraz nowych informacji zawartych w formie ukrytej w ocenach eksperckich. Na podstawie wyników przetwarzania tworzone jest rozwiązanie problemu.

Obecność zarówno danych liczbowych, jak i znaczących wypowiedzi ekspertów powoduje konieczność zastosowania metod jakościowych i ilościowych do przetwarzania wyników grupowej oceny ekspertów. Udział tych metod w istotny sposób zależy od klasy problemów rozwiązywanych w drodze oceny eksperckiej.

Cały zestaw problemów można podzielić na dwie klasy. Do pierwszej klasy zalicza się problemy, dla których istnieje wystarczający poziom wiedzy i doświadczenia, czyli niezbędny potencjał informacyjny. Przy rozwiązywaniu problemów należących do tej klasy eksperci są przeciętnie uważani za dobrych mierniczych. Termin „średnio dobry” odnosi się do możliwości uzyskania wyników pomiarów zbliżonych do rzeczywistych. Dla wielu ekspertów ich osądy skupiają się wokół prawdziwej wartości. Wynika z tego, że do przetwarzania wyników grupowej oceny eksperckiej problemów pierwszej klasy można z powodzeniem zastosować metody statystyki matematycznej opartej na uśrednianiu danych.

Druga klasa obejmuje problemy, dla których nie zgromadzono jeszcze wystarczającego potencjału informacyjnego. W tym względzie opinie ekspertów mogą się znacznie od siebie różnić. Co więcej, ocena jednego biegłego, która bardzo różni się od pozostałych opinii, może okazać się prawdziwa. Jest oczywiste, że stosowanie metod uśredniania wyników grupowej oceny eksperckiej przy rozwiązywaniu problemów drugiej klasy może prowadzić do dużych błędów. Dlatego przetwarzanie wyników ankiety eksperckiej w tym przypadku powinno opierać się na metodach nie wykorzystujących zasad uśredniania, ale na metodach analizy jakościowej.

Biorąc pod uwagę, że w praktyce oceny eksperckiej najczęściej spotykane są problemy pierwszej klasy, w tym rozdziale skupiono się przede wszystkim na sposobach przetwarzania wyników badań dla tej klasy problemów.

W zależności od celów oceny eksperckiej i wybranej metody pomiaru, podczas przetwarzania wyników ankiety pojawiają się następujące główne zadania:

1) konstruowanie uogólnionej oceny obiektów na podstawie indywidualnych ocen eksperckich;

2) konstruowanie uogólnionej oceny na podstawie porównania obiektów parami przez każdego eksperta;

3) wyznaczanie względnych ciężarów obiektów;

4) ustalanie zgodności opinii biegłych;

5) określenie zależności pomiędzy rankingami;

6) ocena wiarygodności wyników przetwarzania.

Zadanie konstruowania uogólnionej oceny obiektów w oparciu o indywidualne oceny eksperckie pojawia się podczas grupowej oceny eksperckiej. Rozwiązanie tego problemu zależy od metody pomiaru stosowanej przez ekspertów.

Przy rozwiązywaniu wielu problemów nie wystarczy uporządkować obiekty według jednego wskaźnika lub jakiegoś zestawu wskaźników. Pożądane jest posiadanie wartości liczbowych dla każdego obiektu, które określają jego względne znaczenie w porównaniu z innymi obiektami. Innymi słowy, w przypadku wielu zadań konieczne są oceny obiektów, które nie tylko je organizują, ale także pozwalają określić stopień preferencji jednego obiektu względem drugiego. Aby rozwiązać ten problem, można bezpośrednio zastosować metodę szacowania bezpośredniego. Jednak ten sam problem, pod pewnymi warunkami, można rozwiązać, przetwarzając oceny ekspertów.

Zgodność opinii biegłych określa się poprzez obliczenie miary liczbowej charakteryzującej stopień podobieństwa poszczególnych opinii. Analiza wartości miary spójności przyczynia się do wyrobienia prawidłowego sądu o ogólnym poziomie wiedzy na temat rozwiązywanego problemu oraz identyfikacji grup opinii eksperckich. Jakościowa analiza przyczyn grupowania opinii pozwala ustalić istnienie różnych poglądów i koncepcji, zidentyfikować szkoły naukowe i określić charakter działalność zawodowa itp. Wszystkie te czynniki pozwalają na głębsze zrozumienie wyników badania eksperckiego.

Przetwarzając wyniki ocen ekspertów, można określić zależności pomiędzy rankingami różnych ekspertów, a tym samym ustalić jedność i różnicę w opiniach ekspertów. Ważną rolę odgrywa także ustalenie zależności pomiędzy rankingami w oparciu o różne wskaźniki służące do porównywania obiektów. Identyfikacja takich zależności pozwala na ujawnienie powiązanych wskaźników porównawczych i ewentualnie pogrupowanie ich ze względu na stopień powiązania. Znaczenie zadania ustalenia zależności dla praktyki jest oczywiste. Przykładowo, jeśli wskaźnikami porównania są różne cele, a obiekty są środkami do osiągnięcia celów, to ustalenie relacji pomiędzy rankingami porządkującymi środki z punktu widzenia osiągnięcia celów pozwala rozsądnie odpowiedzieć na pytanie w jakim stopniu osiągnięcie jednego celu za pomocą danych środków przyczynia się do osiągnięcia innych celów.

Oszacowania uzyskane w wyniku przetwarzania są obiektami losowymi, dlatego jednym z ważnych zadań procedury przetwarzania jest określenie ich wiarygodności. Rozwiązaniem tego problemu należy poświęcić odpowiednią uwagę.

Przetwarzanie wyników badania jest procesem pracochłonnym. Ręczne wykonywanie operacji obliczania szacunków i wskaźników ich wiarygodności wiąże się z dużymi kosztami pracy, nawet w przypadku rozwiązywania prostych problemów porządkowych. W związku z tym wskazane jest użycie technologia komputerowa a zwłaszcza komputery. Zastosowanie komputerów rodzi problem opracowania programów komputerowych implementujących algorytmy przetwarzania wyników ocen eksperckich.

3.2. Grupowa ocena obiektów

W tej części rozważymy algorytmy przetwarzania wyników oceny eksperckiej wielu obiektów. Pozwalać M ocenili eksperci N obiekty wg l wskaźniki. Wyniki oceny prezentowane są w postaci wartości, gdzie J– numer eksperta, I- numer obiektu, H– numer wskaźnika (znaku) porównania. Jeśli obiekty są oceniane metodą rankingową, wówczas wartości reprezentują rangi. Jeżeli ocena obiektów dokonywana jest metodą oceny bezpośredniej lub metodą porównań sekwencyjnych, wówczas wartościami są liczby z określonego odcinka osi liczbowej, czyli punkty. Przetwarzanie wyników oceny w istotny sposób zależy od przyjętych metod pomiaru.

Rozważmy przypadek, gdy wartości uzyskuje się metodami bezpośredniej oceny lub porównania sekwencyjnego, tj. Są to liczby lub punkty. Aby uzyskać w tym przypadku grupową ocenę obiektów, można (użyć średniej wartości oceny dla każdego obiektu).

(5.1)

gdzie są współczynnikami wag wskaźników do porównywania obiektów, a są współczynnikami kompetencji eksperckich. Współczynniki wag wskaźników i kompetencji obiektów są wartościami znormalizowanymi

(5.2)

Można wyznaczyć współczynniki wagowe wskaźnika fachowo. Jeśli - współczynnik wagowy H-ty wskaźnik podany J-ty ekspert, następnie średni współczynnik wagowy H- wskaźnik dla wszystkich ekspertów jest równy

(5.3)

Uzyskanie grupowej oceny eksperckiej poprzez zsumowanie ocen indywidualnych z wagami kompetencji i znaczeniem wskaźników przy pomiarze właściwości obiektów w skalach kardynalnych opiera się na założeniu, że aksjomaty teorii użyteczności von Neumanna-Morgensterna są spełnione zarówno dla jednostki, jak i grupy ocena i warunki nieodróżnialności przedmiotów w relacji grupowej, jeżeli są one nierozróżnialne we wszystkich ocenach indywidualnych (częściowa zasada Pareto). W rzeczywistych problemach warunki te są zwykle spełnione, dlatego w praktyce szeroko stosowane jest uzyskiwanie grupowej oceny obiektów poprzez sumowanie indywidualnych ocen eksperckich z wagami.

Współczynniki kompetencji eksperckich można obliczyć na podstawie danych a posteriori, czyli z wyników oceny obiektu. Główną ideą tej kalkulacji jest założenie, że kompetencje ekspertów należy oceniać poprzez stopień zgodności ich ocen z grupową oceną obiektów.

Algorytm obliczania współczynników kompetencji eksperckich ma postać procedury cyklicznej:

(5.4)

(5.5)

(5.6)

Obliczenia zaczynają się od T=1. We wzorze (5.4) przyjmuje się, że początkowe wartości współczynników kompetencji są takie same i równe.Następnie zgodnie ze wzorem (5.4) oceny grupowe obiektów pierwszego przybliżenia są równe średnim wartościom arytmetycznym ocen ekspertów

(5.7)

(5.8)

oraz wartość współczynników kompetencji pierwszego przybliżenia według wzoru (5.6):

(5.9)

Korzystając ze współczynników kompetencji pierwszego przybliżenia, można powtórzyć cały proces obliczeniowy korzystając ze wzorów (5.4), (5.5), (5.6) i uzyskać drugie przybliżenia wielkości

Powtarzanie powtarzającej się procedury obliczania ocen obiektów i współczynników kompetencji w naturalny sposób rodzi pytanie o jej zbieżność. Aby rozważyć tę kwestię, wykluczamy zmienne z równań (5.4), (5.6) i przedstawiamy te równania w postaci wektorowej

gdzie są macierze W wymiary i Z wymiary są równe

Wielkość w równaniach (5.10) określa się wzorem (5.5).

Jeśli macierze W I Z są nieujemne i nierozkładalne, to zgodnie z twierdzeniem Perrona – Frobeniusa prewektory i - zbiegają się do wektorów własnych macierzy W I Z, odpowiadające maksymalnym wartościom własnym tych macierzy

(5.12)

Wartości graniczne wektorów X I k można obliczyć z równań:

(5.13)

gdzie są maksymalne wartości własne macierzy W I Z .

Warunek nieujemności macierzy W I Z można to łatwo zrobić, wybierając nieujemne elementy macierzy X oceny obiektów przez rzeczoznawców.

Warunek nierozkładalności macierzy W I Z praktycznie spełnione, gdyż jeśli macierze te są rozkładalne, oznacza to, że eksperci i obiekty dzielą się na niezależne grupy. Co więcej, każda grupa ekspertów ocenia jedynie obiekty należące do jej grupy. Oczywiście w tym przypadku nie ma sensu przyjmowanie oceny grupowej. Zatem warunki nieujemności i nierozkładalności macierzy W I Z, a co za tym idzie, warunki zbieżności procedur (5.4), (5.5), (5.6) są spełnione w warunkach praktycznych.

Należy zauważyć, że praktyczne obliczenie wektorów grupowej oceny obiektów i współczynników kompetencji jest łatwiejsze do wykonania przy użyciu wzorów rekurencyjnych (5.4), (5.5), (5.6). Wyznaczenie wartości granicznych tych wektorów za pomocą równania (5.13) wymaga zastosowania technologii komputerowej.

Rozważmy teraz przypadek, gdy eksperci oceniają zbiór obiektów metodą rankingową tak, aby wartości były rangami. Przetwarzanie wyników rankingu polega na konstruowaniu uogólnionego rankingu. Aby skonstruować taki ranking, wprowadzamy skończenie wymiarową dyskretną przestrzeń rankingową i metrykę w tej przestrzeni. Każdy ranking zbioru obiektów J- ekspert to punkt w przestrzeni rankingowej.

Ranking można przedstawić w postaci macierzy porównań parami, której elementy są zdefiniowane w następujący sposób:

Oczywiście, ponieważ każdy przedmiot jest sobie równoważny. Elementy macierzy są antysymetryczne.

Jeśli wszystkie uszeregowane obiekty są równoważne, wówczas wszystkie elementy macierzy porównania parami są równe zeru. Oznaczymy taką macierz i założymy, że punkt w przestrzeni rankingowej odpowiadający macierzy jest początkiem.

Odwrócenie kolejności uszeregowanych obiektów skutkuje transpozycją macierzy porównań parami.

Metryka jako odległość pomiędzy I i J-rankingi są ustalane jednoznacznie na podstawie wzoru

jeśli spełnionych jest sześć następujących aksjomatów:

1. Równość osiąga się także wtedy, gdy rankingi i są identyczne;

2.

Co więcej, równość osiąga się, jeśli ranking „leży pomiędzy” rankingami i. Pojęcie „leży pomiędzy” oznacza, że ​​sąd na temat pewnej pary obiektów w rankingu pokrywa się z sądem na temat tej pary w, lub w lub vva w

4.

gdzie uzyskuje się nie przez jakąś permutację obiektów, ale z tej samej permutacji. Aksjomat ten potwierdza niezależność odległości od przenumerowania obiektów.

5. Jeśli dwa rankingi są wszędzie takie same, z wyjątkiem N-elementowy zbiór elementów będący jednocześnie segmentem obu rankingów, wówczas można go obliczyć tak, jakby ranking tylko tych N-obiekty. Segment rankingowy to zbiór, którego uzupełnienie nie jest puste i wszystkie elementy tego uzupełnienia znajdują się przed lub za każdym elementem segmentu. Znaczenie tego aksjomatu jest takie, że jeśli dwa rankingi są całkowicie spójne na początku i na końcu segmentu, a różnica polega na kolejności średnich N-obiektów, wówczas naturalnym jest założenie, że odległość między rankingami powinna być równa odległości odpowiadającej rankingom średniej N-obiekty.

6. Minimalna odległość to jeden.

Przestrzeń rankingową dla dwóch obiektów można przedstawić jako trzy punkty leżące na tej samej linii prostej. Odległości pomiędzy punktami są równe.Przy trzech obiektach przestrzeń wszystkich możliwych rankingów wynosi 13 punktów.

Korzystając z wprowadzonej metryki, definiujemy ranking uogólniony jako punkt, który najlepiej zgadza się z punktami reprezentującymi rankingi ekspertów. Pojęcie najlepszego porozumienia w praktyce najczęściej definiowane jest jako mediana i średni ranking.

Mediana to taki punkt w przestrzeni rankingowej, z którego suma odległości do wszystkich punktów – rankingów ekspertów – jest minimalna. Zgodnie z definicją medianę oblicza się z warunku

Średni ranking to taki punkt, suma kwadratów odległości, z których do wszystkich punktów – rankingów eksperckich – jest minimalna. Średni ranking jest określany na podstawie warunku

Przestrzeń rankingowa jest skończona i dyskretna, więc mediana i średni ranking mogą obejmować tylko niektóre punkty tej przestrzeni. Ogólnie rzecz biorąc, mediana i średni ranking mogą nie pokrywać się z żadnym z rankingów eksperckich.

Jeśli wziąć pod uwagę kompetencje ekspertów, medianę i średnią ranking wyznacza się na podstawie warunków:

gdzie są współczynniki kompetencji eksperckich.

Jeśli obiekty są uszeregowane według kilku wskaźników, wówczas najpierw dla każdego eksperta wyznaczana jest mediana dla wszystkich wskaźników, a następnie obliczana jest mediana dla wielu ekspertów:

(J =1,2,…,M);

gdzie są współczynniki wag wskaźników.

Główną wadą wyznaczania rankingu uogólnionego w formie rankingu mediany lub średniego jest złożoność obliczeń. Naturalny sposób wyszukiwania lub przeszukiwania wszystkich punktów przestrzeni rankingowej jest niedopuszczalny ze względu na bardzo szybki wzrost jednorodności przestrzeni wraz ze wzrostem liczby obiektów i w konsekwencji wzrost złożoności obliczeń. Problem wyszukiwania można zredukować do konkretnego problemu programowania liczb całkowitych. Nie zmniejsza to jednak skutecznie trudności obliczeniowych.

Rozbieżność w uogólnionych rankingach dla różnych kryteriów występuje wtedy, gdy liczba ekspertów jest niewielka, a ich oceny są niespójne. Jeśli opinie ekspertów będą zbliżone, wówczas uogólnione rankingi oparte na kryteriach wartości mediany i średniej będą zbieżne.

Trudność w obliczeniu mediany lub średniego rankingu doprowadziła do konieczności wykorzystania większej liczby rankingów proste sposoby konstruowanie uogólnionego rankingu.

Jedną z takich metod jest metoda sum rang.

Metoda ta polega na uszeregowaniu obiektów według sumy rang otrzymanych przez każdy obiekt od wszystkich ekspertów. Sumy zestawia się na potrzeby macierzy rankingowej

Aby uwzględnić kompetencje ekspertów, wystarczy pomnożyć każdego z nich I- miejsce w rankingu współczynnika kompetencji J ekspert W tym przypadku obliczanie sumy rang dla I obiekt jest generowany przy użyciu następującego wzoru:

(I =1,2,…,N).

Ranking uogólniony, uwzględniający kompetencje ekspertów, opiera się na uporządkowaniu sum rang dla wszystkich obiektów.

Należy zauważyć, że konstruowanie uogólnionego rankingu na podstawie sum rang jest poprawną procedurą, jeżeli jako miejsca obiektów przypisane są rangi w postaci liczb naturalnych 1, 2, ..., N. Jeśli przypiszemy rangi w sposób arbitralny, jak liczby na skali porządkowej, to suma rang, ogólnie rzecz biorąc, nie zachowuje warunku monotoniczności transformacji i dlatego można uzyskać różne uogólnione rankingi dla różnych odwzorowań obiektów na system liczbowy. Numeracja lokalizacji obiektów może odbywać się wyłącznie przy użyciu liczb naturalnych. Dlatego przy dobrej zgodzie ekspertów konstruowanie uogólnionego rankingu metodą sumy rang daje wyniki zgodne z wynikami obliczenia mediany.

Innym, bardziej teoretycznie rozsądnym podejściem do konstruowania uogólnionego rankingu jest przejście od macierzy rankingu do macierzy porównania parami i obliczenie wektora własnego odpowiadającego maksymalnej wartości własnej tej macierzy. Obiekty są uporządkowane według wielkości składowych wektora własnego.

3.3. Ocena spójności opinii biegłych

Podczas oceniania obiektów eksperci zwykle nie zgadzają się co do rozwiązania problemu. W tym względzie istnieje potrzeba ilościowego określenia stopnia zgodności ekspertów. Uzyskanie ilościowego miernika zgodności opinii biegłych pozwala na bardziej rozsądną interpretację przyczyn rozbieżności opinii.

Obecnie znane są dwie miary zgodności opinii grupy ekspertów: współczynniki dyspersji i zgodności entropii.

Współczynnik zgodności dyspersji. Rozważmy macierz wyników rankingu N obiekty według grupy M eksperci ( J =1,…,M ; I =1,…,N), gdzie jest przypisana ranga J ekspert I-ty obiekt. Zestawmy sumy rang dla każdej kolumny. W efekcie otrzymujemy wektor ze składowymi

(I=1,2,…,n). (5.14)

Rozważamy ilości jako realizacje zmiennej losowej i znajdujemy oszacowanie wariancji. Jak wiadomo, optymalne oszacowanie dyspersji według kryterium minimalnego błędu średniokwadratowego wyznacza się ze wzoru:

, (5.15)

gdzie jest oszacowaniem oczekiwań matematycznych równym

Współczynnik zgodności rozproszenia definiuje się jako stosunek oszacowania rozproszenia (5,15) do maksymalnej wartości tego oszacowania

Współczynnik zgodności zmienia się od zera do jednego, ponieważ.

Obliczmy maksymalną wartość estymaty wariancji dla przypadku braku powiązanych rang (wszystkie obiekty są różne). Pokażmy najpierw, że oszacowanie oczekiwań matematycznych zależy tylko od liczby obiektów i liczby ekspertów. Podstawiając wartość z (5.14) do (5.16) otrzymujemy

Rozważmy najpierw podsumowanie I o ustalonej porze J. Jest to suma rang dla J ekspert. Ponieważ ekspert używa liczb naturalnych od 1 do N, to, jak wiadomo, suma liczb naturalnych od 1 do N równy

(5.19)

Podstawiając (5.19) do (5.18) otrzymujemy

(5.20)

Zatem średnia wartość zależy tylko od liczby ekspertów M i ilość obiektów N .

Aby obliczyć maksymalną wartość oszacowania dyspersji, podstawiamy wartość z (5.14) do (5.15) i podnosimy dwumian w nawiasach. W rezultacie otrzymujemy

(5.21)

Biorąc pod uwagę, że z (5.18) wynika

dostajemy

(5.22)

Maksymalna wartość dyspersji osiągana jest przy najwyższa wartość pierwszy wyraz w nawiasach kwadratowych. Wartość tego wyrazu zależy w istotny sposób od układu rang – liczb naturalnych w każdym rzędzie I. Niech na przykład wszystko M eksperci przyznali każdemu taki sam ranking N obiekty. Wtedy każdy wiersz macierzy będzie zawierał identyczne liczby. Dlatego sumując rangi w każdym I Linia -u daje M- wielokrotne powtórzenia I-ro liczby:

Podnosząc do kwadratu i sumując I, otrzymujemy wartość pierwszego członu w (5.22):

(5.23)

Załóżmy teraz, że eksperci podają rozbieżne rankingi, na przykład dla danej sprawy N =M wszyscy eksperci przypisują jednemu obiektowi różne rangi. Następnie

Porównując to wyrażenie z M =N, upewniamy się, że pierwszy wyraz w nawiasach kwadratowych wzoru (9) jest równy drugiemu członowi i dlatego estymator wariancji wynosi zero.

Zatem przypadek całkowitej zbieżności rankingów eksperckich odpowiada maksymalnej wartości oszacowania rozproszenia. Podstawiając (5.23) do (5.22) i wykonując przekształcenia otrzymujemy

(5.24)

Wprowadźmy notację

(5.25)

Korzystając z (5.25) zapisujemy w postaci oszacowanie dyspersji (5.15).

Podstawienie (5.24), (5.25), (5.26) do (5.17) i zmniejszenie o współczynnik ( N-1), piszemy końcowe wyrażenie na współczynnik zgodności

(5.27)

Wzór ten określa współczynnik zgodności w przypadku braku powiązanych rang.

Jeżeli w rankingach występują powiązane rangi, to maksymalna wartość wariancji w mianowniku wzoru (5.17) staje się mniejsza niż w przypadku braku powiązanych rang. Można wykazać, że w obecności powiązanych rang współczynnik zgodności oblicza się ze wzoru:

(5.28)

(5.29)

We wzorze (5.28) - wskaźnik powiązanych rang w J miejsce w rankingu, to liczba grup o równych pozycjach w J miejsce w rankingu, - liczba równych miejsc w k-grupa powiązanych rang w rankingu J ekspert. Jeśli nie ma pasujących rang, wówczas =0,=0, a zatem =0. W tym przypadku wzór (5.28) pokrywa się ze wzorem (5.27).

Współczynnik zgodności wynosi 1, jeśli wszystkie rankingi ekspertów są takie same. Współczynnik zgodności wynosi zero, jeśli wszystkie rankingi są różne, czyli nie ma absolutnie żadnego przypadku.

Współczynnik zgodności, obliczany ze wzoru (5.27) lub (5.28), jest oszacowaniem prawdziwej wartości współczynnika, a zatem jest zmienną losową. Aby określić znaczenie szacowania współczynnika zgodności, konieczna jest znajomość rozkładu częstotliwości dla różne znaczenia liczba ekspertów M i ilość obiektów N. Przydział częstotliwości dla W w i obliczone w . Dla dużych wartości M I N Możesz skorzystać ze znanych statystyk. Z liczbą obiektów N>7 Za pomocą kryterium można ocenić istotność współczynnika zgodności. Ogrom Wm (N -1 ) ma dystrybucję z v=n–1 stopień swobody.

W obecności powiązanych rang dystrybucja z v=n-1 stopień swobody ma wielkość:

(5.30)

Współczynnik zgodności entropii określa się wzorem (współczynnikiem zgodności):

Gdzie N– entropia liczona ze wzoru

(5.32)

a jest maksymalną wartością entropii. We wzorze na entropię - szacunki prawdopodobieństwa J- przydzielony stopień I-ty obiekt. Te szacunki prawdopodobieństwa obliczane są jako stosunek liczby ekspertów, którzy przypisali obiektowi rangę J do całkowitej liczby ekspertów.

Maksymalną wartość entropii osiąga się przy równie prawdopodobnym rozkładzie rang, tj. kiedy. Następnie

Podstawiając tę ​​zależność do wzoru (5.32), otrzymujemy

(5.35)

Współczynnik zgodności waha się od zera do jednego. Gdy rozmieszczenie obiektów według rangi jest równie prawdopodobne, ponieważ w tym przypadku . Przypadek ten może wynikać albo z braku możliwości uszeregowania obiektów według sformułowanego zestawu wskaźników, albo z całkowitej niespójności opinii eksperckich. At , który jest osiągany przy zerowej entropii ( H=0), wszyscy eksperci przyznają ten sam ranking. Rzeczywiście w tym przypadku każdemu stałemu obiektowi wszyscy eksperci przypisują mu tę samą rangę J, dlatego , a Dlatego i H =0.

Porównawcza ocena współczynników dyspersji i zgodności entropii pokazuje, że współczynniki te dają w przybliżeniu taką samą ocenę zgodności ekspertów o bliskich rankingach. Jeśli jednak np. całą grupę ekspertów podzieli się w swoich opiniach na dwie podgrupy, a rankingi w tych podgrupach będą odwrotne (bezpośrednie i odwrotne), to współczynnik rozproszenia zgodności będzie równy zeru, a entropia współczynnik zgodności będzie równy 0,7. Zatem entropijny współczynnik zgodności pozwala zarejestrować fakt podziału opinii na dwie przeciwstawne grupy. Ilość obliczeń współczynnika zgodności entropii jest nieco większa niż w przypadku współczynnika zgodności dyspersji.

3.4. Obsługa porównań sparowanych obiektów

Podczas rozwiązywania problemu estymacji duża liczba obiektów (ranking, wyznaczanie wag względnych, punktacja), trudności o charakterze psychologicznym wynikają z postrzegania przez ekspertów wielu właściwości obiektów. Eksperci mogą stosunkowo łatwo rozwiązać problem porównywania obiektów parami. Powstaje pytanie: jak uzyskać ocenę całego zbioru obiektów na podstawie wyników porównania parami, nie narzucając warunków przechodniości? Rozważmy algorytm rozwiązania tego problemu. Pozwalać M eksperci oceniają wszystkie pary obiektów, nadając ocenę liczbową

(5.36)

Jeżeli przy ocenie pary ekspertów wypowiadali się na korzyść preferencji ekspertów, a eksperci przeciwni wypowiadali się, a eksperci uznają te obiekty za równoważne, to oszacowanie oczekiwań matematycznych zmiennej losowej jest równe

(5.37)

Całkowita liczba ekspertów jest równa sumie

(5.38)

Wyznaczając stąd i podstawiając to do (5.37), otrzymujemy

(5.39)

Jest oczywiste, że zbiór wartości tworzy macierz, na podstawie której można skonstruować ranking wszystkich obiektów i określić współczynniki względnej ważności obiektów.

Wprowadźmy wektor współczynników względnej ważności obiektów porządku T z następującą formułą:

gdzie jest macierzą matematycznych oczekiwań ocen par obiektów, - wektor współczynników względnej ważności obiektów porządku T . Wartość jest

(5.41)

Współczynniki względnej ważności pierwszego rzędu są względnymi sumami elementów wierszy macierzy X. Rzeczywiście, wierząc T=1, z (5.40) otrzymujemy

(5.42)

Współczynniki względnej ważności drugiego rzędu ( T=2) istnieją względne sumy elementów wiersza macierzy X2 .

(5.43)

Jeśli macierz X jest nieujemna i nierozkładalna, to wraz ze wzrostem rzędu ilość zbiega się do maksymalnej wartości własnej macierzy X

a wektor współczynników względnej ważności obiektów dąży do wektora własnego macierzy X, odpowiadająca maksymalnej wartości własnej

Wyznaczanie wartości własnych i wektorów własnych macierzy odbywa się poprzez rozwiązanie równania algebraicznego

gdzie E jest macierzą jednostkową i układami równań liniowych

Gdzie k– wektor własny macierzy X, odpowiadająca maksymalnej wartości własnej. Składniki wektora własnego to współczynniki względnej ważności obiektów, mierzone na skali ilorazowej.

Z praktycznego punktu widzenia łatwiej jest obliczyć współczynniki względnej ważności obiektów, stosując procedurę sekwencyjną według wzoru (5.40) z T=1, 2, ... Jak pokazuje doświadczenie, wystarczą 3-4 kolejne obliczenia, aby uzyskać wartości i k, blisko wartości granicznych określonych równaniami (5.46), (5.47).

Macierz jest nieujemna, ponieważ wszystkie jej elementy (5.39) są nieujemne. Macierz nazywa się nierozkładalną, jeśli nie można jej sprowadzić do postaci trójkątnej poprzez przestawianie wierszy (wierszy i kolumn o tej samej nazwie)

(5.48)

gdzie są nierozkładalnymi podmacierzami macierzy X. Reprezentacja macierzowa X w postaci (5.48) oznacza podział obiektów na l dominujące zestawy

Na 1 =N matryca X jest nierozkładalny, tj. istnieje tylko jeden zbiór dominujący, który pokrywa się z pierwotnym zbiorem obiektów. Rozkład matrycy X oznacza, że ​​wśród ekspertów istnieje duża rozbieżność w ocenie obiektów.

Jeśli macierz X jest nierozkładalny, to obliczenie współczynników względnej ważności pozwala określić, ile razy jeden obiekt przewyższa inny obiekt pod względem porównywanych wskaźników. Obliczanie współczynników względnej ważności obiektów pozwala jednocześnie konstruować ranking obiektów. Obiekty są uszeregowane w taki sposób, że za pierwszy obiekt uznawany jest obiekt o najwyższym względnym współczynniku ważności. Pełny ranking wyznaczany jest przez łańcuch nierówności

z czego wynika

Jeżeli macierz X jest rozkładalna, wówczas współczynniki o względnej ważności można wyznaczyć tylko dla każdego zbioru. Dla każdej macierzy wyznaczana jest maksymalna wartość własna i odpowiadający jej wektor własny. Składowymi wektora własnego są współczynniki względnej ważności obiektów wchodzących w skład zbioru. Za pomocą tych współczynników dokonuje się rankingu obiektów danego zbioru. Ogólny ranking obiektów wynika z relacji

Zatem jeśli macierz X jest nierozkładalna, wówczas na podstawie wyników porównań parami obiektów można zmierzyć zarówno preferencję obiektów w skali relacji, jak i w skali porządku (rankingu). Jeżeli macierz X rozkładalne, wówczas możliwe jest jedynie rankingowanie obiektów.

Należy zauważyć, że relację preferencji można wyrazić dowolną liczbą dodatnią Z. W tym przypadku warunek musi być spełniony.W szczególności możesz wybierać Z=2 więc jeśli , to jeśli wtedy i jeśli , to .

3.5. Określanie zależności pomiędzy rankingami

Podczas przetwarzania wyników rankingu mogą pojawić się problemy w określeniu związku między rankingami dwóch ekspertów, związku między osiągnięciem dwóch różnych celów przy rozwiązywaniu tego samego zestawu problemów lub związku między dwiema cechami.

W takich przypadkach miarą związku może być współczynnik korelacji rang. Cechą charakterystyczną związku pomiędzy wieloma rankingami lub celami będzie macierz współczynników korelacji rang. Znane są współczynniki korelacji rang Spearmana i Kendalla.

Współczynnik korelacji rang Spearmana wyznacza się ze wzoru:

gdzie jest momentem wzajemnej korelacji pierwszego i drugiego rankingu, a jest rozproszeniem tych rankingów. Na podstawie tych dwóch rankingów obliczane są szacunki momentu i rozproszenia wzajemnej korelacji, korzystając ze wzorów:

(5.51)

(5.52)

Gdzie N– liczba sklasyfikowanych obiektów, – miejsca odpowiednio w pierwszym i drugim rankingu, – średnie miejsca w pierwszym i drugim rankingu. Oszacowania średniej rangi wyznaczane są według wzorów:

(5.53)

Szacunki średnich rang i wariancji obliczmy przy założeniu, że w rankingach nie ma powiązanych rang, czyli oba rankingi dają ścisłe uporządkowanie obiektów. W tym przypadku średnie rangi (5,53) są sumami liczb naturalnych od jednego do N, podzielony przez N. Zatem średnie pozycje w obu rankingach są takie same i równe

(5.54)

Obliczając oszacowania wariancji zauważamy, że jeśli we wzorach (5.52) otworzymy nawiasy, to pod znakiem sumy znajdą się liczby naturalne i ich kwadraty. Dwa rankingi mogą różnić się od siebie jedynie permutacją rang, ale suma liczb naturalnych i ich kwadratów nie zależy od kolejności (permutacji) wyrazów. W rezultacie wariancje (5,52) dla dowolnych dwóch rankingów (w przypadku braku powiązanych rang) będą takie same i równe

(i=1,2). (5,55)

Podstawiając wartość z (5,51) i z (5,55) do wzoru (5,50) otrzymujemy oszacowanie współczynnika korelacji rang Spearmana

(5.56)

Do obliczeń praktycznych wygodniej jest zastosować inny wzór na współczynnik korelacji Spearmana. Można to uzyskać z (5.56), jeśli użyjemy tożsamości

W równości (5.57) pierwsze dwie sumy po prawej stronie, jak wynika z wyrażenia (5.55), są identyczne i równe

Podstawiając wartość sumy z (5.57) do wzoru (5.56) i korzystając z równości (5.58) otrzymujemy wygodny do obliczeń wzór na współczynnik korelacji rang Spearmana:

(5.59)

Współczynnik korelacji Spearmana waha się od –1 do +1. Równość do jedności osiąga się, jak wynika ze wzoru (5.59), przy identycznych rankingach, czyli gdy Wartość występuje przy przeciwnych rankingach (rankingi bezpośrednie i odwrotne). Gdy współczynnik korelacji jest równy zero, rankingi uważa się za liniowo niezależne.

Oszacowanie współczynnika korelacji, obliczone ze wzoru (5.59), jest zmienną losową. Aby określić istotność tej oceny, należy ustalić wartość prawdopodobieństwa, zdecydować o znaczeniu współczynnika korelacji i określić wartość progową za pomocą wzoru przybliżonego

(5.60)

Gdzie N– liczba obiektów, - funkcja odwrotna do funkcji

dla których są tabele. Po obliczeniu wartości progowej oszacowanie współczynnika korelacji uważa się za istotne, jeżeli.

Aby określić istotność oszacowania współczynnika Spearmana, można posłużyć się testem Studenta, ponieważ wartość

w przybliżeniu rozłożone zgodnie z prawem Studenta z N - 2 stopnie swobody.

Jeżeli w rankingach występują powiązane rangi, wówczas współczynnik Spearmana oblicza się według poniższego wzoru:

(5.62)

gdzie jest oszacowaniem współczynnika korelacji rang Spearmana, obliczonym ze wzoru (5.59), a wartościami są

(5.63)

W tych wzorach liczba różnych powiązanych rang odpowiednio w pierwszym i drugim rankingu.

Współczynnik korelacji rang Kendalla w przypadku braku powiązanych rang wyznacza się ze wzoru:

Gdzie N– liczba obiektów, - rangi obiektów, podpisać X– funkcja równa

Z oceny porównawczej współczynników korelacji rang Spearmana i Kendalla wynika, że ​​współczynniki Spearmana oblicza się za pomocą prostszego wzoru. Ponadto współczynnik Spearmana daje dokładniejszy wynik, ponieważ jest optymalnym oszacowaniem współczynnika korelacji według kryterium minimalnego błędu średniokwadratowego.

Wynika z tego, że w praktycznych obliczeniach zależności korelacyjnej rankingów preferuje się stosowanie współczynnika korelacji rang Spearmana.

WNIOSEK

Dynamika i nowatorstwo współczesnych problemów gospodarczych kraju, możliwość pojawienia się różnorodnych czynników wpływających na skuteczność decyzji, wymagają, aby decyzje te były podejmowane szybko, a jednocześnie dobrze uzasadnione. Doświadczenie, intuicja, poczucie perspektywy w połączeniu z informacją pomagają specjalistom trafniej wybierać najważniejsze cele i kierunki rozwoju, znajdować najlepsze opcje rozwiązywania złożonych problemów naukowych, technicznych i społeczno-ekonomicznych w warunkach, w których nie ma informacji rozwiązywaniu podobnych problemów w przeszłości.

Zastosowanie metody ocen eksperckich pozwala na sformalizowanie procedur gromadzenia, podsumowywania i analizowania opinii ekspertów w celu przekształcenia ich w formę najwygodniejszą dla podjęcia świadomej decyzji.

Należy jednak zaznaczyć, że metoda ocen eksperckich nie może zastąpić decyzji administracyjnych ani planistycznych, a jedynie pozwala uzupełnić informacje niezbędne do przygotowania i podjęcia takich decyzji. Powszechne stosowanie ocen eksperckich jest uzasadnione tylko wtedy, gdy nie ma możliwości zastosowania dokładniejszych metod analizy przyszłości.

Metody eksperckie są stale rozwijane i udoskonalane. Główne kierunki tego rozwoju wyznacza szereg czynników, m.in. chęć poszerzania zakresu zastosowań, zwiększania stopnia wykorzystania metod matematycznych i elektronicznej techniki komputerowej, a także szukania sposobów eliminowania pojawiających się niedociągnięć.

Pomimo sukcesów osiągniętych w ostatnich latach w rozwoju i praktycznym zastosowaniu metody oceny eksperckiej, istnieje szereg problemów i zadań wymagających dalszych badań metodologicznych i testów praktycznych. Należy udoskonalić system doboru ekspertów, zwiększyć wiarygodność cech opinii grupowych, opracować metody sprawdzania zasadności ocen i badania ukrytych przyczyn obniżających wiarygodność ocen eksperckich.

Jednak już dziś oceny eksperckie w połączeniu z innymi metodami matematycznymi i statystycznymi są ważnym narzędziem doskonalenia zarządzania na wszystkich poziomach.

BIBLIOGRAFIA:

2. Bekleshev V.K., Zavlin P.N. Standardy pracy w instytutach badawczych i biurach projektowych. M.: Ekonomia, 1973. 203 s.

10. Dobrov G.M., Ershov Yu.V., Levin E.I., Smirnov L.P. Ekspertyzy w prognozowaniu naukowo-technicznym. Kijów: Naukova Dumka, 1974. 263 s.

11. Evlanov L.G. Podejmowanie decyzji w warunkach niepewności. M.: IUNKh, 1976. 196 s.

12. Evlanov L.G., Kutuzov V.A. Eksperckie oceny w zarządzaniu. M.: Ekonomia, 1978. 133 s.

13. Kardanskaya N. Podejmowanie decyzji zarządczych. M.: JEDNOŚĆ, 1999. 407 s.

14. Kemeny D., Snell D. Modelowanie cybernetyczne. M.: Radio radzieckie, 1972. 234 s.

15. Krawczenko T.K. Proces podejmowania decyzji planistycznych. M.: Ekonomia, 1974. 183 s.

16. Mirkin B.G. Problem wyboru grupy. M.: Nauka, 1974. 256 s. . 17. Mikheev V.I. Społeczne i psychologiczne aspekty zarządzania. Styl i metody pracy lidera. M.: Młoda Gwardia, 1975. 181 s.

18. Pfanzagl I. Teoria pomiarów. M.: Mir, 1976. 278 s.

19. Tichomirow Yu.A. Decyzja zarządu. M.: Nauka, 1996. 278 s.

20. Fedorenko N.P. Optymalizacja ekonomiczna. M.: Nauka, 1977. 236 s.

21. Yampolsky S.M., Lisichkin V.A. Prognozowanie postępu naukowo-technicznego. M.: Ekonomia, 1974. 302 s.

EKSPERTOWE METODY PODEJMOWANIA DECYZJI

Decyzje można podejmować albo na podstawie obiektywnych danych (w tym stosując metody optymalizacyjne i probabilistyczne modele statystyczne), albo na podstawie opinii specjalistów (ekspertów). W zadaniach zarządzania strategicznego i operacyjnego, analizy techniczno-ekonomicznej, zapewnienia bezpieczeństwa środowiska, zarządzania środowiskiem i ochrony środowiska itp. Stale stosuje się różnorodne metody oceny eksperckiej. Omówiono je w tym rozdziale.

Podstawowe pojęcia metod oceny eksperckiej

Przykłady metod oceny eksperckiej. Jak otoczenie gospodarcze będzie się zmieniać w czasie? Co stanie się ze środowiskiem naturalnym za dziesięć lat? Jak zmieni się sytuacja środowiskowa? Czy zapewnione zostanie bezpieczeństwo ekologiczne produkcji przemysłowej, czy też wokół zacznie się rozprzestrzeniać sztuczna pustynia? Wystarczy pomyśleć o tych sformułowaniach kwestii naturalnych, przeanalizować, jak dziesięć, a nawet dwadzieścia lat temu wyobrażaliśmy sobie dzisiaj, aby zrozumieć, że po prostu nie można mówić o stuprocentowo wiarygodnych prognozach. Zamiast zestawień z konkretnymi liczbami można spodziewać się jedynie szacunków jakościowych. Niemniej jednak my, menedżerowie, ekonomiści, inżynierowie, musimy podejmować decyzje na przykład dotyczące projektów i inwestycji środowiskowych i innych, których konsekwencje będą odczuwalne za dziesięć, dwadzieścia itd. lata. Co powinienem zrobić? Pozostaje zwrócić się do metod ocen eksperckich. Jakie są te metody?

Nie ulega wątpliwości, że aby podejmować świadome decyzje, należy polegać na doświadczeniu, wiedzy i intuicji specjalistów. Po drugiej wojnie światowej w ramach cybernetyki, teorii sterowania, zarządzania i badań operacyjnych zaczęła rozwijać się samodzielna dyscyplina – teoria i praktyka ocen eksperckich.

Metody ocen eksperckich to metody organizacji pracy z biegłymi specjalistami i przetwarzania opinii eksperckich. Opinie te są zwykle wyrażane częściowo w formie ilościowej, a częściowo w formie jakościowej. Badania eksperckie przeprowadza się w celu przygotowania informacji do podjęcia decyzji przez decydenta (pamiętajmy, że decydent to decydent). W celu prowadzenia prac metodą ocen eksperckich tworzy się Grupę Roboczą (w skrócie WP), która organizuje w imieniu decydenta działalność ekspertów zrzeszonych (formalnie lub merytorycznie) w komisję ekspercką (KE ).

Oceny ekspertów są indywidualny I kolektyw. Indywidualne oceny- To są oceny jednego specjalisty. Na przykład nauczyciel samodzielnie wystawia ocenę uczniowi, a lekarz stawia diagnozę pacjentowi. Ale w skomplikowanych przypadkach choroby lub groźby wydalenia studenta za słabe studia, zwracają się do nich kolektyw opinia - sympozjum lekarzy lub komisja pedagogiczna. Podobna sytuacja jest w wojsku. Zwykle dowódca podejmuje decyzję sam. Ale w trudnych i odpowiedzialnych sytuacjach zwołuje się naradę wojskową. Jednym z najbardziej znanych przykładów tego rodzaju jest rada wojskowa z 1812 roku w Fili, na której pod przewodnictwem M.I. Kutuzowa rozstrzygnięto pytanie: „Czy powinniśmy, czy nie powinniśmy dać Francuzom bitwę pod Moskwą?”

Innym prostym przykładem ocen eksperckich jest ocena liczb w KVN. Każdy z członków jury podnosi sklejkę swoją punktacją, a pracownik techniczny oblicza średnią arytmetyczną wyniku, która ogłaszana jest jako zbiorowa opinia jury (przekonamy się poniżej, że takie podejście jest błędne z punktu widzenia teorii pomiaru ).

W łyżwiarstwie figurowym procedura staje się bardziej skomplikowana - przed uśrednieniem największe i najmniejsze wyniki są odrzucane. Dzieje się tak, aby nie było pokusy przeceniania jednego sportowca (na przykład rodaka) lub niedoceniania innego. Takie oceny, które wyraźnie odstają od ogólnej serii, zostaną natychmiast odrzucone.

Przy wyborze często wykorzystuje się opinie ekspertów, na przykład:

Jedna wersja urządzenia technicznego do wprowadzenia na serię kilku próbek,

Grupy astronautów z wielu kandydatów,

Zestaw projektów badawczych do finansowania z masy wniosków,

Odbiorcy pożyczek ekologicznych spośród wielu, którzy chcą,

Przy wyborze projekty inwestycyjne do wdrożenia spośród przedstawionych itp.

Metod uzyskiwania ocen eksperckich jest wiele. W niektórych pracują z każdym ekspertem osobno, on nawet nie wie, kto jeszcze jest ekspertem, dlatego wyraża swoją opinię niezależnie od autorytetów. W innych eksperci gromadzą się, aby przygotować materiały dla decydentów, a eksperci omawiają między sobą problem, uczą się od siebie, a błędne opinie są odrzucane. W niektórych metodach liczba ekspertów jest stała i taka, że ​​statystyczne metody sprawdzania zgodności opinii, a następnie ich uśredniania pozwalają na podejmowanie świadomych decyzji. W innych liczba ekspertów rośnie w trakcie procesu egzaminacyjnego, np. przy zastosowaniu metody „kuli śnieżnej” (więcej o tym później).

Metod przetwarzania odpowiedzi ekspertów jest nie mniej, także tych bardzo matematycznych i skomputeryzowanych. Wiele z nich opiera się na osiągnięciach statystyki obiektów o charakterze nienumerycznym i innych nowoczesnych metodach statystyki stosowanej.

Jedną z najbardziej znanych metod oceny eksperckiej jest Metoda Delphi. Nazwa wzięła się ze starożytnego zwyczaju zwracania się do Świątyni Delfickiej, aby otrzymać wsparcie przy podejmowaniu decyzji. Znajdowała się u wylotu trujących gazów wulkanicznych. Kapłanki świątyni, wdychając truciznę, zaczęły prorokować, wypowiadając niezrozumiałe słowa. Specjalni „tłumacze” – kapłani świątyni – zinterpretowali te słowa i odpowiedzieli na pytania pielgrzymów, którzy przybyli ze swoimi problemami. Tradycja głosi, że Świątynia Delficka znajdowała się w Grecji. Ale tam nie ma wulkanów. Najwyraźniej przebywał we Włoszech - w pobliżu Wezuwiusza lub Etny, a same opisane przepowiednie miały miejsce w XII-XIV wieku. Wynika to z najwyższego osiągnięcia współczesnej nauki historycznej - nowej chronologii statystycznej.

W USA w latach 60. XX w. metodę Delphi nazywano procedurą ekspercką służącą prognozowaniu rozwoju naukowo-technicznego. W pierwszej turze eksperci określili prawdopodobne daty określonych przyszłych osiągnięć. W drugiej turze każdy z ekspertów zapoznał się z prognozami pozostałych. Jeśli jego prognoza bardzo odbiegała od prognoz ogółu populacji, proszono go o wyjaśnienie swojego stanowiska i często zmieniał swoje szacunki, zbliżając się do wartości średnich. Te średnie wartości zostały przekazane klientowi jako opinia grupowa. Muszę to powiedzieć prawdziwe rezultaty badania okazały się dość skromne – choć datę lądowania Amerykanów na Księżycu przewidywano z dokładnością do miesiąca, wszystkie inne prognozy zawiodły – zimna synteza termojądrowa i lekarstwo na raka w XX wieku. ludzkość nie czekała.

Jednak sama technika okazała się popularna – przez kolejne lata użyto jej co najmniej 40 tysięcy razy. Średni koszt ekspertyzy metodą Delphi to 5 tys. dolarów, jednak w niektórych przypadkach konieczne było wydanie większych sum – nawet do 130 tys. dolarów.

Nieco poza głównym nurtem ocen eksperckich leży metoda skryptowa, używany głównie do prognozowania eksperckiego. Rozważmy główne idee technologii prognoz ekspertów scenariuszowych. Prognozy środowiskowe lub społeczno-ekonomiczne, jak każde prognozowanie w ogóle, mogą odnieść sukces tylko przy pewnej stabilności warunków. Jednak decyzje władz, osób i innych wydarzeń zmieniają warunki, a wydarzenia rozwijają się inaczej niż wcześniej oczekiwano. Jest rzeczą oczywistą, że po pierwszej turze wyborów prezydenckich w 1996 r. dalszy rozwój wydarzeń można było rozważać jedynie w kategoriach scenariuszowych: zwycięstwo B.N. w drugiej turze. Jelcyna, to stanie się to i tamto, jeśli wygra G.A. Ziuganow, wtedy wydarzenia potoczą się w tę i tamtą stronę.

Metoda scenariuszowa jest konieczna nie tylko w obszarze społeczno-ekonomicznym czy środowiskowym. Na przykład przy opracowywaniu wsparcia metodologicznego, oprogramowania i informacji ocena ryzyka projektów technologii chemicznej konieczne jest opracowanie szczegółowego katalogu scenariuszy wypadków związanych z wyciekami substancji toksycznych substancje chemiczne. Każdy z tych scenariuszy opisuje wypadek innego rodzaju, z jego indywidualnym pochodzeniem, przebiegiem, konsekwencjami i możliwościami zapobiegania.

Metoda scenariuszowa jest zatem metodą dekompozycji problemu prognostycznego, która polega na identyfikacji zbioru indywidualnych opcji rozwoju zdarzeń (scenariuszy), obejmujących łącznie wszystkie możliwe opcje rozwoju. Ponadto każdy indywidualny scenariusz musi umożliwiać w miarę dokładne prognozowanie, a łączna liczba scenariuszy musi być przewidywalna.

Możliwość takiego rozkładu nie jest oczywista. Stosując metodę scenariuszową konieczne jest przeprowadzenie dwóch etapów badań:

Budowa kompleksowego, ale wykonalnego zestawu scenariuszy;

Prognozowanie w ramach każdego konkretnego scenariusza w celu uzyskania odpowiedzi na interesujące badacza pytania.

Każdy z tych etapów jest tylko częściowo sformalizowany. Znaczna część rozumowania prowadzona jest na poziomie jakościowym, jak to jest zwyczajowo w społeczno-ekonomicznym i humanistyka. Jednym z powodów jest to, że prowadzi do tego chęć nadmiernej formalizacji i matematyzowania sztuczny wprowadzanie pewności tam, gdzie w zasadzie jej nie ma, lub stosowanie kłopotliwej aparatury matematycznej. Zatem rozumowanie na poziomie werbalnym w większości sytuacji uznawane jest za dowodowe, natomiast próba wyjaśnienia znaczenia użytych słów za pomocą np. teorii zbiorów rozmytych prowadzi do bardzo uciążliwych modeli matematycznych.

Zestaw scenariuszy powinien być widoczny. Musimy wykluczyć różne mało prawdopodobne zdarzenia - przybycie kosmitów, upadek asteroidy, masowe epidemie nieznanych wcześniej chorób itp. Samo stworzenie zestawu scenariuszy jest przedmiotem badań eksperckich. Ponadto eksperci mogą ocenić prawdopodobieństwo wystąpienia określonego scenariusza.

Prognozowanie w ramach każdego konkretnego scenariusza w celu uzyskania odpowiedzi na interesujące badacza pytania odbywa się również zgodnie z opisaną powyżej metodologią prognozowania. W stabilnych warunkach można zastosować metody statystyczne do prognozowania szeregów czasowych. Poprzedzone jest to jednak analizą przy pomocy ekspertów i często prognozowanie na poziomie werbalnym jest wystarczające (aby uzyskać wnioski interesujące badacza i decydenta) i nie wymaga doprecyzowania ilościowego.

Jak wiadomo, podejmując decyzje w oparciu o Analiza sytuacji(jak to mówią, kiedy analiza sytuacyjna), w tym analiza wyników badań predykcyjnych, może opierać się na różnych kryteriach. Możesz więc skupić się na tym, że sytuacja zakończy się w najgorszy, najlepszy lub przeciętny (w pewnym sensie) sposób. Możesz spróbować nakreślić środki, które zapewnią minimalne akceptowalne przydatne wyniki w dowolnym scenariuszu itp.

Inną opcją oceny eksperckiej jest burza mózgów. Organizowane jest w formie spotkania ekspertów, których wystąpienia podlegają jednemu, ale bardzo istotnemu ograniczeniu – nie można krytykować propozycji innych. Możesz je rozwijać, możesz wyrażać swoje pomysły, ale nie możesz ich krytykować! Podczas spotkania eksperci „zarażając” się nawzajem, wyrażają coraz bardziej ekstrawaganckie pomysły. Po około dwóch godzinach spotkanie nagrane na magnetofon lub kamerę wideo dobiega końca i rozpoczyna się drugi etap burzy mózgów – analiza wyrażonych pomysłów. Zazwyczaj na 100 pomysłów 30 zasługuje na dalszy rozwój, na 5-6 pozwalają na sformułowanie projektów aplikacyjnych, a 2-3 ostatecznie przynoszą użyteczny efekt - zysk, zwiększenie bezpieczeństwa ekologicznego, poprawę stanu środowiska naturalnego itp. Co więcej, interpretacja pomysłów jest procesem twórczym. Przykładowo, omawiając możliwości ochrony statków przed atakiem torpedowym, wysunięto pomysł: „Ustaw marynarzy wzdłuż burty i dmuchaj w torpedę, aby zmienić jej kurs”. Po opracowaniu pomysł ten doprowadził do stworzenia specjalnych urządzeń wytwarzających fale, które zbijają torpedę z kursu.

Główne etapy badania eksperckiego. Przyjrzyjmy się bliżej poszczególnym etapom badań eksperckich. Jak pokazuje doświadczenie, z punktu widzenia menedżera – organizatora takiego badania wskazane jest wyodrębnienie kolejnych etapów przeprowadzenia badania eksperckiego.

1) Podjęcie decyzji o konieczności przeprowadzenia badania eksperckiego i sformułowanie jego celów przez Decydenta (DM). Dlatego inicjatywa musi wyjść od kierownictwa, co dodatkowo zapewni pomyślne rozwiązanie problemów organizacyjnych i finansowych. Oczywiście początkowy impuls może dać notatka od jednego z pracowników lub dyskusja na spotkaniu, ale prawdziwym początkiem pracy jest decyzja osoby decyzyjnej.

2) Wybór i powołanie decydentów głównego składu Grupy Roboczej, w skrócie RG (zwykle kierownik naukowy i sekretarz). W takim przypadku opiekun naukowy jest odpowiedzialny za organizację i przeprowadzenie całości badań eksperckich, a także za analizę zgromadzonego materiału i sformułowanie wniosków komisji eksperckiej. Uczestniczy w tworzeniu zespołu ekspertów i powierzaniu zadań każdemu ekspertowi (wraz z decydentem lub jego przedstawicielem). On sam jest ekspertem o wysokich kwalifikacjach, uznawanym przez innych ekspertów za formalnego i nieformalnego przewodniczącego komisji eksperckiej. Zadaniem sekretarza jest prowadzenie dokumentacji ankiety eksperckiej i rozwiązywanie problemów organizacyjnych.

3) Rozwój RG(dokładniej jej główny personel, przede wszystkim dyrektor naukowy i sekretarz) oraz zatwierdzenie przez decydenta specyfikacji technicznych przeprowadzenia ekspertyzy. Na tym etapie decyzja o przeprowadzeniu ankiety eksperckiej staje się jasna pod względem wsparcia czasowego, finansowego, kadrowego, rzeczowego i organizacyjnego. W szczególności tworzona jest Grupa Robocza, w WG przydzielane są różne grupy specjalistów - analityczne, ekonometryczne (specjaliści od metod), komputerowe, pracujące z ekspertami (na przykład ankieterami), organizacyjne. Dla osiągnięcia sukcesu bardzo ważne jest, aby wszystkie te stanowiska zostały zatwierdzone przez decydenta.

4) Opracowanie przez grupę analityczną WG szczegółowego scenariusza (tj. regulaminu) gromadzenia i analizowania ekspertyz (ocen). Scenariusz uwzględnia przede wszystkim określony rodzaj informacji, który otrzymamy od ekspertów (na przykład słowa, gradacje warunkowe, liczby, rankingi, podziały czy innego rodzaju obiekty o charakterze nieliczbowym). Na przykład dość często eksperci proszeni są o swobodne wypowiadanie się, odpowiadając jednocześnie na szereg wcześniej sformułowanych pytań. Dodatkowo proszeni są o wypełnienie formalnej karty, wybierając w każdym punkcie jedną z kilku gradacji. Skrypt musi także zawierać określone metody analizy zebranych informacji. Na przykład obliczanie mediany Kemeny'ego, analiza statystyczna Lucians, zastosowanie innych metod statystyki obiektów o charakterze nienumerycznym i inne sekcje stosowanej statystyki (niektóre z tych metod zostaną omówione poniżej). Praca ta należy do grupy ekonometryczno-komputerowej RG. Tradycyjnym błędem jest najpierw zebrać informacje, a potem zastanowić się, co z nimi zrobić. W rezultacie, jak pokazuje smutne doświadczenie, wykorzystuje się nie więcej niż 1-2% informacji.

5) Wybór ekspertów zgodnie ze swoimi kompetencjami. Na tym etapie Grupa Robocza sporządza listę potencjalnych ekspertów i ocenia ich przydatność do planowanego badania.

6) Utworzenie komisji eksperckiej. Na tym etapie WG negocjuje z ekspertami i uzyskuje ich zgodę na pracę w komisji eksperckiej (w skrócie KE). Możliwe jest, że niektórzy eksperci wskazani przez GR nie będą mogli dołączyć do komisji ekspertów (choroba, urlop, podróż służbowa itp.) lub odmówić z tego czy innego powodu (zatrudnienie, warunki umowy itp.). Osoba podejmująca decyzję zatwierdza skład komisji ekspertów, ewentualnie usuwając lub dodając niektórych ekspertów do propozycji grupy roboczej. Z ekspertami zawierane są umowy dotyczące warunków ich pracy i wynagrodzenia.

7) Prowadzenie gromadzenia informacji eksperckich. Często poprzedzone jest to rekrutacją i szkoleniem ankieterów – jednej z grup wchodzących w skład RG.

8) Komputer analiza informacji eksperckich korzystając z metod zawartych w skrypcie. Poprzedzona jest zazwyczaj wprowadzeniem informacji do komputerów.

9) Stosując procedurę ekspercką z kilku rund zgodnie ze scenariuszem - powtórzenie dwa poprzednie etapy.

10) Końcowa analiza opinii biegłych, interpretacja uzyskanych wyników grupa analityczna WG i przygotowanie dokumentu końcowego KE dla decydentów.

11) Oficjalny kończący się działalność RG, m.in zatwierdzenie przez decydenta dokumentu końcowego KE, sporządzanie i zatwierdzanie raportów naukowo-finansowych Grupy Roboczej w sprawie prowadzenia badań eksperckich, wynagrodzeń ekspertów i pracowników Grupy Roboczej, oficjalnego zakończenia działalności (rozwiązania) KE i Grupy Roboczej.

Przyjrzyjmy się bliżej poszczególnym etapom badań eksperckich. Zacznijmy od wyboru ekspertów: personel jest najważniejszy! Jakość wniosków komisji ekspertów jest taka sama, jak wniosków ekspertów.

Wybór ekspertów. Zagadnienie doboru ekspertów jest jednym z najtrudniejszych w teorii i praktyce badań eksperckich. Oczywiście konieczne jest wykorzystanie w charakterze ekspertów tych osób, których osądy najbardziej pomogą w podjęciu właściwej decyzji. Jak jednak zidentyfikować, znaleźć, wybrać takie osoby? Trzeba to powiedzieć wprost Nie ma metod doboru ekspertów, które z pewnością zapewnią powodzenie egzaminu. Nie będziemy teraz omawiać problemu istnienia różnych „partii” wśród ekspertów, a zwrócimy uwagę na różne inne aspekty procedur wyboru ekspertów.

Problem doboru ekspertów można podzielić na dwie składowe: sporządzenie listy ewentualnych ekspertów i wybór spośród nich komisji ekspertów zgodnie z kompetencjami kandydatów.

Sporządzenie listy potencjalnych biegłych jest łatwiejsze, jeżeli dany rodzaj badania przeprowadza się wielokrotnie. W takich sytuacjach zwykle jest to przeprowadzane rejestr ewentualni eksperci np. z zakresu państwowej oceny oddziaływania na środowisko lub orzekania Łyżwiarstwo figurowe, z których możesz wybierać według różnych kryteriów lub korzystając z generatora (lub tabeli) liczb pseudolosowych.

Co zrobić, jeśli badanie przeprowadzane jest po raz pierwszy i nie ma ustalonych list potencjalnych biegłych? Jednak nawet w tym przypadku każdy konkretny specjalista ma pewne pojęcie o tym, czego wymaga się od eksperta w takiej sytuacji. Aby utworzyć listę, istnieje przydatna metoda "śnieżna kula" w którym od każdego specjalisty zaangażowanego w rolę eksperta otrzymują określoną liczbę (zwykle 5 - 10) nazwisk tych, którzy mogą być ekspertami w rozpatrywanym temacie. Oczywiście część z tych nazw spotkała się już wcześniej w działalności RG, a część jest nowa. Z każdą nową osobą przeprowadzany jest wywiad według tego samego schematu. Proces poszerzania listy kończy się w momencie, gdy nowe nazwiska praktycznie przestają się pojawiać. Rezultatem jest dość obszerna lista potencjalnych ekspertów. metoda "śnieżna kula" Ma to również wady. Nie można z góry przewidzieć liczby rund, po których nastąpi zatrzymanie procesu wzrostu śpiączki. Ponadto jasne jest, że jeśli na pierwszym etapie wszyscy eksperci należeli do tego samego „klanu”, mieli nieco podobne poglądy lub zajmowali się podobnymi działaniami, to metoda „kuli śnieżnej” najprawdopodobniej przyniesie osoby z tego samego „klanu”. ” Będzie brakować opinii i argumentów innych „klanów”. (Mówimy tu o tym, że społeczność specjalistów jest właściwie podzielona na grupy, zwane powyżej „klanami”, a komunikacja odbywa się głównie w obrębie „klanów”. Nieformalna struktura nauki, do której należą „klany”, jest dość trudne do zbadania.Zauważmy tutaj, że „klany” powstają zwykle w oparciu o duże ośrodki formalne (uniwersytety, instytuty naukowe, szkoły naukowe).

Nie mniej złożona jest kwestia oceny kompetencji ekspertów. Oczywiste jest, że pomyślny udział w poprzednich egzaminach jest dobrym kryterium działalności degustatora, lekarza, sędziego w zawodach sportowych, tj. takich ekspertów, którzy uczestniczą w długich seriach podobnych badań. Jednak, niestety, najciekawsze i najważniejsze są unikalne badania dużych projektów, które nie mają analogii. Stosowanie formalnych wskaźników ekspertów (stanowisko, stopień i tytuł naukowy, staż pracy, liczba publikacji...), oczywiście, we współczesnych szybko zmieniających się warunkach może mieć jedynie charakter pomocniczy, chociaż takie wskaźniki są najłatwiejsze w użyciu .

Często proponuje się stosowanie metod samooceny i wzajemnej oceny kompetencji ekspertów. Omówmy je, zaczynając od metody samooceny, w której ekspert sam dostarcza informacji, w jakich obszarach jest kompetentny, a w jakich nie. Z jednej strony, kto zna możliwości eksperta lepiej niż on sam? Natomiast przy samoocenie kompetencji ocenia się stopień pewności siebie eksperta, a nie jego faktyczne kompetencje. Co więcej, sama koncepcja "kompetencja" nie ściśle określone. Można to wyjaśnić, podkreślając jego elementy, ale komplikuje to wstępną część działań komisji eksperckiej. Dość często ekspert wyolbrzymia swoje faktyczne kompetencje. Na przykład większość ludzi uważa, że ​​jest dobrze zorientowana w polityce, ekonomii, problematyce oświaty i wychowania, rodzinie i medycynie. W rzeczywistości eksperci (a nawet znający się na rzeczy ludzie) w tych obszarach jest bardzo mała. Zdarzają się też odchylenia w drugą stronę, czyli zbyt krytyczne podejście do swoich możliwości.

W przypadku stosowania metody wzajemnej oceny, oprócz możliwości okazania osobistych i grupowych upodobań, rolę odgrywa także niska świadomość ekspertów co do swoich możliwości. W nowoczesnych warunkach tylko specjaliści, którzy pracują razem od wielu lat (co najmniej 3-4), w tym samym pomieszczeniu, nad tym samym tematem, mogą w miarę dobrze zapoznać się ze swoją pracą i możliwościami. To właśnie o takich parach możemy powiedzieć, że „ razem zjedliśmy funt soli„Jednak przyciąganie takich par specjalistów nie jest zbyt wskazane, ponieważ ich poglądy wynikają z podobieństwa ścieżka życia zbyt podobni do siebie.

Jeżeli procedura ankiety eksperckiej obejmuje bezpośrednią komunikację między ekspertami, należy wziąć pod uwagę szereg innych okoliczności. Ogromne znaczenie mają ich cechy osobiste (społeczno-psychologiczne). Tak, jedyny” gaduła„może sparaliżować działania całej komisji na wspólnym posiedzeniu. Wrogie stosunki pomiędzy członkami komisji oraz bardzo odmienny status naukowy i urzędowy członków komisji mogą doprowadzić do załamania. W takich przypadkach ważne jest, aby przestrzegać regulaminu pracy opracowanego przez WG.

Należy podkreślić, że dobór ekspertów jest jedną z głównych funkcji Grupy Roboczej i żadne metody selekcji nie zwalniają jej z odpowiedzialności. Inaczej mówiąc, to Grupa Robocza odpowiada za kompetencje ekspertów, za ich podstawową zdolność do rozwiązania zadania. Istotnym wymogiem jest zatwierdzenie listy ekspertów przez decydenta. Jednocześnie decydent może albo dodać do komisji poszczególnych ekspertów, albo skreślić część z nich – z własnych powodów, z którymi członkowie Grupy Roboczej i Komitetu Wykonawczego nie muszą się zapoznawać.

Istnieje szereg dokumentów normatywnych regulujących działalność komisji eksperckich w określonych obszarach. Przykładem jest Prawo Federacja Rosyjska„O ekspertyzie środowiskowej” z dnia 23 listopada 1995 r., która reguluje tryb badania „planowanej działalności gospodarczej lub innej” w celu identyfikacji możliwa krzywda jakie dana działalność może wyrządzić środowisku naturalnemu.

W sprawie opracowania regulaminu gromadzenia i analizy opinii biegłych. Metod uzyskiwania ocen eksperckich jest wiele. W niektórych pracują z każdym ekspertem osobno, on nawet nie wie, kto jeszcze jest ekspertem, dlatego wyraża swoją opinię niezależnie od władz, „klanów” i poszczególnych kolegów. W innych eksperci gromadzą się w celu przygotowania materiałów dla decydentów, przy czym eksperci omawiają między sobą problem, akceptują lub odrzucają swoje argumenty, uczą się od siebie nawzajem, a błędne lub niewystarczająco uzasadnione opinie są odrzucane. W niektórych metodach liczba ekspertów jest stała i taka, że ​​statystyczne metody sprawdzania zgodności opinii, a następnie (w przypadku dostatecznie dobrej zgodności opinii) ich uśredniania pozwalają na podejmowanie świadomych decyzji z ekonometrycznego punktu widzenia. W innych liczba ekspertów rośnie w trakcie badania, np. przy tworzeniu zespołu ekspertów metodą „kuli śnieżnej”.

Obecnie nie istnieje ogólnie przyjętą, opartą na nauce klasyfikację metod oceny eksperckiej, a tym bardziej jasne zalecenia dotyczące ich stosowania. Próba na siłę zatwierdzenia jednego z możliwych punktów widzenia w sprawie klasyfikacji metod oceny eksperckiej może jedynie zaszkodzić.

Aby jednak mówić o różnorodności ocen eksperckich, konieczna jest pewnego rodzaju robocza klasyfikacja metod. Poniżej podajemy jedną z takich możliwych klasyfikacji, wymieniając podstawy, według których dzielimy oceny eksperckie.

Jednym z głównych pytań jest to, co dokładnie komisja ekspercka powinna przedstawić w wyniku swoich prac – informację dla decydenta do podjęcia decyzji czy sam projekt decyzji? Od odpowiedzi na to pytanie metodologiczne zależy organizacja prac komisji eksperckiej, która stanowi pierwszą podstawę podziału metod.

CEL - ZBIERANIE INFORMACJI DLA KIEROWNIKÓW DECYZJI. Następnie Grupa Robocza powinna zebrać jak najwięcej istotnych informacji, argumentów za i przeciw określonym wariantom decyzyjnym. Przydatna jest następująca metoda stopniowego zwiększania liczby ekspertów. Najpierw pierwszy ekspert przedstawia swoje przemyślenia na temat rozpatrywanej kwestii. Opracowany przez niego materiał zostaje przekazany drugiemu biegłemu, który dodaje swoje argumenty. Nagromadzony materiał trafia do kolejnego – trzeciego – eksperta… Procedura kończy się, gdy wyschnie dopływ nowych rozważań.

Zauważmy, że w rozważanej metodzie eksperci jedynie przekazują informacje i argumenty za i przeciw, ale nie wypracowują uzgodnionego projektu rozwiązania. Nie ma potrzeby zabiegać o to, aby opinie biegłych były ze sobą spójne. Co więcej, największe korzyści odnoszą eksperci o sposobie myślenia odbiegającym od głównego nurtu. To od nich należy spodziewać się najbardziej oryginalnych argumentów.

CEL - PRZYGOTOWANIE PROJEKTU ROZWIĄZANIA DLA KIEROWCY DECYZJI. Metody matematyczne w ocenach eksperckich są zwykle stosowane specjalnie do rozwiązywania problemów związanych z przygotowaniem projektu rozwiązania. Jednocześnie często bezkrytycznie akceptowane są dogmaty spójności i jednowymiarowości. Dogmaty te „wędrują” z publikacji do publikacji, dlatego warto je przedyskutować.

DOGMAT KONSYSTENCJI. Często bez żadnego uzasadnienia uważa się, że decyzję można podjąć jedynie na podstawie konsensusu opinii ekspertów. Dlatego z grupy eksperckiej wyłączani są ci, których opinia odbiega od opinii większości. Jednocześnie eliminowane są zarówno osoby niewykwalifikowane, które weszły w skład komisji eksperckiej na skutek nieporozumienia lub z powodów niezwiązanych z ich poziomem zawodowym, jak i najbardziej oryginalni myśliciele, którzy wniknęli w problem głębiej niż większość. Należy wyjaśnić ich argumenty i dać im możliwość uzasadnienia swojego punktu widzenia. Zamiast tego ich opinie są ignorowane.

Zdarza się również, że eksperci dzielą się na dwie lub więcej grup, które łączy wspólna cecha Grupa punkty widzenia. Znany jest zatem przykład dzielenia specjalistów przy ocenie wyników badań naukowych na dwie grupy: „teoretyków”, którzy wyraźnie preferują pracę badawczą, w której uzyskano wyniki teoretyczne, oraz „praktyków”, którzy wybierają te projekty badawcze, które pozwalają na uzyskanie wyniki stosowane bezpośrednio (mówimy o konkursie badawczym w Akademickim Instytucie Problemów Sterowania (automatyka i telemechanika)).

Czasami twierdzi się, że w przypadku znalezienia dwóch lub więcej grup ekspertów (a nie jednej, która zgadza się w swoich opiniach), badanie nie osiąga swojego celu. To jest źle! Cel został osiągnięty – ustalono, że konsensusu nie ma. To jest dość ważne. A decydent musi to brać pod uwagę przy podejmowaniu decyzji. Chęć zapewnienia spójności w opiniach ekspertów wszelkiego rodzaju może prowadzić do celowego, jednostronnego doboru ekspertów, ignorowania wszystkich punktów widzenia z wyjątkiem jednego, tego, który jest najbardziej lubiany przez Grupę Roboczą (lub wręcz „pod wpływem” decyzji -producent).

Często nie bierze się pod uwagę innej okoliczności czysto ekonometrycznej. Ponieważ liczba ekspertów nie przekracza zwykle 20-30, formalna spójność statystyczna ekspertyz (ustalona na podstawie określonych kryteriów weryfikacji hipotezy statystyczne) można połączyć z faktycznym podziałem ekspertów na grupy, co sprawia, że ​​dalsze obliczenia nie mają odzwierciedlenia w rzeczywistości. Jako przykład przejdźmy do konkretnych metod obliczeń wykorzystujących współczynniki zgodności (tj. tłumaczone jako zgodność) oparte na współczynnikach korelacji rang Kendalla lub Spearmana. Należy przypomnieć, że zgodnie z teorią ekonometrii pozytywny wynik badania spójności w ten sposób oznacza nic innego jak odrzucenie hipotezy o niezależności i równomiernym rozkładzie opinii eksperckich na zbiorze wszystkich rankingów. W ten sposób testowana jest hipoteza zerowa, zgodnie z którą rankingi opisujące opinie ekspertów są niezależnymi losowymi relacjami binarnymi, równomiernie rozłożonymi w zbiorze wszystkich rankingów. Odrzucenie tej hipotezy zerowej jest tradycyjnie interpretowane jako zgodność odpowiedzi ekspertów. Inaczej mówiąc, padamy ofiarą nieporozumień wynikających ze swoistej interpretacji słów: sprawdzanie spójności w określonym sensie matematyczno-statystycznym nie jest wcale sprawdzaniem spójności w sensie praktyki ocen eksperckich. (To właśnie niedoskonałość rozważanych metod matematycznych i statystycznych analizy rankingów skłoniła grupę specjalistów do opracowania nowego aparatu ekonometrycznego do sprawdzania spójności - metod nieparametrycznych opartych na tzw. Lucjan i zawarte w nowoczesnej sekcji ekonometrii - statystyki danych nienumerycznych). Grupy ekspertów posługujących się podobnymi metodami można identyfikować za pomocą ekonometrycznych metod analizy skupień.

OPINIE DYSYDENTÓW. Aby sztucznie osiągnąć spójność, starają się ograniczać wpływ ekspertyz - dysydenci, tj. dysydentów w porównaniu z większością. Twardy Sposobem radzenia sobie z dysydentami jest ignorowanie ich opinii, tj. w istocie poprzez wykluczenie ich z komisji ekspertów. Odrzucenie ekspertów, a także odrzucenie wartości odstających skutkuje procedurami o słabych lub nieznanych właściwościach statystycznych. Tak, jest to znane ekstremalna niestabilność klasyczne metody odrzucania wartości odstających w odniesieniu do odchyleń od założeń modelu (patrz np. instruktaż ).

Miękki Sposobem radzenia sobie z dysydentami jest użycie solidne (stabilne) procedury statystyczne. Najprostszy przykład: jeśli odpowiedź eksperta jest liczbą rzeczywistą, to wyróżniająca się opinia dysydenta silnie wpływa na średnią arytmetyczną odpowiedzi ekspertów, nie wpływając na ich medianę. Dlatego rozsądne jest uznanie mediany za opinię konsensusową. Pomija się to jednak (nie dociera do decydenta) argumenty dysydentów.

W każdym z dwóch sposobów postępowania z dysydentami decydent zostaje pozbawiony informacji pochodzących od dysydentów, w związku z czym może podjąć bezpodstawną decyzję, która w konsekwencji doprowadzi do negatywnych konsekwencji. Z drugiej strony przedstawienie decydentowi całego zbioru opinii zdejmuje część odpowiedzialności i pracy związanej z przygotowaniem ostatecznej decyzji z komisji ekspertów i grupy roboczej odpowiedzialnej za przeprowadzenie badania eksperckiego, a przenosi tę odpowiedzialność i pracę na barki decydenta.

DOGMA JEDNOWYMIAROWOŚCI. W przestarzałej, a czasem także współczesnej literaturze naukowo-technicznej powszechne jest dość kontrowersyjne podejście do tzw. „kwalimetrii”, według której zawsze można ocenić przedmiot badań jeden numer. Dziwny pomysł! Ludziom na targach niewolników przyszło do głowy oceniać osobę za pomocą jednej liczby.. Jest mało prawdopodobne, aby nawet najbardziej zagorzali jakościomierze uznali książkę lub obraz za odpowiednik liczby - jej „wartość rynkową”. Prawie wszystkie rzeczywiste obiekty są dość złożone i dlatego można je opisać z dowolną dokładnością jedynie za pomocą wielu, wielu liczb, a także obiektów matematycznych o charakterze nienumerycznym.

Jednocześnie nie można całkowicie zaprzeczyć samej idei poszukiwania uogólnionych wskaźników jakości, poziomu technicznego i tym podobnych. Dzięki temu każdy obiekt można ocenić według wielu wskaźników jakości. Na przykład samochód osobowy można ocenić według następujących wskaźników:

zużycie benzyny na 100 km (średnio);

niezawodność (w tym średni koszt napraw rocznie);

bezpieczeństwo ekologiczne, oceniane na podstawie zawartości substancji szkodliwych w spalinach;

zwrotność (w tym promień skrętu);

prędkość 100 km/h po rozpoczęciu ruchu; maksymalna osiągalna prędkość;

czas utrzymywania dodatniej temperatury w kabinie przy niskiej temperaturze zewnętrznej (na przykład minus pięćdziesiąt stopni Celsjusza) i wyłączony silnik;

design (atrakcyjność i „modność” wyglądu i wyposażenia wnętrz);

waga itp.

Czy możliwe jest połączenie wyników tych wskaźników razem? Oczywiste jest, że decydująca jest konkretna sytuacja, dla której wybierany jest samochód. Osiągana prędkość maksymalna jest ważna dla kierowcy, ale naszym zdaniem ma niewielkie znaczenie praktyczne dla kierowcy zwykłego samochodu prywatnego, szczególnie w mieście, w którym obowiązuje surowe ograniczenie prędkości maksymalnej. Dla takiego kierowcy ważniejsze są przebiegi na gazie, zwrotność i niezawodność. Do maszyn o różnych usługach kontrolowany przez rząd najwyraźniej niezawodność jest ważniejsza niż dla prywatnego właściciela, ale zużycie benzyny jest odwrotne. W przypadku regionów Dalekiej Północy izolacja termiczna wnętrza jest ważna, ale w regionach południowych nie. Itp.

Ważne jest zatem konkretne (wąskie) sformułowanie zadania przed ekspertami. Ale takie ustawienie często nie istnieje. A następnie „gry” w celu opracowania uogólnionego wskaźnika jakości - na przykład w formie funkcja liniowa z wymienionych zmiennych – nie może dać obiektywnych wniosków. Alternatywą dla jedynego uogólnionego wskaźnika jest aparat matematyczny optymalizacja wielokryterialna- Zbiory Pareto itp.

W niektórych przypadkach nadal możliwe jest globalne porównanie obiektów – np. przy pomocy tych samych ekspertów, uzyskanie zamówienia na dane obiekty – produkty czy projekty. Następnie możesz WYBRAĆ współczynniki dla poszczególnych wskaźników tak, aby porządkowanie za pomocą funkcji liniowej mogło bardziej odpowiadać porządkowaniu globalnemu(na przykład znajdź te współczynniki metodą najmniejszych kwadratów). Wręcz przeciwnie, w takich przypadkach NIE NALEŻY szacować określonych współczynników przy pomocy ekspertów. Ta prosta idea nie stała się jeszcze oczywista dla niektórych kompilatorów metod przeprowadzania ankiet eksperckich i analizowania ich wyników. Bardzo się starają, aby eksperci zrobili to, co oni niezdolny- wskazać wagi, z jakimi poszczególne wskaźniki jakości powinny zostać uwzględnione w ostatecznym uogólnionym wskaźniku.

Wyślij swoją dobrą pracę do bazy wiedzy jest prosta. Skorzystaj z poniższego formularza

Studenci, doktoranci, młodzi naukowcy, którzy wykorzystują bazę wiedzy w swoich studiach i pracy, będą Państwu bardzo wdzięczni.

Wysłany dnia http://www.allbest.ru/

MOSKWA INSTYTUT SPOŁECZNO-EKONOMICZNY

na temat „Metodologia przeprowadzania ekspertyz”

Studentki:

Artiuszenko Julia Wiktorowna

Grupa: M10B-D-O-z

Moskwa 2014

Wstęp

2. Metody ocen eksperckich

Wniosek

Wstęp

W badaniach nad zarządzaniem szeroko stosowana jest metoda ocen eksperckich. Tłumaczy się to złożonością wielu problemów, ich pochodzeniem z „czynnika ludzkiego” oraz brakiem wiarygodnych narzędzi eksperymentalnych lub normatywnych.

Nie ulega wątpliwości, że aby podejmować świadome decyzje, należy polegać na doświadczeniu, wiedzy i intuicji specjalistów. Po drugiej wojnie światowej w ramach teorii zarządzania zaczęła rozwijać się samodzielna dyscyplina – oceny eksperckie.

Metody ocen eksperckich to metody organizacji pracy z ekspertami i przetwarzania opinii eksperckich, wyrażonych w formie ilościowej i/lub jakościowej, w celu przygotowania informacji do podejmowania decyzji przez decydentów.

Badaniu możliwości i cech wykorzystania ocen eksperckich poświęcono wiele prac. Omawiane są formy badań eksperckich (różne rodzaje ankiet, wywiady), podejścia do oceny (ranking, normowanie, różne rodzaje porządkowania itp.), sposoby przetwarzania wyników badań, wymagania stawiane ekspertom i tworzenia grup eksperckich, zagadnienia szkolenie ekspertów, ocena ich kompetencji (przy przetwarzaniu ocen wprowadzane i uwzględniane są współczynniki kompetencji ekspertów i rzetelności ich opinii), metody organizacji badań eksperckich. Dobór form i metod prowadzenia badań eksperckich, podejść do przetwarzania wyników badań itp. zależy od konkretnego zadania i warunków egzaminu.

Metody eksperckie znajdują obecnie zastosowanie w sytuacjach, gdy wybór, uzasadnienie i ocena skutków decyzji nie może być dokonana na podstawie dokładnych obliczeń. Takie sytuacje często powstają przy opracowywaniu współczesnych problemów zarządzania produkcją społeczną, a zwłaszcza przy prognozowaniu i planowaniu długoterminowym. W ostatnich latach oceny eksperckie znalazły szerokie zastosowanie w prognozowaniu społeczno-politycznym i naukowo-technicznym, w planowaniu gospodarki narodowej, gałęzi przemysłu, stowarzyszeń, w opracowywaniu głównych programów naukowych, technicznych, gospodarczych i społecznych oraz w rozwiązywaniu indywidualnych problemów zarządczych . ranking zarządzania ekspertami

1. Charakter, metody i proces ocen eksperckich

1.1 Istota ocen eksperckich

Możliwość wykorzystania ocen eksperckich i uzasadnienie ich obiektywności zwykle polega na tym, że nieznana cecha badanego zjawiska jest interpretowana jako zmienna losowa, której odzwierciedleniem prawa rozkładu jest indywidualna ocena specjalisty. o wiarygodności i znaczeniu konkretnego zdarzenia. Zakłada się, że rzeczywista wartość badanej cechy mieści się w granicach szacunków uzyskanych od grupy ekspertów, a uogólniona opinia zbiorowa jest wiarygodna.

Jednak niektóre badania teoretyczne kwestionują to założenie. Proponuje się na przykład podzielenie problemów, dla których wykorzystuje się oceny eksperckie, na dwie klasy. Do pierwszej klasy zalicza się problemy w miarę dobrze zaopatrzone w informacje, przy których można zastosować zasadę „dobrego mierniczego”, uznając eksperta za depozytariusza dużej ilości informacji, a grupową opinię ekspertów za zbliżoną do ten prawdziwy. Do drugiej klasy zaliczają się problemy, dla których wiedza nie jest wystarczająca, aby mieć pewność co do słuszności powyższych założeń; ekspertów nie można uważać za „dobrych mierniczych” i należy zachować ostrożność podczas przetwarzania wyników badania, ponieważ w tym przypadku opinia jednego (pojedynczego) eksperta, który zwraca większą uwagę na badanie mało zbadanego problem, może okazać się najważniejszy, a podczas formalnego przetwarzania zostanie utracony. W związku z tym w przypadku problemów drugiej klasy należy głównie stosować jakościowe przetwarzanie wyników. Stosowanie metod uśredniających (dotyczy „dobrych liczników”) w tym przypadku może prowadzić do znacznych błędów.

Zadania zbiorowego podejmowania decyzji mające na celu formułowanie celów, doskonalenie metod i form zarządzania można zwykle zaliczyć do pierwszej klasy. Jednak przy opracowywaniu prognoz i plany długoterminowe Wskazane jest identyfikowanie „rzadkich” opinii i poddawanie ich dokładniejszej analizie.

Kolejnym problemem, o którym należy pamiętać przeprowadzając analizę systemową, jest to, że nawet w przypadku rozwiązywania problemów należących do pierwszej klasy nie można zapominać, że oceny eksperckie niosą ze sobą nie tylko wąsko subiektywne cechy właściwe poszczególnym ekspertom, ale także cechy zbiorowo-subiektywne, które nie zanikają w trakcie przetwarzania wyników ankiety (a przy zastosowaniu procedur Delphi mogą nawet się nasilać). Innymi słowy, oceny eksperckie należy postrzegać jako pewien „publiczny punkt widzenia”, zależny od poziomu wiedzy naukowo-technicznej społeczeństwa na temat przedmiotu badań, która może się zmieniać wraz z rozwojem systemu i naszych wyobrażeń na jego temat. Dlatego też badanie eksperckie nie jest procedurą jednorazową. Ten sposób uzyskiwania informacji o złożonym problemie charakteryzującym się dużym stopniem niepewności powinien stać się swego rodzaju „mechanizmem” w złożonym systemie, tj. konieczne jest stworzenie stałego systemu pracy z ekspertami.

Należy także zaznaczyć, że zastosowanie klasycznego podejścia częstotliwościowego do oceny prawdopodobieństwa przy organizacji badań eksperckich może być trudne, a czasami niemożliwe (ze względu na brak możliwości udowodnienia zasadności stosowania reprezentatywności próby). Dlatego obecnie trwają badania nad naturą prawdopodobieństwa oceny eksperckiej, w oparciu o teorię zbiorów rozmytych Zadeha, na koncepcji oceny eksperckiej jako stopnia potwierdzenia hipotezy lub jako prawdopodobieństwa osiągnięcia celu. Jedną z odmian metody eksperckiej jest metoda badania mocnych i słabych stron organizacji, szans i zagrożeń dla jej działalności – metoda analizy SWOT.

Gromadzenie informacji eksperckich uzależnione jest od wyboru metody oceny eksperckiej. Zazwyczaj w celu zebrania informacji eksperckich sporządzane są specjalne dokumenty, takie jak kwestionariusze, zatwierdzane przez odpowiednich menedżerów, a następnie przesyłane do ekspertów.

Przetwarzanie informacji eksperckich odbywa się wybraną metodą, najczęściej z wykorzystaniem technologii komputerowej. Dane uzyskane w wyniku przetwarzania są analizowane i wykorzystywane do rozwiązywania problemów analizy i syntezy systemów sterowania.

Oceny eksperckie służą do analizy, diagnozy stanu, a następnie prognozowania możliwości rozwoju:

1) przedmioty, których rozwój całkowicie lub częściowo wykracza poza opis merytoryczny lub formację matematyczną;

2) w przypadku braku wystarczająco reprezentatywnych i wiarygodnych statystyk dotyczących charakterystyki obiektu;

3) w warunkach dużej niepewności otoczenia funkcjonowania obiektu, otoczenia rynkowego;

4) do średnio- i długoterminowego prognozowania nowych rynków, obiektów nowych dziedzin przemysłu, na które duży wpływ mają odkrycia nauk podstawowych (np. przemysł mikrobiologiczny, elektronika kwantowa, inżynieria nuklearna);

5) w przypadkach, gdy czas lub środki przeznaczone na prognozowanie i podejmowanie decyzji nie pozwalają na zbadanie problemu za pomocą modeli formalnych;

6) brak niezbędnych narzędzi do modelowania technicznego, np. technologii komputerowej o odpowiednich charakterystykach;

7) w sytuacjach ekstremalnych.

Zadania rozwiązywane w procesie ocen eksperckich systemów zarządzania można podzielić na dwie grupy:

1) zadania syntezy nowych systemów sterowania i ich oceny;

2) zadanie analizy (pomiaru) istniejących systemów zarządzania według wybranych wskaźników i kryteriów efektywności.

Do zadań pierwszej grupy zalicza się: kształtowanie wyglądu tworzonego systemu; prognozowanie wskaźników technicznych i ekonomicznych etapów jego cyklu życia; uzasadnienie głównych kierunków reorganizacji systemu zarządzania społecznego; wybór optymalnych lub zadowalających metod działania i wyników przy wykorzystaniu stworzonego systemu kontroli itp. Część informacji eksperckich uzyskiwanych w trakcie rozwiązywania tych problemów ma charakter jakościowy i kształtuje się w postaci złożonych sądów w formie opisowej. Jednakże problemy syntezy rozwiązywane za pomocą ocen eksperckich mogą mieć charakter ilościowy, a ich rozwiązanie będzie związane z uzasadnieniem wielu parametrów (charakterystyk) tworzonego systemu. Zadania drugiej grupy obejmują wszystkie zadania oceny istniejących lub stworzonych opcji systemów sterowania przy użyciu określonych wskaźników i kryteriów wydajności. Przykładami takich zadań są: określenie cech strukturalnych, funkcjonalnych lub informacyjnych systemu; ocena jego skuteczności podczas różnych operacji; określenie możliwości dalszej eksploatacji urządzeń kontroli technicznej i łączności itp.

1.2 Rola ekspertów w zarządzaniu

Ekspertyza to opinia, pomysł, decyzja lub ocena oparta na wdrożeniu cennego doświadczenia specjalisty, głębokiej znajomości przedmiotu badań i technologii analizy jakościowej.

Ekspertyza może mieć charakter indywidualny lub grupowy. Podczas egzaminu grupowego bardzo ważne dysponuje wyborem grona ekspertów oraz metodyką końcowego przetwarzania wyników swojej pracy.

Opinia biegłego jest dokumentem dokumentującym przebieg badania i jego wyniki. W tym przypadku wnioski i opinie ekspertów mogą mieć zarówno formę kategoryczną („tak”, „nie”), jak i probabilistyczną (w postaci założenia, rankingu, współczynnika preferencji itp.).

Organizując pracę ekspertów, należy przestrzegać następujących zasad:

1. Pomysły, opinie i oceny muszą mieścić się w przygotowanym wcześniej schemacie. Pozwala to na ich uogólnianie, porównywanie, podkreślanie itp. Taki schemat nie powinien krępować myślenia i ograniczać wyobraźni. Schemat może dopuszczać i sugerować możliwość jego modyfikacji i uzupełnień.

2. Przetwarzanie opinii biegłych musi odbywać się nie tylko w drodze uogólnienia ilościowego, ale także poprzez analizę jakościową, podkreślając główne, istotne, ważne, istotne, oryginalne, nowe itp. Opinia biegłego może być przedmiotem drugiej- egzamin etapowy.

3. Eksperci muszą być niezależni, tj. wolny od wszelkich ograniczeń organizacyjnych, koncepcyjnych i psychologicznych. W tym przypadku najlepiej sprawdzają się ich doświadczenie, wiedza i intuicja.

4. Praca grupy eksperckiej powinna być celowa. Zrozumienie, dlaczego i w jaki sposób przeprowadza się badanie, jest ważnym elementem jego wdrożenia. W wielu przypadkach konieczne jest specjalne przeszkolenie ekspertów, które pełni rolę mobilizującą wysiłek i inteligencję.

5. Istnieją różne formy organizacji pracy grupy eksperckiej: albo każdy ekspert wykonuje badanie indywidualnie, a następnie podsumowuje i usystematyzuje wyniki, albo eksperci pracują kolektywnie, współdziałając ze sobą.

6. Możliwa jest równoległa i wieloetapowa praca kilku grup eksperckich. Porównanie badań dostarcza ważnych informacji.

Metod uzyskiwania ocen eksperckich jest wiele. W niektórych pracują z każdym ekspertem osobno, on nawet nie wie, kto jeszcze jest ekspertem, dlatego wyraża swoją opinię niezależnie od autorytetów. W innych eksperci gromadzą się, aby przygotować materiały dla decydentów, a eksperci omawiają między sobą problem, uczą się od siebie, a błędne opinie są odrzucane. W niektórych metodach liczba ekspertów jest stała i taka, że ​​statystyczne metody sprawdzania zgodności opinii, a następnie ich uśredniania pozwalają na podejmowanie świadomych decyzji. W innych liczba ekspertów rośnie w trakcie procesu egzaminacyjnego, np. przy zastosowaniu metody „kuli śnieżnej”.

Czasem utożsamia się ze specjalistą lub grupą specjalistów pełniących funkcję ekspertów przyrząd pomiarowy, charakteryzujące się przypadkowymi i systematycznymi błędami pomiarowymi.

Błędy losowe wynikają z subiektywizmu opinii ekspertów na dany temat i mogą odbiegać w tym czy innym kierunku od prawdziwej wartości. Wpływ takich błędów zmniejsza się poprzez uśrednienie wystarczającej liczby szacunków.

Błąd systematyczny jest nieodłącznym elementem całego zespołu ekspertów i nie można go wyeliminować poprzez przetwarzanie uzyskanych szacunków. Sugeruje to, że w niektórych przypadkach należy bardzo ostrożnie podchodzić do wyników ankiety eksperckiej, która czasami może wyrażać ogólnie błędny punkt widzenia, w zależności od poziomu wiedzy i przekonań ekspertów.

1.3 Proces wzajemnej oceny

Do głównych etapów procesu oceny eksperckiej zalicza się:

Kształtowanie celów i zadań oceny eksperckiej;

Utworzenie grupy zarządzającej i rejestracja decyzji o przeprowadzeniu ekspertyzy;

Wybór metody pozyskiwania informacji eksperckiej i metod jej przetwarzania;

Wybór grupy eksperckiej i w razie potrzeby wygenerowanie kwestionariuszy ankietowych;

Badanie ekspertów (badanie);

Przetwarzanie i analiza wyników badań;

Interpretacja uzyskanych wyników;

Kompilacja raportu.

Zadanie przeprowadzenia ekspertyzy wyznacza decydent. Etap kształtowania celów i zadań oceny eksperckiej jest najważniejszy. Od tego zależy wiarygodność uzyskanego wyniku i jego wartość pragmatyczna. Kształtowanie celów i zadań oceny eksperckiej podyktowane jest istotą rozwiązywanego problemu. Należy przy tym wziąć pod uwagę następujące czynniki: rzetelność i kompletność dostępnych informacji wstępnych, wymaganą formę przedstawienia wyniku (jakościową lub ilościową), możliwe obszary wykorzystania otrzymanych informacji, czas ich prezentacji, zasoby dostępne dla kadry zarządzającej, możliwość przyciągnięcia specjalistów z innych dziedzin wiedzy i wiele więcej. Zadanie jest sformalizowane w formie dokumentu przewodniego (na przykład decyzji o przeprowadzeniu ekspertyzy).

Wyznacza się kierownika egzaminu, który przygotowuje decyzję i kieruje dalszymi pracami. Określa skład zespołu zarządzającego. Grupa zarządzająca przekazuje informację zwrotną ekspertom lub stosując metodę Delphi.

Grupie zarządzającej powierzone są nie tylko wszelkie prace organizacyjno-planistyczne mające na celu zapewnienie sprzyjających warunków efektywnej działalności twórczej ekspertów, ale także prace analityczne nad wyłonieniem grupy eksperckiej, określeniem sposobów pozyskiwania i przetwarzania informacji, sporządzaniem ankiet, miarodajną interpretacją uzyskane wyniki.

Tak duży i złożony zakres problemów do rozwiązania wymaga włączenia w skład kierownictwa wysoko wykwalifikowanych specjalistów zarówno z zakresu rozpatrywanego problemu, jak i z innych dziedzin - psychologii, matematyki, medycyny, socjologii.

Wybór konkretnych ekspertów odbywa się na podstawie analizy jakości każdego z proponowanych ekspertów. W tym celu stosuje się różne metody:

ocena kandydatów na ekspertów na podstawie analizy statystycznej wyników dotychczasowej działalności jako ekspertów w zakresie pierwszych problemów badań CS;

zbiorcza ocena kandydata na eksperta jako specjalisty w danej dziedzinie

samoocena kandydata na eksperta;

analityczne określenie kompetencji kandydatów na ekspertów.

Wszystkie te metody mają jednak pewne wady, do których należą: brak jednej, ogólnie przyjętej metodologii oceny; wysoka pracochłonność oceny; pojawienie się problemów etycznych przy stosowaniu subiektywnych metod oceny.

W trakcie tej pracy często stosuje się kilka metod jednocześnie: samoocenę i zbiorową ocenę cech proponowanego eksperta. Takie podejście umożliwia rozsądny dobór ekspertów o niezbędnych cechach. Należy jednak przyznać, że metoda oceny dotychczasowych osiągnięć wydaje się bardziej obiektywna niż metody samooceny i oceny zbiorowej.

Generalnie utworzenie grupy eksperckiej poprzedzają następujące działania:

problem został zidentyfikowany i sformułowany;

określa się cel i obszar działania grupy;

sporządzana jest wstępna lista ekspertów;

przeprowadzana jest analiza i selekcja ekspertów (w oparciu o zastosowanie jednej lub kilku metod ich selekcji);

ustalana jest lista ekspertów; . uzyskano zgodę biegłego na udział w pracach grupy ekspertów;

ustalana jest ostateczna reprezentatywna lista ekspertów. Wszystkich potencjalnych ekspertów, w zależności od ich jakości i kompetencji, można podzielić na siedem klas

Przykład oceny jakości i kompetencji ekspertów.

O wyborze liczby klas jakości ekspertów w tym przypadku decyduje „reguła siedmiu”, tradycyjnie stosowana przy rozwiązywaniu problemów zarządzania jakością.

Gradacja ta pozwala na wybranie wymaganych ekspertów do pracy w grupie eksperckiej. Aby uzyskać w miarę obiektywne wyniki badania CS, warto wybierać spośród ekspertów należących do klas jakości 1–4. Nie zaleca się angażowania w egzaminy kandydatów na ekspertów o niższych klasach.

Niezależnie od wybranej metody oceny kwalifikacji kandydatów, eksperci muszą w każdym przypadku spełniać określone wymagania, m.in.:

* kompetencje zawodowe oraz doświadczenie praktyczne i badawcze w obszarze zarządzania;

* kreatywność (umiejętność rozwiązywania problemów twórczych); . intuicja naukowa;

Zainteresowanie obiektywnymi wynikami pracy eksperckiej;

* niezależność wyroku;

* rzeczowy „opanowanie” umiejętność przechodzenia z jednego rodzaju działalności na inny, komunikacja, niezależność oceny, motywacja działań);

* obiektywizm;

* nonkonformizm;

*wysoka erudycja ogólna.

Przeprowadzenie zbioru ekspertyz polega na ustaleniu: miejsca i terminu zbierania opinii; formy i metody zbierania opinii; liczba rund zbierania opinii; skład i zawartość dokumentacji; tryb utrwalenia wyników ekspertyz w dokumentach.

Bardzo ważne jest określenie formy zbierania opinii biegłych. Wśród wszystkich znanych form zbierania opinii możemy wyróżnić indywidualne, zbiorowe (grupowe) i mieszane. Zatem formy te różnią się przede wszystkim czynnikiem udziału eksperckiego w pracy (indywidualnego lub zbiorowego) i każda z nich ma szereg odmian:

* ankieta;

* wywiad;

* dyskusja;

* burza mózgów

* spotkanie;

* gra biznesowa.

Wszystkie mają swoje zalety i wady. W wielu przypadkach każdą z tych odmian stosuje się w połączeniu z innymi, co często zapewnia większy efekt i obiektywizm. Czy formę mieszaną stosuje się przy zbieraniu opinii ekspertów w przypadku niepewności co do problemu, w przypadku braku porozumienia? indywidualne opinie lub spory między ekspertami podczas wspólnej dyskusji.

Wyniki są przetwarzane po przeprowadzeniu badania wśród grupy ekspertów. Początkową informacją do przetwarzania są dane liczbowe wyrażające preferencje ekspertów oraz merytoryczne uzasadnienie tych preferencji. Celem przetwarzania jest uzyskanie danych uogólnionych oraz nowych informacji zawartych w formie ukrytej w ocenach eksperckich. Na podstawie wyników przetwarzania tworzone jest rozwiązanie problemu.

Obecność zarówno danych liczbowych, jak i znaczących wypowiedzi ekspertów powoduje konieczność zastosowania metod jakościowych i ilościowych do przetwarzania wyników grupowej oceny ekspertów. Udział tych metod w istotny sposób zależy od klasy problemów rozwiązywanych w drodze oceny eksperckiej.

Cały zestaw problemów można podzielić na dwie klasy. Do pierwszej klasy zalicza się problemy, dla których istnieje wystarczający poziom wiedzy i doświadczenia, czyli niezbędny potencjał informacyjny. Przy rozwiązywaniu problemów należących do tej klasy eksperci są przeciętnie uważani za dobrych mierniczych. Termin „średnio dobry” odnosi się do możliwości uzyskania wyników pomiarów zbliżonych do rzeczywistych. Dla wielu ekspertów ich osądy skupiają się wokół prawdziwej wartości. Wynika z tego, że do przetwarzania wyników grupowej oceny eksperckiej problemów pierwszej klasy można z powodzeniem zastosować metody statystyki matematycznej opartej na uśrednianiu danych.

Druga klasa obejmuje problemy, dla których nie zgromadzono jeszcze wystarczającego potencjału informacyjnego. W tym względzie opinie ekspertów mogą się znacznie od siebie różnić. Co więcej, ocena jednego biegłego, która bardzo różni się od pozostałych opinii, może okazać się prawdziwa. Jest oczywiste, że stosowanie metod uśredniania wyników grupowej oceny eksperckiej przy rozwiązywaniu problemów drugiej klasy może prowadzić do dużych błędów. Dlatego przetwarzanie wyników ankiety eksperckiej w tym przypadku powinno opierać się na metodach nie wykorzystujących zasad uśredniania, ale na metodach analizy jakościowej.

Biorąc pod uwagę, że w praktyce oceny eksperckiej najczęściej spotykane są problemy pierwszej klasy, w tym rozdziale skupiono się przede wszystkim na sposobach przetwarzania wyników badań dla tej klasy problemów.

W zależności od celów oceny eksperckiej i wybranej metody pomiaru, podczas przetwarzania wyników ankiety pojawiają się następujące główne zadania:

1) konstruowanie uogólnionej oceny obiektów na podstawie indywidualnych ocen eksperckich;

2) konstruowanie uogólnionej oceny na podstawie porównania obiektów parami przez każdego eksperta;

3) wyznaczanie względnych ciężarów obiektów;

4) ustalanie zgodności opinii biegłych;

5) określenie zależności pomiędzy rankingami;

6) ocena wiarygodności wyników przetwarzania.

Zadanie konstruowania uogólnionej oceny obiektów w oparciu o indywidualne oceny eksperckie pojawia się podczas grupowej oceny eksperckiej. Rozwiązanie tego problemu zależy od metody pomiaru stosowanej przez ekspertów.

Przy rozwiązywaniu wielu problemów nie wystarczy uporządkować obiekty według jednego wskaźnika lub jakiegoś zestawu wskaźników. Pożądane jest posiadanie wartości liczbowych dla każdego obiektu, które określają jego względne znaczenie w porównaniu z innymi obiektami. Innymi słowy, w przypadku wielu zadań konieczne są oceny obiektów, które nie tylko je organizują, ale także pozwalają określić stopień preferencji jednego obiektu względem drugiego. Aby rozwiązać ten problem, można bezpośrednio zastosować metodę szacowania bezpośredniego. Jednak ten sam problem, pod pewnymi warunkami, można rozwiązać, przetwarzając oceny ekspertów.

Zgodność opinii biegłych określa się poprzez obliczenie miary liczbowej charakteryzującej stopień podobieństwa poszczególnych opinii. Analiza wartości miary spójności przyczynia się do wyrobienia prawidłowego sądu o ogólnym poziomie wiedzy na temat rozwiązywanego problemu oraz identyfikacji grup opinii eksperckich. Jakościowa analiza przyczyn grupowania opinii pozwala ustalić istnienie różnych poglądów, koncepcji, zidentyfikować szkoły naukowe, określić charakter działalności zawodowej itp. Wszystkie te czynniki pozwalają na głębsze zrozumienie wyników ankieta wśród ekspertów.

Przetwarzając wyniki ocen ekspertów, można określić zależności pomiędzy rankingami różnych ekspertów, a tym samym ustalić jedność i różnicę w opiniach ekspertów. Ważną rolę odgrywa także ustalenie zależności pomiędzy rankingami w oparciu o różne wskaźniki służące do porównywania obiektów. Identyfikacja takich zależności pozwala na ujawnienie powiązanych wskaźników porównawczych i ewentualnie pogrupowanie ich ze względu na stopień powiązania. Znaczenie zadania ustalenia zależności dla praktyki jest oczywiste. Przykładowo, jeśli wskaźnikami porównania są różne cele, a obiekty są środkami do osiągnięcia celów, to ustalenie relacji pomiędzy rankingami porządkującymi środki z punktu widzenia osiągnięcia celów pozwala rozsądnie odpowiedzieć na pytanie w jakim stopniu osiągnięcie jednego celu za pomocą danych środków przyczynia się do osiągnięcia innych celów.

Oszacowania uzyskane w wyniku przetwarzania są obiektami losowymi, dlatego jednym z ważnych zadań procedury przetwarzania jest określenie ich wiarygodności. Rozwiązaniem tego problemu należy poświęcić odpowiednią uwagę.

Przetwarzanie wyników badania jest procesem pracochłonnym. Ręczne wykonywanie operacji obliczania szacunków i wskaźników ich wiarygodności wiąże się z dużymi kosztami pracy, nawet w przypadku rozwiązywania prostych problemów porządkowych. W związku z tym wskazane jest korzystanie z technologii komputerowej, a zwłaszcza komputerów. Zastosowanie komputerów rodzi problem opracowania programów komputerowych implementujących algorytmy przetwarzania wyników ocen eksperckich.

2. Metody ocen eksperckich

Analiza SWOT

Szczególnym rodzajem metody eksperckiej, cieszącym się dużą popularnością, jest autorska metoda analizy SWOT. Swoją nazwę wzięła od pierwszych liter czterech angielskich słów, które w rosyjskim tłumaczeniu oznaczają: mocne i słabe strony, szanse i zagrożenia.

Metodologię tę można stosować jako uniwersalną. Ma to szczególne znaczenie przy badaniu procesów zachodzących w systemie społeczno-gospodarczym, który charakteryzuje się dynamizmem, sterowalnością, zależnością wewnętrznych i zewnętrznych czynników funkcjonowania oraz cyklicznością rozwoju.

Zgodnie z metodologią tej analizy, rozkład czynników charakteryzujących przedmiot badań na te cztery składowe przeprowadza się z uwzględnieniem tego, czy czynnik ten należy do klasy czynników zewnętrznych, czy wewnętrznych.

W rezultacie pojawia się obraz relacji pomiędzy mocnymi i słabymi stronami, szansami i zagrożeniami, który sugeruje, jak należy zmienić sytuację, aby zapewnić pomyślny rozwój.

Rozdzielanie czynników na te ćwiartki lub sektory macierzy nie zawsze jest łatwe. Zdarza się, że ten sam czynnik charakteryzuje jednocześnie mocne i słabe strony obiektu. Ponadto czynniki działają sytuacyjnie. W jednej sytuacji wydają się zaletą, w innej - wadą. Czasami są one niewspółmierne pod względem znaczenia. Okoliczności te można i należy brać pod uwagę.

Ten sam czynnik można umieścić w kilku ćwiartkach, jeżeli trudno jest jednoznacznie określić jego miejsce. Nie będzie to miało negatywnego wpływu na naukę. Przecież istotą metody jest identyfikacja czynników, umiejscowienie ich w taki sposób, aby ich koncentracja sugerowała sposoby rozwiązania problemu, aby stały się możliwe do opanowania.

W każdym kwadrancie czynniki nie muszą mieć jednakowej wagi, ale muszą być przedstawione w całości.

Wypełniona matryca pokazuje rzeczywisty stan rzeczy, stan problemu i charakter sytuacji. Jest to pierwszy etap analizy SWOT.

Drugim krokiem jest przeprowadzenie analizy porównawczej mocnych stron i szans, która powinna pokazać, jak mocne strony wykorzystać. Jednocześnie konieczna jest analiza słabych stron istniejących zagrożeń. Taka analiza pokaże, jak prawdopodobne jest wystąpienie kryzysu. Przecież niebezpieczeństwo wzrasta, gdy pojawia się w warunkach słabości, gdy słabości nie dają możliwości zapobieżenia niebezpieczeństwu.

Oczywiście bardzo przydatne jest dokonanie analizy porównawczej mocnych stron i istniejących zagrożeń. W końcu mocne strony można źle wykorzystać, aby zapobiec kryzysowi; mocne strony należy postrzegać nie tylko w odniesieniu do sprzyjających szans, ale także w odniesieniu do zagrożeń.

W badaniu systemów sterowania przedmiotem tej metody mogą być różne problemy rozwoju zarządzania. Na przykład wydajność, personel, styl, rozkład funkcji, struktura systemu zarządzania, mechanizm zarządzania, motywacja, profesjonalizm, wsparcie informacyjne, komunikacja i zachowania organizacyjne itp.

Wykorzystanie specjalnie przeszkolonych i wyselekcjonowanych ekspertów lub wewnętrznych konsultantów może zwiększyć skuteczność tej metody.

Metoda SMART

Istnieje wiele modyfikacji metody analizy SWOT. Najciekawszy z nich jest sposób opracowywania i analizowania celów.

Wiadomo, że cel zarządzania jest czynnikiem decydującym o sukcesie, efektywności, strategii i rozwoju. Bez celu nie da się opracować planu ani programu. Dotyczy to jednak nie tylko celu zarządzania, ale także celu badań. W końcu prawidłowe sformułowanie tego celu również może być trudne. Program badań i metody jego realizacji zależą od celu.

Cel należy opracować według kryteriów osiągalności, konkretności, wartościowalności (mierzalności), biorąc pod uwagę Miejsce i Czas. Kryteria te odzwierciedlają angielskie słowa-- Konkretne, mierzalne, osiągalne, istotne, określone w czasie, w skrócie jest to SMART. Tak nazywa się ta metoda.

Metoda polega na spójnej ocenie celów w oparciu o zestaw kryteriów ułożonych w formie matrycy. Oto zestaw porównywalnych czynników odzwierciedlających charakterystykę celu: trudny do osiągnięcia - łatwy do osiągnięcia, wysokie koszty - niski koszt, ma wsparcie personelu - nie ma wsparcia personelu, ma priorytety - nie ma priorytetów, wymaga dużo czasu - wymaga mało czasu, ma szeroki wpływ - ma ograniczony wpływ, jest skupiony wysoka technologia- skupione na niskich (konwencjonalnych) technologiach, związane z nową organizacją zarządzającą - niezwiązane z nową organizacją zarządzającą.

Następnym krokiem jest utworzenie macierzy identyfikacji problemu. Aby osiągnąć cel, należy rozwiązać szereg problemów. Ale aby to zrobić, należy je najpierw zdefiniować.

Podział problemów odbywa się według następujących kryteriów: sytuacja istniejąca, sytuacja pożądana, możliwość osiągnięcia celu. Kryteria te charakteryzują poziomość matrycy. Wertykalnie rozpatrywane są następujące kryteria: definicja problemu, ocena problemu (parametry ilościowe), organizacja rozwiązania (kto, gdzie, kiedy), koszty rozwiązania problemu.

Matryca ta pozwala na sporządzenie planu badań.

Metoda rankingu i oceny.

Stosując metodę rang, ekspert dokonuje rankingowania (uporządkowania) badanych obiektów systemu organizacyjnego w zależności od ich względnej ważności (preferencji), przy czym najbardziej preferowanemu obiektowi przypisuje się rangę 1, a najmniej preferowanemu ostatnią rangę, równą w wartości bezwzględnej do liczby zamawianych obiektów. Dokładniejsze uporządkowanie ma miejsce przy mniejszej liczbie obiektów badań i odwrotnie.

Przy preferowanym (stopniowym) ułożeniu obiektów badań przez jednego eksperta suma rang powinna być równa sumie liczb całego szeregu naturalnego liczby obiektów H, zaczynając od jednego: H = (H+ 1): 2.

Otrzymane rangi obiektów rankingowych na podstawie danych ankietowych wyznaczane są jako suma rang dla każdego obiektu. W tym przypadku ostatecznie pierwszą rangę przypisuje się obiektowi, który otrzymał najmniejszą sumę rang, a ostatnią – temu, który otrzymał największą sumę rang, tj. obiekt najmniej znaczący (przykład ustalenia wynikowej rangi trzech obiektów przez siedmiu ekspertów)

Im więcej ekspertów jest zaangażowanych, tym wyższy obiektywizm wyniku oceny. Jednakże zaangażowanie dużej liczby wykwalifikowanych ekspertów i duża pracochłonność pracy ekspertów zwiększają koszt ocen jakości. Dlatego, aby zmniejszyć pracochłonność pracy ekspertów, stosują metodę rang, która przewiduje jedynie ranking wskaźników, a nie ich numeryczne określenie przez ekspertów.

Niemniej jednak metoda ta jest stosowana w praktyce badania układów sterowania, pomimo swojej prostoty i stosunkowo małej pracochłonności. Tłumaczy się to dużą liczbą rankingowanych obiektów badawczych.

Metoda oceny bezpośredniej

Reprezentuje kolejność badanych obiektów (na przykład przy wyborze parametrów do kompilacji modelu parametrycznego) w zależności od ich ważności poprzez przypisanie każdemu z nich punktów. W tym przypadku najważniejszy obiekt otrzymuje najwyższą liczbę punktów w przyjętej skali (nadawana jest ocena). Najpopularniejszy zakres skali ocen wynosi od 0 do 1; 0 do 5; 0 do 10; Od 0 do 100. W najprostszym przypadku wynik może wynosić 0 lub 1.

Czasami ocena dokonywana jest werbalnie. Na przykład „bardzo ważne”, „ważne”, „nieważne” itp., co czasami przekłada się również na skalę punktową (odpowiednio 3, 2, 1) dla większej wygody w przetwarzaniu wyników ankiety.

Oceny bezpośredniej należy dokonywać z pełnym zaufaniem do fachowej wiedzy ekspertów na temat właściwości badanych obiektów. Na podstawie wyników oceny ustalana jest ranga i waga (znaczenie) każdego badanego obiektu.

Wniosek

Obecnie coraz częściej stosuje się różne metody ocen eksperckich. Są niezastąpione przy rozwiązywaniu złożonych problemów oceny i selekcji obiektów technicznych, w tym obiektów specjalnego przeznaczenia, przy analizie i przewidywaniu sytuacji z dużą liczbą istotnych czynników – wszędzie tam, gdzie konieczne jest zaangażowanie wiedzy, intuicji i doświadczenia wielu wysoko wykwalifikowanych ekspertów specjaliści.

Metody eksperckie są stale rozwijane i udoskonalane. Główne kierunki tego rozwoju wyznacza szereg czynników, m.in. chęć poszerzania zakresu zastosowań, zwiększania stopnia wykorzystania metod matematycznych i elektronicznej techniki komputerowej, a także szukania sposobów eliminowania pojawiających się niedociągnięć.

Pomimo sukcesów osiągniętych w ostatnich latach w rozwoju i praktycznym zastosowaniu metody oceny eksperckiej, istnieje szereg problemów i zadań wymagających dalszych badań metodologicznych i testów praktycznych. Należy udoskonalić system doboru ekspertów, zwiększyć wiarygodność cech opinii grupowych, opracować metody sprawdzania zasadności ocen i badania ukrytych przyczyn obniżających wiarygodność ocen eksperckich.

Ekspercka ocena właściwości i cech biznesowych kandydata opiera się na parametrach ilościowych i kryteriach oceny uzyskanych w wyniku rozmowy kwalifikacyjnej. Choć są tu elementy konwencji i subiektywizmu, przy dobrze opracowanej skali ocen i ostrożnym (profesjonalnym) podejściu ekspertów, można oceniać tematy z wysoki stopień niezawodność.

Wykaz używanej literatury

1.Grigorov V.M. Eksperci w systemie zarządzania produkcją publiczną // M.: Mysl, 1976

2. Demidova A.V. Badania układów sterowania. - M.: Prior-izdat, 2005. - 96 s.

3. Ignatieva A.V. Badania układów sterowania. - M.: UNITY-DANA, 2003. - 157 s.

4. Kafidow V.V. Badania układów sterowania. - M.: Projekt Akademicki, 2005. - 160 s.

5. Malin A.S. Badania układów sterowania. - M.: Państwowa Wyższa Szkoła Ekonomiczna, 2005. - 399 s.

6. Reylyan Ya. R. Podstawy podejmowania decyzji zarządczych // M.: Finanse i statystyka, 1989

7. Remennikov V.B. Opracowanie rozwiązania do zarządzania. Podręcznik dodatek. -- M.: UNITY-DANA, 2000.

8. Smolkin A.M. Zarządzanie: podstawy organizacji. - M.: INFRA-M, 1999.

Opublikowano na Allbest.ru

Podobne dokumenty

Rozwiązywanie problemów, argumentacja i tworzenie ilościowych szacunków wyników metodami formalnymi. Elementy metody oceny eksperckiej. Metoda zbiorowego generowania pomysłów („burza mózgów”). Metoda Delphi, cechy metody grupy fokusowej, analiza SWOT.

prezentacja, dodano 30.03.2014


Istota i treść, główne etapy analizy eksperckiej, obszary i cechy jej praktycznego zastosowania, interpretacja wyników. Stopień wiarygodności tego badania. Zastosowanie metody oceny eksperckiej do konstrukcji drzewa celów.

praca na kursie, dodano 25.02.2012


Koncepcja i cechy wykorzystania technologii eksperckich jako integralnej części procesu przygotowania i podejmowania ważnych decyzji zarządczych. Badanie głównych etapów ankiety eksperckiej. Wybór ekspertów. Metoda Delphi, WZÓR, burza mózgów.

streszczenie, dodano 10.09.2016


Wykorzystanie ocen eksperckich. Zastosowanie różnych metod do rozwiązania jednego problemu. Rankingi, porównania parami i wielokrotne, ocena bezpośrednia, metoda Thurstone’a to najczęściej stosowane eksperckie procedury pomiarowe. Metody typu Delphi.

test, dodano 09.03.2011


Istota i rodzaje ekspertyz, cele ich stosowania. Główne etapy badań eksperckich. Charakterystyka metod zbiorowej pracy grupy eksperckiej oraz metod uzyskiwania opinii indywidualnych. Przetwarzanie wyników ankiety wśród specjalistów.

streszczenie, dodano 04.03.2012


Charakterystyka procedur eksperckich: cechy metod i modeli heurystycznych, metody ocen indywidualnych, zbiorowe oceny eksperckie. Specyfika badania, treść i przetwarzanie wyników. Ekspercka ocena poziomu ryzyka kraju.

streszczenie, dodano 05.10.2010


Metody uzyskiwania ocen eksperckich. Problem doboru ekspertów. Dokumenty regulacyjne regulujące działalność komisji eksperckich. Podejmowanie decyzji w warunkach ryzyka i niepewności. Zadania decyzyjne w warunkach niepewności.

test, dodano 15.07.2010


Istota i rodzaje decyzji w procesie zarządzania produkcją. Podstawowe wymagania dotyczące jakości decyzji zarządczych. Metody optymalizacji decyzji zarządczych. Metody optymalizacji rozwiązań z wykorzystaniem eksperckich metod oceny.

praca na kursie, dodano 08.05.2002


Badanie metod prognozowania rozwoju: ekstrapolacji, bilansu, metod normatywnych i programowo-celowych. Badanie organizacji pracy eksperta, tworzenie kwestionariuszy i tabel ocen ekspertów. Analiza matematycznych i statystycznych modeli prognostycznych.

test, dodano 19.06.2011


Metodologia i etapy klasyfikacji systemów wg różne znaki. Opracowanie kwestionariuszy w celu uzyskania ocen eksperckich, ich obowiązkowych szczegółów i głównych pytań. Istota i konstrukcja drzewa celów, zasady jego uszczegółowienia. Metodologia oceny systemów złożonych.

Główną ideą prognozowania na podstawie ocen ekspertów jest budowanie racjonalna procedura ludzkiego myślenia intuicyjno-logicznego w połączeniu z ilościowymi metodami oceny i przetwarzania uzyskanych wyników.

Istotą metod oceny eksperckiej jest to, na czym opiera się prognoza opinia specjalisty lub zespołu specjalistów, w oparciu o doświadczenie zawodowe, naukowe i praktyczne.

Indywidualne oceny ekspertów- opierają się na wykorzystaniu opinii ekspertów-specjalistów w danym profilu.

1. Metoda wywiadu polega na rozmowie prognosty z ekspertem w trybie pytań i odpowiedzi, podczas której prognosta, zgodnie z opracowanym programem, zadaje ekspertowi pytania dotyczące perspektyw zagospodarowania prognozowanego obiektu. Powodzenie takiej oceny zależy w dużej mierze od umiejętności eksperta do wydawania zaimprowizowanych opinii na temat najróżniejszych kwestii.

2. Metoda ankietowa polega na tym, że ekspert proszony jest o wypełnienie ankiety (kwestionariusza) zawierającej listę pytań, z których każde jest logicznie powiązane z zadaniem badawczym.

W ankiecie można zastosować następujące rodzaje pytań:

· otwarty – odpowiedzi na te pytania można sformułować w dowolnej formie;

· typ zamknięty – dostępne są opcje odpowiedzi, z których jedna musi zostać wybrana przez eksperta.

Preferowane jest stosowanie w kwestionariuszu pytań zamkniętych, gdyż ułatwia to statystyczne przetwarzanie wyników odpowiedzi i ułatwia pracę eksperta przy wypełnianiu kwestionariusza. Natomiast lista odpowiedzi na pytanie nie może zawierać opinii biegłego. Dlatego tworząc listę opcji odpowiedzi na niektóre pytania, ekspert powinien mieć możliwość zaproponowania własnej opcji odpowiedzi lub uniknięcia odpowiedzi.

3. Metoda analityczna(notatki analityczne) przewiduje dokładne niezależna praca ekspert analizujący trendy, oceniający stan i ścieżki rozwoju projektowanego obiektu. Ekspert może wykorzystać wszystkie potrzebne mu informacje na temat prognozowanego obiektu. Swoje wnioski formułuje w formie memorandum. Główną zaletą tej metody jest możliwość maksymalnego wykorzystania indywidualnych możliwości specjalisty. Jest jednak mało przydatny do przewidywania złożonych systemów i opracowywania strategii ze względu na ograniczoną wiedzę jednego specjalisty-eksperta z pokrewnych dziedzin wiedzy.

Główną zaletą indywidualnych metod oceny eksperckiej jest możliwość maksymalnego wykorzystania indywidualnych zdolności ekspertów. Metody te są jednak mało przydatne do przewidywania najbardziej ogólnych strategii ze względu na ograniczoną wiedzę jednego eksperta na temat rozwoju powiązanych dziedzin nauki i praktyki.

Przykładem wykorzystania ocen eksperckich w planowaniu rozwoju systemów społeczno-gospodarczych jest wielokryterialne zadanie wyboru opcji rozwiązania, które jest obecnie istotne w wielu obszarach działalności człowieka.

Procedura selekcji wielokryterialnej obejmuje następujące etapy:

1. Identyfikacja najważniejszych wskaźników (kryteriów) charakteryzujących badany obiekt;

2. Określenie metody ilościowej oceny wskaźników;

3. Określenie dopuszczalnych granic zmian wskaźników;

4. Wybór metody znalezienia najlepszej opcji;

5. Rozwiązanie problemu i analiza wyników.

Jako funkcję celu do oceny opcji rozwiązania najczęściej stosuje się addytywne sploty kryteriów:

Lub (2.18)

gdzie są współczynnikami wagowymi charakteryzującymi istotność kryterium. Wartości liczbowe są określane przez ekspertów i pożądane jest przestrzeganie następującego warunku:

Jeżeli kryteria mają różne jednostki miary, to należy je sprowadzić do jednej skali bezwymiarowej, aby spełnione były następujące nierówności:

Przykład . Zdaniem ekspertów, główne wskaźniki gospodarcze i rozwój społeczny regiony to:

Produkt krajowy brutto (regionalny);

Poziom zatrudnienia;

Przeciętne miesięczne wynagrodzenie.

Ekspercką ocenę istotności kryteriów w dziesięciopunktowej skali przedstawiono w tabeli. 2.2.

Regionalnemu liderowi zaproponowano cztery ukierunkowane programy rozwoju regionalnego, których celem jest finansowanie priorytetowe:

1. Kompleks rolno-przemysłowy;

2. Przedsiębiorstwa przemysłu spożywczego;

3. Sektory sfery społeczno-kulturowej;

4. Budownictwo mieszkaniowe.

Oczekiwane wartości głównych wskaźników uzyskane podczas realizacji rozpatrywanych programów docelowych podano w tabeli. 2.3.

Tabela 2.2

Wyniki oceny eksperckiej

Tabela 2.3

Oczekiwane wartości głównych wskaźników społeczno-gospodarczych rozwoju regionu

Konieczne jest określenie najwłaściwszego programu rozwoju regionu.

Rozwiązanie:

Określmy wartości współczynników wagowych:

; ; .

Zatem w wyniku przetwarzania ocen eksperckich funkcja celu przyjmuje postać:

Biorąc pod uwagę, że program docelowy nr 3 jest oczywiście nieskuteczny w porównaniu z programem nr 2 (1500<2000; 80=80; 1000<2000), удалим её из матрицы возможных решений:

Ponieważ wartości wskaźników mają różne wymiary, należy je sprowadzić do jednej bezwymiarowej skali. Osiąga się to poprzez podzielenie elementów każdej kolumny przez maksymalną wartość w kolumnie:

Na ostatnim etapie wyznaczamy wartość funkcji celu dla proponowanych programów:

Maksymalna wartość funkcji celu odpowiada programowi nr 1. Dlatego wdrożenie tego programu jest jak najbardziej właściwe.

Najbardziej niezawodne są zbiorowe oceny eksperckie - polegać na ustaleniu stopnia zgodności opinii eksperckich dotyczących perspektywicznych obszarów zagospodarowania obiektu prognozy, formułowanych przez poszczególnych specjalistów.

W celu organizacji ocen eksperckich tworzone są grupy robocze, których zadaniem jest prowadzenie ankiety, opracowywanie materiałów i analiza wyników zbiorczej oceny eksperckiej. Grupa robocza powołuje ekspertów, którzy udzielają odpowiedzi na zadawane pytania dotyczące perspektyw rozwoju tego obiektu.

1. Esencja metoda zbiorowego generowania pomysłów (burza mózgów) polega na wykorzystaniu potencjału twórczego specjalistów w przeprowadzeniu burzy mózgów na temat sytuacji problemowej, która w pierwszej kolejności polega na wygenerowaniu pomysłów, a następnie na ich uporządkowaniu, analizie i krytyce, wysuwaniu kontrpomysłów i wypracowywaniu spójnego punktu widzenia.

Metoda kolektywnego generowania pomysłów polega na realizacji następujących etapów:

1. utworzenie grupy uczestników burzy mózgów w celu rozwiązania konkretnego problemu. Optymalną wielkość grupy ustala się empirycznie. Za najbardziej produktywne uważa się grupy składające się z 10-15 osób.

2. Grupa analityczna sporządza notatkę problemową, która formułuje sytuację problemową i zawiera opis metody oraz sytuacji problemowej.

3. Etap generowania pomysłu. Każdy uczestnik ma prawo wystąpić wielokrotnie. Niedopuszczalna jest krytyka wcześniejszych wykonań oraz uwagi sceptyczne. Facylitator dostosowuje proces, z radością przyjmuje ulepszenia lub kombinacje pomysłów oraz zapewnia wsparcie, uwalniając uczestników od ograniczeń. Czas trwania sesji burzy mózgów wynosi nie mniej niż 20 minut i nie więcej niż 1 godzinę, w zależności od aktywności uczestników.

4. Systematyzacja idei wyrażanych na etapie generacyjnym. Tworzona jest lista pomysłów, identyfikowane są cechy, według których można łączyć pomysły, pomysły są łączone w grupy zgodnie ze zidentyfikowanymi cechami.

5. Na piątym etapie następuje destrukturyzacja (niszczenie) usystematyzowanych idei. Każdy pomysł poddawany jest kompleksowej krytyce przez grupę wysoko wykwalifikowanych specjalistów liczącą 20-25 osób.

6. W szóstym etapie oceniane są uwagi krytyczne i tworzona jest lista pomysłów możliwych do praktycznego wdrożenia.

Metoda „635”- jedna z odmian „burzy mózgów”. Liczby b, 3, 5 oznaczają 6 uczestników, z których każdy musi w ciągu 5 minut zapisać 3 pomysły. Liść krąży po okręgu. Zatem za pół godziny każdy napisze 18 pomysłów, a razem 108. Struktura pomysłów jest jasno określona. Możliwe są modyfikacje metody. Metoda ta jest szeroko stosowana w innych krajach (zwłaszcza w Japonii) w celu wybrania spośród różnorodnych pomysłów najbardziej oryginalnych i postępowych rozwiązań określonych problemów.

2. Metoda Delphi. Celem metody jest opracowanie programu sekwencyjnych, wielorundowych badań indywidualnych. Indywidualne badania ekspertów przeprowadzane są najczęściej w formie ankiet. Następnie są one przetwarzane statystycznie na komputerze i wyrabiana jest zbiorowa opinia grupy, identyfikowane i podsumowywane argumenty przemawiające za różnymi ocenami. Przetworzone komputerowo informacje przekazywane są ekspertom, którzy mogą korygować oceny, wyjaśniając jednocześnie powody swojego sprzeciwu wobec oceny zbiorowej. Procedurę tę można powtórzyć maksymalnie 3-4 razy. W efekcie zawęża się zakres ocen i wypracowywany jest spójny osąd co do perspektyw zagospodarowania obiektu.

Cechy metody Delphi:

a) anonimowość ekspertów – całkowicie wykluczona jest interakcja pomiędzy członkami grupy podczas wypełniania ankiet;
b) możliwość wykorzystania wyników poprzedniej edycji badania;

c) charakterystyka statystyczna opinii grupowej.

3. Metoda „prowizyjna”.- na podstawie prac specjalnych komisji. Grupy ekspertów przy okrągłym stole omawiają konkretny problem, aby zharmonizować punkty widzenia i wypracować wspólną opinię. Wadą tej metody jest to, że grupa ekspertów w swoich ocenach kieruje się głównie logiką kompromisu.

Metodę komisji eksperckich można zorganizować w jednej z następujących form:

Jak pokazała praktyka, metoda „prowizji” ma istotne wady:

Duży wpływ takiego czynnika psychologicznego, jak opinia autorytatywnych ekspertów, do której przyłączają się inni eksperci, nie wyrażając swojego punktu widzenia;

Niechęć ekspertów do publicznego wyrzeczenia się wcześniej wyrażonych opinii;

Podczas pracy komisji najczęściej dochodzi do sporu pomiędzy dwoma lub trzema najbardziej autorytatywnymi ekspertami, w wyniku czego pozostali eksperci albo nie biorą udziału w dyskusji, albo ich opinie nie są brane pod uwagę.

4. Metoda próby – polega na zorganizowaniu pracy zespołu ekspertów w formie przeprowadzenia badania. Stosowanie tej metody jest wskazane w przypadku, gdy istnieje kilka grup ekspertów, z których każda broni swojego punktu widzenia. W tym przypadku obiekt prognozowania występuje w roli „pozwanego”. Liderzy grup wyrażających alternatywne punkty widzenia pełnią funkcję oskarżenia i obrony (prokurator, prawnik). Biegli indywidualni pełnią rolę świadków, dostarczając sądowi informacji niezbędnych do podjęcia decyzji. Rolę sędziego pełni zainteresowana osoba (grupa osób). Na przykład w programie telewizyjnym „Proces”, opartym na wykorzystaniu metody sądowej do analizy i przewidywania rozwoju różnych procesów społeczno-gospodarczych, rolę sędziego pełniła publiczność, głosując w trakcie programu telefonicznie wzywa do przedstawienia punktu widzenia, który popierali.

Metoda analizy morfologicznej polega na wyborze najbardziej akceptowalnego rozwiązania problemu spośród możliwych. Wskazane jest wykorzystanie go przy prognozowaniu badań podstawowych. Metoda obejmuje szereg technik polegających na systematycznym uwzględnianiu cech obiektu. Badanie przeprowadza się metodą „skrzynki morfologicznej”, która zbudowana jest w formie drzewa celów lub macierzy, w której w komórkach wprowadzane są odpowiednie parametry. Możliwym rozwiązaniem problemu jest połączenie parametru pierwszego poziomu szeregowo z jednym z parametrów kolejnych poziomów. Całkowita liczba możliwych rozwiązań jest równa iloczynowi liczby wszystkich parametrów przedstawionych w „pudełku” w wierszach. Poprzez permutacje i różne kombinacje można opracować probabilistyczne cechy obiektów.

Metoda pisania skryptu- polega na określeniu logiki procesu lub zjawiska w czasie w różnych warunkach. Polega na ustaleniu sekwencji zdarzeń, która rozwija się podczas przejścia od sytuacji istniejącej do przyszłego stanu obiektu. Scenariusz prognozy wyznacza strategię rozwoju prognozowanego obiektu. Powinien odzwierciedlać ogólny cel rozwoju obiektu, kryteria oceny górnych poziomów „drzewa celów”, priorytety problemów i zasoby do osiągnięcia głównych celów. Scenariusz przedstawia sekwencyjne rozwiązanie problemu i możliwych przeszkód. W takim przypadku wykorzystywane są materiały niezbędne do opracowania obiektu prognozy.

Wykres prognozy to figura składająca się z punktów wierzchołkowych połączonych segmentami krawędzi. „Drzewo celów” to graf drzewiasty wyrażający relację pomiędzy wierzchołkami-etapami lub problemami osiągnięcia celu. Każdy wierzchołek reprezentuje cel dla wszystkich wychodzących z niego gałęzi. „Drzewo celów” obejmuje identyfikację kilku poziomów strukturalnych lub hierarchicznych.

Budowa „drzewa celów” wymaga rozwiązania wielu problemów: prognozowania rozwoju obiektu jako całości; sformułowanie scenariusza przewidywanego celu, określenie poziomów i wierzchołków „drzewa”, kryteriów i ich wag w rankingu wierzchołków. Zadania te można w razie potrzeby rozwiązać, stosując eksperckie metody oceny. Należy zauważyć, że ten cel jako obiekt prognozy może odpowiadać wielu różnym scenariuszom.

Scenariusz ma zazwyczaj charakter wielowymiarowy i podkreśla trzy kierunki zachowań: optymistyczny – rozwój systemu w najkorzystniejszej sytuacji; pesymistyczny - rozwój systemu w najmniej korzystnej sytuacji; działający - rozwój systemu z uwzględnieniem przeciwdziałania czynnikom negatywnym, których wystąpienie jest najbardziej prawdopodobne. W ramach scenariusza prognostycznego wskazane jest opracowanie strategii awaryjnej na wypadek nieprzewidzianych sytuacji.

Gotowy scenariusz należy poddać analizie. Na podstawie analizy informacji uznanych za odpowiednie dla przyszłej prognozy formułowane są cele, ustalane są kryteria i rozważane są alternatywne rozwiązania.