Dzisiaj jest to naprawdę zbyt proste: możesz podejść do komputera i mając niewielką lub żadną wiedzę na temat tego, co robisz, tworzyć rozsądne i nonsensowne rzeczy z naprawdę niesamowitą szybkością. (J. Pudełko)

Oceny ekspertów

Opinie ekspertów często pojawiają się w praktyce, na przykład podczas degustacji potraw. Na ogół są one typowe dla badań socjologicznych, np. kierownik kontroli jakości przeprowadza ankietę wśród klientów w supermarkecie. Za pomocą metoda ekspercka do oceny jakości często stosuje się skalę zamówień. Kwestia porównania rozstrzygana jest na zasadzie „lepiej gorzej”, „więcej mniej”. Jeszcze dokładna informacja o tym, ile razy lepiej lub gorzej, często nie jest wymagane.

Porównanie parami (obiekty są porównywane ze sobą parami). Przy konstruowaniu skali porządku lub tzw. szeregów rankingowych eksperci stosują tę metodę dopasowanie parami. w zakładce 1 pokazuje przykład uszeregowania sześciu obiektów przez porównanie parami. To efekt pracy jednego eksperta, który w określony sposób ocenił obiekty. Preferencja jednego obiektu nad drugim jest wskazywana przez 1, sytuacja odwrotna to 0.

rząd rankingowy(skala porządkowa) dla obiektów, których ocenę porównawczą podano w tab. 1 będzie wyglądać:

Q4

Jeśli używasz kilku ekspertów, możesz uzyskać dokładniejszy wynik.

Można zastosować bardziej zaawansowane kryteria, na przykład określić przewagę z wynikiem 1, określić najgorszą jakość z wynikiem -1 i określić równoważną jakość z wynikiem 0. Mechanizm tworzenia serii rankingowej pozostaje to samo.

Psychologowie udowodnili, że porównywanie parami leży u podstaw każdego wyboru (czyli wybiera się produkty porównując je parami), jednak skala zamówień jest często zestawiana z góry (a nie seria rankingowa) i ustalane są w niej punkty referencyjne, które nazywane są punktami.

Tak powstała dwunastostopniowa skala intensywności trzęsień ziemi MSK - 64, skala mineralogiczna Mohsa, pięciostopniowa skala oceny wiedzy, punkty w łyżwiarstwie figurowym itp. Tabela 2 przedstawia jako przykład skalę twardości Mohsa dla minerałów.

Numer obiektu							Wynik

Tabela 1. Ranking sześciu obiektów według porównania parami

Tabela 2. Skala Mohsa

Każdy kolejny minerał pozostawia rysę na poprzednim, tj. jest solidniejszy. Wyniki pomiarów uzyskane przez porównanie parami można udoskonalić przez kolejne przybliżenia.

Wpływ składu ekspertów na wyniki badania

Przy tworzeniu grupy eksperckiej wskazane jest przeprowadzenie testów, wzajemnej oceny ekspertów oraz sprawdzenia spójności opinii.

Testowanie polega na rozwiązywaniu zadań przez ekspertów, których wyniki są znane organizatorom testów, ale nieznanym ekspertom, oraz testowaniu za pomocą kryterium Fishera hipotezy, że oceny różnych ekspertów należą do tego samego ogólnego zbioru ocen.

Samoocena polega na tym, że każdy ekspert w ograniczonym czasie odpowiada na pytania specjalnie opracowanej ankiety. Test taki przeprowadza się na komputerze, a następnie uzyskuje się punktację. Eksperci mogą również oceniać się nawzajem, ale wymaga to pełnego zaufania środowiska i doświadczenia we współpracy. Spójność opinii eksperckiej można ocenić na podstawie wartości współczynnika zgodności:

gdzie S- suma kwadratów odchyleń wszystkich ocen rang każdego przedmiotu badania od wartości średniej;
n- liczba ekspertów;
m- ilość przedmiotów ekspertyzy.

Współczynnik zgodności zmienia się w przedziale 0<W<1, причем 0 - полная несогласованность, 1 - полное единодушие.

Przykład

Konieczne jest określenie stopnia zgodności między opiniami pięciu ekspertów, których ranking wyników zawiera siedem obiektów w tabeli 3. Do określenia stopnia zgodności stosuje się specjalną miarę – współczynnik zgodności Kendalla (z łac. konkordat- wyrównać, ułożyć.

Numer obiektu egzaminacyjnego	Ocena eksperta					Suma rang	Odchylenie od średniej	Kwadrat odchylenia

Tabela 3. Dane do oceny zgodności opinii pięciu ekspertów

Szacujemy średnią arytmetyczną liczbę stopni:

P zob = (21 + 15 + 9 + 28 + 7 + 25 + 35)/7 = 20.

Następnie szacujemy sumę kwadratów odchyleń od średniej: S = 630. Wyznacz wartość współczynnika zgodności:

W = 12 * 630 / 25 * (343 - 7) = 0,9.

Czy to dużo czy mało? Jeśli przeprowadzimy odpowiednie obliczenia w STATYSTYKA, możesz uzyskać następującą tabelę wyników:

Ryż. 1. Wyniki analizy w STATISTICA

Z tej tabeli wynika, że ​​różne opinie ekspertów w tym przykładzie są nieistotne: s<0.00014.

Wpływ na wyniki badania składu ilościowego ekspertów. Wraz ze wzrostem liczby ekspertów w grupie zwiększa się dokładność pomiaru, co jest charakterystyczne dla pomiarów wielokrotnych.

Liczba ekspertów n, przy założonej dokładności pomiaru, można ustalić znając prawo rozkładu ekspertyz i maksymalny dopuszczalny błąd standardowy oszacowania sx. Następnie, korzystając ze znanego wyrażenia, możemy określić minimalną liczbę ekspertów n, podając określoną dokładność pomiaru:

gdzie jest odchylenie standardowe, które jest określone wzorem:

gdzie jest średnia arytmetyczna ocen ekspertów;
- liczba ocen wystawionych przez ekspertów.

Istnieją również indywidualne i zbiorowe opinie ekspertów, te ostatnie są uważane za bardziej trafne, a co najważniejsze, uzgodnione. W roli ekspertów mogą występować osoby ze specjalnym przeszkoleniem, potencjalni konsumenci i producenci produktów.

W większości rozważanych rodzajów badań przedmiotem badania jest punkt widzenia konsumentów (prywatnych lub korporacyjnych). Jednak są też badania, które przeprowadzane są z uwzględnieniem wszystkich czynników, które mają wpływ na dany rynek, takich jak konkurencja, przynależność, ogólne trendy, zmiany legislacyjne, obecne i planowane projekty graczy, regulacje branżowe, ryzyka itp. Oraz ani w publikacjach, badania te nie są uwzględniane w statystykach branżowych. Elementem mogą być tutaj zarówno desk research, jak i ankiety konsumenckie, ale głównym narzędziem w tym przypadku są wywiady eksperckie z uczestnikami rynku, niezależnymi analitykami, szefami stowarzyszeń, dziennikarzami, osobami zajmującymi się wywiadem konkurencyjnym itp.

Metoda recenzowania - To rodzaj badań, w których respondentami są eksperci - specjaliści w określonej dziedzinie działalności.

Główny cel metody recenzowania - identyfikacja złożonych aspektów badanego problemu, zwiększenie wiarygodności informacji, wniosków.

Charakterystyczna cecha metody polega na kompetentnym udziale ekspertów (ekspertyza) w analizie i rozwiązywaniu problemów badawczych.

Ekspertyza - procedura pozyskiwania informacji od ekspertów. Ekspertyzy to ekspertyzy dotyczące różnych dziedzin działalności człowieka, polegające na procedurze porównywania obiektów i ich właściwości według wybranych kryteriów.

Specyfika ankiety eksperckiej składa się z następujących.

W kwestionariuszu nie ma potrzeby stosowania pytań pośrednich ani kontrolnych.

Program badań eksperckich nie jest szczegółowy i ma charakter koncepcyjny.

W ankiecie preferowane jest stosowanie pytań otwartych z pełną dowolnością w wyborze formy odpowiedzi.

Podstawowe wymagania regulacyjne dotyczące recenzowania :

staranny dobór ekspertów;

ocena wiarygodności informacji dostarczonych przez ekspertów;

tworzenie warunków do produktywnego wykorzystania ekspertów w toku badania;

uwzględnienie czynników wpływających na oceny biegłych;

zachowanie informacji ekspertów bez zniekształceń na wszystkich etapach badania.

Jakość i rzetelność ocen ekspertów obniża losowy dobór ekspertów.

Kryteria wyboru ekspertów są:

stopień kompetencji, którego wyznacznikiem może być obecność stopnia naukowego eksperta, tytułu naukowego, stażu pracy w specjalności, stanowiska służbowego, liczby opublikowanych prac itp.;

umiejętność poruszania się po najnowszych osiągnięciach współczesnej nauki w tych dziedzinach, które są przedmiotem ekspertyzy;

połączenie wąskiej specjalizacji i ogólnego spojrzenia eksperta;

umiejętność analizy i syntezy badanych problemów,

umiejętność przetwarzania i przyswajania jakościowo nowych informacji;

wysoki charakter moralny;

połączenie psychologicznie akceptowalnych dla siebie nawzajem w grupie ekspertów w różnym wieku, różnych szkół naukowych itp.

Grupa ekspertów nie może być liczna. Metody selekcji ekspertów wyróżniać cel - stosowanie specjalnych technik selekcji - i subiektywny - Zaangażowanie samych potencjalnych ekspertów w procedurę selekcji.

Podejście obiektywne ma dwie opcje :

a) metoda dokumentalna – wybór ekspertów na podstawie danych socjodemograficznych.

b) metoda eksperymentalna - selekcja na podstawie testu kandydata.

Subiektywne podejście ma również kilka odmian. ;

a) atestacja - wybór ekspertów odbywa się w drodze jawnego lub tajnego głosowania potencjalnych członków przyszłej grupy ekspertów (może być przeprowadzony w kilku turach);

b) sposób wzajemnej oceny w punktach lub rankingu;

c) metoda samooceny kompetencji.

Ankieta ekspercka może przybierać różne formy. :

jednorazowa ankieta indywidualna (kwestionariusz lub wywiad);

jednorazowa ankieta zbiorcza (spotkania, burza mózgów);

ankieta indywidualna w kilku turach (technika delficka);

ankieta zbiorcza w kilku turach (dyskusja, spotkanie, selekcja wieloetapowa).

Inna forma ankiety eksperckiej - tradycyjna dyskusja - metoda rozmowy z niewielką grupą ekspertów na temat badań. Celem dyskusji jest wypracowanie zbiorowej opinii grupy. Warunkiem udanej dyskusji grupowej jest jasne sformułowanie tematu dyskusji i znajomość go przez zdecydowaną większość uczestników.

W dużej mierze powodzenie dyskusji zależy od kultury, przygotowania, prowadzenia i zaprojektowania zbiorowej opinii ekspertów.

Polecona metoda wyceny - powtórzenie kilku cykli dyskusji z identyfikacją istoty pojawiających się nieporozumień i stopniowym wypracowaniem wspólnej opinii wszystkich lub większości uczestników egzaminu, przy czym ci, którzy się nie zgadzają, zachowują prawo do prywatnej opinii.

Metody egzaminacyjne w zbiorowej pracy jej uczestników mają wiele oczywistych zalet, ale jednocześnie mają też szereg wad. Główna wada jest związana z wpływem ekspertów na siebie nawzajem. Ta wada jest przezwyciężana za pomocą indywidualnej ankiety w kilku rundach. Nazwę zyskała korespondencyjna wersja metody „wyceny referencyjnej”. metoda Delphi, lub technologia delficka (od nazwy starożytnego greckiego miasta, które zasłynęło jako centrum przepowiedni wyroczni).

Technika Delphi gwarantuje anonimowość respondentów: eksperci nie spotykają się ze sobą, wypełniają anonimowe ankiety lub łączą się bezpośrednio do pracy z komputerem.

Po pierwszej rundzie eksperci zapoznają się z ostateczną charakterystyką pozycji grupy jako całości. W drugiej turze mają okazję albo zbliżyć swoją opinię do stanowiska większości, albo zbadać przyczynę odchylenia. W trzeciej rundzie nowe informacje otwierają możliwość ponownego rozważenia twojego punktu widzenia.

Pozwalają na to uproszczone odmiany techniki delfickiej („mini delphi”)

zebrać opinie ekspertów na 2-3 rundy w ciągu kilku godzin lub dni.

Wady metody Delphi to :

złożoność przygotowania, przeprowadzenia i opracowania wyników,

stosunkowo duża inwestycja czasu i pieniędzy.

Pomimo niedociągnięć technika delficka zyskała znaczną dystrybucję; Pod względem skali zastosowania w wielu krajach znalazła się w pierwszej piątce najpopularniejszych metod prognozowania społecznego.

Badanie eksperckie w swojej nowoczesnej formie często opiera się na łącznym wykorzystaniu różnych metod, form i procedur. Tak więc, w oparciu o wykorzystanie technologii delfickiej, zbudowano jeden z amerykańskich systemów prognozowania „Pattern”, który pozwala na stworzenie systemu modeli informacyjnych w postaci drzewa celów. Prace nad stworzeniem systemu rozpoczynają się od stworzenia scenariusza, czyli opisu stanu i kierunku rozwoju badanego obiektu. W kolejnym etapie budowane jest drzewo celów, dla każdego celu opracowywane są niezbędne i wystarczające cele cząstkowe, które są warunkiem osiągnięcia wspólnego celu. W trzecim etapie wyznaczane są współczynniki względnej ważności kryteriów i celów na wszystkich poziomach. Następnie określane są konkretne rodzaje niezbędnych prac, zasoby oraz terminy ich realizacji. Najdłuższy łańcuch to czas realizacji całego kompleksu prac.

Ministerstwo Edukacji i Nauki Rosji

Mari State Technical University

Dział kontroli i produkcji urządzeń radiowych

na temat: Metody ocen eksperckich

Ukończono: art. gr. BZD-41

Kopiłowa I.V.

Sprawdzone przez prof. kawiarnia Cypr

Skulkin N.M.

Yoshkar-Ola 2012

Wprowadzenie

Ocena eksperta

Etapy oceny eksperckiej

Rodzaje ekspertyz

Przetwarzanie wyników ankiety ekspertów

Wniosek

Bibliografia

Wprowadzenie

Przykłady metod oceny eksperckiej. Jak zmieni się otoczenie gospodarcze w czasie? Co stanie się ze środowiskiem naturalnym za dziesięć lat? Jak zmieni się otoczenie? Czy zostanie zapewnione bezpieczeństwo środowiskowe produkcji przemysłowej, czy też zacznie się rozprzestrzeniać sztuczna pustynia? Wystarczy zastanowić się nad tymi naturalnymi pytaniami, przeanalizować, jak wyobrażaliśmy sobie współczesność dziesięć, a nawet więcej niż dwadzieścia lat temu, aby zrozumieć, że po prostu nie ma stuprocentowych prognoz. Zamiast stwierdzeń z konkretnymi liczbami można spodziewać się jedynie ocen jakościowych. Niemniej jednak my, inżynierowie, musimy podejmować decyzje, na przykład dotyczące projektów i inwestycji środowiskowych i innych, których konsekwencje będą odczuwalne za dziesięć, dwadzieścia i tak dalej. lat. Jak być? Pozostaje zwrócić się do metod ocen ekspertów. Jakie są te metody?

1. Ocena eksperta

Ocena eksperta- procedura uzyskania oceny problemu na podstawie opinii specjalistów (ekspertów) w celu późniejszego podjęcia decyzji (wyboru).

Eksperci(z łac. „expertus” – doświadczony) – są to osoby, które posiadają wiedzę i potrafią wyrazić uzasadnioną opinię na temat badanego zjawiska.

Metody ocen eksperckich - to metody organizacji pracy z ekspertami-specjalistami i opracowywania ekspertyz.

Istota metod oceny eksperckiej polega na tym, że podstawą prognozy jest opinia specjalisty lub zespołu specjalistów oparta na doświadczeniu zawodowym, naukowym i praktycznym. Istnieją indywidualne i zbiorowe oceny ekspertów.

Przy wyborze często stosuje się ocenę eksperta, na przykład:

jeden wariant urządzenia technicznego do uruchomienia w serii kilku próbek,

grupy astronautów od wielu kandydatów,

zestaw projektów badawczych do finansowania z puli wniosków,

odbiorcy pożyczek środowiskowych od wielu wnioskodawców,

przy wyborze projektów inwestycyjnych do realizacji spośród przedstawionych itp.

2. Etapy oceny eksperckiej

1. Ustalenie celu badania.

Ocena ekspercka polega na stworzeniu pewnego rodzaju umysłu o większych możliwościach w porównaniu z możliwościami jednostki. Źródłem możliwości wielomyślowości jest poszukiwanie słabych skojarzeń i założeń opartych na doświadczeniu indywidualnego specjalisty. Podejście eksperckie pozwala rozwiązywać problemy, których nie da się rozwiązać w zwykły analityczny sposób, w tym:

· Wybór najlepszego rozwiązania spośród dostępnych.

· Prognozowanie rozwoju procesu.

· Znajdowanie możliwych rozwiązań złożonych problemów.

Przed przystąpieniem do ekspertyzy konieczne jest jasne określenie jej celu (problemu) oraz sformułowanie odpowiedniego pytania do ekspertów. W takim przypadku zaleca się przestrzeganie następujących zasad:

· Jasne określenie warunków, czasu, ograniczeń zewnętrznych i wewnętrznych problemu. * Zdolność do odpowiedzi na pytanie z dokładnością doświadczoną przez człowieka.

· Pytanie jest lepiej sformułowane jako stwierdzenie jakościowe niż jako oszacowanie liczby. W przypadku szacunków numerycznych nie zaleca się ustawiania więcej niż pięciu gradacji.

· Eksperci oceniają możliwe opcje i nie należy oczekiwać od nich opracowania pełnego planu działania, szczegółowego opisu możliwych rozwiązań.

2. Wybór formy badawczej, określenie budżetu projektu.

Istniejące rodzaje ekspertyz można sklasyfikować według następujących kryteriów:

· W zależności od formy udziału ekspertów: w pełnym wymiarze godzinowym, w niepełnym wymiarze godzinowym. Metoda bezpośrednia pozwala ekspertom skupić się na rozwiązywanym problemie, co poprawia jakość wyniku, ale metoda zdalna może być tańsza.

· Według liczby iteracji (powtórzeń procedury w celu poprawy dokładności) - jednoetapowe i iteracyjne.

· Zgodnie z zadaniami do rozwiązania: generowanie rozwiązań i ocena opcji.

· Według rodzaju odpowiedzi: ideologiczna, rankingowa, oceniająca obiekt w skali względnej lub bezwzględnej (liczbowej).

· Zgodnie z metodą przetwarzania ekspertyz: bezpośrednią i analityczną.

· Według liczby zaangażowanych ekspertów: nieograniczona, ograniczona. Zwykle wykorzystuje się 5-12 ekspertów.

Najbardziej znane metody ocen eksperckich to metoda delficka, burza mózgów oraz metoda analizy hierarchii. Każda metoda ma swój własny czas i zapotrzebowanie na ekspertów. Po wybraniu metody oceny biegłego możliwe jest określenie kosztów postępowania, które obejmują wynagrodzenie biegłych, wynajem lokalu, zakup materiałów piśmiennych, wynagrodzenie specjalisty do przeprowadzenia i analizy wyników badania.

3. Przygotowanie materiałów informacyjnych, formularzy ankiet, moderator postępowania.

Eksperci przed wydaniem oceny powinni zdywersyfikować przedstawiony problem. Do przeprowadzenia tej procedury niezbędne jest przygotowanie materiałów informacyjnych opisujących problem, dostępnych danych statystycznych, materiałów źródłowych, formularzy ankiet, inwentaryzacji. Należy unikać następujących błędów: wymienianie twórców materiałów, podkreślanie jednej lub drugiej opcji rozwiązania, wyrażanie stosunku kierownictwa do oczekiwanych rezultatów. Dane powinny być wszechstronne i neutralne. Konieczne jest wcześniejsze opracowanie formularzy ankiet dla ekspertów. W zależności od metody mogą to być pytania otwarte i zamknięte, odpowiedź może być udzielona w formie oceny, porównania parami, serii rankingowych, w punktach lub w formie oceny bezwzględnej.

Sama procedura jest przeprowadzana przez niezależnego moderatora procedury, który kontroluje przestrzeganie regulaminu, dystrybuuje materiały i ankiety, ale nie wyraża własnego zdania.

4. Wybór ekspertów.

Problem doboru ekspertów jest jednym z najtrudniejszych w teorii i praktyce badań eksperckich. Oczywiście, jako ekspertów konieczne jest wykorzystanie tych osób, których osądy najbardziej pomogą w podjęciu właściwej decyzji. Ale jak zidentyfikować, znaleźć, wyselekcjonować takie osoby? Trzeba powiedzieć wprost, że nie ma metod doboru ekspertów, które z pewnością zapewnią powodzenie badania.

W problemie wyboru ekspertów można wyróżnić dwa komponenty – sporządzenie listy potencjalnych ekspertów i wybór z nich komisji eksperckiej zgodnie z kompetencjami kandydatów.

Eksperci powinni posiadać doświadczenie w obszarach istotnych dla rozwiązywanych zadań. Przy wyborze biegłych należy wziąć pod uwagę moment interesu osobistego, który może stać się istotną przeszkodą w uzyskaniu obiektywnej oceny. W tym celu stosuje się np. metody Shara, gdy jeden ekspert, najbardziej szanowany specjalista, poleca kilku innym i dalej w łańcuchu, aż do wyłonienia potrzebnego zespołu.

5. Przeprowadzenie badania.

Procedura różni się w zależności od zastosowanej metody. Zalecenia ogólne:

· Ustal i przestrzegaj zasad. Wydłużenie czasu na podjęcie decyzji poza optymalny nie poprawia trafności odpowiedzi.

6. Analiza statystyczna wyników . Po otrzymaniu odpowiedzi ekspertów konieczna jest ich ocena. To pozwala:

1) Ocenić spójność opinii ekspertów. W przypadku braku istotnej zgodności wśród ekspertów konieczne jest zidentyfikowanie przyczyn niezgodności (obecność grup) oraz uznanie braku zgodnej opinii (nieistotne wyniki).

) Oszacuj błąd badawczy.

)Zbuduj model właściwości obiektu na podstawie odpowiedzi ekspertów (do ekspertyzy analitycznej). Wyniki ekspertyzy wydawane są w formie raportu. W raporcie wskazano cel badania, skład ekspertów, otrzymaną ocenę oraz analizę statystyczną wyników.

7. Przygotowanie raportu z wynikami ekspertyzy.

. Rodzaje ekspertyz

Metody ocen eksperckich można podzielić na dwie grupy:

§ metody pracy zespołowej grupy eksperckiej

§ metody uzyskiwania indywidualnej opinii członków grupy ekspertów.

Metody pracy zespołowej grupy eksperckiej polegają na uzyskaniu wspólnej opinii w toku wspólnej dyskusji nad rozwiązywanym problemem. Metody te są czasami określane jako metody bezpośredniej opinii zbiorowej. Główną zaletą tych metod jest możliwość kompleksowej analizy problemów. Wadami metod są złożoność procedury pozyskiwania informacji, złożoność formułowania grupowej opinii na temat indywidualnych ocen biegłych, możliwość nacisku ze strony autorytetów w grupie.

Metody pracy zespołowej obejmują burzę mózgów, pisanie scenariuszy, gry biznesowe, spotkania i ocenianie.

Atak mózgu.Organizowane jest jako spotkanie ekspertów, na których wypowiedzi nałożone jest jedno, ale bardzo istotne zastrzeżenie – nie można krytykować propozycji innych. Możesz je rozwijać, możesz wyrażać swoje pomysły, ale nie możesz krytykować! Podczas spotkania eksperci, „zarażając się” sobą, wyrażają coraz bardziej ekstrawaganckie przemyślenia. Dwie godziny później sesja nagrana na magnetofon lub kamerę wideo dobiega końca i rozpoczyna się drugi etap burzy mózgów – analiza zgłoszonych pomysłów. Zwykle na 100 pomysłów 30 zasługuje na dalsze opracowanie, z 5-6 pozwalają sformułować projekty użytkowe, a 2-3 ostatecznie okazują się przynosić korzystny efekt – zysk, zwiększenie bezpieczeństwa ekologicznego, poprawę stanu środowiska naturalnego itp. Jednocześnie interpretacja idei jest procesem twórczym. Na przykład, omawiając możliwości ochrony statków przed atakiem torpedowym, wyrażono pomysł: „Ustaw marynarzy wzdłuż burty i dmuchnij w torpedę, aby zmienić jej kurs”. Po rozwinięciu pomysł ten doprowadził do stworzenia specjalnych urządzeń wytwarzających fale, które zbijają torpedę z kursu.

Metoda „635”- jedna z odmian burzy mózgów. Liczby 6, 3, 5 oznaczają sześciu uczestników, z których każdy musi zapisać trzy pomysły w ciągu pięciu minut. Liść porusza się. Tak więc w ciągu pół godziny każdy zapisze w swoim zasobie 18 pomysłów, a razem 108. Struktura pomysłów jest jasno określona. Możliwe są modyfikacje metody. Ta metoda jest szeroko stosowana w innych krajach (zwłaszcza w Japonii) w celu wybrania spośród wielu pomysłów najbardziej oryginalnych i postępowych w rozwiązywaniu określonych problemów.

gry biznesoweopierają się na modelowaniu funkcjonowania systemu zarządzania społecznego przy wykonywaniu działań zmierzających do osiągnięcia celu. W przeciwieństwie do poprzednich metod, w których oceny ekspertów powstają w trakcie zbiorowej dyskusji, gry biznesowe polegają na aktywnej pracy grupy ekspertów, której każdy członek ma określoną odpowiedzialność zgodnie z wcześniej opracowanymi zasadami i programem.

Główną zaletą gier biznesowych jest możliwość dynamicznego opracowywania rozwiązania, uwzględniającego wszystkie etapy badanego procesu z interakcją wszystkich elementów systemu zarządzania publicznego. Wadą jest złożoność organizacji gry biznesowej w warunkach zbliżonych do rzeczywistej sytuacji problemowej.

Metoda spotkania(„prowizje”, „okrągły stół”) - najprostszy i tradycyjny. Polega na odbyciu spotkania lub dyskusji w celu wypracowania wspólnej, zbiorowej opinii na temat rozwiązywanego problemu. W przeciwieństwie do metody „burzy mózgów”, każdy ekspert może nie tylko wyrazić swoją opinię, ale także skrytykować propozycje innych. W wyniku tak starannej dyskusji zmniejsza się możliwość popełnienia błędów w opracowaniu decyzji.

Zaletą metody jest prostota jej wykonania. Jednak na spotkaniu błędna opinia jednego z uczestników może zostać przyjęta ze względu na jego autorytet, stanowisko służbowe, wytrwałość lub zdolności krasomówcze.

Metoda prowizyjna- jedna z metod ocen eksperckich, oparta na pracach specjalnych komisji. Grupy ekspertów przy „okrągłym stole” omawiają konkretną kwestię w celu uzgodnienia punktów widzenia i wypracowania wspólnej opinii. Wadą tej metody jest to, że grono ekspertów w swoich osądach kieruje się głównie logiką kompromisu.

Metoda pisania skryptówpolega na określeniu logiki procesu lub zjawiska w czasie w różnych warunkach. Polega na ustaleniu sekwencji zdarzeń, które rozwijają się podczas przejścia od stanu obecnego do stanu przyszłego obiektu. Swoistym scenariuszem może być opis kolejności i warunków międzynarodowej integracji gospodarek krajów, zawierający następujące pytania:

od jakich form najprostszych do bardziej złożonych musi przejść ten proces;

jak wpłynie na gospodarkę narodową i stosunki gospodarcze krajów;

jakie problemy finansowe, organizacyjne, społeczne, prawne mogą pojawić się w trakcie internacjonalizacji gospodarki.

Scenariusz prognozy określa strategię rozwoju prognozowanego obiektu. Powinien odzwierciedlać ogólny cel rozwoju obiektu, kryteria oceny górnych poziomów drzewa celów, priorytety problemów oraz zasoby do osiągnięcia głównych celów. Scenariusz przedstawia spójne rozwiązanie problemu, możliwe przeszkody. W takim przypadku wykorzystywane są materiały niezbędne do opracowania obiektu prognostycznego.

Scenariusz powinien być napisany w taki sposób, aby po jego przeczytaniu ogólny cel prowadzonych prac w świetle zadań społeczno-gospodarczych na okres prognozy stał się jasny.

Zwykle ma charakter wielowymiarowy i podkreśla trzy linie postępowania:

optymistyczny - rozwój systemu w najkorzystniejszej sytuacji;

pesymistyczny – rozwój systemu w najmniej korzystnej sytuacji;

działa - rozwój systemu, biorąc pod uwagę przeciwdziałanie negatywnym czynnikom, których pojawienie się jest najbardziej prawdopodobne.

W ramach scenariusza prognostycznego wskazane jest wypracowanie strategii tworzenia kopii zapasowych na wypadek nieprzewidzianych sytuacji.

Gotowy skrypt należy przeanalizować. Na podstawie analizy informacji uznanych za odpowiednie dla nadchodzącej prognozy formułowane są cele, ustalane są kryteria i rozważane są alternatywne rozwiązania.

metoda sądowajest rodzajem metody „spotkań” i jest realizowana analogicznie do prowadzenia rozprawy.

Wybrane rozwiązania występują w roli „oskarżonych”;

w roli „sędziów” – decydentów;

w roli „oskarżycieli” i „obrońców” – członków grupy ekspertów.

Rolę „świadków” pełnią różne warunki doboru i argumenty biegłych. Podczas przeprowadzania takiego „procesu” niektóre decyzje są odrzucane lub podejmowane.

Wskazane jest stosowanie metody „sądowej”, gdy występuje kilka grup ekspertów opowiadających się za różnymi rozwiązaniami.

Metody uzyskiwania indywidualnej opinii członków grupy ekspertów opierają się na wstępnym otrzymaniu informacji od ekspertów, z którymi przeprowadzono wywiady niezależnie od siebie, z późniejszym przetwarzaniem otrzymanych danych. Metody te obejmują metody kwestionariuszowe, wywiady oraz metody Delphi. Głównymi zaletami metody indywidualnej oceny biegłego są jej skuteczność, możliwość pełnego wykorzystania indywidualnych możliwości biegłego, brak presji ze strony urzędów oraz niski koszt ekspertyzy. Ich główną wadą jest wysoki stopień subiektywności uzyskanych szacunków ze względu na ograniczoną wiedzę jednego eksperta.

Metoda Delphi.Celem jest opracowanie programu kolejnych, wieloetapowych ankiet indywidualnych. Indywidualne badanie ekspertów przeprowadzane jest zazwyczaj w formie kwestionariuszy. Następnie przeprowadza się ich przetwarzanie statystyczne na komputerze i tworzy się zbiorowa opinia grupy, identyfikuje się i uogólnia argumenty przemawiające za różnymi osądami. Przetworzone komputerowo informacje są przekazywane ekspertom, którzy mogą korygować szacunki, wyjaśniając przyczyny niezgody z osądem zbiorowym. Tę procedurę można powtórzyć do 3-4 razy. W efekcie następuje zawężenie zakresu szacunków i spójny osąd co do perspektyw rozwoju obiektu. Cechy metody Delphi:

a) anonimowość ekspertów (członkowie grupy ekspertów są sobie nieznani, interakcja członków grupy podczas wypełniania kwestionariuszy jest całkowicie wykluczona);

b) możliwość wykorzystania wyników poprzedniej tury badania;

c) statystyczna charakterystyka opinii grupowej.

Ta metoda pomaga z góry określić rozwój długotrwałych sytuacji problematycznych. Nasi specjaliści pracujący w obszarze prognoz naukowych i technicznych opracowują również metody przetwarzania ocen eksperckich. Nazywa się je heurystycznymi.

Metoda wywiadupolega na rozmowie prognosty z ekspertem w schemacie pytanie-odpowiedź, podczas której prognosta zgodnie z opracowanym programem zadaje ekspertowi pytania dotyczące perspektyw rozwoju prognozowanego obiektu. Powodzenie takiej oceny zależy w dużej mierze od zdolności biegłego do wydania improwizowanej opinii w różnych kwestiach.

Metoda analitycznaprzewiduje gruntowną samodzielną pracę eksperta w zakresie analizy trendów, oceny stanu i ścieżek rozwoju projektowanego obiektu. Ekspert może wykorzystać wszystkie potrzebne mu informacje o obiekcie prognozy. Swoje ustalenia zapisuje w formie memorandum. Główną zaletą tej metody jest możliwość maksymalnego wykorzystania indywidualnych zdolności eksperta. Nie nadaje się jednak zbytnio do przewidywania złożonych systemów i opracowywania strategii ze względu na ograniczoną wiedzę jednego eksperta w pokrewnych dziedzinach wiedzy.

. Przetwarzanie wyników ankiety ekspertów

eksperckie zbiorowe badanie indywidualne

Przejdźmy do omówienia procedur, które są przeprowadzane na etapie opracowywania wyników przesłuchania.

Na podstawie ocen ekspertów uzyskuje się uogólnione informacje o badanym obiekcie (zjawisku) i tworzy się rozwiązanie, które wyznacza cel badania. Podczas przetwarzania indywidualnych ocen ekspertów stosuje się różne metody ilościowe i jakościowe. Wybór tej lub innej metody zależy od złożoności rozwiązywanego problemu, formy prezentacji opinii ekspertów oraz celów badania.

Najczęściej przy przetwarzaniu wyników badań wykorzystuje się metody statystyki matematycznej.

W zależności od celów egzaminu podczas przetwarzania ocen można rozwiązać następujące problemy:

· tworzenie uogólnionej oceny;

· wyznaczanie względnych ciężarów przedmiotów;

· ustalanie stopnia zgodności opinii biegłych itp.

1)Tworzenie uogólnionej oceny

Niech więc grupa ekspertów oceni jakiś obiekt, a następnie x j - ocena j-tego biegłego, , gdzie m to liczba ekspertów.

Aby sformułować uogólnioną ocenę grupy ekspertów, najczęściej stosuje się wartości średnie. Na przykład mediana (M mi ), dla którego przyjmuje się takie oszacowanie, w stosunku do którego liczba dużych oszacowań jest równa liczbie mniejszych.

Można również zastosować oszacowanie punktowe dla grupy ekspertów, obliczone jako średnia arytmetyczna:

2)Wyznaczanie względnych ciężarów przedmiotów

Czasami wymagane jest określenie, jak ważny (znaczący) jest jeden lub drugi czynnik (obiekt) z punktu widzenia dowolnego kryterium. W tym przypadku mówimy, że musimy określić wagę każdego czynnika.

Jedna z metod określania wag jest następująca. Niech x ij - ocena czynnika i wydana przez j-tego eksperta, , , n – liczba porównywanych obiektów, m – liczba ekspertów. Następnie ciężar i-tego obiektu, obliczony według szacunków wszystkich ekspertów (wi ), jest równe:

gdzie w ij - masa i-tego przedmiotu obliczona według szacunków j-tego rzeczoznawcy wynosi:

3)Ustalenie stopnia zgodności wśród ekspertów

Jeśli w ankiecie bierze udział kilku ekspertów, rozbieżności w ich ocenach są nieuniknione, ale istotna jest skala tej rozbieżności. Ocenę grupową można uznać za wystarczająco wiarygodną tylko wtedy, gdy istnieje dobra zgodność między odpowiedziami poszczególnych specjalistów.

Do analizy rozrzutu i spójności szacunków wykorzystuje się charakterystyki statystyczne – miary rozrzutu.

Zakres zmienności (R):

Xmaks - x min ,

gdzie x maks- maksymalna ocena obiektu; min - minimalna ocena obiektu.

Odchylenie standardowe, obliczone według znanego wzoru:

gdzie xj to ocena przyznana przez j-tego eksperta, to liczba ekspertów.

Współczynnik zmienności (V), który zwykle wyraża się w procentach:

Podejścia do sprawdzania spójności stosowane w ocenie obiektów metodą rankingową są specyficzne.

W tym przypadku wynikiem pracy eksperta jest ranking, który jest ciągiem rang (dla eksperta j): x 1j , x 2j, …, x nj .

Spójność między rankingami dwóch ekspertów można określić za pomocą współczynnika korelacji rang Spearmana:

gdzie xij to ranga nadana i-temu przedmiotowi przez j-tego eksperta, ik to ranga nadana i-temu przedmiotowi przez k-tego eksperta, i to różnica między ocenami nadanymi i-temu przedmiotowi obiekt.

Wartość może wahać się od -1 do +1. Przy całkowitej zbieżności szacunków współczynnik jest równy jeden. Równość współczynnika minus jeden obserwuje się przy największej rozbieżności w opiniach ekspertów.

Ponadto obliczenie współczynnika korelacji rang może być wykorzystane jako sposób oceny związku między dowolnym czynnikiem a wynikającą z niego cechą (reakcją) w przypadkach, gdy cech nie można dokładnie zmierzyć, ale można je uporządkować.

W tym przypadku wartość współczynnika Spearmana można interpretować podobnie jak wartość współczynnika korelacji par. Wartość dodatnia wskazuje na bezpośredni związek między czynnikami, wartość ujemna na odwrotny, natomiast im wartość bezwzględna współczynnika jest bliższa jedności, tym związek ten jest bliższy.

Gdy konieczne jest określenie zgodności w rankingach dużej (więcej niż dwóch) liczby ekspertów, obliczany jest tzw. współczynnik zgodności - ogólny współczynnik korelacji rang dla grupy m ekspertów:

Należy zauważyć, że to, co zostało odjęte w nawiasach, to nic innego jak średnia suma rang (po zsumowaniu dla każdego obiektu) otrzymanych przez i obiekty od ekspertów.

Współczynnik W zmienia się w przedziale od 0 do 1. Jego równość do jeden oznacza, że ​​wszyscy eksperci przypisywali obiektom te same rangi. Im wartość współczynnika jest bliższa zeru, tym mniej spójne są szacunki ekspertów.

Wniosek

Doświadczenie, intuicja, wyczucie perspektywy, w połączeniu z informacją, pomagają specjalistom trafniej wybierać najważniejsze cele i kierunki rozwoju, znajdować najlepsze możliwości rozwiązywania złożonych problemów naukowych, technicznych i społeczno-gospodarczych w warunkach, w których nie ma informacji o rozwiązywanie podobnych problemów w przeszłości.

Wykorzystanie metody ocen eksperckich pomaga sformalizować procedury zbierania, podsumowywania i analizowania opinii specjalistów w celu ich przekształcenia w formę najdogodniejszą do podjęcia świadomej decyzji. Należy jednak zaznaczyć, że metoda ekspertyz nie może zastąpić ani decyzji administracyjnych, ani decyzji planistycznych, pozwala jedynie na uzupełnienie informacji niezbędnych do przygotowania i wydania takich decyzji. Powszechne stosowanie ocen eksperckich jest uzasadnione tylko tam, gdzie nie ma możliwości zastosowania dokładniejszych metod analizy przyszłości.

Metody eksperckie są stale rozwijane i ulepszane. Główne kierunki tego rozwoju wyznacza szereg czynników, wśród których można wskazać chęć poszerzenia zakresu, zwiększenia stopnia wykorzystania metod matematycznych i komputerów elektronicznych, a także znalezienia sposobów na wyeliminowanie pojawiających się niedociągnięć. Pomimo postępu, jaki dokonał się w ostatnich latach w rozwoju i praktycznym wykorzystaniu metody ocen rzeczoznawczych, istnieje szereg problemów i zadań, które wymagają dalszych badań metodologicznych i praktycznej weryfikacji. Konieczne jest doskonalenie systemu doboru ekspertów, zwiększenie wiarygodności cech opinii grupowej, opracowanie metod sprawdzania zasadności ocen oraz badanie ukrytych przyczyn obniżających wiarygodność ocen ekspertów. Jednak nawet dzisiaj oceny eksperckie w połączeniu z innymi metodami matematycznymi i statystycznymi są ważnym narzędziem poprawy zarządzania na wszystkich poziomach.

Bibliografia

1Orłow A.I. Oceny ekspertów. // Laboratorium fabryczne. ? 1996.? T. 62.? nr 1. ? s. 54-60.

2Orłow A.I. Oceny ekspertów. proc. dodatek. - M.: 2002.

Beshelev SD, Gurvich F.G. Oceny eksperckie w podejmowaniu decyzji planowych. proc. dodatek. - M.: Ekonomia, 1976. ? 287 str.

Evlanov L.G., Kutuzov VA. Ekspertyzy w zarządzaniu. - M.: Ekonomia, 1978. ? 133 str.

Kierownictwo. proc. dodatek. / wyd. JV Prokofiewa. - M .: Wiedza, 2000. - 288 s.

Beshelev SD, Gurvich F.G. Oceny ekspertów. - M.: Nauka, 1973. - 79 s.

Statystyczne metody analizy ocen ekspertów. - M.: Nauka, 1977. - 384 s.

Moiseev NN Matematyczne problemy analizy systemowej. - M.: Nauka, 1981. - 487 s.

Litvak BG Ekspertyzy i podejmowanie decyzji. - M.: Patent, 1996.

Charakterystyka metod oceny eksperckiej [Zasoby elektroniczne]: #"justify">Ocena ekspercka. / Wikipedia. [Zasoby elektroniczne]: #"usprawiedliwić">Oceny ekspertów. // StatSoft: Konsultacje SPC. [Zasoby elektroniczne]: http://www.spc-consulting.ru/app/expert.htm

Korepetycje

Potrzebujesz pomocy w nauce tematu?

Nasi eksperci doradzą lub udzielą korepetycji z interesujących Cię tematów.
Złożyć wniosek wskazanie tematu już teraz, aby dowiedzieć się o możliwości uzyskania konsultacji.

Ekspertyza to ocena uzyskana poprzez zasięgnięcie opinii specjalistów. Ekspert (z łac. ex p e r t u s - doświadczony) to osoba posiadająca wiedzę w określonej dziedzinie działalności, zaproszona do rozwiązania problemu wymagającego specjalnej wiedzy. Badanie może być indywidualne (gdy w rozwiązanie problemu zaangażowany jest jeden specjalista) lub grupowe. Eksperci mogą wyrazić swoją opinię ustnie lub wypełnić specjalny formularz. Konsultacje z ekspertami są zawsze, gdy niemożliwe lub bardzo utrudnione jest wykonanie pomiarów przy użyciu dokładniejszych metod (V.M. Zatsiorsky, 1982; B.G. Litvak, 1996; V.S. Rubin, 2006; E.R. Yakhontov, 2006).

Na przykład wiedza specjalistyczna jest wykorzystywana w następujących przypadkach: a) przy przewidywaniu sytuacji; b) przy analizie zdarzeń, dla których nie ma innych metod pomiaru; c) uzasadniając podjęcie określonej decyzji zarządczej w warunkach niepewności (V.V. Muzychenko, 2003; N.N. Pilipenko, E.L. Tatarski, 2007).

Przeprowadzenie badania obejmuje następujące główne etapy: sformułowanie jego celu, wybór ekspertów, wybór metodologii, ankietę ekspertów, przetwarzanie otrzymanych informacji, w tym ocenę spójności poszczególnych ocen ekspertów. Oceny ekspertów dzielą się na ilościowe i jakościowe (BG Litvak, 2002).

Wybór ekspertów jest najważniejszym etapem badania. Główne wymagania stawiane ekspertom to: kompetencje, zainteresowanie pracami komisji eksperckiej, skuteczność, szerokość poglądów, obiektywizm i niezależność osądu. Dokładność oceny eksperta w dużej mierze zależy od liczby ekspertów. Jak pokazuje praktyka, optymalna liczba ekspertów to 7-12 osób (E.M. Korotkov, 2003). Ocena ekspercka może być przeprowadzona z wykorzystaniem następujących podejść: a) zamknięta dyskusja, po której następuje głosowanie zamknięte lub wypełnienie specjalnych formularzy eksperckich; b) wolność słowa bez dyskusji i głosowania; c) otwarta dyskusja nad poruszonymi zagadnieniami, po której następuje głosowanie jawne lub niejawne.

Istnieje wiele różnych sposobów przeprowadzania oceny jakości. Najprostsza z nich nazywana jest metodą preferencji (lub rankingu alternatyw). Korzystając z tej metody, eksperci porządkują oceniane obiekty w kolejności pogarszania się ich jakości (tab. 1).

Tabela 1. Formularz formularza eksperta opracowanego podczas badania metodą preferencji

RODZAJ TURYSTYKI	Wyniki rankingu
Numer eksperta	Suma punktów
Rustykalny
Dobra kondycja
Pielgrzymka
Informacyjny
Przygoda
Rozrywkowy
rekreacyjny
Sporty
Egzotyczny
Ekologiczny

O miejscu zajmowanym przez każdy obiekt decyduje liczba zdobytych punktów: im niższa suma punktów, tym wyższe zajmowane miejsce. Na przykład w tabeli 1 przedstawiono wyniki rankingu dziesięciu rodzajów turystyki przez sześciu specjalistów (ekspertów) według poziomu ich atrakcyjności dla mieszkańców Rosji.

Często stosowana i inna metoda badania - metoda porównania w parach. W tym przypadku ekspert wypełnia tabelę, w której wszystkie porównywane obiekty są zaznaczone zarówno w poziomie, jak iw pionie (Tabela 2).

Tabela 2. Przykład formularza eksperta wypełnianego przez każdego eksperta podczas przeprowadzania badania metodą porównania parami

									Suma punktów
Bułgaria
Niemcy

Na przykład należy określić najpopularniejszy kraj spośród przedstawionych ośmiu, do którego Rosjanie chcieliby się wybrać w podróż turystyczną. W tabeli 2 każda komórka odnosi się do dwóch porównywanych obiektów, przy czym jeden jest w niej przypisany do tego, który zdaniem eksperta ma wyższą jakość lub jest ważniejszy. Drugi z tych porównywanych obiektów jest ustawiony na zero. Następnie obliczana jest suma uzyskanych punktów i określane jest miejsce (ranking) przedmiotu egzaminu.

Ocena wyników egzaminu może mieć bardziej złożoną formę. Ponadto jako przykład podamy etapowe badanie mające na celu „Wybór szefa biura podróży”.

Etap numer 1. Wypełnienie formularza eksperta. Jak już ustaliliśmy, każdy z ekspertów musi wypełnić formularz eksperta, który w rzeczywistości jest macierzą preferencji, a kolumny i wiersze tej macierzy nazywane są wybranymi cechami (Tabela 3). Znaczenie tego wypełnienia polega na porównaniu wszystkich cech po kolei ze sobą. W tym przypadku (tj. we wzajemnym porównaniu) jakość bardziej preferowana otrzymuje 2 punkty, a jakość mniej preferowana 0 punktów. Jeśli nie można dać pierwszeństwa którejkolwiek z dwóch porównywanych cech, każda z nich otrzymuje 1 punkt.

Tabela 3. Macierz preferencji

Tak więc w naszym przykładzie w pierwszym kroku zaczynamy porównywać cechy pierwszej linii, tj. Przede wszystkim porównujemy „towarzyskość” pierwszej linii i „zobowiązanie” drugiej linii. Niech zdaniem jednego z ekspertów dla dyrektora biura podróży, którego cechy są ze sobą porównywane, „towarzyskość” jest lepsza niż „obowiązek”. Następnie w „komórce 1.2” wpisujemy wartość 2, odpowiednio „obowiązkowe” otrzymujemy 0 punktów i tę wartość wpisujemy w „komórkę 2.1”. Tak więc w pierwszym kroku wypełniany jest tylko pierwszy wiersz i odpowiednio pierwsza kolumna, i „automatycznie” w zależności od wybranych preferencji dla pierwszego wiersza. Następnie ekspert porównuje cechy na drugim wierszu, tj. porównuje „obowiązkowe” ze wszystkimi innymi cechami. Co więcej, nie ma już potrzeby porównywania „towarzyskości” i „zobowiązań”, ponieważ porównanie to zostało już dokonane na pierwszym etapie. Podobnie porównuje się wszystkie pozostałe cechy. W naszym przykładzie wypełniona macierz preferencji będzie wyglądać następująco (Tabela 3).

Aby sprawdzić poprawność wypełnienia macierzy preferencji, należy zwrócić uwagę na fakt, że wszystkie elementy względem głównej przekątnej mają wzajemną korespondencję, czyli jeśli w „komórce 1.2” wpisano wartość 2, to wartość 0 powinna należy zapisać odpowiednio w „komórki 2.1”, jeżeli w „komórki 1.3” wpisano wartość 1, to odpowiednio w „komórki 3.1” również należy wpisać wartość 1 itd.

Etap numer 2. Przetwarzanie macierzy preferencji. Na tym etapie każdy ekspert rozpoczyna przetwarzanie macierzy preferencji. Przede wszystkim sumowane są wszystkie wartości komórek macierzy według wierszy. W ten sposób możliwe jest obliczenie łącznej liczby punktów otrzymanych przez każdą alternatywną jakość, tj. zasadniczo znaleźć bezwzględną wagę każdej indywidualnej jakości (V). Należy zauważyć, że maksymalna bezwzględna waga każdej jakości () jest równa:

gdzie N to liczba porównywanych cech.

W naszym przykładzie wartość ta wynosi 14. Po przetworzeniu macierzy preferencji widać, że taka jakość jak „towarzyskość” ma bezwzględną wagę 5, „obowiązek” - 9, „punktualność” - 4 itd.

Następnie należy wyznaczyć całkowitą bezwzględną wagę wszystkich jakości macierzy preferencji według wzoru:

W naszym przykładzie = 8 (8 - 1) = 56.

Jeżeli w badaniu bierze udział kilku ekspertów, to średnią wagę każdej cechy należy obliczyć ze wzoru:

gdzie? =? +? + … + ?; k - liczba ekspertów; a 1, 2 ... n to bieżący numer linii (numer seryjny jakości).

I wreszcie, łatwo jest obliczyć względną wagę każdej cechy, korzystając ze wzoru:

= [ / N (N - 1)] ?100% jeżeli w egzaminie bierze udział kilku ekspertów, oraz

100% w przypadku udziału jednego eksperta w badaniu.

W naszym przypadku mamy tylko jednego eksperta i dlatego wartość k=1. Stąd względna waga odpowiadająca jakości „towarzyskości” wynosi (5/56) ? 100% = 8,9%; jakościowy „obowiązek” - (9/56)? 100% = 16,2%; jakość "punktualność" - (4/56) ? 100% = 7,1%; jakość "poise" - (8/56) ? 100% = 14,3%; jakość "doświadczenia zawodowego" - (5/56) ? 100% = 8,9%; jakość "uczciwość" - (11/56) ? 100% = 19,6%; jakość "kompetencji" - (14/56) ? 100% = 25,0%.

Etap nr 3. Analiza wyników egzaminu Znając względną wagę każdej cechy, można je uszeregować, układając je w rosnącej kolejności ważności. Kolejnym ważnym pytaniem, na które również należy odpowiedzieć korzystając z uzyskanych wyników, są cechy, bez których kandydat w żadnym wypadku nie może objąć proponowanego stanowiska? Aby znaleźć granicę między koniecznymi a wystarczającymi cechami, zaleca się stosowanie współczynnika granicznego równego 4/3n (V.V. Muzychenko, 2003). Tak więc, jeśli istnieje n jakości, to granica przejdzie przez wagę równą (4/3) n. W naszym przypadku wartość ta wynosi 11, a zatem takie cechy jak „kompetencja” i „uczciwość” są niezbędne dla szefa biura podróży.

Z bardziej złożonych metod przeprowadzania badania, „Metoda Delficka”, „Metoda burzy mózgów”, „Metoda 6.3.5”. i kilka innych technik.

Metoda delficka Jej nazwa pochodzi od starożytnego greckiego miasta Delfy, gdzie według legendy znajdowała się świątynia Apollina w okresie od IX wieku. PNE. według IVw. OGŁOSZENIE istniała rada mędrców („wyrocznia delficka”), słynąca z przepowiedni. Istota metody polega na wypracowaniu uzgodnionych opinii poprzez wielokrotne powtarzanie indywidualnej pisemnej ankiety tych samych ekspertów. Po pierwszej rundzie badania wszystkie odpowiedzi są analizowane i przedstawiane każdemu ekspertowi w skonsolidowanej formie. Następnie po każdej rundzie dane z ankiety są ponownie przetwarzane, a wyniki przekazywane ekspertom ze wskazaniem lokalizacji ocen. Pierwsza runda badania odbywa się bez argumentacji. W drugim odpowiedzi, które różnią się od innych, podlegają argumentacji lub ekspert może zmienić ocenę. Po ustabilizowaniu się ocen ankieta zostaje przerwana i przyjęta zostaje decyzja zaproponowana przez ekspertów (A. Durovich, L. Anastasova, 2002).

„Burza mózgów” jest jedną z głównych metod organizowania i przeprowadzania egzaminu (B.G. Litvak, 1996; E.M. Korotkov, 2003; E.R. Yakhontov, 2006). Burza mózgów zwykle składa się z dwóch rund. W pierwszej rundzie pomysły są generowane, aw drugiej zidentyfikowane pomysły są omawiane, oceniane i opracowywany jest wspólny punkt widzenia.

Pierwsza tura odbywa się w taki sposób, aby każdy z ekspertów mógł swobodnie wyrazić swoją opinię. Każdy punkt widzenia lub wyrażona idea muszą zostać przedyskutowane i nie mogą zostać uznane za fałszywe. Głównym zadaniem pierwszej rundy jest uzyskanie być może pełniejszego obrazu czynników, które mogą mieć wpływ na rozwój sytuacji. W drugiej rundzie spośród czynników zidentyfikowanych w pierwszej rundzie należy pozostawić tylko te najistotniejsze. Aby to zrobić, muszą zostać poddane krytycznej ocenie, dlatego eksperci biorący udział w drugim etapie dzielą się na zwolenników i przeciwników wyrażonej opinii. Zwolennicy starają się dostarczyć niezbędnych dowodów na korzyść wyrażonego punktu widzenia, a przeciwnicy próbują je obalić. Następnie na podstawie wyników dyskusji podejmowana jest ostateczna decyzja.

Metoda jakościowych ocen ekspertów, jak widzimy, ma wiele opcji, z których jedną jest „6. 3,5". Jego istota polega na tym, że 6 ekspertów w ciągu 5 minut oferuje 3 opcje rozwiązania badanego problemu.Eksperci zapisują swoją odpowiedź na specjalnych formularzach (Tabela 4). Pięć minut później kolejnych sześciu ekspertów zostaje zaproszonych na tę samą procedurę. Tym samym w ciągu pół godziny możesz otrzymać 108 nowych propozycji.

Tabela 4. Przykładowy formularz eksperta wypełniany podczas badania z wykorzystaniem formularza „6. 3,5"

Badany problem
numer opcji	Propozycje rozwiązania problemu przez grupę ekspertów
Pierwszy ekspert grupy	Drugi ekspert		Czwarty		ekspert grupy
Druga opcja
Trzecia opcja

Zgromadzone w krótkim czasie liczne propozycje są następnie dokładnie analizowane, a eksperci-eksperci wyciągają wnioski i przedstawiają konkretne propozycje dotyczące poruszonego problemu.

Czasami specyfika przedmiotów oceny eksperckiej jest taka, że ​​eksperci mogą skwantyfikować poszczególne wskaźniki. W takich przypadkach bardziej zasadne jest zastosowanie metod ilościowej oceny przedmiotu ekspertyzy. Wśród metod uzyskiwania ilościowych szacunków ekspertów najczęściej stosowane są „Kwantyfikacja bezpośrednia”, „Metoda punktu środkowego” i „Metoda Churchmana-Akoffa”.

Kwantyfikację bezpośrednią stosuje się, gdy konieczne jest określenie wartości wskaźnika mierzonego ilościowo. W tym przypadku każdy z ekspertów bezpośrednio wskazuje wartość wskaźnika dla ocenianego obiektu. Na przykład szacowana jest pojemność rynku turystycznego; cena jednostki produkcji, przy której będzie konkurencyjny popyt; optymalna wielkość produkcji; wartość firmy itp.

metoda punktu środkowego. Metodę stosuje się, gdy istnieje wiele alternatywnych opcji, które można określić ilościowo. W tym przypadku, jeżeli przez f () oznaczymy ocenę pierwszej alternatywy, a przez f () ocenę drugiej alternatywy, to dalej biegły proszony jest o wyznaczenie trzeciej alternatywy, której ocena f () znajduje się pośrodku między wartościami f () i f () i jest równy f () + f ()/2. Następnie ekspert wskazuje alternatywę, której wartość znajduje się pośrodku między f() a f(), następnie opcję, której wartość f() znajduje się pośrodku między wartościami f( oraz f () Procedura jest zakończona, gdy zostanie określona porównawcza preferencja wszystkich alternatyw biorących udział w badaniu.opcje.

Metoda Churchmana-Akoffa. Metoda ta stosowana jest w ilościowej ocenie porównawczej preferencji opcji alternatywnych i pozwala na korektę szacunków ekspertów. Wszystkie warianty są uszeregowane według preferencji, a każdemu z nich ekspert przypisuje oszacowania ilościowe z reguły w ułamkach jednego, przy czym łączna suma oszacowań wariantów alternatywnych powinna być równa 1 (lub 100%). Następnie ekspert porównuje ocenę pierwszego wariantu alternatywnego f () oraz sumę pozostałych wariantów alternatywnych według preferencji. Jeśli pierwsza opcja jest lepsza niż suma pozostałych opcji alternatywnych, to jest wykluczona z dalszych rozważań. Gdy mniej korzystne niż suma pozostałych alternatyw, porównuje się je z sumą alternatyw z wyjątkiem ostatniej. Jeśli opcja alternatywna na jakimś etapie okaże się lepsza od sumy innych opcji alternatywnych, to zostaje wykluczona z dalszych rozważań. Proces ten trwa, dopóki wszystkie alternatywy nie zostaną kolejno przejrzane, a wyniki mogą być odpowiednio dostosowane.

Jak widać, turystyka obejmuje wiele dziedzin życia człowieka, dlatego też badanie turystyki jest ściśle związane z psychologią człowieka. Najpełniej, naszym zdaniem, potrzebę stosowania metod psychodiagnostyki w turystyce uzasadnił w swojej pracy M.B. Birzhakov (1999, s. 181): „Który kierunek podróży wybierze turysta, który kraj będzie preferowany w tym sezonie, jaki rodzaj turystyki będzie najbardziej popularny? Co opłaca się oferować na rynku turystycznym, gdzie kierować swoje działania w zakresie promocji produktu turystycznego? Jak zbudować wycieczkę, aby jak najlepiej spełnić życzenia klienta? Na wiele z tych pytań nie można odpowiedzieć bez studiowania psychologii człowieka i warunków wstępnych motywowania działań i podejmowania decyzji.

Wyślij swoją dobrą pracę w bazie wiedzy jest prosta. Skorzystaj z poniższego formularza

Studenci, doktoranci, młodzi naukowcy, którzy korzystają z bazy wiedzy w swoich studiach i pracy, będą Wam bardzo wdzięczni.

Wysłany dnia http://www.allbest.ru/

MOSKWA INSTYTUT SPOŁECZNO-GOSPODARCZY

na temat „Metodyka przeprowadzania ekspertyz”

Studenci:

Artiuszenko Julia Wiktorowna

Grupa: M10B-D-O-z

Moskwa 2014

Wprowadzenie

2. Metody ocen ekspertów

Wniosek

Wprowadzenie

W naukach o zarządzaniu szeroko stosowana jest metoda ocen eksperckich. Wynika to ze złożoności wielu problemów, ich pochodzenia od „czynnika ludzkiego”, braku rzetelnych narzędzi eksperymentalnych czy normatywnych.

Nie da się ukryć, że aby podejmować przemyślane decyzje, należy polegać na doświadczeniu, wiedzy i intuicji specjalistów. Po II wojnie światowej w ramach teorii zarządzania (zarządzania) zaczęła rozwijać się samodzielna dyscyplina – ekspertyzy.

Metody ocen eksperckich to metody organizacji pracy z ekspertami specjalistycznymi i przetwarzania opinii eksperckich wyrażonych w postaci ilościowej i/lub jakościowej w celu przygotowania informacji do podejmowania decyzji przez decydentów.

Badaniem możliwości i cech zastosowania ocen eksperckich poświęcono wiele prac. Rozważają formy badania eksperckiego (różnego rodzaju ankiety, wywiady), podejścia do oceny (ranking, normalizacja, różne rodzaje porządkowania itp.), metody przetwarzania wyników badań, wymagania stawiane ekspertom i tworzenie grup eksperckich, zagadnienia ekspertów szkoleniowych, oceny ich kompetencji (przy przetwarzaniu ocen wprowadza się i uwzględnia współczynniki kompetencji ekspertów, rzetelność ich opinii), metody organizacji badań eksperckich. Dobór form i metod przeprowadzania ankiet eksperckich, podejścia do przetwarzania wyników ankiet itp. zależy od konkretnego zadania i warunków badania.

Metody eksperckie stosuje się obecnie w sytuacjach, gdy wyboru, uzasadnienia i oceny skutków decyzji nie można dokonać na podstawie dokładnych kalkulacji. Sytuacje takie często pojawiają się w rozwoju współczesnych problemów zarządzania produkcją społeczną, a zwłaszcza w prognozowaniu i planowaniu długookresowym. W ostatnich latach oceny ekspertów były szeroko stosowane w prognozach społeczno-politycznych i naukowo-technicznych, w planowaniu gospodarki narodowej, branż, stowarzyszeń, w opracowywaniu głównych programów naukowych, technicznych, ekonomicznych i społecznych, w rozwiązywaniu niektórych problemów zarządzania problemy. ranking ekspertów w zarządzaniu

1. Istota, metody i przebieg ekspertyz

1.1 Istota ekspertyz

Możliwość wykorzystania ocen eksperckich, uzasadnienie ich obiektywności zwykle opiera się na fakcie, że nieznana cecha badanego zjawiska jest interpretowana jako zmienna losowa, której odzwierciedleniem prawa dystrybucji jest indywidualna ocena specjalisty-eksperta o wiarygodności i znaczeniu wydarzenia. Przyjmuje się, że rzeczywista wartość badanej cechy mieści się w zakresie szacunków otrzymanych od grupy ekspertów, a uogólniona opinia zbiorowa jest wiarygodna.

Jednak niektóre badania teoretyczne kwestionują to założenie. Na przykład proponuje się podzielić problemy, dla których stosuje się oceny eksperckie, na dwie klasy. Do pierwszej klasy należą problemy dostatecznie dobrze uinformowane, do których można zastosować zasadę „dobrego mierniczego”, uznając eksperta za kustosza dużej ilości informacji, a grupowa opinia ekspertów jest zbliżona do prawdziwy. Druga klasa obejmuje problemy, co do których nie ma wystarczającej wiedzy, aby mieć pewność co do słuszności powyższych założeń; ekspertów nie można uznać za „dobrych mierniczych” i należy ostrożnie podchodzić do przetwarzania wyników badania, gdyż w tym przypadku opinia jednego (jednego) eksperta, który poświęca większą uwagę badaniu mało- badany problem, może okazać się najbardziej istotny i podczas formalnego przetwarzania zostanie utracony. W związku z tym jakościowe przetwarzanie wyników powinno być stosowane głównie do problemów drugiej klasy. Stosowanie metod uśredniających (dotyczących „dobrych mierników”) w tym przypadku może prowadzić do znacznych błędów.

Zadania zbiorowego podejmowania decyzji dotyczące kształtowania celów, doskonalenia metod i form zarządzania można zwykle przypisać pierwszej klasie. Jednak przy opracowywaniu prognoz i planów długoterminowych wskazane jest zidentyfikowanie „rzadkich” opinii i poddanie ich dokładniejszej analizie.

Inny problem, o którym należy pamiętać przy przeprowadzaniu analizy systemowej, jest następujący: nawet w przypadku rozwiązywania problemów związanych z pierwszą klasą nie należy zapominać, że oceny ekspertów niosą ze sobą nie tylko wąsko subiektywne cechy właściwe poszczególnym ekspertom, ale także cechy zbiorowo-subiektywne, które nie znikają podczas przetwarzania wyników ankiety (a przy użyciu procedur Delphi można je nawet wzmocnić). Innymi słowy, oceny ekspertów należy traktować jako swego rodzaju „publiczny punkt widzenia”, zależny od poziomu wiedzy naukowo-technicznej społeczeństwa na temat przedmiotu badań, który może się zmieniać wraz z rozwojem systemu i naszych wyobrażeń na ten temat . Badanie eksperckie nie jest zatem czynnością jednorazową. Ten sposób pozyskiwania informacji o złożonym problemie charakteryzującym się wysokim stopniem niepewności powinien stać się swoistym „mechanizmem” w złożonym systemie, tj. konieczne jest stworzenie stałego systemu pracy z ekspertami.

Należy również zwrócić uwagę na fakt, że wykorzystanie klasycznego podejścia częstościowego do oceny prawdopodobieństwa przy organizowaniu badań eksperckich może być trudne, a czasem wręcz niemożliwe (ze względu na brak możliwości udowodnienia zasadności posłużenia się reprezentatywną próbą). Dlatego obecnie trwają badania nad charakterem prawdopodobieństwa oceny eksperta, w oparciu o teorię zbiorów rozmytych Zadeha, nad ideą oceny eksperta jako stopnia potwierdzenia hipotezy lub jako prawdopodobieństwa osiągnięcia bramka. Jedną z odmian metody eksperckiej jest metoda badania mocnych i słabych stron organizacji, szans i zagrożeń dla jej działalności – metoda analizy SWOT.

Zbieranie informacji eksperckich uzależnione jest od wyboru metody ekspertyz. Zwykle w celu zebrania informacji eksperckich opracowywane są specjalne dokumenty, na przykład kwestionariusze zatwierdzane przez odpowiednich kierowników, a następnie wysyłane do ekspertów.

Przetwarzanie informacji eksperckich odbywa się wybraną metodą, najczęściej z wykorzystaniem technologii komputerowej. Uzyskane w wyniku przetwarzania dane są analizowane i wykorzystywane do rozwiązywania problemów analizy i syntezy układów sterowania.

Ekspertyzy służą do analizy, diagnozy stanu, późniejszej prognozy wariantów rozwojowych:

1) przedmioty, których rozwój całkowicie lub częściowo nie podlega opisowi przedmiotowemu lub formalizacji matematycznej;

2) w przypadku braku wystarczająco reprezentatywnych i wiarygodnych statystyk dotyczących charakterystyki obiektu;

3) w warunkach dużej niepewności otoczenia dla funkcjonowania obiektu, otoczenia rynkowego;

4) w średnio- i długookresowym prognozowaniu nowych rynków, obiektów nowych branż, na które duży wpływ mają odkrycia z zakresu nauk podstawowych (np. przemysł mikrobiologiczny, elektronika kwantowa, inżynieria jądrowa);

5) w przypadkach, gdy czas lub środki przeznaczone na prognozowanie i podejmowanie decyzji nie pozwalają na zbadanie problemu z wykorzystaniem modeli formalnych;

6) nie ma niezbędnych technicznych środków modelowania, np. technologii komputerowej o odpowiednich właściwościach;

7) w sytuacjach ekstremalnych.

Zadania rozwiązywane w procesie ekspertyz systemów sterowania można podzielić na dwie grupy:

1) zadania syntezy nowych systemów sterowania i ich oceny;

2) zadania analizy (pomiaru) istniejących systemów zarządzania według wybranych wskaźników i kryteriów efektywności.

Do zadań pierwszej grupy należą: kształtowanie obrazu tworzonego systemu; prognozowanie technicznych i ekonomicznych wskaźników etapów jego cyklu życia; uzasadnienie głównych kierunków reorganizacji systemu zarządzania społecznego; dobór optymalnych lub zadowalających metod działania i rezultatów z wykorzystaniem stworzonego systemu kontroli itp. Część informacji eksperckich uzyskiwanych w trakcie rozwiązywania tych problemów ma charakter jakościowy i kształtuje się w formie złożonych sądów w formie opisowej. Jednak zadania syntezy rozwiązywane za pomocą ocen eksperckich mogą mieć charakter ilościowy, a ich rozwiązanie będzie wiązało się z uzasadnieniem wielu parametrów (cech) tworzonego systemu. Zadania drugiej grupy obejmują wszystkie zadania oceny istniejących lub tworzonych wariantów układów sterowania za pomocą określonych wskaźników i kryteriów wydajności. Przykładami takich zadań są: określenie cech strukturalnych, funkcjonalnych lub informacyjnych systemu; ocena jego skuteczności w trakcie wykonywania różnych operacji; określenie celowości dalszego działania technicznych środków kontroli i łączności itp.

1.2 Rola ekspertów w zarządzaniu

Ekspertyza to opinia, pomysł, decyzja lub ocena oparta na wdrożeniu cennego doświadczenia specjalisty, głębokiej znajomości przedmiotu badań i technologii analizy jakościowej.

Ekspertyza może być indywidualna lub grupowa. W ekspertyzie grupowej duże znaczenie ma dobór grupy ekspertów oraz metodyka ostatecznego opracowania wyników jej pracy.

Ekspertyza jest dokumentem rejestrującym przebieg badania i jego wyniki. Jednocześnie wnioski i opinie ekspertów mogą mieć zarówno postać kategoryczną („tak”, „nie”), jak i probabilistyczną (w postaci założenia, rankingu, współczynnika preferencji itp.).

Organizując pracę ekspertów, należy przestrzegać następujących zasad:

1. Pomysły, opinie i oceny powinny mieścić się w przygotowanym wcześniej schemacie. Pozwala to uogólniać, porównywać, podkreślać to, co istotne itp. Taki schemat nie powinien krępować myślenia i ograniczać fantazji. Schemat może dopuszczać i zakładać możliwość jego modyfikacji i uzupełniania.

2. Przetwarzanie opinii biegłych musi odbywać się nie tylko w uogólnieniu ilościowym, ale także poprzez analizę jakościową, podkreślając główne, istotne, ważne, istotne, oryginalne, nowe itp. Ekspertyza może być przedmiotem badania drugiego etap.

3. Eksperci muszą być niezależni, tj. uwolniony od wszelkich ograniczeń organizacyjnych czy koncepcyjnych, a także psychologicznych. W tym przypadku ich doświadczenie, wiedza i intuicja są realizowane w najlepszy sposób.

4. Praca grupy ekspertów powinna być celowa. Zrozumienie, dlaczego i po co przeprowadza się badanie, jest ważnym elementem jego realizacji. W wielu przypadkach potrzebne jest specjalne szkolenie ekspertów, które pełni rolę mobilizacyjną i wywiadowczą.

5. Istnieją różne formy organizacji pracy grupy eksperckiej: albo każdy ekspert przeprowadza badanie indywidualnie, następnie wyniki są podsumowywane i systematyzowane, albo eksperci pracują zespołowo, wchodząc ze sobą w interakcję.

6. Możliwa jest równoległa i wieloetapowa praca kilku grup eksperckich. Porównanie kompetencji dostarcza ważnych informacji.

Istnieje wiele metod uzyskiwania ocen ekspertów. W niektórych pracują z każdym ekspertem z osobna, on nawet nie wie, kto jeszcze jest ekspertem, dlatego wyraża swoją opinię niezależnie od autorytetów. W innych eksperci są zbierani w celu przygotowania materiałów dla decydenta, podczas gdy eksperci omawiają ze sobą problem, uczą się od siebie nawzajem, a błędne opinie są odrzucane. W niektórych metodach liczba ekspertów jest stała i taka, że ​​statystyczne metody sprawdzania spójności opinii, a następnie ich uśrednianie pozwalają na podejmowanie świadomych decyzji. W innych liczba egzaminatorów rośnie w trakcie egzaminu, np. przy zastosowaniu metody „kuli śnieżnej”.

Specjalista lub grupa specjalistów pełniących rolę ekspertów bywa utożsamiana z przyrządem pomiarowym, który ma przypadkowe i systematyczne błędy pomiarowe.

Przypadkowe błędy wynikają z subiektywności opinii ekspertów w rozpatrywanym zagadnieniu i mogą odbiegać w tym czy innym kierunku od rzeczywistej wartości. Wpływ takich błędów jest redukowany poprzez uśrednienie wystarczającej liczby szacunków.

Błąd systematyczny tkwi w całym zespole ekspertów i nie można go wyeliminować poprzez opracowanie uzyskanych szacunków. Sugeruje to, że w niektórych przypadkach konieczne jest bardzo ostrożne podejście do wyników ankiety eksperckiej, która czasami może wyrażać ogólnie błędny punkt widzenia, w zależności od poziomu wiedzy i przekonań ekspertów.

1.3 Proces recenzowania

Główne etapy procesu recenzowania obejmują:

Kształtowanie celu i zadań oceny eksperckiej;

Utworzenie grupy zarządzającej i wykonanie decyzji o przeprowadzeniu ekspertyzy;

Wybór metody pozyskiwania informacji eksperckiej i metod jej przetwarzania;

Wybór grupy eksperckiej i utworzenie, jeśli to konieczne, kwestionariuszy ankietowych;

Ankieta ekspertów (ekspertyza);

Przetwarzanie i analiza wyników badania;

Interpretacja uzyskanych wyników;

Kompilacja raportu.

Zadanie przeprowadzenia ekspertyzy wyznacza decydent. Etap kształtowania celu i zadań oceny eksperckiej jest etapem głównym. Od tego zależy wiarygodność uzyskanego wyniku i jego wartość pragmatyczna. Kształtowanie celu i zadań oceny eksperckiej podyktowane jest istotą rozwiązywanego problemu. Należy tu wziąć pod uwagę następujące czynniki: rzetelność i kompletność dostępnych informacji wstępnych, wymaganą formę prezentacji wyniku (jakościową lub ilościową), możliwe obszary wykorzystania otrzymanych informacji, termin ich przekazania, zasoby dostępne dla kadry zarządzającej, możliwość pozyskania specjalistów z innych dziedzin wiedzy i wiele więcej. Zadanie jest sformalizowane w formie dokumentu przewodniego (np. decyzji o przeprowadzeniu ekspertyzy).

W celu przygotowania decyzji i pokierowania wszystkimi dalszymi pracami powołuje się kierownika badania. Określa skład grupy zarządzającej. Grupa kontrolna przekazuje informacje zwrotne ekspertom lub metodę Delphi.

Grupie zarządzającej powierza się nie tylko wszelkie prace organizacyjne i planistyczne, aby zapewnić sprzyjające warunki efektywnej działalności twórczej ekspertów, ale także prace analityczne nad wyborem grupy ekspertów, określanie metod pozyskiwania i przetwarzania informacji, opracowywanie kwestionariuszy - kwestionariuszy , miarodajna interpretacja wyników.

Ten duży i złożony zakres zadań do rozwiązania wymaga włączenia w skład zespołu zarządzającego wysoko wykwalifikowanych specjalistów zarówno w zakresie rozpatrywanego problemu, jak i innych dziedzin - psychologii, matematyki, medycyny, socjologii.

Wybór konkretnych ekspertów odbywa się na podstawie analizy jakości każdego z proponowanych ekspertów. W tym celu stosuje się różne metody:

ocena kandydatów na ekspertów na podstawie analizy statystycznej wyników dotychczasowej działalności ekspertów w zakresie I problemów badania SU;

zbiorcza ocena kandydata na eksperta jako specjalisty w tej dziedzinie

samoocena kandydata na eksperta;

analityczne określenie kompetencji kandydatów na ekspertów.

Wszystkie te metody mają jednak pewne wady, do których należą: brak jednej ogólnie uznanej metodologii oceny; duża złożoność oceny; pojawienie się problemów etycznych przy stosowaniu subiektywnych metod oceny.

W trakcie tej pracy często stosuje się jednocześnie kilka metod: samoocenę i zbiorczą ocenę cech proponowanego eksperta. Takie podejście umożliwia rozsądną selekcję ekspertów o niezbędnych cechach. Należy jednak uznać, że metoda oceny dotychczasowych osiągnięć wydaje się być bardziej obiektywna niż metody samooceny i ocen zbiorowych.

Na ogół utworzenie grupy eksperckiej poprzedzone jest następującymi działaniami:

problem jest zidentyfikowany i sformułowany;

określony jest cel i zakres działalności grupy;

sporządzana jest wstępna lista ekspertów;

przeprowadzana jest analiza i selekcja ekspertów (w oparciu o zastosowanie jednej lub kilku metod ich doboru);

określona jest lista ekspertów; . uzyskano zgodę eksperta na udział w pracach grupy ekspertów;

ustalana jest ostateczna reprezentatywna lista ekspertów. Wszystkich potencjalnych ekspertów, w zależności od ich jakości i kompetencji, można podzielić na siedem klas

Przykład gradacji jakości i kompetencji ekspertów.

Wybór liczby eksperckich klas jakości w tym przypadku wynika z „reguły siedmiu”, która jest tradycyjnie stosowana w rozwiązywaniu problemów zarządzania jakością.

Gradacja ta umożliwia wyselekcjonowanie potrzebnych ekspertów do pracy w grupie eksperckiej. Aby uzyskać wystarczająco obiektywne wyniki badania SU, pożądane jest wybranie spośród ekspertów należących do klas jakości 1-4. Kandydaci na ekspertów o niższych klasach jakości nie powinni przystępować do egzaminów.

Niezależnie od wybranej metody oceny cech kandydatów, eksperci muszą w każdym przypadku spełniać określone wymagania, w tym:

* kompetencje zawodowe oraz doświadczenie praktyczne i badawcze w zakresie zarządzania;

* kreatywność (umiejętność rozwiązywania problemów twórczych); . intuicja naukowa;

Zainteresowanie obiektywnymi wynikami pracy ekspertów;

* niezawisłość osądu;

* Sprawność „dyscyplina” umiejętność przechodzenia z jednego rodzaju aktywności na inny, komunikatywność, niezależność osądów, motywacja działań);

* obiektywizm;

* nonkonformizm;

* wysoka erudycja ogólna.

Przeprowadzenie zbierania opinii polega na ustaleniu: miejsca i czasu zbierania opinii; formy i metody zbierania opinii; liczba rund zbierania opinii; skład i zawartość dokumentacji; tryb wprowadzania wyników ekspertyz do dokumentów.

Bardzo ważne jest określenie formy zbierania ekspertyz. Spośród wszystkich znanych form zbierania opinii można wyróżnić indywidualne, zbiorowe (grupowe) i mieszane. Formy te różnią się więc przede wszystkim udziałem ekspertów w pracy (indywidualnym lub zbiorowym), a każda z nich ma szereg odmian:

* przesłuchanie;

* wywiad;

* dyskusja;

* burza mózgów

* spotkanie;

* gra biznesowa.

Wszystkie mają swoje zalety i wady. W wielu przypadkach każda z tych odmian jest używana w połączeniu z innymi, co często zapewnia większy efekt i obiektywizm. Czy forma mieszana jest stosowana przy zbieraniu opinii ekspertów w przypadku niejasności problemu, w przypadku braku porozumienia? indywidualne opinie lub nieporozumienia ekspertów w dyskusji zbiorowej.

Po przeprowadzeniu ankiety grupy ekspertów wyniki są przetwarzane. Wstępną informacją do przetwarzania są dane liczbowe wyrażające preferencje ekspertów oraz merytoryczne uzasadnienie tych preferencji. Celem przetwarzania jest uzyskanie uogólnionych danych oraz nowych informacji zawartych w formie ukrytej w ekspertyzach. Na podstawie wyników przetwarzania powstaje rozwiązanie problemu.

Obecność zarówno danych liczbowych, jak i znaczących wypowiedzi ekspertów powoduje konieczność zastosowania jakościowych i ilościowych metod przetwarzania wyników grupowej oceny ekspertów. Udział tych metod zależy zasadniczo od klasy problemów rozwiązywanych przez ocenę ekspercką.

Cały zestaw problemów można podzielić na dwie klasy. Pierwsza klasa obejmuje problemy, dla których rozwiązania istnieje wystarczający poziom wiedzy i doświadczenia, czyli istnieje niezbędny potencjał informacyjny. Przy rozwiązywaniu problemów należących do tej klasy eksperci są uważani za dobrych przeciętnych. Termin „średnio dobry” odnosi się do możliwości uzyskania wyników pomiarów zbliżonych do prawdziwych. Dla wielu ekspertów ich osądy skupiają się wokół prawdziwej wartości. Wynika z tego, że do przetwarzania wyników grupowej oceny eksperckiej problemów pierwszej klasy można z powodzeniem stosować metody statystyki matematycznej oparte na uśrednianiu danych.

Druga klasa obejmuje problemy, dla rozwiązania których nie zgromadzono jeszcze wystarczającego potencjału informacyjnego. W związku z tym opinie ekspertów mogą się znacznie różnić od siebie. Co więcej, ocena jednego eksperta, która bardzo różni się od pozostałych opinii, może okazać się prawdziwa. Oczywiście stosowanie metod uśredniania wyników grupowej oceny eksperckiej w rozwiązywaniu problemów drugiej klasy może prowadzić do dużych błędów. Dlatego przetwarzanie wyników ankiety ekspertów w tym przypadku powinno opierać się na metodach, które nie wykorzystują zasad uśredniania, ale metody analizy jakościowej.

Biorąc pod uwagę, że problemy pierwszej klasy są najczęściej spotykane w praktyce peer review, w niniejszym rozdziale skupiono się na metodach przetwarzania wyników recenzji dla tej klasy problemów.

W zależności od celów oceny eksperckiej i wybranej metody pomiaru, podczas przetwarzania wyników ankiety pojawiają się następujące główne zadania:

1) budowanie uogólnionej oceny obiektów na podstawie indywidualnych ocen biegłych;

2) budowanie uogólnionej oceny na podstawie porównania obiektów w parach przez każdego eksperta;

3) określenie względnych mas przedmiotów;

4) ustalanie zgodności opinii biegłych;

5) określenie zależności między rankingami;

6) ocenę wiarygodności wyników przetwarzania.

Zadanie konstruowania uogólnionej oceny obiektów na podstawie indywidualnych ocen ekspertów pojawia się w grupowej ocenie ekspertów. Rozwiązanie tego problemu zależy od metody pomiaru stosowanej przez ekspertów.

Przy rozwiązywaniu wielu problemów nie wystarczy uporządkować obiektów według jednego wskaźnika lub zestawu wskaźników. Pożądane jest posiadanie wartości liczbowych dla każdego obiektu, wskazujących na jego względne znaczenie w porównaniu z innymi obiektami. Innymi słowy, dla wielu problemów niezbędne są oszacowania obiektów, które nie tylko realizują ich uporządkowanie, ale także pozwalają określić stopień preferencji jednego obiektu względem drugiego. Aby rozwiązać ten problem, możesz bezpośrednio zastosować metodę bezpośredniej oceny. Jednak pod pewnymi warunkami ten sam problem można rozwiązać, przetwarzając szacunki ekspertów.

Określenie zgodności opinii biegłych odbywa się poprzez obliczenie miary liczbowej charakteryzującej stopień podobieństwa poszczególnych opinii. Analiza wartości miary zgodności przyczynia się do wypracowania prawidłowej oceny ogólnego poziomu wiedzy na temat rozwiązywanego problemu oraz identyfikacji grupowania opinii ekspertów. Jakościowa analiza przyczyn grupowania opinii pozwala ustalić istnienie różnych poglądów i koncepcji, zidentyfikować szkoły naukowe, określić charakter działalności zawodowej itp. Wszystkie te czynniki pozwalają na głębsze zrozumienie wyników badanie ekspertów.

Przetwarzając wyniki ocen eksperckich, można określić zależności między rankingami różnych ekspertów, a tym samym ustalić jedność i różnicę w opiniach ekspertów. Ważną rolę odgrywa również ustalenie relacji między rankingami zbudowanymi na różnych wskaźnikach porównania obiektów. Identyfikacja takich zależności pozwala na ujawnienie powiązanych wskaźników porównawczych i być może pogrupowanie ich według stopnia powiązania. Znaczenie zadania określenia zależności dla praktyki jest oczywiste. Na przykład, jeśli wskaźnikami porównania są różne cele, a przedmiotami są środki do osiągnięcia celów, to ustalenie relacji między rankingami porządkującymi środki pod względem osiągania celów pozwala rozsądnie odpowiedzieć na pytanie, w jakim stopniu którym osiągnięcie jednego celu tymi środkami przyczynia się do osiągnięcia innych celów.

Szacunki uzyskane na podstawie przetwarzania są obiektami losowymi, dlatego jednym z ważnych zadań procedury przetwarzania jest określenie ich wiarygodności. Należy zwrócić odpowiednią uwagę na rozwiązanie tego problemu.

Przetwarzanie wyników badania jest procesem czasochłonnym. Wykonywanie ręcznych obliczeń szacunków i wskaźników ich wiarygodności wiąże się z dużymi kosztami pracy, nawet w przypadku rozwiązywania prostych problemów porządkowych. W związku z tym wskazane jest korzystanie z technologii komputerowej, a zwłaszcza komputerów. Wykorzystanie komputerów rodzi problem tworzenia programów komputerowych realizujących algorytmy przetwarzania wyników oceny eksperckiej.

2. Metody ocen ekspertów

Analiza SWOT

Szczególnym rodzajem metody eksperckiej, cieszącej się dużą popularnością, jest autorska metoda analizy SWOT. Swoją nazwę zawdzięcza pierwszym literom czterech angielskich słów, które w rosyjskim tłumaczeniu oznaczają: mocne i słabe strony, szanse i zagrożenia.

Metodologia ta może być stosowana jako uniwersalna. Ma szczególne znaczenie w badaniu procesów zachodzących w systemie społeczno-gospodarczym, który charakteryzuje się dynamizmem, sterowalnością, zależnością wewnętrznych i zewnętrznych czynników funkcjonowania, cyklicznością rozwoju.

Zgodnie z metodologią tej analizy rozkład czynników charakteryzujących przedmiot badań dokonywany jest według tych czterech składowych, z uwzględnieniem tego, czy czynnik ten należy do klasy czynników zewnętrznych, czy wewnętrznych.

W rezultacie pojawia się obraz korelacji mocnych i słabych stron, szans i zagrożeń, który podpowiada, jak należy zmienić sytuację, aby odnieść sukces rozwojowy.

Alokacja czynników do tych ćwiartek lub sektorów macierzy nie zawsze jest łatwa. Zdarza się, że ten sam czynnik jednocześnie charakteryzuje zarówno mocne, jak i słabe strony podmiotu. Ponadto czynniki działają sytuacyjnie. W jednej sytuacji wyglądają na zaletę, w innej na wadę. Czasami ich znaczenie jest nieproporcjonalne. Okoliczności te mogą i powinny być brane pod uwagę.

Ten sam czynnik można umieścić w kilku ćwiartkach, jeśli trudno jednoznacznie określić jego miejsce. Nie wpłynie to negatywnie na naukę. W końcu istotą metody jest identyfikacja czynników, ułożenie ich w taki sposób, aby ich koncentracja sugerowała sposoby rozwiązania problemu, aby stały się możliwe do opanowania.

W każdym kwadrancie czynniki nie muszą mieć jednakowej wagi, ale muszą być przedstawione w całości.

Wypełniona matryca pokazuje rzeczywisty stan rzeczy, stan problemu i charakter sytuacji. Jest to pierwszy etap analizy SWOT.

Drugim krokiem jest przeprowadzenie analizy porównawczej mocnych stron i szans, która powinna pokazać, jak wykorzystać mocne strony. Jednocześnie konieczna jest analiza słabych stron w stosunku do istniejących zagrożeń. Taka analiza pokaże, jak prawdopodobne jest wystąpienie kryzysu. W końcu niebezpieczeństwo wzrasta, gdy powstaje w warunkach słabości, gdy słabe strony nie pozwalają przeszkodzić niebezpieczeństwu.

Oczywiście bardzo przydatna jest analiza porównawcza mocnych stron i istniejących zagrożeń. W końcu mocne strony mogą być źle wykorzystane w zapobieganiu kryzysowi, mocne strony trzeba postrzegać nie tylko w relacji do sprzyjających okazji, ale także w relacji do zagrożeń.

W badaniu systemów sterowania przedmiotem tej metody mogą być różne problemy rozwoju sterowania. Na przykład wydajność, personel, styl, podział funkcji, struktura systemu zarządzania, mechanizm zarządzania, motywacja, profesjonalizm, wsparcie informacyjne, komunikacja i zachowania organizacyjne itp.

Wykorzystanie specjalnie przeszkolonych i wyselekcjonowanych ekspertów lub konsultantów wewnętrznych zwiększa skuteczność tej metody.

metoda SMART

Istnieje wiele modyfikacji metody analizy SWOT. Najciekawszy z nich to sposób opracowywania i analizy celów.

Wiadomo, że cel zarządzania jest czynnikiem decydującym o sukcesie, efektywności, strategii i rozwoju. Bez celu nie można opracować planu ani programu. Ale dotyczy to nie tylko celu zarządzania, ale także celu badań. W końcu niełatwo też poprawnie sformułować ten cel. Program badań, zastosowanie metod badawczych zależą od celu.

Cel powinien być opracowany według kryteriów osiągalności, specyficzności, wartościowalności (mierzalności), z uwzględnieniem Miejsca i Czasu. Kryteria te odzwierciedlają angielskie słowa - Specific, Measurable, Achievable, Relevant, Timed, w skróconej nazwie jest to SMART. Tak nazywa się ta metoda.

Metoda zakłada spójną ocenę celów według zestawu kryteriów ułożonych w macierzową formę. Oto zestaw porównywalnych czynników, które odzwierciedlają charakterystykę celu: trudny do osiągnięcia - łatwy do osiągnięcia, wysokie koszty - niskie koszty, ma wsparcie personelu - nie ma wsparcia personelu, ma priorytety - nie ma priorytetów, zajmuje dużo czasu - zajmuje mało czasu, ma szeroki wpływ - ma ograniczony wpływ, zorientowany na wysoką technologię - zorientowany na niską (konwencjonalną) technologię, powiązany z nową organizacją zarządzającą - niezwiązany z nową organizacją zarządzającą.

Kolejnym krokiem jest utworzenie macierzy definicji problemu. Aby osiągnąć cel, należy rozwiązać szereg problemów. Ale w tym celu należy je najpierw zdefiniować.

Rozkład problemów odbywa się według następujących kryteriów: sytuacja istniejąca, sytuacja pożądana, możliwość osiągnięcia celu. Kryteria te charakteryzują poziomy macierzy. W pionie rozpatrywane są następujące kryteria: definicja problemu, ocena problemu (parametry ilościowe), organizacja rozwiązania (kto, gdzie, kiedy), koszty rozwiązania problemu.

Matryca ta pozwala zaplanować badania.

Metoda rankingu i oceny.

Zgodnie z metodą rang, ekspert dokonuje rankingu (uporządkowania) badanych obiektów systemu organizacyjnego w zależności od ich względnej ważności (preferencji), gdy najbardziej preferowanemu obiektowi przypisana jest ranga 1, a najmniej preferowanemu ostatnia ranga, równa wartości bezwzględnej liczbie zamówionych obiektów. Bardziej precyzyjne uporządkowanie występuje przy mniejszej liczbie przedmiotów badań i odwrotnie.

Przy preferowanym (rankingowym) uszeregowaniu przedmiotów ekspertyzy przez jednego eksperta suma rang powinna być równa sumie liczb całego szeregu naturalnego liczby obiektów H, począwszy od jednego: H= (H+ 1): 2.

Otrzymane rangi rankingów obiektów według danych ankietowych są określane jako suma rang dla każdego obiektu. W tym przypadku w rezultacie pierwszą rangę przypisuje się obiektowi, który uzyskał najmniejszą sumę ocen, a ostatnią – temu, który ma największą sumę rang, tj. najmniej istotny obiekt (przykład ustalenia wynikowej rangi trzech obiektów przez siedmiu ekspertów)

Im więcej zaangażowanych ekspertów, tym wyższy obiektywizm wyniku oceny. Jednak zaangażowanie dużej liczby wykwalifikowanych ekspertów oraz duża pracochłonność pracy ekspertów zwiększa koszt ocen jakościowych. Dlatego w celu zmniejszenia złożoności pracy ekspertów stosuje się metodę rang, która zapewnia jedynie ranking wskaźników, a nie ich liczbowe określenie przez ekspertów.

Niemniej jednak metoda ta jest stosowana w praktyce badania SU, pomimo jej prostoty i stosunkowo niskiej pracochłonności. Wynika to z dużej liczby uszeregowanych obiektów badawczych.

Metoda oceny bezpośredniej

Jest to uporządkowanie badanych obiektów (np. przy doborze parametrów do kompilacji modelu parametrycznego) w zależności od ich ważności poprzez przypisanie każdemu z nich punktów. W tym przypadku obiektowi najważniejszemu przypisuje się najwyższą liczbę punktów w przyjętej skali (wydaje się ocenę). Najczęstszy zakres skali ocen to od 0 do 1; od 0 do 5; od 0 do 10; Od 0 do 100. W najprostszym przypadku wynik może wynosić 0 lub 1.

Czasami ocena dokonywana jest ustnie. Na przykład „bardzo ważne”, „ważne”, „nieważne” itp., które dla większej wygody w przetwarzaniu wyników ankiety są czasami tłumaczone na skalę punktową (odpowiednio 3, 2, 1).

Ocenę bezpośrednią należy stosować przy pełnym zaufaniu do profesjonalnej świadomości ekspertów co do właściwości badanych obiektów. Na podstawie wyników ocen określa się rangę i wagę (ważność) każdego badanego obiektu.

Wniosek

Obecnie coraz częściej stosuje się różne metody ocen eksperckich. Są niezastąpione w rozwiązywaniu skomplikowanych problemów oceny i doboru obiektów technicznych, w tym także do celów specjalnych, w analizie i przewidywaniu sytuacji o dużej liczbie istotnych czynników – wszędzie tam, gdzie konieczne jest zaangażowanie wiedzy, intuicji i doświadczenia wielu wysoko wykwalifikowanych ekspertów .

Metody eksperckie są stale rozwijane i ulepszane. Główne kierunki tego rozwoju wyznacza szereg czynników, wśród których można wskazać chęć poszerzenia zakresu, zwiększenia stopnia wykorzystania metod matematycznych i komputerów elektronicznych, a także znalezienia sposobów na wyeliminowanie pojawiających się niedociągnięć.

Pomimo postępu, jaki dokonał się w ostatnich latach w rozwoju i praktycznym wykorzystaniu metody ocen rzeczoznawczych, istnieje szereg problemów i zadań, które wymagają dalszych badań metodologicznych i praktycznej weryfikacji. Konieczne jest doskonalenie systemu doboru ekspertów, zwiększenie wiarygodności cech opinii grupowej, opracowanie metod sprawdzania zasadności ocen oraz badanie ukrytych przyczyn obniżających wiarygodność ocen ekspertów.

Podstawą eksperckiej oceny właściwości i cech biznesowych kandydata są parametry ilościowe i kryteria oceny uzyskane w wyniku rozmowy kwalifikacyjnej. Choć są tu elementy umowności i subiektywizmu, to jednak przy dobrym rozwinięciu skali ocen i uważnym (profesjonalnym) podejściu ekspertów możliwa jest ocena przedmiotów z dużym stopniem rzetelności.

Spis wykorzystanej literatury

1. Grigorov V. M. Eksperci w systemie publicznego zarządzania produkcją // M .: Myśl, 1976

2.Demidova A.V. Badanie systemów sterowania. - M.: Prior-izdat, 2005. - 96 s.

3. Ignatiewa A.V. Badanie systemów sterowania. - M.: UNITI-DANA, 2003. - 157 s.

4. Kafidow V.V. Badanie systemów sterowania. - M.: Projekt akademicki, 2005. - 160 s.

5. Malin A.S. Badanie systemów sterowania. - M.: GU VSHE, 2005. - 399 s.

6. Reylyan Ya. R. Podstawa podejmowania decyzji zarządczych // M.: Finanse i statystyki, 1989

7. Remennikow V.B. Opracowanie rozwiązania do zarządzania. proc. dodatek. -- M.: UNITI-DANA, 2000.

8. Smolkin rano Zarządzanie: podstawy organizacji. -- M.: INFRA-M, 1999.

Hostowane na Allbest.ru

Podobne dokumenty

Rozwiązywanie problemów, argumentowanie i tworzenie ilościowych ocen wyników metodami formalnymi. Elementy metody ekspertyz. Metoda kolektywnego generowania pomysłów („burza mózgów”). Metoda Delphi, cechy metody grup fokusowych, analiza SWOT.

prezentacja, dodano 30.03.2014


Istota i treść, główne etapy analizy eksperckiej, zakres i cechy jej praktycznego zastosowania, interpretacja wyników. Stopień wiarygodności tego badania. Zastosowanie metody ocen eksperckich do budowy drzewa celów.

praca semestralna, dodano 25.02.2012


Koncepcja i cechy zastosowania technologii eksperckich jako integralnej części procesu przygotowania i podejmowania ważnych decyzji zarządczych. Badanie głównych etapów ankiety eksperckiej. Wybór ekspertów. Metoda Delphi, WZORZEC, burza mózgów.

streszczenie, dodano 10.09.2016


Wykorzystanie ocen ekspertów. Zastosowanie różnych metod rozwiązania jednego problemu. Ranking, porównania w parach i wielokrotne, ocena bezpośrednia, metoda Thurstone'a to najczęściej stosowane eksperckie procedury pomiarowe. Metody typu Delphi.

test, dodano 03.09.2011


Istota i rodzaje ekspertyz, cel ich stosowania. Główne etapy badań eksperckich. Charakterystyka metod pracy zespołowej grupy eksperckiej oraz metod uzyskiwania opinii indywidualnej. Przetwarzanie wyników ankiety specjalistów.

streszczenie, dodano 04.03.2012


Charakterystyka procedur eksperckich: cechy metod i modeli heurystycznych, metody ocen indywidualnych, zbiorowe oceny eksperckie. Specyfika badania, treść i przetwarzanie wyników. Ekspercka ocena poziomu ryzyka kraju.

streszczenie, dodano 05.10.2010


Metody pozyskiwania ekspertyz. Problem doboru ekspertów. Dokumenty normatywne regulujące działalność komisji rzeczoznawców. Podejmowanie decyzji w warunkach ryzyka i niepewności. Zadania podejmowania decyzji w warunkach niepewności.

praca kontrolna, dodano 15.07.2010


Istota i rodzaje decyzji w procesie zarządzania produkcją. Główne wymagania dotyczące jakości decyzji zarządczych. Metody optymalizacji decyzji zarządczych. Metody optymalizacji decyzji metodami ocen eksperckich.

praca semestralna, dodano 05.08.2002


Badanie metod prognozowania rozwoju: ekstrapolacji, bilansu, metody normatywnej i programowo-celowej. Badanie organizacji pracy eksperta, tworzenie kwestionariuszy i tabel ocen ekspertów. Analiza matematycznych i statystycznych modeli prognostycznych.

test, dodano 19.06.2011


Metodyka i etapy klasyfikacji systemów według różnych kryteriów. Opracowanie kwestionariuszy do uzyskania ocen ekspertów, ich obowiązkowych szczegółów i głównych pytań. Istota i budowa drzewa celów, zasady jego uszczegóławiania. Metodologia oceny złożonych systemów.