Astăzi este într-adevăr prea ușor: poți merge până la un computer și, cu puține sau deloc cunoștințe despre ceea ce faci, poți crea inteligență și prostii cu o viteză cu adevărat uluitoare. (J. Box)

Evaluări ale experților

Evaluările experților apar adesea în practică, de exemplu, atunci când degustați produse alimentare. În general, acestea sunt tipice pentru anchetele sociologice, de exemplu, un manager de control al calității efectuează un sondaj asupra clienților dintr-un supermarket. Folosind metoda experta O scară de comandă este adesea folosită pentru a evalua calitatea. Problema comparației este rezolvată după principiul „mai bine este mai rău”, „mai mult este mai puțin”. Mai mult informatii detaliate de câte ori mai bine sau mai rău nu este adesea necesar.

Comparație în perechi (obiectele sunt comparate între ele în perechi). Atunci când construiesc o scară de ordine sau așa-numitele serii clasate, experții folosesc metoda comparație în perechi. În tab. Figura 1 prezintă un exemplu de clasare a șase obiecte folosind compararea perechilor. Acesta este rezultatul muncii unui expert care a evaluat obiectele într-un anumit mod. Preferința pentru un obiect față de altul este indicată cu 1, situația opusă este indicată cu 0.

Serii clasate(scara de ordine) pentru obiecte a căror evaluare comparativă este dată în tabel. 1 va arăta astfel:

Î4

Dacă folosiți mai mulți experți, puteți obține un rezultat mai precis.

Puteți utiliza criterii mai avansate, de exemplu, avantajul este determinat de un scor de 1, calitatea mai proastă este determinată de un scor de -1, iar calitatea echivalentă este determinată de un scor de 0. Mecanismul de compilare a unei serii clasificate rămâne la fel.

Psihologii au dovedit că compararea în perechi stă la baza oricărei alegeri (adică alegi produsele comparându-le în perechi), totuși, scala de ordine este adesea întocmită în avans (nu o serie clasificată) și punctele de referință sunt fixate în ea, care se numesc puncte. .

Așa a apărut scara de douăsprezece puncte a intensității cutremurului MSK - 64, scara mineralogică Mohs, scara de cinci puncte pentru evaluarea cunoștințelor, punctele în patinaj artistic etc. Tabelul 2 prezintă scala de duritate minerală Mohs ca exemplu.

Numărul obiectului							Concluzie

Tabelul 1. Clasificarea a șase obiecte prin comparație pe perechi

Tabelul 2. Scara Mohs

Fiecare mineral ulterior lasă o zgârietură pe cel precedent, adică. este mai solid. Rezultatele măsurătorilor obţinute prin compararea perechilor pot fi rafinate prin metoda aproximării succesive.

Influența compoziției experților asupra rezultatelor examinării

Atunci când se formează un grup de experți, este recomandabil să se efectueze teste, o evaluare reciprocă a experților și să se verifice coerența opiniilor.

Testare constă din experți care rezolvă probleme cu rezultate cunoscute organizatorilor testării, dar necunoscute experților și testează, folosind criteriul Fisher, ipoteza că evaluările diferiților experți aparțin aceleiași populații generale de evaluări.

Autoevaluarea constă în faptul că fiecare expert răspunde la întrebări într-un chestionar special conceput într-un timp limitat. Acest test se efectuează pe computer și apoi se punctează. Experții se pot evalua reciproc, dar acest lucru necesită un mediu de încredere și experiență de lucru împreună. Consecvența opiniei experților poate fi evaluată prin valoarea coeficientului de concordanță:

Unde S- suma abaterilor pătrate ale tuturor estimărilor de rang pentru fiecare obiect de examinare de la valoarea medie;
n- numărul de experți;
m- numărul de obiecte de examinare.

Coeficientul de concordanță variază în intervalul 0<W<1, причем 0 - полная несогласованность, 1 - полное единодушие.

Exemplu

Este necesar să se determine gradul de consistență în opiniile a cinci experți, ale căror rezultate au clasat șapte obiecte sunt prezentate în tabelul 3. Pentru a determina gradul de consistență, se utilizează o măsură specială - coeficientul de concordanță Kendall (din latină). . concordare- aliniază, organizează).

Numărul obiectului de examinare	Evaluarea expertului					Suma rangurilor	Abatere de la medie	Abaterea pătrată

Tabelul 3. Date pentru evaluarea coerenței opiniilor a cinci experți

Estimăm media aritmetică a numărului de ranguri:

Q mediu = (21 + 15 + 9 + 28 + 7 + 25 + 35)/7 = 20.

Apoi estimăm suma abaterilor pătrate de la medie: S = 630. Determinăm valoarea coeficientului de concordanță:

W = 12 * 630 / 25 * (343 - 7) = 0,9.

Este mult sau puțin? Dacă efectuăm calculele corespunzătoare în STATISTICA, atunci puteți obține următorul tabel de rezultate:

Orez. 1. Rezultatele analizei în STATISTICA

Din acest tabel rezultă că diferite opinii ale experților din acest exemplu sunt nesemnificative: p<0.00014.

Influența asupra rezultatelor examinării compoziției cantitative a experților. Pe măsură ce numărul de experți din grup crește, acuratețea măsurătorilor crește, ceea ce este tipic pentru măsurători repetate.

Numărul de experți n, asigurând o acuratețe de măsurare dată, poate fi stabilită prin cunoașterea legii de distribuire a opiniilor experților și a erorii standard maxime admisibile de estimare S x. Apoi, folosind o expresie binecunoscută, puteți determina numărul minim de experți n, oferind precizia de măsurare specificată:

unde este abaterea standard, care este determinată de formula:

unde este media aritmetică a evaluărilor experților;
- numărul de evaluări oferite de experți.

Există, de asemenea, o distincție între opiniile individuale și colective ale experților; acestea din urmă sunt considerate mai exacte și, cel mai important, mai consecvente. Rolul experților poate fi persoane cu pregătire specială, potențiali consumatori și producători de produse.

În majoritatea tipurilor de cercetare luate în considerare, subiectul de studiu este punctul de vedere al consumatorilor (privați sau corporativi). Cu toate acestea, există și studii care sunt efectuate ținând cont de toți factorii care influențează o anumită piață - concurență, afiliere, tendințe generale, modificări ale legislației, proiectele curente și planificate ale jucătorilor, reglementarea industriei, riscuri etc. Și nici Acestea studiile nu sunt incluse în publicații sau statistici din industrie. Aici, atât cercetarea documentară, cât și sondajele consumatorilor pot fi folosite ca element, dar principalul instrument în acest caz îl reprezintă interviurile cu experți cu actori de pe piață, analiști independenți, lideri de asociații, jurnaliști, oameni implicați în inteligența competitivă etc.

Metoda de evaluare a expertilor - este un tip de cercetare în care respondenţii sunt experţi - specialişti într-un anumit domeniu de activitate.

Scopul principal al metodei de evaluare a expertilor - identificarea aspectelor complexe ale problemei studiate, sporind fiabilitatea informațiilor și a concluziilor.

Caracteristica distinctivă a metodei este că presupune participarea competentă a experților (expertiza) la analiza și soluționarea problemelor de cercetare.

Expertiză - procedura de obtinere a informatiilor de la experti. Evaluările experților sunt judecăți ale experților cu privire la diferite sfere ale activității umane, implicând o procedură de comparare a obiectelor și proprietăților acestora în funcție de criterii selectate.

Specificul anchetei de experți este după cum urmează.

Nu este nevoie să folosiți întrebări indirecte sau de control în chestionar.

Programul de sondaj al experților nu este detaliat și este de natură conceptuală.

În chestionar, este de preferat să folosiți întrebări deschise cu libertate deplină de a alege forma răspunsului.

Cerințe de bază de reglementare pentru efectuarea evaluărilor experților :

selectarea atentă a experților;

evaluarea fiabilității informațiilor furnizate de experți;

crearea condițiilor pentru utilizarea productivă a experților în timpul cercetării;

luarea în considerare a factorilor care influențează judecățile experților;

păstrarea informațiilor de specialitate fără distorsiuni în toate etapele studiului.

Calitatea și fiabilitatea evaluărilor experților sunt reduse de selecția dezordonată a experților.

Criterii de selectare a experților sunt:

gradul de competență, ai cărui indicatori pot fi prezența diplomei academice a unui expert, titlul universitar, experiența de muncă în specialitate, funcția oficială, numărul de lucrări publicate etc.;

capacitatea de a naviga cele mai recente realizări ale științei moderne în acele domenii care fac obiectul expertizei;

o combinație de specializare îngustă și perspectiva generală a unui expert;

capacitatea de a analiza și sintetiza problemele studiate,

capacitatea de a procesa și asimila informații calitativ noi;

calități morale înalte;

o combinație de acceptabile psihologic unul pentru celălalt într-un grup de experți de diferite vârste, diferite școli științifice etc.

Grupul de experți nu poate fi mare. Metode de selecție experți să evidențiem obiectiv - utilizarea tehnicilor speciale de selecţie - şi subiectiv - implicarea potențialilor experți înșiși în procedura de selecție.

Abordarea obiectivă are două opțiuni :

a) metoda documentară - selecția experților pe baza datelor socio-demografice.

b) metoda experimentală - selecția pe baza testării candidaților.

Abordarea subiectivă are, de asemenea, mai multe variante ;

a) certificare - selecția experților se realizează prin votul deschis sau secret al potențialilor membri ai viitorului grup de experți (se poate efectua în mai multe runde);

b) metoda de evaluare reciprocă în puncte sau clasament;

c) metoda de autoevaluare a competentei.

Un sondaj de specialitate poate lua diferite forme :

sondaj individual unic (chestionar sau interviu);

sondaj colectiv unic (întâlniri, brainstorming);

sondaj individual în mai multe runde (tehnica Delphic);

sondaj colectiv în mai multe runde (discuție, întâlnire, selecție în mai multe etape).

O altă formă de anchetă de experți este discuție tradițională - o metodă de conversație cu un grup restrâns de experți pe o temă de cercetare. Scopul discuției este de a dezvolta o opinie colectivă de grup. O condiție prealabilă pentru o discuție de grup de succes este ca subiectul discuției să fie clar menționat și ca marea majoritate a participanților să fie familiarizați cu acesta.

În mare măsură, succesul discuției depinde de cultura, pregătirea, conduita și prezentarea opiniei colective a experților.

Metoda „Evaluare Referită”. - repetarea mai multor cicluri de discuții cu identificarea esenței dezacordurilor care apar și dezvoltarea treptată a unei opinii comune a tuturor sau majorității participanților la examen, în timp ce cei care nu sunt de acord își păstrează dreptul la o opinie privată.

Metode de examinare în munca colectivă a participanților săi, aceștia au multe avantaje evidente, dar, în același timp, au și o serie de dezavantaje. Principalul dezavantaj este legat de influența experților unul asupra celuilalt. Acest dezavantaj este depășit prin utilizarea unui sondaj individual în mai multe runde. Versiunea de corespondență a metodei „evaluare recomandată” a dobândit numele metoda Delphi, sau tehnica delfică (de la numele orașului antic grecesc, devenit celebru ca centru al predicțiilor oracolului).

Tehnica Delphi garantează anonimatul respondenților: experții nu se întâlnesc între ei, completează chestionare anonime sau se conectează direct pentru a lucra cu un computer.

După prima rundă, experții se familiarizează cu caracteristicile finale ale poziției grupului în ansamblu. În turul doi au ocazia fie să-și apropie opinia de poziția majorității, fie să studieze motivul abaterii. În a treia rundă, noi informații vă deschid oportunitatea de a vă reconsidera punctul de vedere.

Variațiile simplificate ale tehnicii Delphi („mini Delphi”) permit

colectați evaluări ale experților pentru 2-3 runde în câteva ore sau zile.

Dezavantajele metodei Delphi includ :

complexitatea pregătirii, implementării și procesării rezultatelor,

investiție relativ mare de timp și bani.

În ciuda deficiențelor sale, tehnica Delphic a devenit larg răspândită; În ceea ce privește amploarea aplicării în multe țări, este printre primele cinci cele mai populare metode de prognoză socială.

Un sondaj de experți în forma sa modernă se bazează adesea pe utilizarea în comun a diferitelor metode, forme și proceduri. Astfel, pe baza utilizării tehnicii Delphic, a fost construit unul dintre sistemele americane de prognoză, „Pattern”, care vă permite să creați un sistem de modele de informații sub forma unui arbore de obiective. Lucrul la crearea unui sistem începe cu crearea unui scenariu, adică o descriere a stării și direcției de dezvoltare a obiectului studiat. În etapa următoare, se construiește un arbore de obiective; pentru fiecare scop sunt dezvoltate subobiective necesare și suficiente, care sunt o condiție pentru atingerea scopului general. La a treia etapă se determină coeficienții importanței relative a criteriilor și obiectivelor la toate nivelurile. În continuare, sunt determinate tipurile specifice de lucrări necesare, resursele și termenele limită pentru implementarea acestora. Cel mai lung lanț este timpul necesar pentru a finaliza întregul pachet de lucru.

Ministerul Educației și Științei din Rusia

Universitatea Tehnică de Stat Mari

Departamentul Control și Producție Echipamente Radio

pe tema: Metode de evaluare a experților

Completat: art. gr. BZD-41

Kopylova I.V.

Verificat de: Prof. departament Cipru

Skulkin N.M.

Yoshkar-Ola 2012

Introducere

Evaluarea expertului

Etapele evaluării expertului

Tipuri de evaluări ale experților

Prelucrarea rezultatelor sondajului de experți

Concluzie

Bibliografie

Introducere

Exemple de metode de evaluare a experților. Cum se va schimba mediul economic în timp? Ce se va întâmpla cu mediul natural peste zece ani? Cum se va schimba situația mediului? Va fi asigurată siguranța ecologică a producției industriale sau va începe să se răspândească un deșert creat de om? Este suficient să ne gândim la aceste formulări de întrebări naturale, să analizăm modul în care acum zece sau chiar mai mult ne-am imaginat astăzi pentru a înțelege că pur și simplu nu pot exista previziuni sută la sută fiabile. În loc de declarații cu numere specifice, vă puteți aștepta doar la estimări calitative. Cu toate acestea, noi inginerii trebuie să luăm decizii, de exemplu, cu privire la proiecte și investiții de mediu și de altă natură, ale căror consecințe se vor simți pe viitor zece, douăzeci etc. ani. Ce ar trebuii să fac? Rămâne să ne întoarcem la metodele de evaluare a experților. Care sunt aceste metode?

1. Evaluarea expertului

Evaluarea expertului- procedura de obținere a unei evaluări a problemei pe baza opiniei specialiștilor (experților) în scopul luării ulterioare a deciziilor (alegerii).

Experți(din latinescul „expertus” - experimentat) - sunt persoane care au cunoștințe și sunt capabile să-și exprime o opinie motivată asupra fenomenului studiat.

Metode de evaluare a experților - sunt metode de organizare a muncii cu specialiști experți și de prelucrare a opiniilor experților.

Esența metodelor de evaluare a experților este că prognoza se bazează pe opinia unui specialist sau a unei echipe de specialiști, bazată pe experiența profesională, științifică și practică. Există evaluări individuale și colective de experți.

Judecățile experților sunt adesea folosite în selecție, de exemplu:

o versiune a unui dispozitiv tehnic pentru lansarea într-o serie de mai multe mostre,

un grup de astronauți din mulți solicitanți,

un set de proiecte de cercetare pentru finanțare dintr-o masă de aplicații,

beneficiari de împrumuturi de mediu dintre mulți care doresc,

la alegerea proiectelor de investiţii pentru implementare dintre cele prezentate etc.

2. Etapele evaluării expertizei

1. Stabilirea scopului studiului.

Evaluarea expertului presupune crearea unei anumite minți care are abilități mai mari în comparație cu capacitățile unei persoane individuale. Sursa capacităților multimintale este căutarea unor asociații slabe și presupuneri bazate pe experiența unui specialist individual. Abordarea expertă vă permite să rezolvați probleme care nu pot fi rezolvate într-un mod analitic convențional, inclusiv:

· Selectarea celei mai bune variante de soluție dintre cele disponibile.

· Prognoza desfasurarii procesului.

· Căutarea posibilelor soluții la probleme complexe.

Înainte de a începe un studiu de expert, este necesar să se definească clar scopul (problema) acestuia și să se formuleze o întrebare adecvată pentru experți. Se recomandă respectarea următoarelor reguli:

· O definiție clară a condițiilor, timpului, limitărilor externe și interne ale problemei. * Capacitatea de a răspunde la o întrebare cu acuratețe accesibilă experienței umane.

· Este mai bine să formulați întrebarea ca o declarație calitativă, mai degrabă decât ca o estimare a unui număr. Pentru estimări numerice, nu este recomandat să specificați mai mult de cinci gradații.

· Experții evaluează opțiunile posibile și nu trebuie să ne așteptăm să construiască un plan de acțiune complet sau o descriere detaliată a soluțiilor posibile.

2. Alegerea unei forme de cercetare, determinarea bugetului proiectului.

Tipurile existente de evaluări ale experților pot fi clasificate în funcție de următoarele criterii:

· După forma de participare a experților: normă întreagă, corespondență. Metoda față în față permite experților să-și concentreze atenția asupra problemei care se rezolvă, ceea ce îmbunătățește calitatea rezultatului; cu toate acestea, metoda corespondenței poate fi mai ieftină.

· După numărul de iterații (repetări ale procedurii pentru a crește acuratețea) - într-un singur pas și iterativ.

· Pentru sarcinile de rezolvat: generarea de soluții și evaluarea opțiunilor.

· După tip de răspuns: ideologic, de ierarhizare, evaluarea unui obiect la scară relativă sau absolută (numerică).

· După metoda de prelucrare a opiniilor experților: directă și analitică.

· După numărul de experți implicați: fără limită, limitat. De obicei, se folosesc 5-12 experți.

Cele mai cunoscute metode de evaluare a experților sunt metoda Delphi, brainstormingul și metoda analizei ierarhice. Fiecare metodă are propriul său timp și nevoie de experți. După alegerea metodei de evaluare a experților, puteți determina costurile procedurii, care includ plata experților, închirierea spațiilor, achiziționarea de rechizite de birou și plata unui specialist pentru a efectua și analiza rezultatele examinării.

3. Intocmirea materialelor informative, formulare chestionare, moderator proceduri.

Înainte de a face o judecată, experții trebuie să ia în considerare problema prezentată într-o manieră cuprinzătoare. Pentru a efectua această procedură, este necesar să se pregătească materiale informative care descriu problema, datele statistice disponibile, materiale de referință, formulare de chestionar și echipamente. Trebuie evitate următoarele greșeli: menționarea dezvoltatorilor de materiale, evidențierea uneia sau altei opțiuni de soluție, exprimarea atitudinii managementului față de rezultatele așteptate. Datele ar trebui să fie versatile și neutre. Este necesar să se elaboreze în prealabil formulare de chestionare pentru experți. În funcție de metodă, pot fi cu întrebări deschise și închise, răspunsul poate fi dat sub formă de judecată, comparație pereche, serii clasate, în puncte sau sub forma unei aprecieri absolute.

Procedura în sine este efectuată de un moderator independent al procedurii, care monitorizează respectarea reglementărilor, distribuie materiale și chestionare, dar nu își exprimă opinia.

4. Selecția experților.

Problema selecției experților este una dintre cele mai dificile în teoria și practica cercetării de specialitate. Evident, este necesar să folosim ca experți acei oameni ale căror judecăți vor ajuta cel mai mult la luarea unei decizii adecvate. Dar cum să identifici, să găsești, să selectezi astfel de oameni? Trebuie spus sincer că nu există metode de selectare a experților care să asigure cu siguranță succesul examinării.

În problema selecției experților se pot distinge două componente - alcătuirea unei liste de experți posibili și selectarea unei comisii de experți dintre aceștia în conformitate cu competența candidaților.

Experții trebuie să aibă experiență în domenii relevante pentru sarcinile de rezolvat. La selectarea experților trebuie să se țină cont de momentul interesului personal, care poate deveni un obstacol semnificativ în obținerea unei judecăți obiective. În acest scop, de exemplu, sunt folosite metodele lui Schar, când un expert, cel mai respectat specialist, recomandă un număr de alții și mai departe de-a lungul lanțului până când este selectată echipa necesară.

5. Efectuarea unui examen.

Procedura diferă în funcție de metoda folosită. Recomandări generale:

· Stabiliți și respectați reglementările. Creșterea timpului de luare a unei decizii dincolo de cea optimă nu crește acuratețea răspunsului.

6. Analiza statistică a rezultatelor . După primirea răspunsurilor experților, este necesară evaluarea acestora. Asta permite:

1) Evaluați coerența opiniilor experților. În absența unui acord semnificativ al experților, este necesar să se identifice motivele inconsecvenței (prezența unor grupuri) și să se recunoască lipsa de consens (rezultate neglijabile).

)Evaluați eroarea cercetării.

) Construiți un model al proprietăților obiectului pe baza răspunsurilor experților (pentru examinare analitică). Rezultatele expertizei sunt prezentate sub forma unui raport. Raportul indică scopul studiului, componența experților, evaluarea obținută și analiza statistică a rezultatelor.

7. Întocmirea unui raport cu rezultatele evaluării experților.

. Tipuri de evaluări ale experților

Metodele de evaluare a experților pot fi împărțite în două grupe:

§ metode de lucru colectiv al unui grup de experți

§ metode de obținere a opiniilor individuale ale membrilor grupului de experți.

Metode de lucru colectiv ale unui grup de experți implică obținerea unei opinii comune în cadrul unei discuții comune asupra problemei care se rezolvă. Uneori aceste metode sunt numite metode de obținere directă a opiniei colective. Principalul avantaj al acestor metode este posibilitatea analizei versatile a problemelor. Dezavantajele metodelor sunt complexitatea procedurii de obținere a informațiilor, dificultatea formării unei opinii de grup pe baza judecăților individuale ale experților și posibilitatea de a face presiuni din partea autorităților din grup.

Metodele de lucru în echipă includ brainstorming, scenarii, jocuri de afaceri, întâlniri și tribunal.

Atacul cerebral.Este organizată ca o întâlnire de experți, ale căror discursuri sunt supuse unei singure, dar foarte semnificative restricții - nu poți critica propunerile altora. Le poți dezvolta, îți poți exprima ideile, dar nu le poți critica! În timpul întâlnirii, experții, „infectându-se” reciproc, își exprimă idei din ce în ce mai extravagante. Aproximativ două ore mai târziu, se încheie ședința înregistrată pe un magnetofon sau o cameră video și începe a doua etapă de brainstorming - analiza ideilor exprimate. De obicei, din 100 de idei, 30 merită o dezvoltare ulterioară, din 5-6 fac posibilă formularea de proiecte aplicate, iar 2-3 aduc în cele din urmă un efect util - profit, siguranță sporită a mediului, îmbunătățirea mediului natural etc. Mai mult, interpretarea ideilor este un proces creativ. De exemplu, când s-a discutat despre posibilitățile de a proteja navele de un atac cu torpilă, a fost prezentată ideea: „Aliniați marinarii de-a lungul lateral și suflați pe torpilă pentru a-și schimba cursul”. După dezvoltare, această idee a condus la crearea unor dispozitive speciale care creează valuri care deturnează torpila din curs.

Metoda „635”- una dintre soiurile de atac cerebral. Numerele 6, 3, 5 reprezintă șase participanți, fiecare dintre aceștia trebuie să noteze trei idei în cinci minute. Frunza se învârte în cerc. Astfel, în jumătate de oră, toată lumea va nota 18 idei și toate împreună - 108. Structura ideilor este clar definită. Sunt posibile modificări de metodă. Această metodă este utilizată pe scară largă în țările străine (în special în Japonia) pentru a selecta dintr-o varietate de idei cele mai originale și progresive soluții la anumite probleme.

Jocuri de afacerise bazează pe modelarea funcționării sistemului de management social la efectuarea operațiunilor care vizează atingerea scopului stabilit. Spre deosebire de metodele anterioare, în care evaluările experților se formează în timpul unei discuții colective, jocurile de afaceri implică activitatea activă a unui grup de experți, căruia fiecărui membru i se atribuie o anumită responsabilitate în conformitate cu regulile pre-trasate și un program.

Principalul avantaj al jocurilor de afaceri este capacitatea de a dezvolta o soluție în dinamică, luând în considerare toate etapele procesului studiat cu interacțiunea tuturor elementelor sistemului de management social. Dezavantajul este dificultatea de a organiza un joc de afaceri in conditii apropiate de o situatie problematica reala.

Metoda întâlnirii(„comisii”, „masă rotundă”) - cea mai simplă și cea mai tradițională. Ea presupune desfășurarea unei întâlniri sau discuții cu scopul de a dezvolta o opinie colectivă unică asupra problemei care se rezolvă. Spre deosebire de metoda brainstorming-ului, fiecare expert nu poate doar să-și exprime părerea, ci și să critice propunerile altora. Ca urmare a unei astfel de discuții amănunțite, posibilitatea apariției unor erori în luarea unei decizii este redusă.

Avantajul metodei este simplitatea implementării acesteia. Cu toate acestea, la o întâlnire, opinia eronată a unuia dintre participanți poate fi acceptată din cauza autorității, funcției oficiale, perseverenței sau abilităților oratorice.

Metoda comisionului- una dintre metodele de expertiză, bazată pe lucrările comisiilor speciale. Grupuri de experți la o masă rotundă discută o anumită problemă pentru a armoniza punctele de vedere și a dezvolta o opinie comună. Dezavantajul acestei metode este că grupul de experți în judecățile lor este ghidat în principal de logica compromisului.

Metoda de scriere a scenariuluise bazează pe determinarea logicii unui proces sau fenomen în timp în diverse condiţii. Ea presupune stabilirea unei succesiuni de evenimente care se dezvoltă în timpul trecerii de la situația existentă la starea viitoare a obiectului. Un scenariu unic ar putea fi o descriere a secvenței și condițiilor pentru integrarea internațională a economiilor țărilor, inclusiv următoarele întrebări:

de la ce forme mai simple la forme mai complexe ar trebui să meargă acest proces;

modul în care va afecta economia națională și legăturile economice ale țărilor;

care sunt problemele financiare, organizatorice, sociale, juridice care pot apărea în timpul internaționalizării economiei.

Scenariul de prognoză determină strategia de dezvoltare a obiectului prognozat. Ar trebui să reflecte scopul general al dezvoltării obiectului, criteriile de evaluare a nivelurilor superioare ale arborelui scop, prioritățile problemelor și resursele pentru atingerea obiectivelor principale. Scenariul afișează o soluție secvențială a problemei și a posibilelor obstacole. În acest caz, se folosesc materialele necesare dezvoltării obiectului prognozat.

Scenariul trebuie redactat în așa fel încât, după citirea lui, să devină clar scopul general al lucrării care se desfășoară în lumina obiectivelor socio-economice pentru perioada de prognoză.

De obicei este de natură multivariată și acoperă trei linii de comportament:

optimist - dezvoltarea sistemului în cea mai favorabilă situație;

pesimist - dezvoltarea sistemului în situația cea mai puțin favorabilă;

lucru - dezvoltarea sistemului ținând cont de contracararea factorilor negativi, a căror apariție este cea mai probabilă.

Ca parte a scenariului de prognoză, este recomandabil să se elaboreze o strategie de rezervă în cazul unor situații neprevăzute.

Scenariul terminat trebuie analizat. Pe baza analizei informațiilor găsite a fi potrivite pentru prognoza viitoare, se formulează obiective, se determină criteriile și se iau în considerare soluții alternative.

Metoda tribunaluluieste o variantă a metodei „întâlnirilor” și este implementată prin analogie cu desfășurarea unui proces.

Opțiunile de soluție alese acționează ca „pârâți”;

în rolul „judecătorilor” - factori de decizie;

în rolul de „procurori” și „apărători” - membri ai grupului de experți.

Rolul de „martori” este jucat de diverse condiții de selecție și argumente ale experților. Atunci când se desfășoară un astfel de „proces”, anumite decizii sunt respinse sau acceptate.

Metoda „instanței” este indicată de utilizat atunci când există mai multe grupuri de experți care aderă la diferite opțiuni de decizie.

Metode de obținere a opiniilor individuale ale membrilor grupului de experți se bazează pe primirea prealabilă a informațiilor de la experți intervievați independent unul de celălalt, cu prelucrarea ulterioară a datelor primite. Aceste metode includ metode de chestionare, interviuri și metode Delphi. Principalele avantaje ale metodei de evaluare individuală a expertului sunt eficiența acestora, capacitatea de a utiliza pe deplin abilitățile individuale ale expertului, absența presiunii din partea autorităților și costul scăzut al examinării. Principalul lor dezavantaj este gradul ridicat de subiectivitate al evaluărilor rezultate din cauza cunoștințelor limitate ale unui singur expert.

metoda Delphi.Scopul este de a dezvolta un program de anchete individuale secvențiale cu mai multe runde. Sondajele individuale ale experților sunt de obicei efectuate sub formă de chestionare. Apoi sunt prelucrate statistic pe computer și se formează o opinie colectivă a grupului, se identifică și se sintetizează argumentele în favoarea diferitelor judecăți. Informațiile prelucrate pe calculator sunt comunicate experților, care pot ajusta aprecierile, explicând în același timp motivele dezacordului lor cu judecata colectivă. Această procedură poate fi repetată de până la 3-4 ori. Ca urmare, gama de aprecieri este restrânsă și se dezvoltă o judecată consecventă cu privire la perspectivele de dezvoltare a obiectului. Caracteristicile metodei Delphi:

a) anonimatul experților (membrii grupului de experți sunt necunoscuți între ei, interacțiunea dintre membrii grupului la completarea chestionarelor este complet exclusă);

b) posibilitatea utilizării rezultatelor rundei precedente a anchetei;

c) caracteristicile statistice ale opiniei de grup.

Această metodă ajută la predeterminarea dezvoltării situațiilor problematice pe termen lung. Specialiștii noștri care activează în domeniul previziunii științifice și tehnice dezvoltă și metode de prelucrare a evaluărilor de specialitate. Se numesc euristici.

Metoda interviuluipresupune o conversație între un prognozator și un expert folosind un model întrebare-răspuns, în timpul căreia prognozatorul, în conformitate cu un program pre-elaborat, pune întrebări expertului cu privire la perspectivele de dezvoltare a obiectului prognozat. Succesul unei astfel de evaluări depinde în mare măsură de capacitatea expertului de a da opinii improvizate asupra diferitelor probleme.

Metoda analiticaimplică o muncă atentă independentă a unui expert pentru a analiza tendințele, a evalua starea și căile de dezvoltare ale obiectului prezis. Expertul poate folosi toate informațiile de care are nevoie despre obiectul prognozat. El își întocmește concluziile sub forma unui memoriu. Principalul avantaj al acestei metode este capacitatea de a folosi la maximum abilitățile individuale ale expertului. Cu toate acestea, este de puțin folos pentru prezicerea sistemelor complexe și dezvoltarea strategiilor din cauza cunoștințelor limitate ale unui expert specialist în domenii conexe ale cunoștințelor.

. Prelucrarea rezultatelor sondajului de experți

expert sondaj colectiv individual

Să trecem la considerarea procedurilor efectuate în etapa de prelucrare a rezultatelor sondajului.

Pe baza aprecierilor experților se obțin informații generalizate despre obiectul (fenomenul) studiat și se formează o decizie, precizată de scopul examinării. La procesarea evaluărilor individuale ale experților, sunt utilizate diverse metode cantitative și calitative. Alegerea unei metode sau alteia depinde de complexitatea problemei care se rezolvă, de forma în care sunt prezentate opiniile experților și de obiectivele examinării.

Cel mai adesea, la procesarea rezultatelor sondajului, se folosesc metode de statistică matematică.

În funcție de obiectivele examinării, la procesarea evaluărilor pot fi rezolvate următoarele probleme:

· formarea unei evaluări generalizate;

· determinarea greutăților relative ale obiectelor;

· stabilirea gradului de consecvență al opiniilor experților etc.

1)Formarea unei evaluări generalizate

Deci, lăsați un grup de experți să evalueze un obiect, apoi x j - evaluarea celui de-al doilea expert, , unde m este numărul de experți.

Pentru a forma o evaluare generalizată a unui grup de experți, valorile medii sunt cel mai adesea utilizate. De exemplu, mediana (M E ), care se consideră a fi o astfel de estimare în raport cu care numărul estimărilor mari este egal cu numărul celor mai mici.

O estimare punctuală pentru un grup de experți, calculată ca medie aritmetică, poate fi, de asemenea, utilizată:

2)Determinarea greutăților relative ale obiectelor

Uneori este necesar să se determine cât de important (semnificativ) este un anumit factor (obiect) din punctul de vedere al unui criteriu. În acest caz, ei spun că este necesar să se determine ponderea fiecărui factor.

O metodă pentru determinarea greutăților este următoarea. Fie x ij - evaluarea factorului i, dată de al j-lea expert, , , n este numărul de obiecte comparate, m este numărul de experți. Apoi, greutatea celui de-al i-lea obiect, calculată conform estimărilor tuturor experților (wi ), este egal cu:

unde w ij - greutatea i-lea obiect, calculată după estimările expertului j-lea, este egală cu:

3)Stabilirea gradului de coerență a opiniilor experților

Dacă mai mulți experți participă la un sondaj, discrepanțe în evaluările lor sunt inevitabile, dar amploarea acestei discrepanțe este importantă. O evaluare de grup poate fi considerată suficient de fiabilă doar dacă există un acord bun între răspunsurile experților individuali.

Pentru a analiza răspândirea și consistența estimărilor, se folosesc caracteristici statistice - măsuri de răspândire.

Interval de variație (R):

Xmax -X min ,

unde x max - evaluarea maximă a obiectului; min - evaluarea minimă a obiectului.

Abaterea standard, calculată folosind formula binecunoscută:

unde xj este evaluarea dată de al-lea expert; este numărul de experți.

Coeficientul de variație (V), care este de obicei exprimat ca procent:

Abordările de verificare a coerenței utilizate la evaluarea obiectelor folosind metoda de clasare sunt specifice.

În acest caz, rezultatul muncii expertului este o clasare, care este o succesiune de ranguri (pentru expertul j): x 1j , X 2j, …, x nj .

Acordul dintre clasamentele a doi experți poate fi determinat folosind coeficientul de corelare a rangului Spearman:

unde xij este rangul alocat celui i-lea obiect de către al-lea expert; ik este rangul atribuit celui-lea obiect de către al-lea expert; i este diferența dintre rangurile atribuite celui-lea i-lea. obiect.

Valoarea poate varia de la -1 la +1. Dacă estimările sunt complet identice, coeficientul este egal cu unu. Coeficientul este egal cu minus unu atunci când există cea mai mare discrepanță în opiniile experților.

În plus, calculul coeficientului de corelare a rangului poate fi folosit ca o modalitate de a evalua relația dintre orice factor și caracteristica (reacția) rezultată în cazurile în care caracteristicile nu pot fi măsurate cu precizie, dar pot fi ordonate.

În acest caz, valoarea coeficientului Spearman poate fi interpretată în mod similar cu valoarea coeficientului de corelație perechi. O valoare pozitivă indică o relație directă între factori, o valoare negativă indică o relație inversă și cu cât valoarea absolută a coeficientului este mai aproape de unu, cu atât relația este mai strânsă.

Când este necesar să se determine consistența în clasamentul unui număr mare (mai mult de doi) de experți, se calculează așa-numitul coeficient de concordanță - coeficientul general de corelare a rangului pentru un grup format din m experți:

Rețineți că scăderea din paranteze nu este altceva decât suma medie a rangurilor (atunci când este însumată pentru fiecare obiect) primită de i obiecte de la experți.

Coeficientul W variază în intervalul de la 0 la 1. Egal cu unu înseamnă că toți experții au atribuit aceleași ranguri obiectelor. Cu cât valoarea coeficientului este mai aproape de zero, cu atât estimările experților sunt mai puțin consistente.

Concluzie

Experiența, intuiția, simțul perspectivei, combinate cu informația, îi ajută pe specialiști să selecteze cu mai multă acuratețe cele mai importante obiective și direcții de dezvoltare, să găsească cele mai bune opțiuni pentru rezolvarea problemelor științifice, tehnice și socio-economice complexe în condițiile în care nu există informații despre rezolvarea unor probleme similare în trecut.

Utilizarea metodei evaluărilor experților ajută la formalizarea procedurilor de colectare, rezumare și analiză a opiniilor experților pentru a le transforma într-o formă cât mai convenabilă pentru luarea unei decizii informate. Dar trebuie remarcat faptul că metoda evaluărilor experților nu poate înlocui nici deciziile administrative, nici deciziile de planificare, ci permite doar completarea informațiilor necesare pregătirii și luării unor astfel de decizii. Utilizarea pe scară largă a evaluărilor experților este legitimă doar acolo unde este imposibil să se utilizeze metode mai precise pentru a analiza viitorul.

Metodele experte sunt în mod constant dezvoltate și îmbunătățite. Principalele direcții ale acestei dezvoltări sunt determinate de o serie de factori, inclusiv dorința de a extinde domeniul de aplicare a aplicațiilor, de a crește gradul de utilizare a metodelor matematice și a tehnologiei informatice electronice și, de asemenea, de a găsi modalități de a elimina deficiențele emergente. În ciuda succeselor obținute în ultimii ani în dezvoltarea și utilizarea practică a metodei de evaluare a experților, există o serie de probleme și sarcini care necesită cercetări metodologice suplimentare și teste practice. Este necesară îmbunătățirea sistemului de selectare a experților, creșterea fiabilității caracteristicilor opiniei de grup, dezvoltarea metodelor de verificare a validității evaluărilor și studierea motivelor ascunse care reduc fiabilitatea evaluărilor experților. Cu toate acestea, chiar și astăzi evaluările experților în combinație cu alte metode matematice și statistice reprezintă un instrument important pentru îmbunătățirea managementului la toate nivelurile.

Bibliografie

1Orlov A.I. Evaluări ale experților. // Laboratorul fabricii. ? 1996. ? T. 62. ? Numarul 1. ? pp. 54-60.

2Orlov A.I. Evaluări ale experților. Manual indemnizatie. - M.: 2002.

Beselev S.D., Gurvich F.G. Evaluări ale experților în luarea deciziilor de planificare. Manual indemnizatie. - M.: Economie, 1976. ? 287 p.

Evlanov L.G., Kutuzov V.A. Evaluări de experți în management. - M.: Economie, 1978. ? 133 p.

management. Manual indemnizatie. / Ed. Zh.V. Prokofieva. - M.: Cunoașterea, 2000. - 288 p.

Beselev S.D., Gurvich F.G. Evaluări ale experților. - M.: Nauka, 1973. - 79 p.

Metode statistice de analiză a evaluărilor experților. - M.: Nauka, 1977. - 384 p.

Moiseev N.N. Probleme matematice ale analizei sistemului. - M.: Nauka, 1981. - 487 p.

Litvak B.G. Evaluări ale experților și luarea deciziilor. - M.: Patent, 1996.

Caracteristicile metodelor de evaluare a expertilor [Resursa electronica]: #"justify">Evaluarea experta. / Wikipedia. [Resursă electronică]: #"justify">Evaluări experți. // StatSoft: SPC Consulting. [Resursă electronică]: http://www.spc-consulting.ru/app/expert.htm

Îndrumare

Ai nevoie de ajutor pentru a studia un subiect?

Specialiștii noștri vă vor consilia sau vă vor oferi servicii de îndrumare pe teme care vă interesează.
Trimiteți cererea dvs indicând subiectul chiar acum pentru a afla despre posibilitatea de a obține o consultație.

Expertiza este o evaluare obținută prin căutarea opiniilor experților. Un expert (din latinescul e x p e r t u s - experimentat) este o persoană cu cunoștințe într-un anumit domeniu de activitate, invitată să rezolve o problemă care necesită cunoștințe speciale. Expertiza poate fi individuală (când un specialist este implicat în rezolvarea unei probleme) sau de grup. Experții își pot exprima opinia oral sau pot completa un formular special. Opinia specialiștilor este căutată ori de câte ori este imposibil sau foarte dificil să se efectueze măsurători folosind metode mai precise (V.M. Zatsiorsky, 1982; B.G. Litvak, 1996; V.S. Rubin, 2006; E.R. Yakhontov, 2006) .

De exemplu, se recurge la expertiza în următoarele cazuri: a) la prezicerea unei situaţii; b) la analizarea evenimentelor pentru care nu există alte metode de măsurare; c) atunci când se justifică adoptarea unei anumite decizii de management în condiții de incertitudine (V.V. Muzychenko, 2003; N.N. Pilipenko, E.L. Tatarsky, 2007).

Efectuarea unei examinări include următoarele etape principale: formarea scopului acesteia, selectarea experților, alegerea unei metodologii, efectuarea unui sondaj de experți, prelucrarea informațiilor primite, inclusiv evaluarea coerenței evaluărilor individuale ale experților. Evaluările experților sunt împărțite în cantitative și calitative (B.G. Litvak, 2002).

Selecția experților este cea mai importantă etapă a examinării. Principalele cerințe pentru experți sunt: ​​competență, interes pentru activitatea comisiei de experți, eficiență, deschidere la minte, obiectivitate și independență de judecată. Acuratețea evaluării experților depinde în mare măsură de numărul de experți. După cum arată practica, numărul optim de experți este de 7-12 persoane (E.M. Korotkov, 2003). Evaluarea experților poate fi efectuată prin utilizarea următoarelor abordări: a) discuție închisă urmată de vot închis sau completarea unor formulare speciale de expertiză; b) exprimare liberă fără discuție sau vot; c) discutarea deschisă a problemelor ridicate, urmată de vot deschis sau închis.

Există multe moduri diferite de a efectua o evaluare a calității. Cea mai simplă dintre ele se numește metoda preferinței (sau clasarea opțiunilor alternative). Folosind această metodă, experții aranjează obiectele evaluate în ordinea deteriorării calității lor (Tabelul 1).

Tabelul 1. Formularul formularului de expert întocmit în timpul examinării folosind metoda preferinței

TIP DE TURISM	Rezultatele clasamentului
Numărul de expert	Puncte totale
Rustic
Bunastare
Pelerinaj
Informativ
Aventură
Distractiv
Recreativ
Sport
Exotic
Ecologic

Locul ocupat de fiecare obiect este determinat de numărul de puncte marcate: cu cât suma punctelor este mai mică, cu atât locul ocupat este mai mare. Ca exemplu, Tabelul 1 prezintă rezultatele clasificării a zece tipuri de turism de către șase specialiști (experți) în funcție de nivelul de atractivitate al acestora pentru rezidenții din Rusia.

Deseori se folosește o altă metodă de efectuare a unei examinări - metoda comparației perechi. În acest caz, expertul completează un tabel în care toate obiectele comparate sunt indicate atât pe orizontală, cât și pe verticală (Tabelul 2).

Tabelul 2. Un exemplu de formular de expert completat de fiecare expert atunci când efectuează o examinare folosind metoda de comparare pereche

									Suma punctelor
Bulgaria
Germania

De exemplu, este necesar să se determine cea mai populară țară dintre cele opt prezentate, în care rușii ar dori să facă o călătorie turistică. În Tabelul 2, fiecare celulă se referă la două obiecte comparate, iar o unitate este atribuită celui care, în opinia expertului, este de calitate superioară sau mai importantă. Celelalte dintre aceste obiecte comparate i se atribuie un zero. Apoi se calculează numărul total de puncte punctate și se determină locul (rangul) obiectului de examinare.

Evaluarea rezultatelor examinării poate lua, de asemenea, o formă mai complexă. În continuare, ca exemplu, vom oferi o examinare pas cu pas care vizează „Selectarea șefului unei companii de turism”.

Etapa nr. 1. Completarea formularului de expert. După cum am stabilit deja, fiecare dintre experți trebuie să completeze un formular de expert, care, în esență, este o matrice de preferințe, iar coloanele și rândurile acestei matrice se numesc calități selectate (Tabelul 3). Sensul acestei umpluturi este de a compara toate calitățile una cu alta. În acest caz (adică, într-o comparație reciprocă), calității mai preferate i se acordă 2 puncte, iar calității mai puțin preferate i se acordă 0 puncte. Dacă este imposibil să acordați preferință oricăreia dintre cele două calități comparate, fiecare dintre ele primește 1 punct.

Tabelul 3. Matricea preferințelor

Deci, în exemplul nostru, în primul pas începem să comparăm calitățile din prima linie, i.e. În primul rând, comparăm „sociabilitatea” liniei 1 și „angajamentul” liniei a 2-a. Să fie, în opinia unuia dintre experți, pentru directorul unei companii de turism, ale cărei calități sunt comparate între ele, „sociabilitatea” este de preferat „angajamentului”. Apoi în „celula 1.2” se introduce valoarea 2, în consecință „obligatoriu” i se atribuie 0 puncte și această valoare este introdusă în „celula 2.1”. Astfel, la primul pas, doar primul rând și, în consecință, prima coloană sunt completate, „automat” în funcție de preferințele selectate pentru primul rând. În continuare, expertul compară calitățile din a doua linie, adică. compară „angajamentul” cu toate celelalte calități. Mai mult, nu mai este nevoie să comparăm „sociabilitatea” și „angajamentul”, deoarece această comparație a fost deja făcută la prima etapă. Toate calitățile rămase sunt comparate într-un mod similar. În exemplul nostru, matricea de preferințe completată va avea următoarea formă (Tabelul 3).

Pentru a verifica umplerea corectă a matricei de preferințe, ar trebui să acordați atenție faptului că toate elementele legate de diagonala principală au corespondență reciprocă, adică dacă valoarea 2 este scrisă în „celula 1.2”, atunci valoarea 0 ar trebui să fie scris în „celula 2.1”, respectiv, dacă în „celula 1.3” este scrisă valoarea 1, atunci în „celula 3.1”, în consecință, trebuie scrisă și valoarea 1 etc.

Etapa nr. 2. Prelucrarea matricei de preferințe. În această etapă, fiecare expert începe procesarea matricei de preferințe. În primul rând, toate valorile celulelor matricei sunt însumate pe rând. În acest fel, se poate calcula scorul total obținut de fiecare calitate alternativă, adică. aflați în esență ponderea absolută a fiecărei calități individuale (V). Rețineți că greutatea absolută maximă a fiecărei calități () este egală cu:

unde N este numărul de calități comparate.

În exemplul nostru, această valoare este 14. După procesarea matricei de preferințe, este clar că o calitate precum „sociabilitatea” are o pondere absolută de 5, „angajament” - 9, „punctualitate” - 4 etc.

Apoi este necesar să se determine greutatea absolută totală a tuturor calităților matricei de preferințe folosind formula:

În exemplul nostru = 8 (8 - 1) = 56.

Dacă la examinare iau parte mai mulți experți, atunci greutatea medie a fiecărei calități trebuie calculată folosind formula:

Unde? = ? + ? + … + ?; k - numărul de experți; și 1, 2…n este numărul de linie curent (numărul secvenței de calitate).

Și, în sfârșit, este ușor să calculați greutatea relativă a fiecărei calități folosind formula:

= [ / N (N - 1)] ?100%, dacă mai mulți experți participă la examen și

100% dacă un expert participă la examen.

În cazul nostru, avem un singur expert și, prin urmare, valoarea k=1. Prin urmare, ponderea relativă corespunzătoare calității „sociabilitate” este egală cu (5/56) ? 100% = 8,9%; „angajament” de calitate - (9/56)? 100% = 16,2%; calitate „punctualitate” - (4/56) ? 100% = 7,1%; „echilibru” de calitate - (8/56) ? 100% = 14,3%; „experiență de lucru” de calitate - (5/56) ? 100% = 8,9%; „corectitudine” de calitate - (11/56) ? 100% = 19,6%; „competență” de calitate - (14/56) ? 100% = 25,0%.

Etapa Nr 3. Analiza rezultatelor examenului Cunoscând ponderea relativă a fiecărei calități, le puteți ierarhizează, plasându-le în ordinea importanței crescânde. O altă întrebare importantă, la care ar trebui răspuns și folosind rezultatele obținute, care sunt calitățile fără de care un candidat nu poate ocupa sub nicio formă postul propus? Pentru a găsi granița dintre calitățile necesare și suficiente, se recomandă utilizarea unui coeficient de limită egal cu 4/3n (V.V. Muzychenko, 2003). Deci, dacă n calități, atunci granița va trece printr-o greutate egală cu (4/3) n. În cazul nostru, această valoare este 11 și, prin urmare, calități precum „competență” și „echitate” sunt necesare pentru șeful unei companii de turism.

Printre metodele de examinare mai complexe, „Metoda Delphi”, „Metoda Brainstorming”, „Metoda 6.3.5” au devenit larg răspândite. și alte câteva tehnici.

Metoda Delphi Numele său provine de la orașul grecesc antic Delphi, unde, conform legendei, se afla la templul lui Apollo în perioada din secolul al IX-lea. î.Hr. conform secolului IV ANUNȚ a existat un consiliu de înțelepți („oracolul delfic”), faimos pentru predicțiile sale. Esența metodei este de a dezvolta opinii de consens prin repetarea în mod repetat a unui sondaj individual scris al acelorași experți. După prima rundă a sondajului, toate răspunsurile sunt analizate și rezumate fiecărui expert. Apoi, după fiecare rundă, datele sondajului sunt procesate din nou, iar rezultatele sunt raportate experților, indicând locația evaluărilor. Prima rundă a sondajului se desfășoară fără argumente. În al doilea, răspunsurile care diferă de altele sunt supuse argumentării, sau expertul poate schimba aprecierea. După stabilizarea evaluărilor, ancheta se oprește și decizia propusă de experți este adoptată (A. Durovich, L. Anastasova, 2002).

„Brainstormingul” este unul dintre principiile principale în organizarea și desfășurarea unui examen (B.G. Litvak, 1996; E.M. Korotkov, 2003; E.R. Yakhontov, 2006). Brainstormingul constă de obicei din două runde. În prima rundă se generează idei, iar în a doua rundă se discută, se evaluează ideile identificate și se dezvoltă un punct de vedere colectiv.

Prima rundă se desfășoară astfel încât fiecare dintre experți să își poată exprima liber opinia. Orice punct de vedere sau idee exprimat trebuie discutat și nu poate fi declarat fals. Sarcina principală a primei runde este de a obține, poate, o imagine mai completă a factorilor care pot influența evoluția situației. În a doua rundă, dintre factorii identificați în prima rundă, trebuie reținuți doar cei mai semnificativi. Pentru a face acest lucru, ele trebuie să fie evaluate critic, astfel încât experții care participă la a doua etapă sunt împărțiți în susținători și oponenți ai opiniei exprimate. Suporterii încearcă să ofere dovezile necesare în favoarea punctului de vedere exprimat, iar adversarii încearcă să le infirme. Apoi, pe baza rezultatelor discuției, se ia o decizie finală.

Metoda evaluărilor calitative ale experților, după cum vedem, are multe opțiuni, dintre care una este „6. 3,5". Esența acestuia este că 6 experți oferă 3 opțiuni pentru rezolvarea problemei studiate în 5 minute Experții își scriu răspunsul pe formulare speciale (Tabelul 4). Cinci minute mai târziu, următorii șase experți sunt invitați pentru aceeași procedură. Astfel, în jumătate de oră poți obține 108 de oferte noi.

Tabelul 4. Un exemplu de formular de expert completat la efectuarea unei examinări folosind „6. 3,5"

Problemă în curs de investigare
Opțiunea nr.	Sugestii pentru rezolvarea problemei de către un grup de experți
Primul expert al grupului	Al doilea expert		Al patrulea		expert de grup
A doua varianta
A treia opțiune

Numeroase propuneri acumulate într-un timp scurt sunt apoi analizate cu atenție, iar experții specialiști trag concluzii și fac propuneri concrete asupra problemei ridicate.

Uneori, specificul obiectelor evaluării experților este de așa natură încât experții pot oferi o evaluare cantitativă a indicatorilor individuali. În aceste cazuri, utilizarea metodelor de evaluare cantitativă a obiectelor de examinare este mai justificată. Dintre metodele de obținere a estimărilor cantitative ale experților, cele mai frecvent utilizate sunt „Evaluarea cantitativă directă”, „Metoda punctului de mijloc” și „Metoda Churchman-Akoff”.

Evaluarea cantitativă directă este utilizată atunci când este necesară determinarea valorii unui indicator care este măsurat cantitativ. În acest caz, fiecare dintre experți indică în mod direct valoarea indicatorului pentru obiectul evaluat. De exemplu, se evaluează capacitatea estimată a pieței de turism; preț unitar la care va avea cerere competitivă; volum optim de producție; valoarea companiei etc.

Metoda punctului de mijloc. Metoda este utilizată atunci când există destul de multe opțiuni alternative care pot fi evaluate cantitativ. În acest caz, dacă prin f () notăm evaluarea primei variante alternative, iar prin f () - evaluarea celei de-a doua alternative, atunci expertul este rugat să determine a treia alternativă, a cărei evaluare f ( ) este situat la mijloc între valorile lui f () și f () și este egal cu f () + f ()/2. Apoi, expertul indică o opțiune alternativă, a cărei valoare este situată la mijloc între f () și f (), apoi opțiunea, a cărei valoare f () este situată la mijloc între valorile lui f (și f (). Procedura se încheie atunci când preferința comparativă a tuturor alternativelor care participă la examinare este determinată de opțiuni.

Metoda Churchman-Akoff. Această metodă este utilizată pentru a cuantifica preferința comparativă a opțiunilor alternative și permite ajustări ale evaluărilor date de experți. Toate opțiunile alternative sunt clasificate după preferință, iar expertul atribuie evaluări cantitative fiecăruia dintre ele, de obicei în fracțiuni de unu, în timp ce suma totală a evaluărilor pentru opțiunile alternative ar trebui să fie egală cu 1 (sau 100%). În continuare, expertul compară, din punct de vedere al preferinței, aprecierea primei opțiuni alternative f () și suma opțiunilor alternative rămase. Dacă prima opțiune este de preferat sumei opțiunilor alternative rămase, atunci este exclusă de la analiza ulterioară. Atunci când este mai puțin preferabil decât suma alternativelor rămase, se compară cu suma alternativelor, excluzându-l pe ultima. Dacă o opțiune alternativă la un anumit pas se dovedește a fi preferabilă sumei opțiunilor alternative rămase, atunci aceasta este exclusă de la analiza ulterioară. Acest proces continuă până când toate alternativele au fost revizuite secvenţial, iar estimările pot fi ajustate în consecinţă.

După cum vedem, turismul acoperă multe domenii ale vieții umane și, prin urmare, studiul turismului este strâns legat de psihologia umană. În opinia noastră, necesitatea utilizării metodelor de psihodiagnostic în turism a fost fundamentată cel mai pe deplin în lucrarea sa de M.B. Birzhakov (1999, p. 181): „Ce destinație de călătorie va alege turistul, ce țară va fi de preferat în acest sezon, ce tip de turism va fi cel mai popular? Ce este profitabil să oferi pe piața turistică, unde ar trebui să îți îndrepti activitatea în promovarea produsului tău turistic? Cum să structurați un tur pentru a satisface cel mai bine dorințele clientului? La multe dintre aceste întrebări nu se poate răspunde fără a studia psihologia umană și condițiile prealabile pentru motivarea acțiunilor și luarea deciziilor.”

Trimiteți-vă munca bună în baza de cunoștințe este simplu. Utilizați formularul de mai jos

Studenții, studenții absolvenți, tinerii oameni de știință care folosesc baza de cunoștințe în studiile și munca lor vă vor fi foarte recunoscători.

postat pe http://www.allbest.ru/

INSTITUTUL SOCIO-ECONOMIC MOSCOVA

pe tema „Metodologie pentru efectuarea evaluărilor de experți”

Studenti de gen feminin:

Artiușenko Iulia Viktorovna

Grupa: M10B-D-O-z

Moscova 2014

Introducere

2. Metode de evaluare a experților

Concluzie

Introducere

În cercetarea managementului, metoda evaluărilor experților este utilizată pe scară largă. Acest lucru se explică prin complexitatea multor probleme, originea lor din „factorul uman” și lipsa unor instrumente experimentale sau normative fiabile.

Este absolut incontestabil că pentru a lua decizii în cunoștință de cauză este necesar să ne bazăm pe experiența, cunoștințele și intuiția specialiștilor. După cel de-al Doilea Război Mondial, în cadrul teoriei managementului, a început să se dezvolte o disciplină independentă - evaluările experților.

Metodele de evaluare a experților sunt metode de organizare a muncii cu experți specialiști și de prelucrare a opiniilor experților, exprimate în formă cantitativă și/sau calitativă, în vederea pregătirii informațiilor pentru luarea deciziilor de către factorii de decizie.

Multe lucrări au fost dedicate studierii posibilităților și caracteristicilor utilizării evaluărilor experților. Aceștia discută forme de anchete ale experților (diverse tipuri de chestionare, interviuri), abordări ale evaluării (clasare, normare, diferite tipuri de ordonare etc.), metode de prelucrare a rezultatelor sondajului, cerințe pentru experți și formarea grupurilor de experți, probleme de formarea experților, evaluările competenței acestora (când se prelucrează evaluările, se introduc și se iau în considerare coeficienții de competență a experților și fiabilitatea opiniilor acestora), metode de organizare a anchetelor experților. Selectarea formelor și metodelor de realizare a anchetelor de experți, abordări ale procesării rezultatelor sondajelor etc. depinde de sarcina și condițiile specifice ale examinării.

Metodele experte sunt acum utilizate în situațiile în care alegerea, justificarea și evaluarea consecințelor deciziilor nu pot fi făcute pe baza unor calcule precise. Asemenea situații apar adesea la dezvoltarea problemelor moderne de gestionare a producției sociale și, mai ales, la prognozarea și planificarea pe termen lung. În ultimii ani, evaluările experților și-au găsit o largă aplicație în prognoza socio-politică și științifico-tehnică, în planificarea economiei naționale, industriilor, asociațiilor, în elaborarea de programe majore științifice, tehnice, economice și sociale și în rezolvarea problemelor individuale de management. . clasamentul expert al managementului

1. Natura, metodele și procesul evaluărilor experților

1.1 Esența evaluărilor experților

Posibilitatea utilizării evaluărilor experților și justificarea obiectivității acestora se bazează de obicei pe faptul că caracteristica necunoscută a fenomenului studiat este interpretată ca o variabilă aleatorie, a cărei reflectare a legii de distribuție este evaluarea individuală a unui expert specialist. despre fiabilitatea și semnificația unui anumit eveniment. Se presupune că adevărata valoare a caracteristicii studiate se află în intervalul estimărilor obținute de la un grup de experți și că opinia colectivă generalizată este de încredere.

Cu toate acestea, unele studii teoretice pun la îndoială această presupunere. De exemplu, se propune împărțirea problemelor pentru care sunt utilizate evaluări ale experților în două clase. Prima clasă include probleme care sunt destul de bine furnizate cu informații și pentru care poate fi folosit principiul unui „bun măsurator”, considerând expertul ca custode al unei cantități mari de informații, iar opinia de grup a experților la fel de apropiată de cel adevărat. A doua clasă include probleme pentru care cunoștințele sunt insuficiente pentru a avea încredere în validitatea ipotezelor de mai sus; experții nu pot fi considerați „măsuratori buni”, și este necesar să fiți atenți la procesarea rezultatelor examinării, deoarece în acest caz, opinia unui (singur) expert, care acordă mai multă atenție studiului unei persoane puțin studiate. problema, se poate dovedi a fi cea mai semnificativă, iar în timpul procesării oficiale se va pierde. În acest sens, pentru problemele de clasa a doua ar trebui aplicată în principal prelucrarea calitativă a rezultatelor. Utilizarea metodelor de mediere (valide pentru „contoare bune”) în acest caz poate duce la erori semnificative.

Sarcinile de luare a deciziilor colective pentru a formula obiective, a îmbunătăți metodele și formele de management pot fi de obicei clasificate ca fiind de primă clasă. Cu toate acestea, atunci când se elaborează previziuni și planuri pe termen lung, este recomandabil să se identifice opinii „rare” și să le supună unei analize mai amănunțite.

O altă problemă care trebuie avută în vedere atunci când se efectuează o analiză de sistem este următoarea: chiar și în cazul rezolvării problemelor aparținând clasei întâi, nu trebuie să uităm că evaluările experților prezintă nu numai caracteristici strict subiective inerente experților individuali, ci și caracteristici colectiv-subiective care nu dispar la prelucrarea rezultatelor sondajului (și la utilizarea procedurilor Delphi se pot intensifica chiar). Cu alte cuvinte, evaluările experților trebuie privite ca un anumit „punct de vedere public”, în funcție de nivelul de cunoștințe științifice și tehnice ale societății cu privire la subiectul cercetării, care se poate schimba pe măsură ce sistemul și ideile noastre despre acesta se dezvoltă. Prin urmare, un sondaj de specialitate nu este o procedură unică. Această metodă de obținere a informațiilor despre o problemă complexă caracterizată printr-un grad mare de incertitudine ar trebui să devină un fel de „mecanism” într-un sistem complex, adică. este necesar să se creeze un sistem regulat de lucru cu experți.

De asemenea, trebuie remarcat faptul că utilizarea abordării clasice a frecvenței pentru evaluarea probabilității atunci când se organizează anchete de experți poate fi dificilă și uneori imposibilă (din cauza imposibilității de a dovedi legitimitatea utilizării reprezentativității eșantionului). Prin urmare, în prezent se desfășoară cercetări privind natura probabilității evaluării expertului, bazată pe teoria mulțimilor fuzzy Zadeh, pe ideea evaluării expertului ca grad de confirmare a unei ipoteze sau ca probabilitate de atingere a unui scop. Una dintre varietățile metodei expertului este metoda de studiu a punctelor tari și punctelor slabe ale unei organizații, oportunităților și amenințărilor la adresa activităților sale - metoda analizei SWOT.

Colectarea informațiilor experților depinde de alegerea metodei de evaluare a experților. De obicei, pentru a colecta informațiile experților, sunt întocmite documente speciale, cum ar fi chestionare, aprobate de managerii relevanți și apoi trimise experților.

Prelucrarea informațiilor de specialitate se realizează folosind metoda selectată, de obicei folosind tehnologia computerizată. Datele obţinute în urma prelucrării sunt analizate şi utilizate pentru rezolvarea problemelor de analiză şi sinteză a sistemelor de control.

Evaluările experților sunt folosite pentru analiza, diagnosticarea stării și prognoza ulterioară a opțiunilor de dezvoltare:

1) obiecte a căror dezvoltare este complet sau parțial dincolo de descrierea de fond sau formalizarea matematică;

2) în lipsa unor statistici suficient de reprezentative și de încredere asupra caracteristicilor obiectului;

3) în condiţii de mare incertitudine în mediul de operare al obiectului, mediul pieţei;

4) pentru prognoza pe termen mediu și lung a noilor piețe, obiecte de noi domenii de industrie, puternic influențate de descoperirile din științe fundamentale (de exemplu, industria microbiologică, electronică cuantică, inginerie nucleară);

5) în cazurile în care fie timpul, fie fondurile alocate pentru prognoză și luarea deciziilor nu permit studierea problemei folosind modele formale;

6) nu există instrumente tehnice de modelare necesare, de exemplu, tehnologie informatică cu caracteristicile adecvate;

7) în situații extreme.

Sarcinile rezolvate în procesul de evaluări de experți a sistemelor de management pot fi împărțite în două grupe:

1) sarcini de sintetizare a noilor sisteme de control și evaluarea acestora;

2) sarcina de a analiza (măsură) sistemele de management existente în funcție de indicatori selectați și criterii de performanță.

Sarcinile primului grup includ: modelarea aspectului sistemului creat; prognozarea indicatorilor tehnici și economici ai etapelor ciclului său de viață; justificarea principalelor direcții de reorganizare a sistemului de management social; selectarea metodelor optime sau satisfăcătoare de acțiune și rezultate folosind sistemul de control creat etc. Unele dintre informațiile de specialitate obținute în cursul rezolvării acestor probleme sunt de natură calitativă și se formează sub forma unor judecăți complexe în formă descriptivă. Problemele de sinteză rezolvate cu ajutorul evaluărilor experților pot fi însă de natură cantitativă, iar rezolvarea lor va fi asociată cu justificarea a numeroși parametri (caracteristici) ai sistemului creat. Sarcinile celui de-al doilea grup includ toate sarcinile de evaluare a opțiunilor existente sau create pentru sistemele de control folosind indicatori și criterii de performanță specificați. Exemple de astfel de sarcini sunt: ​​determinarea caracteristicilor structurale, funcționale sau informaționale ale sistemului; evaluarea eficacității sale în timpul diferitelor operațiuni; determinarea fezabilității exploatării ulterioare a echipamentelor tehnice de control și comunicații etc.

1.2 Rolul experților în management

Expertiza este o opinie, idee, decizie sau evaluare bazată pe implementarea experienței valoroase a unui specialist, cunoașterea profundă a subiectului de cercetare și tehnologiile de analiză calitativă.

Expertiza poate fi individuală sau de grup. Într-o examinare de grup, selecția unui grup de experți și metodologia de prelucrare finală a rezultatelor muncii sale sunt de mare importanță.

Opinia expertului este un document care înregistrează progresul studiului și rezultatele acestuia. În acest caz, concluziile și opiniile experților pot avea atât formă categorică („da”, „nu”), cât și probabilistică (sub forma unei ipoteze, ierarhizare, coeficient de preferință etc.).

Atunci când organizați munca experților, este necesar să respectați următoarele principii:

1. Ideile, opiniile și evaluările trebuie să se încadreze într-o schemă pregătită în prealabil. Acest lucru le permite să fie generalizate, comparate, evidențiate etc. O astfel de schemă nu ar trebui să împiedice gândirea și să limiteze imaginația. Schema poate permite și sugera posibilitatea modificării și adăugării acesteia.

2. Prelucrarea opiniilor experților trebuie efectuată nu numai în generalizare cantitativă, ci și prin analiză calitativă, evidențiind principalele, esențiale, importante, relevante, originale, noi etc. Opinia expertului poate face obiectul unei secunde- examen de etapă.

3. Experții trebuie să fie independenți, de ex. eliberat de orice restricții organizaționale sau conceptuale, precum și psihologice. În acest caz, experiența, cunoștințele și intuiția lor sunt cel mai bine realizate.

4. Activitatea grupului de experți ar trebui să aibă un scop. Înțelegerea de ce și cum este efectuată o examinare este un element important al implementării acesteia. În multe cazuri, este necesară pregătirea specială a experților, care joacă rolul de mobilizare a efortului și a inteligenței.

5. Există diferite forme de organizare a muncii unui grup de experți: fie fiecare expert efectuează o examinare individual, apoi rezultatele sunt rezumate și sistematizate, fie experții lucrează colectiv, interacționând între ei.

6. Este posibilă munca în paralel și în mai multe etape a mai multor grupuri de experți. O comparație a examinărilor oferă informații importante.

Există multe metode de obținere a evaluărilor experților. În unele, ei lucrează cu fiecare expert separat; el nici măcar nu știe cine altcineva este expert și, prin urmare, își exprimă opinia indiferent de autorități. În altele, experții sunt reuniți pentru a pregăti materiale pentru factorii de decizie, iar experții discută problema între ei, învață unii de la alții, iar opiniile incorecte sunt eliminate. În unele metode, numărul de experți este fix și astfel încât metodele statistice de verificare a coerenței opiniilor și apoi de mediere a acestora să permită luarea unor decizii informate. În altele, numărul experților crește în timpul procesului de examinare, de exemplu, atunci când se folosește metoda „bulgăre de zăpadă”.

Un specialist sau un grup de specialiști care acționează ca experți este uneori identificat cu un instrument de măsurare care are erori de măsurare aleatorii și sistematice.

Erorile aleatorii se datorează subiectivității opiniilor experților cu privire la problema luată în considerare și se pot abate într-o direcție sau alta de la valoarea adevărată. Impactul unor astfel de erori este redus prin media unui număr suficient de estimări.

Eroarea sistematică este inerentă întregii echipe de experți și nu poate fi eliminată prin prelucrarea estimărilor rezultate. Acest lucru sugerează că în unele cazuri este necesară abordarea cu mare atenție a rezultatelor unui sondaj de experți, care uneori poate exprima un punct de vedere general eronat, în funcție de nivelul de cunoștințe și convingerile experților.

1.3 Procesul de evaluare inter pares

Principalele etape ale procesului de evaluare a experților includ:

Formarea scopurilor și obiectivelor evaluării experților;

Formarea unui grup de management și înregistrarea unei decizii de a efectua o evaluare de expertiză;

Alegerea unei metode de obținere a informațiilor de specialitate și a metodelor de prelucrare a acesteia;

Selectarea unui grup de experți și generarea de chestionare de anchetă, dacă este necesar;

Sondaj de experți (examinare);

Prelucrarea și analiza rezultatelor examinărilor;

Interpretarea rezultatelor obtinute;

Întocmirea unui raport.

Sarcina efectuării evaluării expertului este stabilită de decident. Etapa de formare a scopurilor și obiectivelor evaluării expertului este cea principală. De aceasta depind fiabilitatea rezultatului obținut și valoarea sa pragmatică. Formarea scopurilor și obiectivelor evaluării expertului este dictată de esența problemei care se rezolvă. Aici trebuie luați în considerare următorii factori: fiabilitatea și caracterul complet al informațiilor inițiale disponibile, forma necesară de prezentare a rezultatului (calitativă sau cantitativă), posibilele domenii de utilizare a informațiilor primite, momentul prezentării acesteia, resursele. disponibile managementului, posibilitatea de a atrage specialiști din alte domenii de cunoaștere și multe altele. Sarcina este formalizată sub forma unui document de îndrumare (de exemplu, o decizie de a efectua o evaluare a unui expert).

Un șef al examenului este numit pentru a pregăti decizia și a ghida toate lucrările ulterioare. Acesta determină componența echipei de conducere. Grupul de management oferă feedback experților sau folosind metoda Delphi.

Grupului de management i se încredințează nu numai toate activitățile de organizare și planificare pentru a asigura condiții favorabile pentru o activitate creativă eficientă a experților, ci și munca analitică privind selectarea unui grup de experți, determinarea metodelor de obținere și prelucrare a informațiilor, întocmirea chestionarelor, interpretarea semnificativă a rezultatele obtinute.

Această gamă largă și complexă de probleme de rezolvat necesită includerea în grupul de management a specialiștilor de înaltă calificare atât în ​​domeniul problemei luate în considerare, cât și în alte domenii - psihologie, matematică, medicină, sociologie.

Selecția experților specifici se realizează pe baza unei analize a calității fiecăruia dintre experții propuși. În acest scop sunt utilizate diferite metode:

evaluarea experților candidați pe baza analizei statistice a rezultatelor activităților anterioare ca experți în primele probleme ale cercetării CS;

evaluarea colectivă a unui expert candidat ca specialist în acest domeniu

autoevaluarea expertului candidat;

determinarea analitică a competenţei experţilor candidaţi.

Cu toate acestea, toate aceste metode au anumite dezavantaje, printre care: lipsa unei singure metodologii de evaluare general acceptate; intensitate mare a muncii de evaluare; apariţia problemelor etice la utilizarea metodelor subiective de evaluare.

În cursul acestei lucrări, sunt adesea folosite simultan mai multe metode: autoevaluarea și evaluarea colectivă a calităților expertului propus. Această abordare face posibilă selectarea rezonabilă a experților cu calitățile necesare. Cu toate acestea, trebuie recunoscut faptul că metoda de evaluare a performanțelor anterioare pare a fi mai obiectivă decât metodele de autoevaluare și evaluare colectivă.

În general, formarea unui grup de experți este precedată de următoarele activități:

se identifică și se formulează problema;

se stabilește scopul și domeniul de activitate al grupului;

se întocmește o listă preliminară de experți;

se efectuează analiza și selecția experților (pe baza utilizării uneia sau mai multor metode de selectare a acestora);

se precizează lista experților; . se obține acordul expertului de a participa la lucrările grupului de experți;

se stabileşte lista reprezentativă finală a experţilor. Toți potențialii experți, în funcție de calitatea și competența lor, pot fi clasificați în șapte clase

Un exemplu de evaluare a calității și competenței experților.

Alegerea numărului de clase de calitate de experți în acest caz este determinată de „regula celor șapte”, care este utilizată în mod tradițional la rezolvarea problemelor de management al calității.

Această gradare vă permite să selectați experții necesari pentru a lucra în grupul de experți. Pentru a obține rezultate destul de obiective ale studiului CS, este recomandabil să selectați dintre experții aparținând claselor de calitate 1-4. Nu este recomandabil să se implice în examene experți candidați din clase de calitate inferioară.

Indiferent de metoda aleasă de evaluare a calităților candidaților, experții trebuie să îndeplinească în toate cazurile anumite cerințe, printre care:

* competență profesională și experiență practică și de cercetare în domeniul managementului;

* creativitate (capacitate de a rezolva probleme creative); . intuiție științifică;

Interes pentru rezultatele obiective ale muncii experților;

* independență de judecată;

* capacitatea de „calmă” în afaceri de a trece de la un tip de activitate la altul, comunicare, independență de judecată, motivare a acțiunilor);

* obiectivitate;

* nonconformism;

* înaltă erudiție generală.

Efectuarea unei colectări de opinii ale experților presupune determinarea: locului și timpului pentru colectarea opiniilor; forme si metode de colectare a opiniilor; numărul de runde de colectare a opiniilor; compoziția și conținutul documentației; procedura de consemnare a rezultatelor expertizelor în documente.

Este foarte important să se determine formularul pentru colectarea opiniilor experților. Dintre toate formele cunoscute de colectare a opiniilor, putem remarca individuale, colective (de grup) și mixte. Astfel, aceste forme diferă în primul rând prin factorul participării experților la muncă (individuală sau colectivă) și fiecare dintre ele are o serie de varietăți:

* studiu;

* interviu;

* discutie;

* brainstorming

* întâlnire;

* joc de afaceri.

Toate au propriile lor avantaje și dezavantaje. În multe cazuri, fiecare dintre aceste soiuri este folosită împreună cu altele, ceea ce oferă adesea un efect și o obiectivitate mai mare. Este folosită forma mixtă la colectarea opiniilor experților în cazurile de incertitudine cu privire la problemă, în caz de dezacord? opiniile individuale sau dezacordurile dintre experți în timpul discuțiilor colective.

După efectuarea unui sondaj asupra unui grup de experți, rezultatele sunt procesate. Informațiile inițiale pentru prelucrare sunt date numerice care exprimă preferințele experților și o justificare semnificativă a acestor preferințe. Scopul prelucrarii este obtinerea de date generalizate si informatii noi continute sub forma ascunsa in expertize. Pe baza rezultatelor procesării, se formează o soluție la problemă.

Prezența atât a datelor numerice, cât și a declarațiilor semnificative ale experților conduce la necesitatea utilizării metodelor calitative și cantitative pentru prelucrarea rezultatelor evaluării de grup de experți. Ponderea acestor metode depinde în mod semnificativ de clasa de probleme rezolvate prin evaluarea experților.

Întregul set de probleme poate fi împărțit în două clase. Prima clasă include probleme pentru care există un nivel suficient de cunoștințe și experiență, adică există potențialul informațional necesar. Atunci când rezolvă problemele aparținând acestei clase, experții sunt considerați a fi buni măsuratori în medie. Termenul „bine în medie” se referă la capacitatea de a obține rezultate de măsurare apropiate de cele adevărate. Pentru mulți experți, judecățile lor se concentrează în jurul valorii adevărate. Rezultă că pentru a procesa rezultatele evaluării de către experți de grup a problemelor de prima clasă, pot fi aplicate cu succes metode de statistică matematică bazate pe medierea datelor.

A doua clasă include probleme pentru care nu a fost încă acumulat suficient potențial de informare. În acest sens, judecățile experților pot varia foarte mult una de cealaltă. În plus, judecata unui expert, care este foarte diferită de alte opinii, se poate dovedi a fi adevărată. Este evident că utilizarea metodelor de mediere a rezultatelor evaluării grupului de experți la rezolvarea problemelor din clasa a doua poate duce la erori mari. Prin urmare, prelucrarea rezultatelor unui sondaj de experți în acest caz ar trebui să se bazeze pe metode care nu folosesc principiile medierii, ci pe metode de analiză calitativă.

Având în vedere că problemele de prima clasă sunt cele mai frecvente în practica evaluării experților, atenția principală în acest capitol este asupra metodelor de prelucrare a rezultatelor examinării pentru această clasă de probleme.

În funcție de obiectivele evaluării expertului și de metoda de măsurare aleasă, la procesarea rezultatelor sondajului apar următoarele sarcini principale:

1) construirea unei evaluări generalizate a obiectelor pe baza evaluărilor individuale ale experților;

2) construirea unei evaluări generalizate bazată pe compararea în perechi a obiectelor de către fiecare expert;

3) determinarea greutăților relative ale obiectelor;

4) determinarea coerenței opiniilor experților;

5) determinarea dependenţelor între clasamente;

6) evaluarea fiabilității rezultatelor prelucrării.

Sarcina de a construi o evaluare generalizată a obiectelor pe baza evaluărilor individuale ale experților apare în timpul evaluării de grup de experți. Soluția la această problemă depinde de metoda de măsurare folosită de experți.

Atunci când rezolvați multe probleme, nu este suficient să organizați obiectele după un indicator sau un set de indicatori. Este de dorit să existe valori numerice pentru fiecare obiect care să determine importanța sa relativă în comparație cu alte obiecte. Cu alte cuvinte, pentru multe sarcini este necesar să existe evaluări ale obiectelor care nu doar să le organizeze, ci și să permită determinarea gradului de preferință a unui obiect față de altul. Pentru a rezolva această problemă, puteți aplica direct metoda de estimare directă. Totuși, aceeași problemă, în anumite condiții, poate fi rezolvată prin prelucrarea evaluărilor experților.

Consistența opiniilor experților este determinată prin calcularea unei măsuri numerice care caracterizează gradul de similitudine a opiniilor individuale. Analiza valorii măsurii consistenței contribuie la dezvoltarea unei judecăți corecte asupra nivelului general de cunoaștere a problemei care se rezolvă și la identificarea grupărilor de opinii ale experților. O analiză calitativă a motivelor grupării de opinii face posibilă stabilirea existenței diferitelor opinii, concepte, identificarea școlilor științifice, determinarea naturii activității profesionale etc. Toți acești factori fac posibilă o înțelegere mai profundă a rezultatelor un sondaj de experți.

Prin prelucrarea rezultatelor evaluării experților, este posibil să se determine dependențele dintre clasamentele diferiților experți și, prin urmare, să se stabilească unitatea și diferența în opiniile experților. Un rol important îl joacă și stabilirea relației dintre clasamente pe baza diverșilor indicatori pentru compararea obiectelor. Identificarea unor astfel de dependențe face posibilă dezvăluirea indicatorilor de comparație aferente și, poate, gruparea acestora în funcție de gradul de conexiune. Importanța sarcinii de determinare a dependențelor pentru practică este evidentă. De exemplu, dacă indicatorii de comparație sunt diverse scopuri, iar obiectele sunt mijloacele de realizare a scopurilor, atunci stabilirea relației dintre clasamentele care ordonează mijloacele din punctul de vedere al atingerii scopurilor ne permite să răspundem în mod rezonabil la întrebare. în ce măsură atingerea unui scop cu mijloace date contribuie la realizarea altor scopuri .

Estimările obținute în urma procesării sunt obiecte aleatorii, așa că una dintre sarcinile importante ale procedurii de prelucrare este de a determina fiabilitatea acestora. Ar trebui să se acorde o atenție adecvată rezolvării acestei probleme.

Prelucrarea rezultatelor examinării este un proces intensiv în muncă. Efectuarea manuală a operațiunilor de calculare a estimărilor și indicatorilor fiabilității acestora este asociată cu costuri mari de muncă, chiar și în cazul rezolvării unor probleme simple de comandă. În acest sens, este indicat să folosiți tehnologia informatică și mai ales computerele. Utilizarea calculatoarelor ridică problema dezvoltării programelor informatice care implementează algoritmi de prelucrare a rezultatelor evaluării experților.

2. Metode de evaluare a experților

Analiza SWOT

Un tip special de metodă expertă care este foarte populară este metoda originală de analiză SWOT. Și-a primit numele de la primele litere a patru cuvinte în limba engleză, care în traducerea rusă înseamnă: Puncte tari și puncte slabe, Oportunități și Amenințări.

Această metodologie poate fi utilizată ca una universală. Are un efect special atunci când se studiază procesele dintr-un sistem socio-economic, care se caracterizează prin dinamism, controlabilitate, dependență de factori interni și externi de funcționare și dezvoltare ciclică.

Conform metodologiei acestei analize, se realizează repartizarea factorilor care caracterizează subiectul de cercetare în aceste patru componente, luând în considerare dacă acest factor aparține clasei factorilor externi sau interni.

Ca urmare, apare o imagine a relației dintre punctele forte și punctele slabe, oportunități și pericole, care sugerează cum trebuie schimbată situația pentru a avea o dezvoltare cu succes.

Distribuirea factorilor în aceste cadrane sau sectoare de matrice nu este întotdeauna ușoară. Se întâmplă ca același factor să caracterizeze simultan atât punctele forte, cât și punctele slabe ale unui obiect. În plus, factorii operează situațional. Într-o situație arată ca un avantaj, în alta - un dezavantaj. Uneori sunt incomensurabile în importanța lor. Aceste circumstanțe pot și trebuie luate în considerare.

Același factor poate fi plasat în mai multe cadrane dacă este dificil să-i determine cu claritate locul. Acest lucru nu va avea un impact negativ asupra studiului. La urma urmei, esența metodei este identificarea factorilor, plasarea lor în așa fel încât concentrarea lor să sugereze modalități de rezolvare a problemei, astfel încât aceștia să devină gestionați.

În fiecare cadran, factorii nu trebuie să aibă neapărat o pondere egală, dar trebuie să fie prezentați în întregime.

Matricea completată arată starea reală a lucrurilor, starea problemei și natura situației. Aceasta este prima etapă a unei analize SWOT.

Al doilea pas este de a efectua o analiză comparativă a punctelor forte și oportunităților, care ar trebui să arate cum să folosești punctele forte. În același timp, este necesar să se analizeze punctele slabe în ceea ce privește pericolele existente. O astfel de analiză va arăta cât de probabilă este o criză. La urma urmei, pericolul crește atunci când apare în condiții de slăbiciune, când slăbiciunile nu oferă posibilitatea de a preveni pericolul.

Desigur, este foarte util să se facă o analiză comparativă a punctelor forte și a pericolelor existente. La urma urmei, punctele forte pot fi utilizate prost atunci când se previne o criză; punctele forte trebuie văzute nu numai în raport cu oportunitățile favorabile, ci și în raport cu pericolele.

În studiul sistemelor de control, subiectul acestei metode poate fi diverse probleme ale dezvoltării managementului. De exemplu, eficiența, personalul, stilul, distribuția funcțiilor, structura sistemului de management, mecanismul de management, motivația, profesionalismul, suportul informațional, comunicarea și comportamentul organizațional etc.

Utilizarea de experți sau consultanți interni special instruiți și selectați poate spori eficacitatea acestei metode.

Metoda SMART

Există multe modificări ale metodei de analiză SWOT. Cea mai interesantă dintre ele este metoda de dezvoltare și analiză a obiectivelor.

Se știe că scopul managementului este un factor decisiv în succes, eficiență, strategie și dezvoltare. Fără un scop, este imposibil să dezvoltați un plan sau un program. Dar aceasta se referă nu numai la scopul managementului, ci și la scopul cercetării. La urma urmei, formularea corectă a acestui obiectiv poate fi și dificilă. Programul de cercetare și metodele folosite pentru a-l desfășura depind de scop.

Scopul trebuie dezvoltat în funcție de criteriile de realizabilitate, specificitate, evaluabilitate (măsurabilitate), luând în considerare Locul și Timpul. Aceste criterii reflectă cuvintele în limba engleză - Specific, Measurable, Achievable, Relevant, Timed, în numele prescurtat, acesta este SMART. Așa se numește această metodă.

Metoda implică o evaluare consecventă a obiectivelor pe baza unui set de criterii aranjate într-o formă de matrice. Iată un set de factori comparabili care reflectă caracteristicile obiectivului: greu de atins - ușor de realizat, costuri mari - costuri scăzute, are suport de personal - nu are suport de personal, are priorități - nu are priorități, necesită mult timp - necesită puțin timp, are un impact larg -- are o influență limitată, este concentrat pe tehnologii înalte - este concentrat pe tehnologii scăzute (convenționale), este asociat cu o nouă organizație de management - nu este asociat cu o nouă organizație de management.

Următorul pas este crearea unei matrice de identificare a problemei. Pentru a atinge scopul, trebuie rezolvate o serie de probleme. Dar pentru a face acest lucru, ele trebuie mai întâi definite.

Repartizarea problemelor se realizează după următoarele criterii: situația existentă, situația dorită, posibilitatea realizării scopului. Aceste criterii caracterizează orizontala matricei. Pe verticală sunt considerate următoarele criterii: definirea problemei, evaluarea problemei (parametri cantitativi), organizarea soluției (cine, unde, când), costurile rezolvării problemei.

Această matrice vă permite să întocmiți un plan de cercetare.

Metoda de clasare și evaluare.

Prin metoda rangului, expertul realizează ierarhizarea (ordonarea) obiectelor studiate ale sistemului organizatoric în funcție de importanța (preferința) lor relativă, când obiectului cel mai preferat i se atribuie rangul 1, iar celui mai puțin preferat i se atribuie ultimul rang, egal. în valoare absolută la numărul de obiecte comandate. O ordonare mai precisă are loc cu mai puține obiecte de studiu și invers.

Cu aranjarea preferată (în funcție de rang) a obiectelor examinate de către un expert, suma rangurilor ar trebui să fie egală cu suma numerelor întregii serii naturale a numărului de obiecte H, începând de la unu: H = (H+). 1): 2.

Rangurile rezultate ale clasamentului obiectelor pe baza datelor sondajului sunt determinate ca sumă a rangurilor pentru fiecare obiect. În acest caz, în cele din urmă, primul rang este atribuit obiectului care a primit cea mai mică sumă de ranguri, iar ultimul - celui care a primit cea mai mare sumă de ranguri, adică. obiectul cel mai puțin semnificativ (un exemplu de determinare a rangului rezultat a trei obiecte de către șapte experți)

Cu cât sunt implicați mai mulți experți, cu atât este mai mare obiectivitatea rezultatului evaluării. Cu toate acestea, implicarea unui număr mare de experți calificați și intensitatea ridicată a forței de muncă a muncii experților crește costul evaluărilor calității. Prin urmare, pentru a reduce intensitatea muncii experților, aceștia folosesc metoda rangului, care prevede doar ierarhizarea indicatorilor, și nu determinarea numerică a acestora de către experți.

Cu toate acestea, această metodă este utilizată în practica studierii sistemelor de control, în ciuda simplității sale și a intensității reduse a muncii, comparativ. Acest lucru se explică prin numărul mare de obiecte de cercetare care sunt clasate.

Metoda de evaluare directă

Reprezintă ordonarea obiectelor studiate (de exemplu, la selectarea parametrilor pentru alcătuirea unui model parametric) în funcție de importanța acestora prin atribuirea de puncte fiecăruia dintre ele. În acest caz, obiectului cel mai important i se atribuie cel mai mare număr de puncte pe scala acceptată (se acordă o evaluare). Cel mai comun interval al scalei de evaluare este de la 0 la 1; 0 la 5; 0 la 10; 0 la 100. În cel mai simplu caz, scorul poate fi 0 sau 1.

Uneori evaluarea se face verbal. De exemplu, „foarte important”, „important”, „neimportant”, etc., care este uneori tradus într-o scară de puncte (3, 2, 1, respectiv) pentru o mai mare comoditate în procesarea rezultatelor sondajului.

Evaluarea directă trebuie utilizată cu încredere deplină în cunoștințele profesionale ale experților cu privire la proprietățile obiectelor studiate. Pe baza rezultatelor evaluării, se determină rangul și ponderea (semnificația) fiecărui obiect studiat.

Concluzie

În prezent, sunt din ce în ce mai utilizate diverse metode de evaluare a experților. Ele sunt indispensabile atunci când se rezolvă probleme complexe de evaluare și selectare a obiectelor tehnice, inclusiv cele cu destinație specială, atunci când se analizează și se prevăd situații cu un număr mare de factori semnificativi - oriunde este necesar să se implice cunoștințele, intuiția și experiența multor experți cu înaltă calificare. specialişti.

Metodele experte sunt în mod constant dezvoltate și îmbunătățite. Principalele direcții ale acestei dezvoltări sunt determinate de o serie de factori, inclusiv dorința de a extinde domeniul de aplicare a aplicațiilor, de a crește gradul de utilizare a metodelor matematice și a tehnologiei informatice electronice și, de asemenea, de a găsi modalități de a elimina deficiențele emergente.

În ciuda succeselor obținute în ultimii ani în dezvoltarea și utilizarea practică a metodei de evaluare a experților, există o serie de probleme și sarcini care necesită cercetări metodologice suplimentare și teste practice. Este necesară îmbunătățirea sistemului de selectare a experților, creșterea fiabilității caracteristicilor opiniei de grup, dezvoltarea metodelor de verificare a validității evaluărilor și studierea motivelor ascunse care reduc fiabilitatea evaluărilor experților.

Evaluarea de către expert a proprietăților și calităților de afaceri ale candidatului se bazează pe parametrii cantitativi și criteriile de evaluare obținute în urma interviului. Deși aici există elemente de convenție și subiectivitate, cu o scală de rating bine pusă la punct și o abordare atentă (profesională) a experților, este posibil să se evalueze subiectele cu un grad ridicat de fiabilitate.

Lista literaturii folosite

1.Grigorov V.M. Experți în sistemul de management al producției publice // M.: Mysl, 1976

2. Demidova A.V. Cercetarea sistemelor de control. - M.: Prior-izdat, 2005. - 96 p.

3. Ignatieva A.V. Cercetarea sistemelor de control. - M.: UNITATEA-DANA, 2003. - 157 p.

4. Kafidov V.V. Cercetarea sistemelor de control. - M.: Proiect Academic, 2005. - 160 p.

5. Malin A.S. Cercetarea sistemelor de control. - M.: Şcoala Superioară de Economie a Universităţii de Stat, 2005. - 399 p.

6. Reylyan Ya. R. Baza luării deciziilor de management // M.: Finanțe și Statistică, 1989

7. Remennikov V.B. Dezvoltarea unei soluții de management. Manual indemnizatie. -- M.: UNITATEA-DANA, 2000.

8. Smolkin A.M. Management: bazele organizării. - M.: INFRA-M, 1999.

Postat pe Allbest.ru

Documente similare

Rezolvarea problemelor, argumentarea și formarea de estimări cantitative ale rezultatelor folosind metode formale. Componentele metodei de evaluare a expertilor. Metodă de generare colectivă de idei („brainstorming”). Metoda Delphi, caracteristicile metodei focus grup, analiza SWOT.

prezentare, adaugat 30.03.2014


Esența și conținutul, principalele etape ale analizei expertului, domeniile și caracteristicile aplicării sale practice, interpretarea rezultatelor. Gradul de fiabilitate al acestei examinări. Aplicarea metodei de evaluare a expertilor pentru a construi un arbore de obiective.

lucrare de curs, adăugată 25.02.2012


Conceptul și caracteristicile utilizării tehnologiilor experte ca parte integrantă a procesului de pregătire și luare a deciziilor importante de management. Studierea principalelor etape ale unui sondaj de specialitate. Selecția experților. Metoda Delphi, PATTERN, brainstorming.

rezumat, adăugat 10.09.2016


Utilizarea evaluărilor experților. Aplicarea diferitelor metode pentru rezolvarea unei probleme. Clasamentul, comparațiile pereche și multiple, evaluarea directă, metoda Thurstone sunt cele mai frecvent utilizate proceduri de măsurare expert. Metode de tip Delphi.

test, adaugat 03.09.2011


Esența și tipurile de evaluări ale experților, scopurile utilizării lor. Principalele etape ale cercetării de specialitate. Caracteristicile metodelor de lucru colectiv ale unui grup de experți, precum și metodele de obținere a opiniilor individuale. Prelucrarea rezultatelor unui sondaj de specialitate.

rezumat, adăugat 04.03.2012


Caracteristicile procedurilor de expertiză: caracteristici ale metodelor și modelelor euristice, metode ale evaluărilor individuale, evaluări ale experților colective. Specificul examinării, conținutului și procesării rezultatelor. Evaluarea de către experți a nivelului de risc de țară.

rezumat, adăugat 05.10.2010


Metode de obținere a evaluărilor de specialitate. Problema selectării experților. Documente de reglementare care reglementează activitățile comisiilor de experți. Luarea deciziilor în condiții de risc și incertitudine. Sarcini de luare a deciziilor în condiții de incertitudine.

test, adaugat 15.07.2010


Esența și tipurile de decizii în procesul de management al producției. Cerințe de bază pentru calitatea deciziilor de management. Metode de optimizare a deciziilor de management. Metode de optimizare a soluțiilor folosind metode de evaluare expert.

lucrare de curs, adăugată 05/08/2002


Studiul metodelor de prognoză a dezvoltării: extrapolare, bilanţ, metode normative şi program-ţintă. Studiul organizării muncii expertului, formarea de chestionare și tabele de evaluări ale experților. Analiza modelelor matematice și statistice de prognoză.

test, adaugat 19.06.2011


Metodologia și etapele clasificării sistemelor după diverse criterii. Întocmirea chestionarelor pentru obținerea evaluărilor experților, detaliile obligatorii ale acestora și întrebările principale. Esența și construcția arborelui obiectivului, principiile detalierii acestuia. Metodologie de evaluare a sistemelor complexe.