Condições de aplicação do método de peritagem. método especialista

Introdução ……………………………………………………………………………..3

Capítulo 1 Essência, métodos e processo de avaliação pericial …………………… 5

1.1 Essência das avaliações de especialistas …………………………………………………… 5

1.2 O papel dos especialistas em gestão …………………………………………………..9

1.3 Processo de Revisão por Pares …………………………………………………………………………………………………………………………… ……………………………………………………………………………………………………………………………….

1.4 Métodos de avaliação de especialistas …………………………………………………..18

1.4.1 Análise SWOT …………………………………………………………………18

1.4.2 Método SMART ……………………………………………………………….20

1.4.3 Método de classificação e avaliação ……………………………………..21

1.4.4 Método de avaliação direta …………………………………22

1.5 Avaliação do consenso dos especialistas …………………………………………….23

Capítulo 2 Métodos de avaliação de especialistas sobre o exemplo da UAZ OJSC ...…………….24

Conclusão ……………………………………………………………………… 32

Lista de fontes e literatura utilizadas ……………………………..33

Introdução

No estudo da gestão, o método de avaliação de especialistas é amplamente utilizado. Isso se deve à complexidade de muitos problemas, sua origem no "fator humano", na falta de ferramentas experimentais ou normativas confiáveis.

É inegável que para tomar decisões informadas é preciso contar com a experiência, conhecimento e intuição de especialistas. Após a Segunda Guerra Mundial, no âmbito da teoria da gestão (gestão), começou a desenvolver-se uma disciplina independente - avaliações de especialistas.

Os métodos de avaliação de especialistas são métodos para organizar o trabalho com especialistas especialistas e processar opiniões de especialistas expressas de forma quantitativa e/ou qualitativa, a fim de preparar informações para a tomada de decisão pelos tomadores de decisão.

Muitos trabalhos têm se dedicado ao estudo das possibilidades e características da aplicação de avaliações periciais. Eles consideram formas de pesquisa especializada ( tipos diferentes questionários, entrevistas), abordagens de avaliação (classificação, normalização, tipos diferentes ordenação, etc.), métodos de processamento dos resultados da pesquisa, requisitos para especialistas e formação de grupos de especialistas, questões de treinamento de especialistas, avaliação de sua competência (ao processar estimativas, os coeficientes de competência de especialistas, a confiabilidade de suas opiniões são introduzidos e levados em consideração), métodos de organização de pesquisas de especialistas. A escolha de formas e métodos para realizar pesquisas de especialistas, abordagens para processar os resultados da pesquisa, etc. depende da tarefa específica e das condições do exame.

Métodos especializados são agora usados ​​em situações em que a escolha, justificação e avaliação das consequências das decisões não podem ser realizadas com base em cálculos precisos. Tais situações muitas vezes surgem durante o desenvolvimento problemas contemporâneos gestão produção social e especialmente na previsão e planejamento de longo prazo. Nos últimos anos, as avaliações periciais têm sido amplamente utilizadas na previsão sócio-política e técnico-científica, no planejamento da economia nacional, indústrias, associações, no desenvolvimento de grandes programas científicos, técnicos, econômicos e sociais, na resolução de problemas.

Capítulo 1 Essência, métodos e processo de avaliações de especialistas

1.1 A essência da avaliação de especialistas

A possibilidade de usar avaliações periciais, a justificativa de sua objetividade geralmente se baseia no fato de que uma característica desconhecida do fenômeno em estudo é interpretada como uma variável aleatória, cujo reflexo da lei de distribuição é uma avaliação individual de um especialista especialista sobre a confiabilidade e o significado de um evento. Assume-se que o verdadeiro valor da característica em estudo está dentro do intervalo de estimativas recebidas do grupo de especialistas e que a opinião coletiva generalizada é confiável.

No entanto, alguns estudos teóricos questionam essa suposição. Por exemplo, propõe-se dividir os problemas para os quais as avaliações de especialistas são usadas em duas classes. Para faixaminha classe incluem problemas suficientemente bem providos de informações e para os quais pode ser utilizado o princípio de um “bom mensurador”, considerando o especialista como o guardião de uma grande quantidade de informação, e a opinião do grupo de especialistas é próxima da verdadeira. Companhia segunda classe incluir problemas em relação aos quais o conhecimento não é suficiente para garantir a validade dessas suposições; especialistas não podem ser considerados como “bons medidores”, sendo necessário abordar cuidadosamente o processamento dos resultados do exame, pois neste caso a opinião de um (único) especialista, que presta mais atenção ao estudo de um problema estudado, pode vir a ser o mais significativo, e durante o processamento formal será perdido. Nesse sentido, o processamento qualitativo dos resultados deve ser aplicado principalmente a problemas de segunda classe. O uso de métodos de média (válido para "bons medidores") neste caso pode levar a erros significativos.

As tarefas de tomada de decisão coletiva sobre a formação de metas, o aprimoramento de métodos e formas de gestão podem ser atribuídas geralmente à primeira turma. No entanto, ao desenvolver previsões e planos de longo prazo, é aconselhável identificar opiniões “raras” e submetê-las a uma análise mais aprofundada.

Outro problema que deve ser levado em consideração ao realizar uma análise de sistema é o seguinte: mesmo no caso de resolver problemas relacionados à primeira classe, não se deve esquecer que as avaliações de especialistas carregam não apenas características estreitamente subjetivas inerentes a especialistas individuais, mas também coletivamente -características subjetivas que não desaparecem ao processar os resultados da pesquisa (e podem até ser aprimoradas ao usar o procedimento Delphi). Em outras palavras, as avaliações de especialistas devem ser vistas como uma espécie de “ponto de vista público”, dependendo do nível de conhecimento científico e técnico da sociedade sobre o assunto da pesquisa, que pode mudar à medida que o sistema e nossas ideias sobre ele se desenvolvem . Portanto, uma pesquisa especializada não é um procedimento único. Essa forma de obter informações sobre um problema complexo caracterizado por um alto grau de incerteza deve se tornar uma espécie de "mecanismo" em um sistema complexo, ou seja, é necessário criar um sistema regular de trabalho com especialistas.

Deve-se atentar também para o fato de que o uso da abordagem de frequência clássica para avaliar a probabilidade na organização de pesquisas de especialistas pode ser difícil, e às vezes impossível (devido à impossibilidade de provar a legitimidade do uso de uma amostra representativa). Portanto, atualmente, estão em andamento estudos sobre a natureza da probabilidade de avaliação pericial, com base na teoria, conjuntos fuzzy de Zadeh, na ideia de avaliação pericial como grau de confirmação de uma hipótese ou como probabilidade de alcançar um objetivo. Uma das variedades do método especialista é o método de estudar os pontos fortes e fracos da organização, as oportunidades e ameaças às suas atividades - o método de análise SWOT.

A coleta de informações de especialistas depende da escolha do método de avaliação de especialistas. Normalmente, para coletar informações de especialistas, são compilados documentos especiais, por exemplo, questionários aprovados pelos gestores competentes e enviados aos especialistas.

O processamento de informações especializadas é realizado pelo método escolhido, geralmente com o uso de tecnologia de computador. Os dados obtidos como resultado do processamento são analisados ​​e utilizados para resolver os problemas de análise e síntese de sistemas de controle.

Avaliações de especialistas são usadas para análise, diagnóstico do estado, previsão subsequente de opções de desenvolvimento:

1) objetos cujo desenvolvimento é total ou parcialmente não passível de descrição de assunto ou formalização matemática;

2) na ausência de estatísticas suficientemente representativas e confiáveis ​​sobre as características do objeto;

3) em condições de grande incerteza no ambiente para o funcionamento do objeto, o ambiente de mercado;

4) na previsão de médio e longo prazo de novos mercados, objetos de novas indústrias fortemente influenciadas por descobertas nas ciências fundamentais (por exemplo, indústria microbiológica, eletrônica quântica, engenharia nuclear);

5) nos casos em que o tempo ou os recursos alocados para previsão e tomada de decisão não permitem investigar o problema por meio de modelos formais;

6) não há meios técnicos necessários de modelagem, por exemplo, tecnologia computacional com as características apropriadas;

7) em situações extremas.

As tarefas resolvidas no processo de avaliação especializada de sistemas de controle podem ser divididas em dois grupos:

1) tarefas de síntese de novos sistemas de controle e sua avaliação;

2) tarefas de análise (medição) dos sistemas de gestão existentes de acordo com indicadores selecionados e critérios de desempenho.

As tarefas do primeiro grupo incluem: formação da imagem do sistema que está sendo criado; previsão de indicadores técnicos e econômicos das etapas de seu ciclo de vida; fundamentação das principais orientações da reorganização do sistema de gestão social; seleção de métodos de ação e resultados ótimos ou satisfatórios usando o sistema de controle criado, etc.

Algumas das informações de especialistas obtidas no curso da resolução desses problemas são de natureza qualitativa e são formadas na forma de julgamentos complexos de forma descritiva. No entanto, as tarefas de síntese resolvidas com a ajuda de avaliações de especialistas podem ser de natureza quantitativa, e sua solução estará associada à justificativa de inúmeros parâmetros (características) do sistema que está sendo criado.

As tarefas do segundo grupo incluem todas as tarefas de avaliação de variantes existentes ou criadas de sistemas de controle usando indicadores e critérios de desempenho especificados. Exemplos de tais tarefas são: determinar as características estruturais, funcionais ou informacionais do sistema; avaliação da sua eficácia no decurso da execução de várias operações; determinar a conveniência de operação posterior de meios técnicos de controle e comunicação, etc. Uma parte significativa da informação especializada usada na solução de tais problemas é de natureza quantitativa ou tem a forma de julgamentos elementares e é processada usando vários métodos estatísticos.

MINISTRO DA EDUCAÇÃO

FEDERAÇÃO RUSSA

UNIVERSIDADE ESTADUAL DE ALTAI

Faculdade de Economia

Departamento de Gestão de Crises, Avaliação de Negócios e Inovação

MÉTODO DE AVALIAÇÕES PERITOS

(trabalho do curso)

Concluído por um aluno

3 cursos, grupo 277

Strekalova S.B.

Trabalho protegido

Barnaul - 1999

Introdução 3

Capítulo 1. EXPERIÊNCIA EM GESTÃO 5

1.1. Papel dos especialistas em gestão 5

1.2. Método de julgamento especializado 7

1.3. Organização da revisão por pares 9

1.4. Seleção de especialistas 9

1.5. Pesquisa de especialistas 10

Capítulo 2. FORMALIZAÇÃO DE INFORMAÇÕES

E ESCALAS DE COMPARAÇÃO 12

Capítulo 3. PROCESSAMENTO DE AVALIAÇÕES PERITOS 16

3.1. Tarefas de usinagem 16

3.2. Avaliação do grupo de objetos 17

3.3. Avaliando o consenso de opiniões de especialistas 22

3.4. Manipulando Comparações de Objetos Pares 25

3.5. Determinando a relação dos rankings 27

Conclusão 31

Referências 32

INTRODUÇÃO

A economia moderna impõe novas e maiores exigências à gestão. As questões de melhoria dos métodos de gestão tornam-se agora muito importantes, pois é nesta esfera que existem reservas ainda maiores para aumentar a eficiência da economia nacional.

Um fator essencial para melhorar o nível científico da gestão é o uso de métodos e modelos matemáticos na elaboração de soluções. No entanto, uma formalização matemática completa de problemas técnicos e econômicos muitas vezes não é viável devido à sua novidade qualitativa e complexidade. Nesse sentido, são cada vez mais utilizados os métodos especialistas, entendidos como um conjunto de métodos e procedimentos lógicos e matemático-estatísticos que visam obter de especialistas as informações necessárias para a elaboração e seleção de decisões racionais.

Métodos especializados são agora usados ​​em situações em que a escolha, justificação e avaliação das consequências das decisões não podem ser realizadas com base em cálculos precisos. Tais situações surgem frequentemente no desenvolvimento de problemas modernos de gestão da produção social e, especialmente, na previsão e planejamento de longo prazo. Nos últimos anos, as avaliações periciais têm sido amplamente utilizadas na previsão sócio-política e técnico-científica, no planejamento da economia nacional, indústrias, associações, no desenvolvimento de grandes programas científicos, técnicos, econômicos e sociais, na resolução de problemas.

No decorrer do desenvolvimento da produção social, aumenta não apenas a complexidade da gestão, mas também os requisitos para a qualidade das decisões tomadas. Para aumentar a validade das decisões e levar em conta os inúmeros fatores que influenciam seus resultados, é necessária uma análise abrangente, baseada tanto em cálculos quanto em julgamentos fundamentados de gerentes e especialistas familiarizados com a situação e as perspectivas de desenvolvimento em vários campos atividades práticas. O uso de métodos especialistas garante a participação ativa e proposital de especialistas em todas as etapas da tomada de decisão, o que pode melhorar significativamente sua qualidade e eficiência.

O objetivo do nosso trabalho é estudar o método de avaliação de especialistas - uma das etapas mais importantes na tomada de decisões gerenciais competentes.

1) estudo do papel da perícia na gestão;

2) consideração do procedimento de organização da avaliação pericial;

3) estudo dos tipos de escalas e do procedimento para sua utilização;

4) consideração detalhada da etapa final da avaliação pericial - processamento das avaliações periciais.

O resumo é composto por uma introdução, três capítulos, uma conclusão e uma lista de referências.

O primeiro capítulo trata da questão da necessidade de perícia na gestão, considera o método de peritagem, as etapas de organização da peritagem.

O segundo capítulo é dedicado às escalas de comparação, são apresentadas as características de cada tipo de escala e a ordem de sua utilização na formalização das informações.

O terceiro capítulo trata do processamento de avaliações de especialistas: processamento de tarefas, avaliação em grupo de objetos, avaliação da consistência de opiniões de especialistas, processamento de comparações de objetos em pares e determinação da relação de classificações.

Como o objetivo deste trabalho é considerar a avaliação de especialistas em um aspecto teórico, a aplicação prática não é considerada.

Em conclusão, considera-se o papel do método de avaliação de especialistas na tomada de decisões gerenciais.

Capítulo 1. EXPERIÊNCIA EM GESTÃO

1.1. O papel dos especialistas em gestão

A sociedade moderna está se desenvolvendo sob o impacto cada vez maior da revolução científica e tecnológica, que está causando transformações fundamentais na produção, mudanças profundas na estrutura e economia da economia nacional. A revolução científica e tecnológica em curso em sua influência vai muito além da esfera produção de materiais, captando todos os aspectos da vida da sociedade, predeterminando a maioria das decisões que visam o seu desenvolvimento econômico e social racional.

A história do desenvolvimento da ciência, da tecnologia e da produção mostra que, paralelamente à sucessiva substituição das funções humanas pelas funções da máquina, seu papel no campo da gestão aumenta. O crescimento contínuo do volume de gastos com o desenvolvimento da ciência, com a criação de novas tecnologias e a melhoria da produção aumenta significativamente a importância das decisões tomadas em todos os níveis da gestão econômica. O futuro da ciência. A engenharia e a economia dependem em grande parte da qualidade e pontualidade dessas decisões, e as tendências objetivas do progresso científico e tecnológico podem acelerar ou desacelerar sob sua influência.

Métodos de otimização baseados no uso de modelos formais, na maioria das vezes matemáticos, que economizam tempo e dinheiro na resolução de muitos problemas práticos, estão agora adquirindo particular importância na gestão. A modelagem ajuda a trazer os fatores complexos e às vezes incertos associados a um problema de decisão em um esquema coerente, determinar quais dados são necessários para avaliar e selecionar alternativas.

No processo de gestão, há um desejo natural de encontrar uma solução que seja objetivamente a melhor possível. A programação matemática é agora amplamente utilizada como uma ferramenta de otimização. Os sucessos na aplicação da programação matemática para resolver vários tipos de problemas econômicos, científicos, técnicos e militares deram origem a visões metodológicas, segundo as quais uma solução cardinal para problemas de controle só é possível quando todos os seus aspectos são exibidos em um sistema de modelos matemáticos.

No entanto, a formalização de decisões técnicas, econômicas e gerenciais é dificultada por uma série de características do atual estágio de progresso científico e tecnológico. A vida da sociedade é tão complexa que é difícil contar com o surgimento de modelos que reflitam plenamente a natureza e as relações quantitativas dos processos socioeconômicos. A realidade real é sempre mais complexa do que os modelos matemáticos mais sutis, e seu desenvolvimento muitas vezes supera o conhecimento formal. As tarefas de gestão requerem a participação das pessoas como elemento integrante da solução. E, por fim, o próprio processo de gestão envolve sempre uma orientação não apenas para dados numéricos, mas também para o senso comum comum. O uso da programação matemática e da informática possibilita a tomada de decisões com base em informações mais completas e confiáveis. Mas também é indubitável que, sob quaisquer condições, a escolha de uma solução racional requer algo mais do que um bom modelo matemático.

Ao tomar decisões, geralmente assumimos que as informações usadas para apoiá-las são precisas e confiáveis. Mas para muitos problemas econômicos e técnico-científicos, que são qualitativamente novos e não repetitivos por natureza, essa suposição obviamente não é realizada ou não pode ser comprovada no momento da tomada de uma decisão.

A disponibilidade de informações e a exatidão de seu uso determinam em grande parte a otimalidade da solução escolhida. Além dos dados que consistem em estatísticas numéricas, as informações incluem outras quantidades que não são diretamente mensuráveis, como suposições sobre soluções possíveis e seus resultados. A prática mostra que as principais dificuldades que surgem na busca e seleção de soluções de negócios se devem principalmente à qualidade insuficiente e à incompletude da informação disponível.

As principais dificuldades associadas às informações que surgem no desenvolvimento de decisões complexas podem ser divididas nos seguintes grupos.

Em primeiro lugar, a informação estatística inicial muitas vezes não é suficientemente fiável.

Em segundo lugar, algumas das informações são de natureza qualitativa e não podem ser quantificadas. Assim, é impossível calcular com precisão o grau de influência de fatores sociais e políticos na implementação de planos, avaliar o efeito econômico de futuras invenções etc. Mas, como esses fatores e fenômenos têm um impacto significativo nos resultados das decisões, eles não podem ser ignorados.

Em terceiro lugar, no processo de preparação de decisões, muitas vezes surgem situações em que, em princípio, a informação necessária pode ser obtida, mas no momento da tomada de decisão ela não está disponível, pois está associada a um grande investimento de tempo ou dinheiro.

Quarto, há um grande grupo de fatores que podem afetar a implementação da decisão no futuro, mas eles não podem ser previstos com precisão.

Quinto, uma das dificuldades mais significativas na escolha de soluções é que qualquer ideia científica ou técnica contém o potencial de vários esquemas para sua implementação, e qualquer ação econômica pode levar a múltiplos resultados. O problema da escolha da melhor solução também pode surgir porque geralmente existem restrições de recursos e, portanto, a adoção de uma opção está sempre associada à rejeição de outras soluções.

Sexto, ao escolher a melhor solução, muitas vezes encontramos a ambiguidade do critério generalizado, com base no qual é possível comparar os resultados possíveis. A ambiguidade, multidimensionalidade e diferença qualitativa dos indicadores são um sério obstáculo à obtenção de uma avaliação generalizada da eficácia relativa, importância, valor ou utilidade de cada uma das soluções possíveis.

Nesse sentido, uma das principais características da solução de problemas complexos é que a aplicação de cálculos aqui está sempre entrelaçada com o uso de julgamentos de gerentes, cientistas e especialistas. Esses julgamentos permitem compensar, pelo menos parcialmente, a falta de informação, fazer uso mais pleno da experiência individual e coletiva e levar em consideração as suposições de especialistas sobre os estados futuros dos objetos. O padrão de desenvolvimento da ciência e tecnologia é que novos conhecimentos, informações científicas e técnicas se acumulam durante um longo período de tempo. Muitas vezes esse acúmulo ocorre de forma latente na mente de cientistas e desenvolvedores. Eles, como ninguém, são capazes de avaliar as perspectivas da área em que atuam e antecipar as características dos sistemas em que estão diretamente envolvidos.

A experiência mostra que o uso de julgamentos não sistematizados de especialistas individuais não é eficaz o suficiente para resolver muitos problemas científicos e técnicos complexos devido à variedade de relações entre os principais elementos de tais problemas e a impossibilidade de abranger todos eles. Ao usar os procedimentos tradicionais de preparação de decisões, muitas vezes não é possível considerar uma ampla gama de fatores, para levar em conta toda a gama de formas alternativas de resolver problemas.

Tudo isso obriga a recorrer a grupos de funcionários de especialistas representando várias áreas do conhecimento como especialistas. A utilização da expertise de grupo permite não só considerar muitos aspectos e fatores, mas também combinar diferentes abordagens, com a ajuda das quais o gestor encontra a melhor solução.

1.2. Método de avaliações de especialistas

A essência do método de avaliação de especialistas é que os especialistas realizam uma análise lógica-intuitiva do problema com uma avaliação quantitativa de julgamentos e processamento formal dos resultados. A opinião generalizada de especialistas obtida como resultado do processamento é aceita como solução para o problema. O uso complexo da intuição (pensamento inconsciente), do pensamento lógico e das avaliações quantitativas com seu processamento formal permite obter uma solução eficaz para o problema.

Ao desempenhar seu papel no processo de gestão, os especialistas desempenham duas funções principais: formam objetos (situações alternativas, metas, decisões etc.) e medem suas características (probabilidades de ocorrência de eventos, coeficientes de significância de metas, preferências de decisão etc.) . A formação de objetos é realizada por especialistas com base no pensamento lógico e na intuição. Nesse caso, o conhecimento e a experiência do especialista desempenham um papel importante. Medir as características dos objetos exige que os especialistas conheçam a teoria das medidas.

As características do método de peritagem como ferramenta científica para a resolução de problemas complexos não formalizáveis ​​são, em primeiro lugar, a organização cientificamente fundamentada de todas as etapas do exame, garantindo a maior eficiência do trabalho em cada etapa, e, em segundo lugar, a uso de métodos quantitativos tanto na organização do exame quanto na avaliação do julgamento de especialistas e no processamento formal dos resultados em grupo. Essas duas características distinguem o método de avaliação pericial da habitual expertise há muito conhecida, amplamente utilizada em diversos campos da atividade humana.

Avaliações coletivas de especialistas foram amplamente utilizadas em escala nacional para resolver problemas complexos de gestão da economia nacional já nos primeiros anos. poder soviético. Em 1918, foi instituído o Conselho de Peritos sob o Conselho Supremo da Economia Nacional, cuja tarefa era resolver os problemas mais difíceis de reorganização da economia nacional do país. Na elaboração dos planos quinquenais para o desenvolvimento da economia nacional do país, foram sistematicamente utilizadas avaliações de especialistas de uma ampla gama de especialistas.

Atualmente, em nosso país e no exterior, o método de peritagem é amplamente utilizado para resolver problemas importantes de outra natureza. Em várias indústrias, associações e empresas, existem comissões de especialistas permanentes ou temporárias que formam soluções para vários problemas complexos não formalizáveis.

Todo o conjunto de problemas mal formalizados pode ser dividido condicionalmente em duas classes. A primeira classe inclui problemas para os quais existe potencial de informação suficiente para resolver esses problemas com sucesso. As principais dificuldades na resolução de problemas de primeira classe na revisão por pares estão em perceber o potencial da informação existente, selecionando especialistas, construindo procedimentos de pesquisa racionais e aplicando métodos ótimos para processar seus resultados. Ao mesmo tempo, os métodos de interrogação e processamento são baseados no uso do princípio de um medidor “bom”. Este princípio significa que as seguintes hipóteses são cumpridas:

1) um especialista é um repositório de uma grande quantidade de informações processadas racionalmente e, portanto, pode ser considerado uma fonte qualitativa de informação;

2) a opinião do grupo de especialistas está próxima da verdadeira solução do problema.

Se essas hipóteses estiverem corretas, então os resultados da teoria da medição e da estatística matemática podem ser usados ​​para construir procedimentos de votação e algoritmos de processamento.

A segunda classe inclui problemas em relação aos quais o potencial de informação do conhecimento é insuficiente para garantir a validade dessas hipóteses. Ao resolver problemas dessa classe de especialistas não podem mais ser considerados como "bons medidores". Portanto, é necessário ter muito cuidado ao processar os resultados do exame. O uso de métodos de média que são válidos para "bons medidores" neste caso pode levar a grandes erros. Por exemplo, a opinião de um especialista, que é muito diferente das opiniões de outros especialistas, pode ser correta. Nesse sentido, para problemas de segunda classe, o processamento qualitativo deve ser aplicado principalmente.

O escopo do método de avaliação de especialistas é muito amplo. Listamos as tarefas típicas resolvidas pelo método de avaliações de especialistas:

1) compilar uma lista de eventos possíveis em várias áreas para um determinado período de tempo;

2) determinação dos intervalos de tempo mais prováveis ​​para a realização de um conjunto de eventos;

3) definição de metas e objetivos de gestão com ordenação por ordem de importância;

4) identificação de alternativas (opções de solução do problema com avaliação de suas preferências;

5) distribuição alternativa de recursos para resolução de problemas com avaliação de sua preferência;

6) alternativas tomar decisões em uma determinada situação com uma avaliação de sua preferência.

Para resolver o acima tarefas típicas Atualmente, várias variedades do método de avaliação de especialistas são usadas. Os principais tipos incluem: interrogatório e entrevista; chuva de ideias; discussão; encontro; jogo operacional; cenário.

Cada um desses tipos de avaliação de especialistas tem suas próprias vantagens e desvantagens, que determinam a área racional de aplicação. Em muitos casos, a aplicação combinada de vários tipos de especialização produz o maior efeito.

O questionamento e o cenário pressupõem o trabalho individual do especialista. A entrevista pode ser realizada tanto individualmente quanto com um grupo de especialistas. Outros tipos de perícia envolvem a participação coletiva de especialistas no trabalho. Independentemente da participação individual ou em grupo de especialistas no trabalho, é aconselhável obter informações de muitos especialistas. Isso possibilita obter resultados mais confiáveis ​​com base no processamento de dados, bem como novas informações sobre a dependência de fenômenos, eventos, fatos, julgamentos de especialistas, que não estão explicitamente contidas nas declarações de especialistas.

Ao usar o método de avaliações de especialistas, existem alguns problemas. Os principais são: seleção de especialistas, realização de uma pesquisa de especialistas, processamento dos resultados da pesquisa, organização de procedimentos de exame.

1.3. Organização da avaliação pericial

A primeira fase da organização dos trabalhos sobre a aplicação da avaliação pericial é a elaboração e publicação de um documento de orientação, que formula a finalidade do trabalho e as principais disposições para a sua execução. Este documento deve refletir as seguintes questões: declaração do experimento-problema; o objetivo do experimento; comprovação da necessidade do experimento; tempo de resposta; atribuições e composição do grupo de gestão; deveres e direitos do grupo; apoio financeiro e material do trabalho.

Para preparar este documento, bem como para gerenciar todo o trabalho, é nomeado um líder de exame. A ele é confiada a formação do grupo de gestão e a responsabilidade pela organização do seu trabalho.

Após a formação, o grupo gestor realiza o trabalho de seleção de um grupo de especialistas aproximadamente na seguinte sequência: esclarecimento do problema a ser resolvido; determinação do leque de áreas de atuação relacionadas ao problema; determinação da proporção de especialistas em cada área de atuação; determinação do número de especialistas do grupo; elaborar uma lista preliminar de peritos, tendo em conta a sua localização; análise das qualidades dos especialistas e especificação da lista de especialistas do grupo; obter a anuência dos especialistas para participar do trabalho; compilação da lista final do grupo de peritos.

Paralelamente ao processo de formação de um grupo de especialistas, o grupo gestor está desenvolvendo a organização e a metodologia para a realização de uma pesquisa de especialistas. Nesse caso, as seguintes questões são resolvidas: o local e a hora da pesquisa; o número e objetivos das rodadas de pesquisa; a forma da pesquisa; o procedimento para registrar e coletar os resultados da pesquisa; composição dos documentos necessários.

O próximo passo no trabalho do grupo de gestão é determinar a organização e a metodologia para o processamento dos dados da pesquisa. Nesta fase, é necessário determinar as tarefas e termos de processamento, procedimentos e algoritmos de processamento, forças e meios de processamento.

No processo de realização direta do inquérito aos peritos e tratamento dos seus resultados, o grupo de gestão realiza um conjunto de trabalhos de acordo com o plano desenvolvido, adequando-o conforme necessário em termos de conteúdo, tempestividade e disponibilização de recursos.

A última etapa do trabalho para o grupo gestor é o registro dos resultados do trabalho. Nesta etapa, são analisados ​​os resultados da avaliação pericial; compilação de um relatório; discussão e aprovação dos resultados; apresentar os resultados do trabalho para aprovação; familiarização com os resultados do exame de organizações e indivíduos.

1.4. Seleção de especialistas

Para implementar o procedimento de avaliação de especialistas, é necessário formar um grupo de especialistas. Um requisito comum na formação de um grupo de especialistas é uma solução eficaz para o problema do exame. A eficácia da resolução do problema é determinada pelas características da confiabilidade do exame e pelo custo dele.

A confiabilidade da avaliação pericial pode ser determinada apenas com base em uma solução prática para o problema e na análise de seus resultados. A utilização de especialistas se deve justamente ao fato de não existirem outras formas de obter informações. Portanto, a avaliação da confiabilidade do exame pode ser realizada, via de regra, apenas com base em dados a posteriori (pós-experimentais). Se o exame for realizado sistematicamente com aproximadamente a mesma composição de especialistas, será possível acumular dados estatísticos sobre a confiabilidade do trabalho de um grupo de especialistas e obter uma avaliação numérica estável da confiabilidade. Essa estimativa pode ser usada como dado a priori sobre a confiabilidade do painel de especialistas para exames posteriores.

A confiabilidade da avaliação de especialistas em grupo depende do número total de especialistas no grupo, da proporção de diferentes especialistas no grupo e das características dos especialistas.

Determinar a natureza da dependência da confiabilidade dos fatores listados é outro problema na seleção de especialistas.

Um problema difícil no processo de seleção é a formação de um sistema de características de especialistas que afetam significativamente o curso e os resultados do exame. Essas características devem descrever as características específicas do especialista e as possíveis relações entre as pessoas que afetam a expertise. Um requisito importante para as características de um especialista é a mensurabilidade dessas características.

Outro problema é a organização do procedimento de seleção de especialistas, ou seja, determinação de uma sequência clara de trabalho realizado no processo de seleção de especialistas e os recursos necessários para sua implementação.

O número máximo de especialistas no grupo é verificado em relação à limitação de recursos financeiros. Tendo determinado a relação entre a confiabilidade, o número de especialistas e o custo do pagamento, a equipe de gerenciamento apresenta essas informações à administração e formula possíveis soluções alternativas. Tais alternativas podem ser reduzir a confiabilidade dos resultados da avaliação pericial a um nível que garanta o cumprimento da limitação do custo de pagamento de peritos, ou manter o requisito original de confiabilidade do exame e aumentar o custo de pagamento de peritos.

O próximo passo na seleção de especialistas é a preparação de uma lista preliminar de especialistas. Ao compilar esta lista, é realizada uma análise das qualidades dos especialistas. Além de levar em conta as qualidades dos especialistas, é determinada sua localização e a possibilidade de participação de especialistas selecionados no exame. Ao avaliar as qualidades, a opinião de pessoas que conhecem bem os candidatos a especialistas é levada em consideração.

Após a elaboração da lista de especialistas, são enviadas cartas a eles com convite para participar do exame. As cartas explicam o objetivo do exame, seu momento, o procedimento para realizá-lo, a quantidade de trabalho e as condições de remuneração. Questionários de dados de especialistas e autoavaliação de competência são anexados às cartas. Após receber as respostas dos peritos, o grupo de gestão elabora a lista final do grupo de peritos.

Após a compilação e aprovação da lista, uma mensagem é enviada aos especialistas sobre sua inclusão no grupo de especialistas. Se a avaliação dos especialistas for realizada pelo método de questionário, simultaneamente à notificação de inclusão no grupo de especialistas, todos os especialistas recebem um questionário com as instruções necessárias para o preenchimento. Ao informar os peritos sobre a sua inclusão no exame, termina o trabalho de seleção dos peritos.

1.5. Pesquisa especializada

A pesquisa é a principal etapa do trabalho conjunto do grupo gestor e dos especialistas. O conteúdo principal da pesquisa é:

Exposição do problema e apresentação de questões a especialistas;

Suporte de informação para o trabalho de especialistas;

Elaboração por especialistas de pareceres, estimativas, propostas;

Coletando os resultados do trabalho de especialistas.

Existem três tipos de tarefas que são resolvidas no processo de pesquisa:

Avaliação qualitativa ou quantitativa de determinados objetos;

Construção de novas instalações;

Construção e avaliação de novas instalações.

Na perícia coletiva, são utilizados os seguintes tipos principais de pesquisa: discussão, questionamento e entrevista, o método de geração coletiva de ideias ou brainstorming.

A pesquisa pode ser realizada com ou sem feedback. Ao questionar com feedback, os especialistas são pesquisados ​​em várias etapas, com alguns dos resultados da pesquisa na etapa anterior sendo levados ao conhecimento dos especialistas, incluindo as avaliações de especialistas individuais e seus argumentos.

O principal na organização da pesquisa é fornecer o máximo de informações e a máxima atividade criativa, independência do especialista. É preciso esforçar-se para levar a cada especialista, se possível, todas as informações relacionadas ao fenômeno analisado, que estejam disponíveis tanto para os especialistas quanto para os organizadores da pesquisa, sem privar o especialista de independência criativa e atividade ao mesmo tempo.

No entanto, as possibilidades de um especialista em processamento de informações são limitadas. Como resultado, um especialista pode tomar uma decisão sem usar todas as informações à sua disposição. Além disso, novas informações são percebidas por uma pessoa com certa resistência interna e não afetam imediatamente as avaliações subjetivas já estabelecidas. A atitude em relação à nova informação é mais favorável, e a percepção e uso dela é mais completa se for apresentada de forma inteligível, vívida e compacta.

Destes características psicológicas há a necessidade de proporcionar aos especialistas oportunidades para capturar as informações recebidas por meio de registros, usando meios técnicos, bem como a necessidade de pré-processar as informações e apresentá-las aos especialistas da forma mais perceptível.

É preciso ressaltar a inconsistência da importância da troca de informações por especialistas, uma vez que o recebimento de tais informações corre o risco de perder a independência criativa na construção de um modelo de objeto por um especialista. A resolução desta contradição é completamente impossível, e em cada exame seus organizadores devem encontrar um compromisso razoável, em primeiro lugar, escolhendo o tipo de pesquisa, a forma e o grau de comunicação entre os especialistas.

Cada tipo de pesquisa tem suas vantagens e desvantagens na construção da troca de informações entre os especialistas e na organização de sua criatividade independente. A escolha de um ou outro tipo de pesquisa é determinada por muitos fatores, dos quais os principais são:

A finalidade e os objetivos do exame;

A essência e complexidade do problema analisado;

Completude e confiabilidade das informações iniciais;

O volume necessário e a confiabilidade das informações obtidas como resultado da pesquisa;

O tempo destinado à vistoria e exame em geral;

Custo admissível da vistoria e exame em geral;

Número de especialistas e membros do grupo de gestão, suas características.

O questionamento é o tipo de pesquisa mais eficaz e comum, pois permite a melhor maneira de combinar o suporte de informações de especialistas com sua criatividade independente.

Capítulo 2. FORMALIZAÇÃO DE INFORMAÇÕES E ESCALA DE COMPARAÇÕES

O uso racional das informações recebidas de especialistas é possível desde que sejam conformadas de forma conveniente para posterior análise visando à preparação e tomada de decisões.

As possibilidades de formalização das informações dependem das especificidades do objeto em estudo, da confiabilidade e completude dos dados disponíveis e do nível de tomada de decisão. A forma de apresentação dos dados periciais também depende do critério aceito, cuja escolha, por sua vez, é significativamente influenciada pelas especificidades do problema em estudo.

A formalização das informações recebidas de especialistas deve ter como objetivo preparar uma solução para esses problemas técnicos, econômicos e econômicos que não podem ser totalmente descritos matematicamente, pois são “fracamente estruturados”, ou seja, contêm incertezas associadas não apenas à medição, mas também à própria natureza dos objetivos em estudo, aos meios para alcançá-los e às condições externas.

Ao analisar as perspectivas, é necessário não apenas apresentar na forma de estimativas indiretas parte da informação que não pode ser quantificada, e não apenas expressar com a ajuda de tais estimativas informações quantificáveis ​​sobre as quais não há dados suficientemente confiáveis ​​no momento de preparação da decisão. O mais importante é formalizar essas informações de forma a ajudar o tomador de decisão a escolher entre um conjunto de ações uma ou mais que sejam mais preferíveis em relação a algum critério.

Se um especialista é capaz de comparar e avaliar possíveis opções de ação, atribuindo um certo número a cada uma delas, então ele tem um certo sistema de preferências. Dependendo da escala em que essas preferências podem ser definidas, as avaliações de especialistas contêm mais ou menos informações e têm uma capacidade diferente de formalização.

Objetos ou fenômenos investigados podem ser identificados ou distinguidos com base em sinais ou fatores. Um fator é um conjunto de pelo menos dois elementos que representam diferentes níveis de algumas das quantidades a serem consideradas. O nível de alguns fatores pode ser expresso quantitativamente (em rublos, por cento, quilogramas, etc.) - esses fatores são chamados quantitativos. O nível dos outros não pode ser expresso com um número, eles são chamados de qualitativos.

Os fatores são divididos condicionalmente em discretos e contínuos. Discretos são fatores com um certo número de níveis, geralmente pequeno. Os fatores cujos níveis são considerados como formando um conjunto contínuo são chamados de contínuos. Dependendo dos objetivos e capacidades da análise, os mesmos fatores podem ser tratados como discretos ou contínuos.

Vamos considerar os principais axiomas lógicos que são usados ​​em métodos especialistas na formalização de informações usando várias escalas.

Usando escalas nominais os objetos em estudo podem ser identificados e distinguidos com base em três axiomas de identificação:

1) eu quer lá j, ou não há j ;

2) se eu há j, então j há eu ;

3) se eu há j e j há k, então eu há k .

Os fatores neste caso atuam como indicadores associativos que possuem informações que podem ser formalizadas na forma de estimativas binárias de dois níveis: 1 (idêntico) ou 0 (diferente).

Nos casos em que os objetos em estudo podem ser colocados em uma determinada sequência como resultado de comparação, levando em consideração qualquer fator significativo (fatores), escalas ordinais, permitindo estabelecer equivalência ou dominância.

Suponha que você precise organizar em uma determinada sequência n objetos de acordo com algum fator (critério). Representamos essa ordenação como uma matriz onde eu j = 1,2,…, n .

As quantidades estabelecem relações entre objetos e podem ser definidas da seguinte forma:

Vamos estabelecer os axiomas básicos necessários para a observância das condições de ordenação. razão significando que eu preferível j, deve ser assimétrico, ou seja, se então e transitivo, ou seja, se então

razão significando que eu e j são equivalentes é chamada de relação de equivalência. Essa proporção deve ser

reflexivo, ou seja,

simétrico, isto é, se então

transitivo, ou seja, se e então

Além disso, essas duas relações devem ser compatíveis, ou seja, se e então e também, se e então

E, finalmente, a ordenação deve estar conectada, ou seja, para qualquer i e j ou ou ou

O uso de escalas ordinais permite distinguir objetos mesmo nos casos em que o fator (critério) não é especificado explicitamente, ou seja, quando não conhecemos o sinal de comparação, mas podemos ordenar parcial ou completamente os objetos com base no sistema de preferências que o especialista possui.

Qualquer conjunto UMA será chamado ordenado se para quaisquer dois de seus elementos X e S descobriu que ou X precedido S, ou S precedido X. Às vezes não é possível estabelecer precedência estrita para todos os elementos de um conjunto, mas é possível produzir uma ordenação de "grupo" quando subconjuntos de elementos equivalentes são ordenados. Em seguida, podemos colocar o problema de comparar e ordenar esses subconjuntos.

O uso de escalas ordinais permite realizar transformações de estimativas recebidas de especialistas que correspondem a todas as funções monotonicamente crescentes. Assim, por exemplo, estimativas positivas podem ser substituídas por seus quadrados, ou logaritmos, ou qualquer outra função monotonicamente crescente.

Para formalizar as estimativas recebidas de especialistas, costuma-se usar escalas de intervalo. Quando tais escalas são usadas para esses fins, quase todas as medidas estatísticas usuais podem ser tomadas. As exceções são aquelas medidas que exigem o conhecimento do "verdadeiro" ponto zero da escala, que é aqui introduzido condicionalmente.

As escalas intervalares sugerem a possibilidade de transformar os escores obtidos em uma escala em escores de outra escala usando a equação

Diferenças entre valores na escala de intervalo tornam-se medidas na escala de razão, ou seja, na escala numérica usual, porque como resultado da subtração, você pode se livrar do termo constante b .

Em vários casos, ao formalizar as avaliações periciais, utiliza-se a propriedade da aditividade, inerente apenas à escala das relações. A presença de aditividade é expressa pelos seguintes axiomas:

1) se j = uma e eu> 0, então eu + j > uma ;

2) eu + j = j + eu ;

3) se eu = uma e j = b, então eu + j = uma + b ;

4) (eu + j) + k = eu + (j + k).

Uma situação comum em que uma decisão precisa ser tomada considerando a aditividade é quando existem vários (pelo menos dois) fatores qualitativos. Se existem vários fatores que caracterizam objetos específicos, existem muitas propriedades reais e tipos de relacionamentos de objetos.

Por exemplo, os fatores (indicadores) que caracterizam a eficácia da criação e implementação de uma nova tecnologia, de acordo com seu conteúdo objetivo, podem ser divididos em técnicos, econômicos e sociais. Por outro lado, esses fatores podem ser agrupados de acordo com seu papel no processo de criação e implementação de novas tecnologias, destacando, por exemplo, indicadores que caracterizam custos, qualidade, eficiência econômica, etc.

Dependendo da natureza e finalidade do problema em estudo, os fatores pelos quais os objetos diferem podem ser quantitativamente comparáveis ​​ou incomparáveis ​​entre si, parcialmente comparáveis ​​(ou seja, não com nenhum, mas apenas alguns deles), ordenados por seu grau de importância, etc .d. A incomensurabilidade de vários fatores deve-se não apenas à necessidade de usar diferentes unidades de medida, mas também ao fato de que cada fator, expressando uma determinada propriedade, é ao mesmo tempo uma avaliação da atitude em relação a essa propriedade por parte do indivíduo. o decisor.

Na prática da gestão em todos os seus níveis, muitas vezes surgem situações em que é necessário tomar uma decisão levando em consideração muitos fatores. A questão de quais fatores devem ser considerados os mais importantes depende das características qualitativas do objeto da decisão e dos objetivos que essa decisão deve atender.

Por exemplo, ao considerar várias opções para um plano ou opções para medidas organizacionais e técnicas, fatores de tempo, custos, resultados técnicos e sociais, eficiência econômica, etc. devem ser levados em consideração. Normalmente, eles tentam levar toda a variedade de fatores a uma avaliação complexa e inequívoca, e a avaliação mais conveniente e comum é a monetária.

No entanto, como as consequências de qualquer decisão, especialmente as relacionadas ao progresso científico e tecnológico, vão além dos indicadores de custo, são necessários indicadores que caracterizem a significância, a utilidade de um determinado fator (ou sua complexidade). Esses medidores integrados são amplamente utilizados na avaliação da qualidade dos produtos, no nível técnico e econômico da produção, na avaliação do desempenho de organizações científicas e em várias outras tarefas. Embora a questão da criação de um sistema formalizado suficientemente fundamentado de tais medidores ainda esteja longe de uma decisão final, podemos apontar alguns características comuns, proporcionando uma abordagem à formalização desse processo e ao uso de um ou outro aparato lógico e matemático.

No caso em que todos os fatores são dados em uma escala nominal, ou seja, algum atributo a e um conjunto inicial de elementos M são dados nessa escala, o objetivo é escolher um subconjunto de elementos M(a) que possuam esse atributo. Nesses casos, os elementos, ou melhor, suas propriedades, são comparados com um signo - um padrão, e o resultado - uma partição do conjunto - pode ser considerado como uma ordenação em uma escala de dois elementos, segundo a qual cada um dos elementos recebe uma pontuação igual a zero ou um.

No caso em que os fatores são dados numa escala ordinal ou em várias escalas ordinais, o objetivo é ordenar os elementos do conjunto original, identificar, com a ajuda de especialistas, a ordenação oculta que, por suposição, é inerente à este conjunto. Condição necessaria A solução para este problema é a suposição de transitividade. Quanto mais completamente os elementos forem ordenados, mais fácil será aplicar métodos lógico-matemáticos e combinatórios para resolver tais problemas.

Dependendo da natureza ou importância de um determinado fator, várias escalas podem ser usadas na fase de preparação e tomada de decisão. Fatores como custos, lucros, tempo, podem ser avaliados em escala ordinal ou intervalar (em rublos, dias ou unidades convencionais). Para avaliar fatores como o período de retorno financeiro ou a eficácia comparativa das opções, uma escala de intervalo pode ser usada; fatores qualitativos ou sociais podem ser avaliados em escalas ordinais ou nominais.

Capítulo 3. PROCESSAMENTO DE AVALIAÇÕES PERITOS

3.1. Processando tarefas

Após a realização de uma pesquisa com um grupo de especialistas, os resultados são processados. A informação inicial para processamento são os dados numéricos que expressam as preferências dos especialistas e a justificativa substantiva dessas preferências. A finalidade do tratamento é obter dados generalizados e novas informações contidas de forma oculta em avaliações periciais. Com base nos resultados do processamento, uma solução para o problema é formada.

A presença de dados numéricos e declarações significativas de especialistas leva à necessidade de aplicar métodos qualitativos e quantitativos para processar os resultados da avaliação de especialistas em grupo. A participação desses métodos depende essencialmente da classe de problemas resolvidos pela avaliação de especialistas.

Todo o conjunto de problemas pode ser dividido em duas classes. A primeira classe inclui problemas para a solução dos quais existe um nível suficiente de conhecimento e experiência, ou seja, existe o potencial de informação necessário. Ao resolver problemas pertencentes a esta classe, os especialistas são considerados bons medidores de média. O termo "bom na média" refere-se à possibilidade de obter resultados de medição próximos do verdadeiro. Para muitos especialistas, seus julgamentos se agrupam em torno do verdadeiro valor. Segue-se que para o processamento dos resultados da avaliação do grupo de especialistas de problemas de primeira classe, pode-se aplicar com sucesso os métodos de estatística matemática baseados em média de dados.

A segunda classe inclui problemas para os quais ainda não foi acumulado potencial de informação suficiente. A este respeito, as opiniões dos especialistas podem variar muito entre si. Além disso, o julgamento de um especialista, que é muito diferente do restante das opiniões, pode ser verdadeiro. Obviamente, o uso de métodos para calcular a média dos resultados de uma avaliação de especialistas em grupo na resolução de problemas de segunda classe pode levar a grandes erros. Portanto, o processamento dos resultados de uma pesquisa de especialistas neste caso deve ser baseado em métodos que não utilizam os princípios da média, mas em métodos de análise qualitativa.

Considerando que os problemas da primeira classe são os mais comuns na prática da revisão por pares, o foco deste capítulo está nos métodos de processamento dos resultados da revisão para esta classe de problemas.

Dependendo dos objetivos da avaliação do especialista e do método de medição escolhido, as seguintes tarefas principais surgem ao processar os resultados da pesquisa:

1) construir uma avaliação generalizada de objetos com base em avaliações individuais de especialistas;

2) construir uma avaliação generalizada a partir de uma comparação pareada de objetos por cada especialista;

3) determinação dos pesos relativos dos objetos;

4) determinar a consistência das opiniões dos especialistas;

5) determinação de dependências entre rankings;

6) avaliação da confiabilidade dos resultados do processamento.

A tarefa de construir uma avaliação generalizada de objetos com base em avaliações individuais de especialistas surge na avaliação de especialistas em grupo. A solução para este problema depende do método de medição utilizado pelos especialistas.

Ao resolver muitos problemas, não basta organizar os objetos de acordo com um indicador ou algum conjunto de indicadores. É desejável ter valores numéricos para cada objeto, indicando sua importância relativa em relação a outros objetos. Em outras palavras, para muitos problemas é necessário ter estimativas de objetos que não apenas realizem sua ordenação, mas também permitam determinar o grau de preferência de um objeto em relação a outro. Para resolver esse problema, você pode aplicar diretamente o método de avaliação direta. No entanto, sob certas condições, o mesmo problema pode ser resolvido pelo processamento de estimativas de especialistas.

A determinação da consistência das opiniões de especialistas é realizada por meio do cálculo de uma medida numérica que caracteriza o grau de similaridade das opiniões individuais. A análise do valor da medida de consistência contribui para o desenvolvimento de um julgamento correto sobre o nível geral de conhecimento sobre o problema a ser resolvido e a identificação de agrupamentos de opiniões de especialistas. Uma análise qualitativa das razões para o agrupamento de opiniões permite estabelecer a existência de várias visões, conceitos, identificar escolas científicas, determinar a natureza de atividade profissional etc. Todos esses fatores permitem compreender mais profundamente os resultados da pesquisa com especialistas.

Ao processar os resultados da avaliação de especialistas, é possível determinar as dependências entre os rankings de vários especialistas e, assim, estabelecer a unidade e a diferença nas opiniões dos especialistas. Um papel importante também é desempenhado pelo estabelecimento da relação entre os rankings construídos em vários indicadores de comparação de objetos. A identificação de tais dependências permite revelar indicadores de comparação relacionados e, talvez, agrupá-los de acordo com o grau de conexão. A importância da tarefa de determinar dependências para a prática é óbvia. Por exemplo, se os indicadores de comparação são objetivos diferentes, e os objetos são os meios para atingir os objetivos, então estabelecer a relação entre as classificações que ordenam os meios em termos de atingir os objetivos permite que você responda razoavelmente à questão da extensão a ser alcançada. em que a realização de um objetivo com esses meios contribui para a realização de outros objetivos.

As estimativas obtidas com base no processamento são objetos aleatórios, portanto, uma das tarefas importantes do procedimento de processamento é determinar sua confiabilidade. A devida atenção deve ser dada à solução deste problema.

O processamento dos resultados do exame é um processo demorado. A realização de cálculos manuais de estimativas e indicadores de sua confiabilidade está associada a grandes custos de mão de obra, mesmo no caso de resolver problemas simples de pedidos. Por este motivo, é aconselhável utilizar tecnologia de computador e principalmente computadores. O uso de computadores levanta o problema de desenvolver programas de computador que implementem algoritmos para processar os resultados da avaliação de especialistas.

3.2. Avaliação de grupo de objetos

Nesta seção, consideramos algoritmos para processar os resultados da avaliação de especialistas de um conjunto de objetos. Deixar m especialistas avaliados n instalações por eu indicadores. Os resultados da avaliação são apresentados como valores, onde j– número do especialista, eu- número do objeto, h– número do indicador (atributo) de comparação. Se a avaliação dos objetos for feita pelo método de classificação, os valores são classificações. Se a avaliação de objetos for realizada pelo método de avaliação direta ou pelo método de comparação sequencial, os valores são números de um determinado segmento do eixo numérico ou pontos. O processamento dos resultados da avaliação depende significativamente dos métodos de medição considerados.

Consideremos o caso em que os valores são obtidos por métodos de avaliação direta ou comparação sequencial, ou seja, são números ou pontos. Para obter uma classificação de grupo de objetos neste caso, você pode (usar o valor médio da classificação para cada objeto

(5.1)

onde - coeficientes de pesos de indicadores de comparação de objetos, - coeficientes de competência de especialistas. Coeficientes de peso de indicadores e competência de objetos são valores normalizados

(5.2)

Os coeficientes de peso dos indicadores podem ser determinados por um especialista. Se é o fator de peso h-th indicador dado j-th especialista, então o coeficiente de peso médio h-th indicador para todos os especialistas é igual a

(5.3)

A obtenção de uma avaliação de especialistas em grupo, somando avaliações individuais com pesos de competência e importância de indicadores ao medir as propriedades de objetos em escalas cardinais, baseia-se na suposição de que os axiomas da teoria da utilidade de von Neumann-Morgenstern são cumpridos tanto para o indivíduo quanto para o grupo avaliação e as condições de indistinguibilidade de objetos em uma relação de grupo, se eles são indistinguíveis em todas as avaliações individuais (princípio de Pareto parcial). Em problemas reais, essas condições geralmente são atendidas, portanto, obter uma avaliação em grupo de objetos pela soma de avaliações individuais de especialistas com pesos é amplamente utilizado na prática.

Os coeficientes de competência do especialista podem ser calculados a partir de dados a posteriori, ou seja, dos resultados da avaliação do objeto. A ideia principal desse cálculo é a suposição de que a competência dos especialistas deve ser avaliada pelo grau de consistência de suas avaliações com a avaliação de objetos em grupo.

O algoritmo para calcular os coeficientes de competência do especialista tem a forma de um procedimento recorrente:

(5.4)

(5.5)

(5.6)

Os cálculos começam em t=1. Na fórmula (5.4), os valores iniciais dos coeficientes de competência são considerados iguais e iguais. Então, de acordo com a fórmula (5.4), as estimativas de grupo dos objetos da primeira aproximação são iguais aos valores da média aritmética das estimativas de especialistas

(5.7)

(5.8)

e o valor dos coeficientes de competência da primeira aproximação de acordo com a fórmula (5.6):

(5.9)

Utilizando os coeficientes de competência da primeira aproximação, é possível repetir todo o processo de cálculo usando as fórmulas (5.4), (5.5), (5.6) e obter segundas aproximações das quantidades

A repetição do procedimento recorrente de cálculo de estimativas de objetos e coeficientes de competência naturalmente levanta a questão de sua convergência. Para considerar esta questão, eliminamos as variáveis ​​das equações (5.4), (5.6) e representamos essas equações na forma vetorial

onde as matrizes NO dimensões e A PARTIR DE dimensões são iguais

A quantidade nas equações (5.10) é determinada pela fórmula (5.5).

Se as matrizes NO e A PARTIR DE são não-negativos e indecomponíveis, então, como segue do teorema de Perron-Frobenius, os prevetores e - convergem para os autovetores das matrizes NO e A PARTIR DE, correspondendo aos autovalores máximos dessas matrizes

(5.12)

Valores limite de vetores X e k pode ser calculado a partir das equações:

(5.13)

onde estão os autovalores máximos das matrizes NO e A PARTIR DE .

Condição de não negatividade de matrizes NO e A PARTIR DEé feito facilmente escolhendo elementos não negativos da matriz X avaliações de objetos por especialistas.

Condição de indecomponibilidade da matriz NO e A PARTIR DE praticamente vale, porque se essas matrizes são decomponíveis, isso significa que especialistas e objetos se dividem em grupos independentes. Nesse caso, cada grupo de especialistas avalia apenas os objetos de seu grupo. Naturalmente, não faz sentido receber uma avaliação em grupo neste caso. Assim, as condições para não negatividade e indecomponibilidade de matrizes NO e A PARTIR DE, e, portanto, as condições para a convergência dos procedimentos (5.4), (5.5), (5.6) são satisfeitas em condições práticas.

Deve-se notar que o cálculo prático dos vetores de avaliação de grupo de objetos e coeficientes de competência é mais fácil de realizar usando fórmulas recursivas (5.4), (5.5), (5.6). Determinar os valores limites desses vetores pela equação (5.13) requer o uso de tecnologia computacional.

Consideremos agora o caso em que especialistas avaliam um conjunto de objetos pelo método de classificação para que os valores sejam classificações. Processar os resultados do ranking é construir um ranking generalizado. Para construir tal classificação, introduzimos um espaço discreto de dimensão finita de classificações e uma métrica neste espaço. Cada classificação de um conjunto de objetos j O º especialista é um ponto no espaço de classificação.

A classificação pode ser representada como uma matriz de comparação aos pares, cujos elementos são definidos da seguinte forma:

Obviamente, já que todo objeto é equivalente a si mesmo. Os elementos da matriz são antisimétricos.

Se todos os objetos classificados forem equivalentes, todos os elementos da matriz de comparação pareada serão iguais a zero. Vamos designar tal matriz e assumir que o ponto no espaço de classificação correspondente à matriz é o ponto de partida.

A inversão da ordem dos objetos classificados resulta em uma transposição da matriz de comparação de pares.

métrica como a distância entre eu-th e j-th rankings são determinados exclusivamente pela fórmula

se os 6 axiomas a seguir forem satisfeitos:

1. além disso, a igualdade é alcançada se as classificações e são idênticas;

2.

além disso, a igualdade é alcançada se a classificação "ficar entre" as classificações e. O conceito de "está entre" significa que o julgamento sobre algum par de objetos no ranking coincide com o julgamento sobre este par de dentro, ou dentro, ou em

4.

onde é obtido de alguma permutação de objetos e da mesma permutação. Este axioma afirma a independência da distância da renumeração de objetos.

5. Se duas classificações são iguais em todos os lugares, exceto n-elemento conjunto de elementos que é simultaneamente um segmento de ambos os rankings, então pode ser calculado como se o ranking de apenas estes n-objetos. Um segmento de classificação é um conjunto cujo complemento não é vazio e todos os elementos desse complemento estão na frente ou atrás de cada elemento do segmento. O significado deste axioma é que se dois rankings estão em total concordância no início e no final do segmento, e a diferença está na ordenação das médias n-objetos, é natural supor que a distância entre os rankings deve ser igual à distância correspondente aos rankings das médias n-objetos.

6. A distância mínima é um.

O espaço de classificação para dois objetos pode ser representado como três pontos na mesma linha reta. As distâncias entre os pontos são iguais.Com três objetos, o espaço de todas as classificações possíveis é de 13 pontos.

Usando a métrica introduzida, vamos definir a classificação generalizada como o ponto que melhor concorda com os pontos que representam as classificações dos especialistas. O conceito de melhor acordo na prática é mais frequentemente definido como a mediana e a classificação média.

A mediana é um ponto no espaço de classificação, a soma das distâncias de todos os pontos - classificações de especialistas é mínima. De acordo com a definição, a mediana é calculada a partir da condição

A classificação média é um ponto, a soma das distâncias quadradas a partir da qual todos os pontos - classificações de especialistas são mínimas. A classificação média é determinada a partir da condição

O espaço de classificação é finito e discreto, de modo que a mediana e a classificação média só podem ser quaisquer pontos neste espaço. No caso geral, a classificação mediana e média podem não coincidir com nenhuma das classificações dos especialistas.

Se a competência dos especialistas for levada em consideração, a classificação mediana e média será determinada a partir das condições:

onde estão os coeficientes de competência do especialista.

Se os objetos são classificados por vários indicadores, a mediana é determinada primeiro para cada especialista para todos os indicadores e, em seguida, a mediana é calculada sobre o conjunto de especialistas:

(j =1,2,…,m);

onde estão os coeficientes de peso dos indicadores.

A principal desvantagem de determinar a classificação generalizada na forma de uma classificação mediana ou média é a complexidade dos cálculos. A forma natural de encontrar ou na forma de enumeração de todos os pontos no espaço de rankings é inaceitável devido ao aumento muito rápido da uniformidade do espaço com o aumento do número de objetos e, consequentemente, o aumento da complexidade de cálculos. É possível reduzir o problema de encontrar ou a um problema específico de programação inteira. No entanto, isso não reduz as dificuldades computacionais de forma muito eficaz.

A discrepância entre as classificações generalizadas sob vários critérios surge quando o número de especialistas é pequeno e suas avaliações são inconsistentes. Se as opiniões dos especialistas forem próximas, os rankings generalizados, construídos de acordo com os critérios da mediana e do valor médio, coincidirão.

A complexidade do cálculo da mediana ou classificação média levou à necessidade de mais maneiras simples construção de um ranking generalizado.

Entre tais métodos está o método das somas de postos.

Esse método consiste em classificar objetos de acordo com os valores das somas de classificações recebidas por cada objeto de todos os especialistas. Para a matriz de classificação, as somas são compiladas

Para levar em conta a competência dos especialistas, basta multiplicar cada eu-ª classificação no coeficiente de competência j-th especialista Neste caso, o cálculo da soma das classificações para eu th objeto é produzido de acordo com a seguinte fórmula:

(eu =1,2,…,n).

A classificação generalizada, levando em conta a competência dos especialistas, é baseada na ordenação das somas das classificações para todos os objetos.

Deve-se notar que a construção de um ranking generalizado pelas somas dos ranks é um procedimento correto se os ranks forem atribuídos como lugares de objetos na forma de números naturais 1, 2, ..., n. Se os ranks são atribuídos arbitrariamente, como números na escala de ordem, então a soma dos ranks, de modo geral, não preserva a condição de monotonicidade da transformação e, portanto, pode-se obter diferentes ranks generalizados para diferentes mapeamentos de objetos em um sistema numérico. A numeração de lugares de objetos pode ser feita de forma única com a ajuda de números naturais. Portanto, com boa concordância entre os especialistas, a construção de um ranking generalizado usando o método rank sum fornece resultados consistentes com os resultados do cálculo da mediana.

Outra abordagem teoricamente mais fundamentada para construir uma classificação generalizada é passar de uma matriz de classificação para uma matriz de comparação pareada e calcular um autovetor correspondente ao valor próprio máximo dessa matriz. A ordenação dos objetos é realizada pela magnitude dos componentes do autovetor.

3.3. Avaliação do consenso de opiniões de especialistas

Ao classificar objetos, os especialistas geralmente discordam sobre o problema que está sendo resolvido. Nesse sentido, há a necessidade de quantificar o grau de concordância dos especialistas. A obtenção de uma medida quantitativa da consistência das opiniões de especialistas permite uma interpretação mais razoável das razões da divergência de opiniões.

Atualmente, existem duas medidas de consistência de opiniões de um grupo de especialistas: coeficientes de dispersão e de concordância de entropia.

Coeficiente de dispersão de concordância. Considere a matriz de resultados de classificação n objetos por um grupo de m especialistas ( j =1,…,m ; eu =1,…,n), onde é a classificação atribuída j-º especialista eu-ésimo objeto. Compile as somas das classificações para cada coluna. Como resultado, obtemos um vetor com componentes

(eu=1,2,…,n). (5.14)

Vamos considerar as quantidades como realizações de uma variável aleatória e encontrar uma estimativa da variância. Como se sabe, a estimativa da variância, ótima pelo critério do erro quadrático médio mínimo, é determinada pela fórmula:

, (5.15)

onde é a estimativa da esperança matemática, igual a

O coeficiente de dispersão de concordância é definido como a razão da estimativa de variância (5,15) para o valor máximo desta estimativa

O coeficiente de concordância muda de zero para um, pois.

Vamos calcular o valor máximo da estimativa de variância para o caso de ausência de ranks relacionados (todos os objetos são diferentes). Vamos primeiro mostrar que a estimativa da esperança matemática depende apenas do número de objetos e do número de especialistas. Substituindo em (5.16) o valor de (5.14), obtemos

Considere primeiro a soma eu em um fixo j. Esta é a soma das classificações para j-º especialista. Como o especialista usa números naturais de 1 a n, então, como se sabe, a soma dos números naturais de 1 a né igual a

(5.19)

Substituindo (5.19) em (5.18), obtemos

(5.20)

Assim, o valor médio depende apenas do número de especialistas m e número de objetos n .

Para calcular o valor máximo da estimativa de variância, substituímos o valor de (5.14) em (5.15) e elevamos o binômio entre parênteses ao quadrado. Como resultado, obtemos

(5.21)

Considerando que de (5.18) segue

Nós temos

(5.22)

O valor máximo de dispersão é alcançado em valor mais alto o primeiro termo entre colchetes. O valor deste membro depende essencialmente da localização das fileiras - números naturais em cada linha eu. Vamos, por exemplo, todos m especialistas deram a mesma classificação para todos n objetos. Em seguida, os mesmos números serão localizados em cada linha da matriz. Portanto, a soma das classificações em cada eu-u linha dá m-repetição múltipla eu-ro números:

Quadratura e soma eu, obtemos o valor do primeiro termo em (5.22):

(5.23)

Agora suponha que os especialistas forneçam classificações incompatíveis, por exemplo, para o caso n =m todos os especialistas atribuem diferentes níveis ao mesmo objeto. Então

Comparando esta expressão com m =n, garantimos que o primeiro termo entre colchetes da fórmula (9) é igual ao segundo termo e, portanto, a estimativa de variância é zero.

Assim, o caso de completa coincidência das classificações dos especialistas corresponde ao valor máximo da estimativa de variância. Substituindo (5.23) em (5.22) e realizando as transformações, obtemos

(5.24)

Introduzimos a notação

(5.25)

Usando (5.25), escrevemos a estimativa de variância (5.15) como

Substituindo (5,24), (5,25), (5,26) em (5,17) e reduzindo pelo fator ( n-1), escrevemos a expressão final para o coeficiente de concordância

(5.27)

Esta fórmula determina o coeficiente de concordância para o caso de não haver classificações relacionadas.

Se as classificações tiverem classificações associadas, então o valor máximo da variância no denominador da fórmula (5.17) torna-se menor do que na ausência de classificações associadas. Pode-se mostrar que, na presença de classificações relacionadas, o coeficiente de concordância é calculado pela fórmula:

(5.28)

(5.29)

Na fórmula (5.28) - o indicador de classificações relacionadas em j-th ranking, - o número de grupos de classificações iguais em j-th classificação, - o número de classificações iguais em k-th grupo de classificações relacionadas ao classificar jª especialista. Se não houver classificações correspondentes, então =0,=0 e, portanto, =0. Neste caso a fórmula (5.28) coincide com a fórmula (5.27).

O coeficiente de concordância é igual a 1 se todas as classificações dos especialistas forem iguais. O coeficiente de concordância é zero se todas as classificações forem diferentes, ou seja, não houver correspondência.

O coeficiente de concordância calculado pela fórmula (5.27) ou (5.28) é uma estimativa do valor real do coeficiente e, portanto, é uma variável aleatória. Para determinar a significância da estimativa do coeficiente de concordância, é necessário conhecer a distribuição de frequência para Significados diferentes número de especialistas m e número de objetos n. Alocação de frequência para C para e calculado em . Para grandes valores m e n estatísticas conhecidas podem ser usadas. Com o número de objetos n>7 a avaliação da significância do coeficiente de concordância pode ser feita de acordo com o critério. Valor wm (n -1 ) tem uma distribuição com v=n–1 grau de liberdade.

Na presença de postos associados, a distribuição com v=n-1 graus de liberdade tem o valor:

(5.30)

Coeficiente de Concordância de Entropiaé determinado pela fórmula (coeficiente de concordância):

Onde Hé a entropia calculada pela fórmula

(5.32)

a é o valor máximo da entropia. Na fórmula para entropia - estimativas de probabilidade j-ª classificação atribuída eu-ésimo objeto. Essas estimativas de probabilidade são calculadas como a razão do número de especialistas que atribuíram a classificação ao objeto j ao número total de especialistas.

O valor máximo de entropia é alcançado com uma distribuição equiprovável de ranks, ou seja, quando. Então

Substituindo esta relação na fórmula (5.32), obtemos

(5.35)

O coeficiente de concordância varia de zero a um. Quando o arranjo de objetos por ranks é igualmente provável, porque neste caso . Este caso pode ser devido tanto à impossibilidade de classificação dos objetos de acordo com o conjunto de indicadores formulado, quanto à completa inconsistência das opiniões dos especialistas. Em , que é alcançado com entropia zero ( H=0), todos os especialistas dão a mesma classificação. De fato, neste caso, para cada objeto fixo, todos os especialistas atribuem a mesma classificação j, portanto, , a Portanto, e H =0.

Uma avaliação comparativa dos coeficientes de dispersão e concordância de entropia mostra que esses coeficientes fornecem aproximadamente a mesma avaliação da consistência de especialistas com classificações semelhantes. No entanto, se, por exemplo, todo o grupo de especialistas for dividido em opiniões em dois subgrupos, e as classificações nesses subgrupos forem opostas (diretas e inversas), o coeficiente de dispersão de concordância será igual a zero e o coeficiente de entropia de concordância será igual a 0,7. Assim, o coeficiente de concordância da entropia permite fixar o fato da divisão das opiniões em dois grupos opostos. A quantidade de cálculos para o coeficiente de concordância de entropia é um pouco maior do que para o coeficiente de concordância de dispersão.

3.4. Manipulando comparações de objetos em pares

Ao resolver o problema de avaliar um grande número de objetos (classificação, determinação de pesos relativos, pontuação), surgem dificuldades psicológicas devido à percepção por especialistas de muitas propriedades dos objetos. Os especialistas resolvem com relativa facilidade o problema da comparação de objetos em pares. Surge a questão, como obter uma estimativa de todo o conjunto de objetos com base nos resultados da comparação pareada, sem impor as condições de transitividade? Considere um algoritmo para resolver este problema. Deixar m especialistas avaliam todos os pares de objetos, dando uma estimativa numérica

(5.36)

Se, ao avaliar um par de especialistas, eles falaram a favor das preferências dos especialistas, e os especialistas consideram esses objetos equivalentes, então a estimativa da expectativa matemática de uma variável aleatória é igual a

(5.37)

O número total de especialistas é igual à soma

(5.38)

Determinando a partir daqui e substituindo em (5.37), obtemos

(5.39)

É óbvio que o conjunto de valores forma uma matriz com base na qual é possível construir uma classificação de todos os objetos e determinar os coeficientes da importância relativa dos objetos.

Vamos introduzir o vetor de coeficientes de importância relativa de objetos da ordem t a seguinte fórmula:

onde é a matriz de expectativas matemáticas de estimativas de pares de objetos, - vetor de coeficientes de importância relativa de objetos de ordem t . O valor é

(5.41)

Os coeficientes de importância relativa de primeira ordem são as somas relativas dos elementos das linhas da matriz X. Com efeito, supondo t=1, de (5.40) obtemos

(5.42)

Coeficientes de importância relativa de segunda ordem ( t=2) são as somas relativas dos elementos das linhas da matriz x2 .

(5.43)

Se a matriz Xé não negativo e indecomponível, então à medida que a ordem aumenta, a quantidade converge para o valor próprio máximo da matriz X

e o vetor de coeficientes da importância relativa dos objetos tende ao autovetor da matriz X correspondente ao autovalor máximo

Os autovalores e autovetores da matriz são determinados resolvendo a equação algébrica

onde E é a matriz identidade, e os sistemas de equações lineares

Onde ké o vetor próprio da matriz X correspondente ao autovalor máximo. Os componentes do autovetor são coeficientes da importância relativa dos objetos, medidos em uma escala de razão.

Do ponto de vista prático, é mais fácil calcular os coeficientes da importância relativa dos objetos por um procedimento sequencial de acordo com a fórmula (5.40) com t=1, 2, … Como mostra a experiência, 3-4 cálculos consecutivos são suficientes para obter os valores e k, próximo dos valores limites determinados pelas equações (5.46), (5.47).

A matriz é não negativa, pois todos os seus elementos (5.39) são não negativos. Uma matriz é chamada indecomponível se não puder ser reduzida a uma forma triangular permutando linhas (linhas e colunas de mesmo nome)

(5.48)

onde estão as submatrizes indecomponíveis da matriz X. Representação de matriz X na forma (5.48) significa a divisão de objetos em eu conjuntos dominantes

No 1 =n matriz Xé indecomponível, ou seja, há apenas um conjunto dominante coincidindo com o conjunto original de objetos. Decomponibilidade da matriz X significa que entre os especialistas há grandes divergências na avaliação de objetos.

Se a matriz Xé indecomponível, então o cálculo dos coeficientes de importância relativa permite determinar quantas vezes um objeto é superior a outro objeto em termos de indicadores comparados. O cálculo dos coeficientes da importância relativa dos objetos permite construir simultaneamente a classificação dos objetos. Os objetos são classificados de forma que o primeiro objeto seja o objeto com o maior coeficiente de importância relativa. A classificação completa é determinada pela cadeia de desigualdades

do qual segue

Se a matriz X for decomponível, então é possível determinar os coeficientes de importância relativa apenas para cada conjunto. Para cada matriz, o autovalor máximo e o autovetor correspondente são determinados. As componentes do autovetor são os coeficientes da importância relativa dos objetos incluídos no conjunto. De acordo com esses coeficientes, os objetos desse conjunto são classificados. A classificação geral dos objetos é dada pela relação

Assim, se a matriz Xé indecomponível, então, de acordo com os resultados de uma comparação pareada de objetos, é possível medir a preferência dos objetos na escala de relações e na escala de ordem (ranking). Se a matriz Xé decomponível, então apenas a classificação de objetos é possível.

Deve-se notar que a relação de preferência pode ser expressa por qualquer número positivo A PARTIR DE. Neste caso, a condição deve ser satisfeita. Em particular, pode-se escolher A PARTIR DE=2 de modo que se , então se então e se , então .

3.5. Determinando a relação dos rankings

Ao processar os resultados da classificação, pode haver problemas para determinar a relação entre as classificações de dois especialistas, a relação entre o alcance de dois objetivos diferentes ao resolver o mesmo conjunto de problemas ou a relação entre dois recursos.

Nesses casos, a medida da relação pode ser coeficiente de correlação de classificação. Uma característica da relação de um conjunto de classificações ou metas será uma matriz de coeficientes de correlação de postos. Os coeficientes de correlação de postos de Spearman e Kendall são conhecidos.

O coeficiente de correlação de posto de Spearman é determinado pela fórmula:

onde é o momento de correlação mútua do primeiro e segundo rankings, são as variâncias desses rankings. Com base nesses dois rankings, as estimativas do momento de correlação mútua e da variância são calculadas pelas fórmulas:

(5.51)

(5.52)

Onde n- número de objetos classificados, - classificações na primeira e segunda classificação, respectivamente, - classificações médias na primeira e segunda classificação. As estimativas de classificação média são determinadas pelas fórmulas:

(5.53)

Vamos calcular estimativas de ranks médios e variâncias sob a suposição de que não há ranks relacionados nos rankings, ou seja, ambos os rankings fornecem uma ordenação estrita de objetos. Neste caso, os postos médios (5,53) são as somas dos números naturais de um a n dividido por n. Portanto, as classificações médias para ambas as classificações são as mesmas e iguais

(5.54)

Ao calcular as estimativas das variâncias, notamos que, se abrirmos os parênteses nas fórmulas (5.52), os números naturais e seus quadrados estarão sob o sinal das somas. Dois rankings podem diferir um do outro apenas por uma permutação de ranks, mas a soma dos números naturais e seus quadrados não depende da ordem (permutação) dos termos. Portanto, as variâncias (5,52) para quaisquer duas classificações (na ausência de classificações relacionadas) serão as mesmas e iguais a

(i=1,2). (5,55)

Substituindo o valor de (5,51) e de (5,55) na fórmula (5,50), obtemos uma estimativa para o coeficiente de correlação de postos de Spearman

(5.56)

Para cálculos práticos, é mais conveniente usar outra fórmula para o coeficiente de correlação de Spearman. Pode ser obtido de (5.56) usando a identidade

Na igualdade (5.57), as duas primeiras somas do lado direito, como segue da expressão (5.55), são iguais e iguais a

Substituindo na fórmula (5.56) o valor da soma de (5.57) e usando a igualdade (5.58), obtemos a seguinte fórmula, conveniente para cálculos, para o coeficiente de correlação de postos de Spearman:

(5.59)

O coeficiente de correlação de Spearman varia de -1 a +1. A igualdade a um é alcançada, conforme segue a partir da fórmula (5.59), com as mesmas classificações, ou seja, quando o Valor ocorre com classificações opostas (classificações diretas e inversas). Se o coeficiente de correlação for igual a zero, os rankings são considerados linearmente independentes.

A estimativa do coeficiente de correlação calculado pela fórmula (5.59) é uma variável aleatória. Para determinar a significância dessa estimativa, é necessário definir o valor de probabilidade , decidir sobre a significância do coeficiente de correlação e determinar o valor limite usando a fórmula aproximada

(5.60)

Onde né o número de objetos, é a função inversa da função

para os quais existem tabelas. Após o cálculo do valor limite, a estimativa do coeficiente de correlação é considerada significativa se.

Para determinar a significância da estimativa do coeficiente de Spearman, pode-se utilizar o critério de Student, pois o valor

aproximadamente distribuídos de acordo com a lei de Student com n- 2 graus de liberdade.

Se houver classificações relacionadas nas classificações, o coeficiente de Spearman é calculado usando a seguinte fórmula:

(5.62)

onde é uma estimativa do coeficiente de correlação de postos de Spearman, calculado pela fórmula (5,59), e os valores são

(5.63)

Nestas fórmulas - o número de diferentes classificações relacionadas no primeiro e segundo ranking, respectivamente.

O coeficiente de correlação de classificação de Kendall na ausência de classificações relacionadas é dado por:

Onde n– número de objetos, - fileiras de objetos, sinal xé uma função igual a

Uma avaliação comparativa dos coeficientes de correlação de postos de Spearman e Kendall mostra que os coeficientes de Spearman são calculados usando uma fórmula mais simples. Além disso, o coeficiente de Spearman fornece um resultado mais preciso, pois é a estimativa ótima do coeficiente de correlação em função do critério de erro quadrático médio mínimo.

Segue-se que em cálculos práticos da dependência de correlação dos rankings, é preferível usar o coeficiente de correlação de Spearman.

CONCLUSÃO

O dinamismo e a novidade das tarefas econômicas modernas, a possibilidade do surgimento de vários fatores que afetam a eficácia das decisões, exigem que essas decisões sejam tomadas de forma rápida e ao mesmo tempo bem fundamentadas. A experiência, a intuição, o senso de perspectiva, combinados com a informação, ajudam os especialistas a escolher com mais precisão os objetivos e direções de desenvolvimento mais importantes, encontrar as melhores opções para resolver problemas científicos, técnicos e socioeconômicos complexos em condições em que não há informações sobre resolver problemas semelhantes no passado.

A utilização do método de peritagem ajuda a formalizar os procedimentos de recolha, síntese e análise das opiniões dos especialistas, de forma a transformá-las na forma mais conveniente para a tomada de decisão informada.

Mas, deve-se notar que o método de avaliações periciais não pode substituir decisões administrativas ou de planejamento, apenas permite reabastecer as informações necessárias para a preparação e adoção de tais decisões. O uso generalizado de avaliações de especialistas só se justifica quando é impossível aplicar métodos mais precisos para analisar o futuro.

Os métodos especializados são continuamente desenvolvidos e aprimorados. As principais direções desse desenvolvimento são determinadas por uma série de fatores, dentre os quais se pode apontar o desejo de ampliar o escopo, aumentar o grau de utilização de métodos matemáticos e computadores eletrônicos, e também encontrar formas de eliminar deficiências emergentes.

Apesar do progresso feito nos últimos anos no desenvolvimento e uso prático do método de avaliação de especialistas, há uma série de problemas e tarefas que exigem mais pesquisas metodológicas e verificação prática. É necessário melhorar o sistema de seleção de especialistas, aumentar a confiabilidade das características da opinião do grupo, desenvolver métodos para verificar a validade das avaliações e estudar as causas ocultas que reduzem a confiabilidade das avaliações dos especialistas.

No entanto, ainda hoje, as avaliações de especialistas em combinação com outros métodos matemáticos e estatísticos são uma ferramenta importante para melhorar a gestão em todos os níveis.

BIBLIOGRAFIA:

2. Bekleshev V.K., Zavlin P.N. Racionamento de mão de obra em institutos de pesquisa e escritórios de design. M.: Economia, 1973. 203 p.

10. Dobrov G.M., Ershov Yu.V., Levin E.I., Smirnov L.P. Avaliações de especialistas em previsão científica e técnica. Kyiv: Naukova Dumka, 1974. 263 p.

11. Evlanov L.G. Tomada de decisão sob incerteza. M.: IUNKh, 1976. 196 p.

12. Evlanov L.G., Kutuzov V.A. Avaliação de especialistas em gestão. M.: Economia, 1978. 133 p.

13. Kardanskaya N. Tomada de decisão de gestão. M.: UNITI, 1999. 407 p.

14. Kemeny D., Snell D. Modelagem cibernética. M.: Rádio soviética, 1972. 234 p.

15. Kravchenko T.K. O processo de tomar decisões de planejamento. M.: Economia, 1974. 183 p.

16. Mirkin B.G. O problema da escolha do grupo. M.: Nauka, 1974. 256 p. . 17. Mikheev V.I. Aspectos sociopsicológicos da gestão. Estilo e métodos de trabalho da cabeça. M.: Jovem Guarda, 1975. 181 p.

18. Pfantsagl I. Teoria das medidas. M.: Mir, 1976. 278 p.

19. Tikhomirov Yu.A. Decisão de gestão. M.: Nauka, 1996. 278 p.

20. Fedorenko N.P. Otimização da economia. M.: Nauka, 1977. 236 p.

21. Yampolsky S.M., Lisichkin V.A. Previsão do progresso científico e tecnológico. M.: Economia, 1974. 302 p.

MÉTODOS DE TOMADA DE DECISÃO ESPECIALIZADA

As decisões podem ser tomadas com base em dados objetivos (incluindo o uso de métodos de otimização e modelos probabilístico-estatísticos), ou com base nas opiniões de especialistas (especialistas). Nas tarefas de gestão estratégica e operacional, análise técnica e econômica, segurança ambiental, gestão ambiental e proteção ambiental, etc. vários métodos de avaliação de especialistas são usados ​​constantemente. Eles são discutidos neste capítulo.

As principais ideias de métodos de avaliação de especialistas

Exemplos de métodos de avaliação de especialistas. Como o ambiente econômico mudará ao longo do tempo? O que acontecerá com o ambiente natural em dez anos? Como o ambiente vai mudar? A segurança ambiental da produção industrial será garantida ou um deserto feito pelo homem começará a se espalhar? Basta pensar nessas questões naturais, analisar como imaginávamos os dias atuais dez ou até mais de vinte anos atrás, para entender que simplesmente não pode haver previsões 100% confiáveis. Em vez de declarações com números específicos, apenas avaliações qualitativas podem ser esperadas. No entanto, nós, gerentes, economistas, engenheiros, devemos tomar decisões, por exemplo, sobre projetos e investimentos ambientais e outros, cujas consequências serão sentidas em dez, vinte e assim por diante. anos. Como ser? Resta recorrer aos métodos de avaliação de especialistas. Quais são esses métodos?

É inegável que para tomar decisões informadas é preciso contar com a experiência, conhecimento e intuição de especialistas. Após a Segunda Guerra Mundial, no âmbito da cibernética, teoria de controle, gestão e pesquisa operacional, uma disciplina independente começou a se desenvolver - a teoria e a prática das avaliações de especialistas.

Os métodos de avaliação de especialistas são métodos para organizar o trabalho com especialistas especialistas e processar opiniões de especialistas. Essas opiniões são geralmente expressas em parte de forma quantitativa, em parte de forma qualitativa. A pesquisa especializada é realizada para preparar informações para a tomada de decisão pelo tomador de decisão (lembre-se, o tomador de decisão é o tomador de decisão). Para realizar os trabalhos sobre o método de avaliação de especialistas, é criado um Grupo de Trabalho (abreviado como GT), que organiza, em nome do decisor, as atividades dos especialistas reunidos (formalmente ou em essência) em uma comissão de especialistas (CE) .

As opiniões dos especialistas são Individual e coletivo. Classificações individuais Estas são as estimativas de um especialista. Por exemplo, um professor sozinho coloca uma marca em um aluno e um médico faz um diagnóstico em um paciente. Mas em casos difíceis de doença ou ameaça de expulsão de um aluno por falta de estudo, eles recorrem a coletivo opinião - um simpósio de médicos ou uma comissão de professores. A situação é semelhante no exército. Normalmente o comandante toma a decisão sozinho. Mas em situações difíceis e responsáveis, um conselho militar é realizado. Um dos exemplos mais famosos desse tipo é o conselho militar de 1812 em Fili, no qual, sob a presidência de M.I. Kutuzov, a questão foi decidida: "Dar ou não dar aos franceses uma batalha perto de Moscou?"

Outro exemplo simples de avaliações de especialistas é a avaliação de números em KVN. Cada um dos membros do júri levanta o compensado com sua pontuação, e o técnico calcula a pontuação média aritmética, que é declarada como a opinião coletiva do júri (veremos a seguir que essa abordagem é incorreta do ponto de vista da teoria da medição ).

Na patinação artística, o procedimento se torna mais complicado - antes da média as pontuações maiores e menores são descartadas. Isso é feito para que não haja tentação de superestimar um atleta (por exemplo, um compatriota) ou subestimar outro. Tais estimativas que se destacam acentuadamente da série geral serão imediatamente descartadas.

O julgamento especializado é frequentemente usado na seleção, por exemplo:

Uma variante de um dispositivo técnico para lançar uma série de várias amostras,

Grupos de astronautas de muitos candidatos,

Recrutamento de projetos de pesquisa para financiamento da massa de candidaturas,

Destinatários de empréstimos ambientais de muitos candidatos,

Ao escolher projetos de investimento para implementação entre os apresentados, etc.

Existem muitos métodos para obter avaliações de especialistas. Em alguns, eles trabalham com cada especialista separadamente, ele nem sabe quem mais é especialista e, portanto, expressa sua opinião independentemente das autoridades. Em outros, especialistas são reunidos para preparar materiais para o tomador de decisão, enquanto os especialistas discutem o problema entre si, aprendem uns com os outros e as opiniões incorretas são descartadas. Em alguns métodos, o número de especialistas é fixo e de tal forma que os métodos estatísticos para verificar a consistência das opiniões e, em seguida, calculá-las permitem tomar decisões informadas. Em outros, o número de especialistas cresce no processo de realização de um exame, por exemplo, ao usar o método "bola de neve" (mais sobre isso depois).

Não há menos métodos para processar as respostas de especialistas, incluindo aqueles muito ricos em matemática e informatizados. Muitos deles são baseados nas realizações das estatísticas de objetos não numéricos e outros métodos modernos de estatística aplicada.

Um dos métodos de revisão por pares mais conhecidos é Método Delphi. O nome é dado por associação com o antigo costume de obter apoio na tomada de decisões para se candidatar ao Templo de Delfos. Localizava-se na saída de gases vulcânicos venenosos. As sacerdotisas do templo, inalando veneno, começaram a profetizar, proferindo palavras incompreensíveis. "Tradutores" especiais - os sacerdotes do templo interpretaram essas palavras e anotaram as perguntas dos peregrinos que vieram com seus problemas. Segundo a tradição, diz-se que o Templo de Delfos estava localizado na Grécia. Mas não há vulcões. Aparentemente, ele estava na Itália - perto do Vesúvio ou Etna, e as próprias previsões descritas ocorreram nos séculos XII-XIV. Isso decorre da maior conquista da ciência histórica moderna - a nova cronologia estatística.

Nos Estados Unidos, na década de 1960, o método Delphi foi chamado de procedimento especializado para prever o desenvolvimento científico e tecnológico. Na primeira rodada, os especialistas apontaram as datas prováveis ​​de certas realizações futuras. Na segunda rodada, cada especialista conheceu as previsões de todos os outros. Se sua previsão fosse muito diferente das previsões do grosso, ele era solicitado a explicar sua posição, e muitas vezes ele mudava suas estimativas, aproximando-se dos valores médios. Esses valores médios foram dados ao cliente como uma opinião de grupo. Deve-se dizer que resultados reais a pesquisa acabou sendo bastante modesta - embora a data do pouso dos americanos na Lua estivesse prevista para dentro de um mês, todas as outras previsões falharam - fusão termonuclear a frio e uma cura para o câncer no século XX. a humanidade não esperou.

No entanto, a técnica em si acabou se tornando popular - nos anos seguintes foi usada pelo menos 40 mil vezes. O custo médio de um estudo especializado usando o método Delphi é de 5.000 dólares americanos, mas em alguns casos foi necessário gastar quantias ainda maiores - até 130.000 dólares americanos.

Um pouco além do mainstream das avaliações de especialistas está método de script usado principalmente para previsão de especialistas. Vamos considerar as principais ideias da tecnologia de previsões de especialistas em cenários. A previsão ambiental ou socioeconômica, como qualquer previsão em geral, só pode ser bem-sucedida sob alguma estabilidade de condições. No entanto, as decisões de autoridades, indivíduos e outros eventos alteram as condições e os eventos se desenvolvem de maneira diferente do esperado anteriormente. É bastante óbvio que, após o primeiro turno das eleições presidenciais de 1996, se poderia falar sobre o desenvolvimento dos eventos apenas em termos de cenários: se B.N. Yeltsin, então isso e aquilo acontecerá, se G.A. vencer. Zyuganov, então os eventos acontecerão desta e daquela maneira.

O método do cenário é necessário não apenas no campo socioeconômico ou ambiental. Por exemplo, ao desenvolver suporte metodológico, de software e de informação análise de risco projetos químicos e tecnológicos, é necessário compilar um catálogo detalhado de cenários de acidentes associados a vazamentos de substancias químicas. Cada um desses cenários descreve um acidente de seu tipo, com sua origem individual, desenvolvimento, consequências e recursos de alerta.

Assim, o método de cenário é um método de decomposição do problema de previsão, que prevê a seleção de um conjunto de opções individuais para o desenvolvimento de eventos (cenários), que em conjunto abrangem todas as opções de desenvolvimento possíveis. Ao mesmo tempo, cada cenário individual deve permitir uma previsão suficientemente precisa e o número total de cenários deve ser visível.

A possibilidade de tal decomposição não é óbvia. Ao aplicar o método do cenário, é necessário realizar duas etapas do estudo:

Construir um conjunto abrangente, mas gerenciável de cenários;

Previsão dentro de cada cenário específico a fim de obter respostas para questões de interesse do pesquisador.

Cada uma dessas etapas é apenas parcialmente formalizada. Uma parte significativa do raciocínio é realizada a nível qualitativo, como é habitual em termos socioeconómicos e humanidades. Uma das razões é que o desejo de formalização e matematização excessiva leva a artificial a introdução da certeza onde ela não existe em essência, ou o uso de um complicado aparato matemático. Assim, o raciocínio no nível verbal é considerado probatório na maioria das situações, enquanto uma tentativa de esclarecer o significado das palavras utilizadas, usando, por exemplo, a teoria dos conjuntos difusos, leva a modelos matemáticos muito complicados.

O conjunto de cenários deve ser visível. Temos que excluir vários eventos improváveis ​​- a chegada de alienígenas, a queda de um asteróide, epidemias em massa de doenças anteriormente desconhecidas, etc. Por si só, a criação de um conjunto de cenários é objeto de estudo de especialistas. Além disso, especialistas podem avaliar as probabilidades de implementação de um determinado cenário.

A previsão dentro de cada cenário específico para obter respostas às questões de interesse do pesquisador também é realizada de acordo com a metodologia de previsão descrita acima. Sob condições estáveis, métodos estatísticos para previsão de séries temporais podem ser aplicados. No entanto, esta é precedida por uma análise com a ajuda de especialistas, e muitas vezes a previsão no nível verbal é suficiente (para obter conclusões de interesse do pesquisador e do decisor) e não requer esclarecimento quantitativo.

Como você sabe, ao tomar decisões com base em analise da situação(como eles dizem, análise situacional), incluindo a análise dos resultados de estudos preditivos, pode se basear em vários critérios. Assim, você pode se concentrar no fato de que a situação se desenvolverá da pior, ou melhor, ou média (em qualquer sentido). Você pode tentar delinear atividades que forneçam os resultados úteis mínimos aceitáveis ​​em qualquer cenário, etc.

Outra opção para revisão por pares é chuva de ideias. É organizado como um encontro de especialistas, em cujos discursos se impõe uma, mas muito significativa, restrição - não se pode criticar as propostas dos outros. Você pode desenvolvê-los, pode expressar suas ideias, mas não pode criticar! Durante a reunião, os especialistas, "infectando" uns aos outros, expressam considerações cada vez mais extravagantes. Duas horas depois, a sessão gravada em um gravador ou câmera de vídeo termina, e começa a segunda etapa do brainstorming - a análise das ideias expressas. Normalmente, de 100 ideias, 30 merecem maior elaboração, de 5-6 permitem formular projetos aplicados e 2-3 acabam por trazer um efeito benéfico - lucro, aumento da segurança ambiental, melhoria do ambiente natural , etc Ao mesmo tempo, a interpretação de ideias é um processo criativo. Por exemplo, ao discutir as possibilidades de proteger os navios de um ataque de torpedos, a ideia foi expressa: "Alinhar os marinheiros ao longo do costado e explodir o torpedo para mudar seu curso". Após a elaboração, essa ideia levou à criação de dispositivos especiais que criam ondas que desviam o torpedo do curso.

As principais etapas da perícia. Vamos dar uma olhada nos estágios individuais da pesquisa especializada. Como mostra a experiência, do ponto de vista do gestor - o organizador de tal estudo, é aconselhável destacar as seguintes etapas de uma pesquisa especializada.

1) Decidir sobre a necessidade de realização de perícia e a formulação pelo Decisor (DM) do seu propósito. Assim, a iniciativa deve partir da gestão, o que garantirá a solução bem-sucedida de problemas organizacionais e financeiros no futuro. Obviamente, o impulso inicial pode ser dado por um memorando de um dos funcionários ou uma discussão em uma reunião, mas o verdadeiro início do trabalho é a decisão do decisor.

2) Seleção e nomeação do decisor da composição principal do Grupo de Trabalho, abreviado como GT (geralmente - supervisor e secretário). Ao mesmo tempo, o orientador é responsável por organizar e conduzir o estudo pericial como um todo, bem como por analisar os materiais coletados e formular a conclusão da comissão de peritos. Ele participa da formação de uma equipe de especialistas e da atribuição de uma tarefa a cada especialista (junto com o decisor ou seu representante). Ele próprio é um especialista altamente qualificado e um líder formal e informal da comissão de especialistas reconhecido por outros especialistas. A função do secretário é manter a documentação da perícia, para solucionar problemas organizacionais.

3) Desenvolvimento de GT(mais precisamente, sua equipe principal, principalmente o supervisor e o secretário) e aprovação pelo decisor dos termos de referência para a realização de perícia. Nesta fase, a decisão de realizar uma perícia torna-se clara em termos de tempo, apoio financeiro, pessoal, material e organizacional. Em particular, um Grupo de Trabalho é formado, vários grupos de especialistas são distinguidos no GT - analítico, econométrico (especialistas em métodos), computador, para trabalhar com especialistas (por exemplo, entrevistadores) e organizacional. É muito importante para o sucesso que todas essas posições sejam aprovadas pelo tomador de decisão.

4) Desenvolvimento pelo grupo analítico do GT de um cenário detalhado (ou seja, regulamentos) para a coleta e análise de opiniões de especialistas (avaliações). O cenário inclui, em primeiro lugar, um tipo específico de informação que será recebida de especialistas (por exemplo, palavras, gradações condicionais, números, classificações, divisões ou outros tipos de objetos não numéricos). Por exemplo, muitas vezes os especialistas são convidados a falar livremente, enquanto respondem a uma série de perguntas pré-formuladas. Além disso, eles são solicitados a preencher um mapa formal, escolhendo uma das várias gradações em cada ponto. O script também deve conter métodos específicos para analisar as informações coletadas. Por exemplo, o cálculo da mediana de Kemeny, análise estatística de Lucians, o uso de outros métodos de estatística de objetos não numéricos e outras seções de estatística aplicada (alguns desses métodos serão discutidos abaixo). Este trabalho se enquadra no grupo econométrico e de informática do GT. O erro tradicional é coletar informações primeiro e depois pensar no que fazer com elas. Como resultado, como mostra a triste experiência, a informação é usada por não mais que 1-2%.

5) Seleção de especialistas conforme sua competência. Nessa etapa, o GT elabora uma lista de possíveis especialistas e avalia sua adequação ao estudo proposto.

6) Formação de uma comissão de especialistas. Nesta fase, o GT realiza negociações com especialistas, obtém seu consentimento para trabalhar na comissão de especialistas (abreviada como CE). É possível que alguns dos peritos nomeados pelo GT não possam ser incluídos na comissão de peritos (doença, férias, viagem de negócios, etc.) O decisor aprova a composição da comissão de peritos, eventualmente eliminando ou acrescentando alguns peritos às propostas do GT. Estão a ser celebrados contratos com peritos sobre as condições do seu trabalho e o seu pagamento.

7) Coleta de informações especializadas. Muitas vezes isso é precedido pelo recrutamento e treinamento dos entrevistadores – um dos grupos que compõem o GT.

8) Computador análise de informações especializadas usando os métodos incluídos no script. Geralmente é precedido pela introdução de informações em computadores.

9) Quando aplicado de acordo com o cenário do procedimento pericial de várias rodadas - repetição duas etapas anteriores.

10) Análise final de pareceres de especialistas, interpretação dos resultados grupo analítico do GT e preparação do documento final CE para o tomador de decisão.

11) Oficial o fim atividades do GT, incluindo aprovação do decisor do documento final do CE, elaboração e aprovação dos relatórios científicos e financeiros do GT sobre a realização de perícia, remuneração dos peritos e funcionários do GT, encerramento oficial das atividades (dissolução) do CE e do GT.

Analisemos com mais detalhes as etapas individuais da pesquisa especializada. Vamos começar com a seleção de especialistas: o pessoal decide tudo! Quais são os especialistas - tal é a qualidade da conclusão da comissão de especialistas.

Seleção de especialistas. O problema de selecionar especialistas é um dos mais difíceis na teoria e na prática da pesquisa especializada. Obviamente, como especialistas, é necessário usar aquelas pessoas cujos julgamentos mais ajudarão a tomar uma decisão adequada. Mas como identificar, encontrar, selecionar essas pessoas? Deve-se dizer diretamente que não existem métodos de seleção de especialistas que certamente garantirão o sucesso do exame. Agora não discutiremos o problema da existência de vários "partidos" entre os especialistas e daremos atenção a vários outros aspectos dos procedimentos de seleção de especialistas.

Existem dois componentes para o problema da seleção de especialistas - compilar uma lista de possíveis especialistas e selecionar deles uma comissão de especialistas de acordo com a competência dos candidatos.

A compilação de uma lista de possíveis especialistas é facilitada quando o tipo de exame em questão é realizado repetidamente. Em tais situações, geralmente é registro possíveis especialistas, por exemplo, na área de perícia ambiental estadual ou arbitragem patinação artística, do qual você pode escolher de acordo com vários critérios ou usando um gerador (ou tabela) de números pseudo-aleatórios.

E se o exame for realizado pela primeira vez, não houver listas estabelecidas de possíveis especialistas? No entanto, mesmo neste caso, cada especialista específico tem alguma ideia do que é exigido de um especialista em situação semelhante. Para formar uma lista, método útil "bola de neve" em que um certo número (geralmente de 5 a 10) dos nomes daqueles que podem ser especialistas no assunto em consideração são recebidos de cada especialista envolvido como especialista. Obviamente, alguns desses sobrenomes se conheceram anteriormente nas atividades do GT, e alguns são novos. Cada recém-chegado é interrogado de acordo com o mesmo esquema. O processo de expansão da lista para quando novos sobrenomes praticamente deixam de ocorrer. O resultado é uma lista bastante extensa de possíveis especialistas. Método "bola de neve" também tem desvantagens. O número de rodadas antes que o processo de construção do coma pare não pode ser previsto com antecedência. Além disso, é claro que, se no primeiro estágio todos os especialistas fossem do mesmo "clã", tivessem opiniões semelhantes ou estivessem envolvidos em atividades semelhantes, o método "bola de neve" provavelmente fornecerá pessoas do mesmo "clã". Opiniões e argumentos de outros "clãs" serão perdidos. (Aqui estamos falando sobre o fato de que a comunidade de especialistas é na verdade dividida em grupos chamados "clãs" acima, e a comunicação ocorre principalmente dentro dos "clãs". A estrutura informal da ciência, à qual os "clãs" pertencem, é bastante difícil de estudar. Notamos aqui que esses "clãs" são geralmente formados com base em grandes centros formais (universidades, institutos científicos), escolas científicas.)

A questão da avaliação da competência dos especialistas não é menos complicada. É claro que o sucesso da participação em exames anteriores é um bom critério para as atividades de provador, médico, juiz em competições esportivas, ou seja, esses especialistas que participam de uma longa série de exames semelhantes. No entanto, infelizmente, o mais interessante e importante é a experiência única de grandes projetos que não têm análogos. O uso de indicadores formais de especialistas (cargo, grau e título acadêmico, tempo de serviço, número de publicações ...), obviamente, nas condições em rápida mudança de hoje, só pode ser de natureza auxiliar, embora tais indicadores sejam os mais fáceis de aplicar .

Muitas vezes é proposto o uso de métodos de autoavaliação e avaliação mútua da competência dos especialistas. Vamos discuti-los, começando pelo método de autoavaliação, no qual o próprio especialista informa em quais áreas ele é competente e em quais não é. Por um lado, quem melhor para conhecer as capacidades de um especialista do que ele mesmo? Por outro lado, a autoavaliação de competência avalia mais o grau de autoconfiança de um especialista do que sua competência real. Além disso, o próprio conceito "competência" não estritamente definido. Pode ser refinado destacando os componentes, mas isso complica a parte preliminar do trabalho da comissão de especialistas. Muitas vezes, um especialista exagera sua real competência. Por exemplo, a maioria das pessoas acredita que é bem versada em política, economia, educação e educação, família e medicina. De fato, especialistas (e até pessoas conhecedoras) nestas áreas é muito pequena. Há também desvios na outra direção, uma atitude excessivamente crítica em relação às próprias capacidades.

Ao usar o método de avaliação mútua, além da possibilidade de mostrar gostos e desgostos pessoais e de grupo, a baixa consciência dos especialistas sobre as capacidades de cada um desempenha um papel. Nas condições modernas, apenas especialistas que trabalham juntos há muitos anos (pelo menos 3-4) trabalhando juntos, na mesma sala, no mesmo tópico, podem conhecer bastante bem o trabalho e as capacidades uns dos outros. É sobre esses casais que se pode dizer que eles " comeu um pud de sal juntos". No entanto, o envolvimento de tais pares de especialistas não é muito aconselhável, uma vez que seus pontos de vista, devido à semelhança caminho da vida muito semelhantes entre si.

Se o procedimento de perícia envolver a comunicação direta de especialistas, várias outras circunstâncias devem ser levadas em consideração. Suas qualidades pessoais (social-psicológicas) são de grande importância. Então, o primeiro e único" falador"pode ​​paralisar as atividades de toda a comissão em uma reunião conjunta. Tanto as relações hostis dos membros da comissão quanto o status científico e oficial muito diferente dos membros da comissão podem levar a uma ruptura. Nesses casos, é importante cumprir o regulamento de trabalho desenvolvido pelo GT.

Ressalta-se que a seleção de especialistas é uma das principais funções do Grupo de Trabalho, e nenhum método de seleção pode exonerá-lo de responsabilidade. Em outras palavras, é o Grupo de Trabalho que se responsabiliza pela competência dos especialistas, por sua habilidade fundamental para resolver o problema. Um requisito importante é que o tomador de decisão aprove a lista de especialistas. Ao mesmo tempo, o tomador de decisão pode adicionar especialistas individuais à comissão ou excluir alguns deles - por suas próprias razões, que os membros do GT e do CE não precisam conhecer.

Existem diversos documentos normativos que regulam a atuação das comissões de especialistas em determinadas áreas. Um exemplo é a Lei Federação Russa"Sobre Perícia Ecológica" de 23 de novembro de 1995, que regulamenta o procedimento de exame de "propostas de atividades econômicas ou outras" para identificar possível dano que a atividade em questão pode causar ao meio ambiente.

Sobre o desenvolvimento de regulamentos para a recolha e análise de pareceres de peritos. Existem muitos métodos para obter avaliações de especialistas. Em alguns, eles trabalham com cada especialista separadamente, ele nem sabe quem mais é um especialista e, portanto, expressa sua opinião independentemente de autoridades, "clãs" e colegas individuais. Em outros, especialistas são reunidos para preparar materiais para o tomador de decisão, enquanto os especialistas discutem o problema entre si, aceitam ou rejeitam os argumentos uns dos outros, aprendem uns com os outros e opiniões incorretas ou insuficientemente fundamentadas são descartadas. Em alguns métodos, o número de especialistas é fixo e de tal forma que os métodos estatísticos de verificação da consistência das opiniões e, em seguida (no caso de concordância suficientemente boa de opiniões), a média delas permitem tomar decisões informadas do ponto de vista da econometria. Em outros, o número de especialistas cresce no decorrer do exame, por exemplo, quando se utiliza o método "bola de neve" para formar uma equipe de especialistas.

Atualmente não existe classificação geralmente aceita cientificamente fundamentada de métodos de avaliação de especialistas e, mais ainda - recomendações inequívocas para sua aplicação. Uma tentativa de aprovar com força um dos pontos de vista possíveis sobre a classificação dos métodos de peritagem só pode trazer prejuízos.

No entanto, para falar sobre a variedade de avaliações de especialistas, é necessária alguma classificação de trabalho de métodos. Damos uma dessas possíveis classificações abaixo, listando os motivos pelos quais dividimos as avaliações de especialistas.

Uma das principais questões - o que exatamente a comissão de especialistas deve fornecer como resultado de seu trabalho - informações para a tomada de decisão pelo decisor ou pelo próprio projeto de decisão? A organização do trabalho da comissão de peritos depende da resposta a esta questão metodológica e serve como primeira base para a divisão dos métodos.

OBJETIVO - COLETA DE INFORMAÇÕES PARA DMP. Em seguida, o Grupo de Trabalho deve coletar o máximo possível de informações relevantes, argumentos "a favor" e "contra" determinadas soluções. O seguinte método de aumentar gradualmente o número de especialistas é útil. Em primeiro lugar, o primeiro perito dá a sua opinião sobre a questão em análise. O material compilado por ele é transferido para o segundo perito, que acrescenta seus argumentos. O material acumulado vai para o próximo - terceiro - especialista... O procedimento termina quando o fluxo de novas considerações se esgota.

Observe que os especialistas no método em consideração apenas fornecem informações, argumentos "a favor" e "contra", mas não desenvolvem um projeto de decisão acordado. Não há necessidade de se esforçar para garantir que as opiniões dos especialistas sejam consistentes entre si. Além disso, especialistas com uma mentalidade que se desvia das massas são mais úteis. É deles que se devem esperar os argumentos mais originais.

OBJETIVO - ELABORAÇÃO DE PROJETO DE DECISÃO PARA DECISÕES. Os métodos matemáticos em avaliações de especialistas são geralmente usados ​​especificamente para resolver problemas relacionados à preparação de um projeto de decisão. Ao mesmo tempo, os dogmas de consistência e unidimensionalidade são frequentemente aceitos de forma acrítica. Esses dogmas “vagam” de uma publicação para outra, por isso é aconselhável discuti-los.

DOGMA DA COERÊNCIA. Supõe-se muitas vezes, sem qualquer justificação, que uma decisão só pode ser tomada com base nas opiniões acordadas de especialistas. Portanto, aqueles cuja opinião difere da opinião da maioria são excluídos do grupo de especialistas. Ao mesmo tempo, tanto as pessoas não qualificadas que entraram na composição da comissão de especialistas por um mal-entendido ou por motivos alheios ao seu nível profissional, quanto os pensadores mais originais que penetraram mais fundo no problema do que a maioria, são eliminado. Os seus argumentos devem ser clarificados, deve-se dar-lhes a oportunidade de fundamentar os seus pontos de vista. Em vez disso, sua opinião é ignorada.

Acontece também que os especialistas são divididos em dois ou mais grupos que têm grupo pontos de vista. Assim, há um exemplo bem conhecido de divisão dos especialistas na avaliação dos resultados da pesquisa científica em dois grupos: "teóricos" que claramente preferem P&D em que os resultados teóricos são obtidos, e "praticantes" que escolhem aqueles P&D que permitem obter resultados (estamos falando da competição de P&D no Instituto Acadêmico de Problemas de Controle (Automação e Telemecânica)).

Às vezes, alega-se que se dois ou mais grupos de especialistas são encontrados (em vez de um acordado), a pesquisa não atinge seu objetivo. Isso não é verdade! O objetivo foi alcançado - foi estabelecido que não há consenso. Isto é muito importante. E o tomador de decisão deve levar isso em consideração ao tomar decisões. O desejo de garantir a consistência das opiniões de especialistas de qualquer todo pode levar a uma seleção unilateral deliberada de especialistas, ignorando todos os pontos de vista, exceto um, o mais querido Grupo de Trabalho (ou mesmo "incitado" pela decisão criador).

Outra circunstância puramente econométrica muitas vezes não é levada em consideração. Como o número de especialistas geralmente não excede 20-30, então a consistência estatística formal das opiniões dos especialistas (estabelecida usando certos critérios de verificação hipóteses estatísticas) pode ser combinado com a divisão real de especialistas em grupos, o que torna os cálculos adicionais irrelevantes para a realidade. Por exemplo, vamos nos voltar para métodos de cálculo específicos usando coeficientes de concordância (ou seja, na tradução - concordância) com base nos coeficientes de correlação de classificação de Kendall ou Spearman. Recorde-se que, segundo a teoria econométrica, um resultado positivo da verificação da consistência desta forma significa nada mais nada menos do que rejeitar a hipótese de independência e distribuição uniforme das opiniões dos especialistas sobre o conjunto de todos os rankings. Assim, a hipótese nula é testada, segundo a qual os rankings que descrevem as opiniões dos especialistas são relações binárias aleatórias independentes distribuídas uniformemente sobre o conjunto de todos os rankings. A rejeição desta hipótese nula, segundo a má tradição, é interpretada como a consistência das respostas dos especialistas. Em outras palavras, somos vítimas de equívocos decorrentes da interpretação peculiar das palavras: a verificação de consistência no sentido matemático-estatístico indicado não é de forma alguma uma verificação de consistência no sentido da prática de avaliações periciais. (É a deficiência dos métodos matemáticos e estatísticos considerados de análise de classificação que levou um grupo de especialistas a desenvolver um novo aparato econométrico para verificar a consistência - métodos não paramétricos baseados nos chamados. lucianos e incluído na seção moderna de econometria - estatísticas de dados não numéricos). Grupos de especialistas com métodos semelhantes podem ser distinguidos por métodos econométricos de análise de cluster.

OPINIÕES DOS DISSIDENTES. A fim de alcançar artificialmente a consistência, eles tentam reduzir a influência das opiniões de especialistas. dissidentes, ou seja dissidentes em relação à maioria. Duro a maneira de lidar com os dissidentes é ignorar suas opiniões, ou seja, na verdade, sua exclusão da composição da comissão de especialistas. A rejeição de especialistas, assim como a rejeição de outliers (outliers), leva a procedimentos que possuem propriedades estatísticas pobres ou desconhecidas. Sim, conhecido extrema instabilidade métodos clássicos para rejeitar valores discrepantes em relação a desvios das premissas do modelo (ver, por exemplo, tutorial ).

Suave maneira de lidar com dissidentes é usar procedimentos estatísticos robustos (estáveis). O exemplo mais simples: se a resposta do especialista é um número real, então a opinião atípica do dissidente afeta fortemente a média aritmética das respostas dos especialistas e não afeta sua mediana. Portanto, é razoável considerar a mediana como uma opinião consensual. No entanto, isso ignora (não chega ao decisor) os argumentos dos dissidentes.

Em qualquer uma das duas formas de lidar com os dissidentes, o tomador de decisão é privado de informações provenientes dos dissidentes e, portanto, pode tomar uma decisão desarrazoada, que posteriormente acarretará consequências negativas. Por outro lado, a submissão de todo o conjunto de pareceres ao decisor retira parte da responsabilidade e do trabalho de elaboração da decisão final da comissão de peritos e do grupo de trabalho para a realização de perícia e transfere essa responsabilidade e trabalho para ombros do decisor.

DOGMA DA UNIDIMENSIONALIDADE. Na literatura científica e técnica ultrapassada, e às vezes na moderna, é difundida uma abordagem bastante controversa da chamada "qualimetria", segundo a qual o objeto do exame sempre pode ser avaliado. um número. Estranha ideia! Avaliar uma pessoa por um número veio à mente apenas em mercados de escravos. É improvável que mesmo os qualimetristas mais zelosos considerem um livro ou uma imagem como equivalente a um número - seu "valor de mercado". Quase todos os objetos reais são bastante complexos e, portanto, podem ser descritos com precisão apenas com a ajuda de muitos e muitos números, bem como objetos matemáticos de natureza não numérica.

Ao mesmo tempo, não se pode negar completamente a própria ideia de buscar indicadores generalizados de qualidade, nível técnico e similares. Assim, cada objeto pode ser avaliado por vários indicadores de qualidade. Por exemplo, um carro pode ser avaliado nos seguintes indicadores:

consumo de gasolina por 100 km (em média);

confiabilidade (incluindo o custo médio de reparos por ano);

segurança ambiental, avaliada pelo teor de substâncias nocivas nos gases de escape;

manobrabilidade (incluindo raio de giro);

a velocidade de aceleração de 100 km / h após o início do movimento; velocidade máxima alcançável;

a duração da manutenção de uma temperatura positiva na cabine a uma temperatura externa baixa (por exemplo, menos cinquenta graus Celsius) e o motor está desligado;

design (atratividade e "fashionability" da aparência e acabamento interior);

peso, etc

É possível resumir as pontuações desses indicadores juntos? É claro que a situação específica para a qual o carro é selecionado é decisiva. A velocidade máxima alcançada é importante para o corredor, mas, a nosso ver, tem pouca importância prática para o motorista de um carro particular comum, especialmente em uma cidade com limite severo de velocidade máxima. Para tal motorista, milhagem de gás, manobrabilidade e confiabilidade são mais importantes. Para máquinas de diversos serviços controlado pelo governo, aparentemente, a confiabilidade é mais importante do que para um comerciante privado, e o consumo de gasolina é o oposto. Para as regiões do Extremo Norte, o isolamento térmico da cabine é importante, mas não para as regiões do sul. etc.

Assim, uma declaração específica (estreita) do problema para os especialistas é importante. Mas essa configuração muitas vezes não existe. E então "jogos" para desenvolver um indicador de qualidade generalizado - por exemplo, na forma Função linear das variáveis ​​listadas - não pode dar conclusões objetivas. Uma alternativa ao único indicador generalizado é um aparato matemático do tipo otimização multiobjetivo- Conjuntos de Pareto, etc.

Em alguns casos, ainda é possível comparar objetos globalmente - por exemplo, com a ajuda dos mesmos especialistas, você pode obter uma ordenação dos objetos em consideração - produtos ou projetos. Então você pode escolher os coeficientes para indicadores individuais para que ordenação por função linear foi o mais próximo possível da ordenação global(por exemplo, encontre esses coeficientes usando o método dos mínimos quadrados). Pelo contrário, em tais casos NÃO DEVE avaliar os coeficientes indicados com a ajuda de especialistas. Essa ideia simples ainda não se tornou óbvia para compiladores individuais de metodologias para conduzir pesquisas de especialistas e analisar seus resultados. Eles se esforçam para conseguir que os especialistas façam o que eles fazem impossível- indicar os pesos com os quais os indicadores de qualidade individuais devem ser incluídos no indicador generalizado final.

Enviar seu bom trabalho na base de conhecimento é simples. Use o formulário abaixo

Estudantes, estudantes de pós-graduação, jovens cientistas que usam a base de conhecimento em seus estudos e trabalhos ficarão muito gratos a você.

postado em http://www.allbest.ru/

INSTITUTO SOCIOECONÔMICO DE MOSCOU

sobre o tema "Metodologia para a realização de avaliações periciais"

Alunos:

Artyushenko Yulia Viktorovna

Grupo: M10B-D-O-z

Moscou 2014

Introdução

2. Métodos de avaliação de especialistas

Conclusão

Introdução

No estudo da gestão, o método de avaliação de especialistas é amplamente utilizado. Isso se deve à complexidade de muitos problemas, sua origem no "fator humano", na falta de ferramentas experimentais ou normativas confiáveis.

É inegável que para tomar decisões informadas é preciso contar com a experiência, conhecimento e intuição de especialistas. Após a Segunda Guerra Mundial, no âmbito da teoria da gestão (gestão), começou a desenvolver-se uma disciplina independente - avaliações de especialistas.

Os métodos de avaliação de especialistas são métodos para organizar o trabalho com especialistas especialistas e processar opiniões de especialistas expressas de forma quantitativa e/ou qualitativa, a fim de preparar informações para a tomada de decisão pelos tomadores de decisão.

Muitos trabalhos têm se dedicado ao estudo das possibilidades e características da aplicação de avaliações periciais. Eles consideram as formas de uma pesquisa com especialistas (vários tipos de questionários, entrevistas), abordagens de avaliação (classificação, normalização, vários tipos de ordenação, etc.), métodos para processar os resultados da pesquisa, requisitos para especialistas e formação de grupos de especialistas, questões de especialistas em treinamento, avaliações de sua competência (ao processar as avaliações, os coeficientes de competência dos especialistas, a confiabilidade de suas opiniões são introduzidos e levados em consideração), métodos de organização de pesquisas de especialistas. A escolha de formas e métodos para realizar pesquisas de especialistas, abordagens para processar os resultados da pesquisa, etc. depende da tarefa específica e das condições do exame.

Métodos especializados são agora usados ​​em situações em que a escolha, justificação e avaliação das consequências das decisões não podem ser realizadas com base em cálculos precisos. Tais situações surgem frequentemente no desenvolvimento de problemas modernos de gestão da produção social e, especialmente, na previsão e planejamento de longo prazo. Nos últimos anos, as avaliações periciais têm sido amplamente utilizadas na previsão sócio-política e técnico-científica, no planejamento da economia nacional, indústrias, associações, no desenvolvimento de grandes programas científicos, técnicos, econômicos e sociais, na resolução de problemas. ranking de gestão especializada

1. Essência, métodos e processo de avaliações de especialistas

1.1 A essência das avaliações de especialistas

A possibilidade de usar avaliações periciais, a justificativa de sua objetividade geralmente se baseia no fato de que uma característica desconhecida do fenômeno em estudo é interpretada como uma variável aleatória, cujo reflexo da lei de distribuição é uma avaliação individual de um especialista especialista sobre a confiabilidade e o significado de um evento. Assume-se que o verdadeiro valor da característica em estudo está dentro do intervalo de estimativas recebidas do grupo de especialistas e que a opinião coletiva generalizada é confiável.

No entanto, alguns estudos teóricos questionam essa suposição. Por exemplo, propõe-se dividir os problemas para os quais as avaliações de especialistas são usadas em duas classes. A primeira classe inclui problemas suficientemente bem providos de informações e para os quais pode ser utilizado o princípio de um “bom mensurador”, considerando o especialista como o guardião de uma grande quantidade de informação, e a opinião do grupo de especialistas se aproxima da um verdadeiro. A segunda classe inclui problemas sobre os quais não há conhecimento suficiente para garantir a validade das suposições acima; especialistas não podem ser considerados como “bons medidores”, sendo necessário abordar cuidadosamente o processamento dos resultados do exame, pois neste caso a opinião de um (único) especialista, que presta mais atenção ao estudo de um problema estudado, pode vir a ser o mais significativo, e durante o processamento formal será perdido. Nesse sentido, o processamento qualitativo dos resultados deve ser aplicado principalmente a problemas de segunda classe. O uso de métodos de média (válido para "bons medidores") neste caso pode levar a erros significativos.

As tarefas de tomada de decisão coletiva sobre a formação de metas, o aprimoramento de métodos e formas de gestão podem ser atribuídas geralmente à primeira turma. No entanto, ao desenvolver previsões e planos de longo prazo, é aconselhável identificar opiniões “raras” e submetê-las a uma análise mais aprofundada.

Outro problema que deve ser levado em consideração ao realizar uma análise de sistema é o seguinte: mesmo no caso de resolver problemas relacionados à primeira classe, não se deve esquecer que as avaliações de especialistas carregam não apenas características estritamente subjetivas inerentes a especialistas individuais, mas também recursos coletivo-subjetivos que não desaparecem ao processar os resultados da pesquisa (e ao usar procedimentos Delphi, eles podem até ser aprimorados). Em outras palavras, as avaliações de especialistas devem ser vistas como uma espécie de “ponto de vista público”, dependendo do nível de conhecimento científico e técnico da sociedade sobre o assunto da pesquisa, que pode mudar à medida que o sistema e nossas ideias sobre ele se desenvolvem . Portanto, uma pesquisa especializada não é um procedimento único. Essa forma de obter informações sobre um problema complexo caracterizado por um alto grau de incerteza deve se tornar uma espécie de "mecanismo" em um sistema complexo, ou seja, é necessário criar um sistema regular de trabalho com especialistas.

Deve-se atentar também para o fato de que o uso da abordagem de frequência clássica para avaliar a probabilidade na organização de pesquisas de especialistas pode ser difícil, e às vezes impossível (devido à impossibilidade de provar a legitimidade do uso de uma amostra representativa). Portanto, atualmente, estão em andamento estudos sobre a natureza da probabilidade de avaliação pericial, com base na teoria, conjuntos fuzzy de Zadeh, na ideia de avaliação pericial como grau de confirmação de uma hipótese ou como probabilidade de alcançar um objetivo. Uma das variedades método especialistaé um método de estudo dos pontos fortes e fracos da organização, as oportunidades e ameaças às suas atividades - o método de análise SWOT.

A coleta de informações de especialistas depende da escolha do método de avaliação de especialistas. Normalmente, para coletar informações de especialistas, são compilados documentos especiais, por exemplo, questionários aprovados pelos gestores competentes e enviados aos especialistas.

O processamento de informações especializadas é realizado pelo método escolhido, geralmente com o uso de tecnologia de computador. Os dados obtidos como resultado do processamento são analisados ​​e utilizados para resolver os problemas de análise e síntese de sistemas de controle.

Avaliações de especialistas são usadas para análise, diagnóstico do estado, previsão subsequente de opções de desenvolvimento:

1) objetos cujo desenvolvimento é total ou parcialmente não passível de descrição de assunto ou formalização matemática;

2) na ausência de estatísticas suficientemente representativas e confiáveis ​​sobre as características do objeto;

3) em condições de grande incerteza no ambiente para o funcionamento do objeto, o ambiente de mercado;

4) na previsão de médio e longo prazo de novos mercados, objetos de novas indústrias fortemente influenciadas por descobertas nas ciências fundamentais (por exemplo, indústria microbiológica, eletrônica quântica, engenharia nuclear);

5) nos casos em que o tempo ou os recursos alocados para previsão e tomada de decisão não permitem investigar o problema por meio de modelos formais;

6) não há meios técnicos necessários de modelagem, por exemplo, tecnologia computacional com as características apropriadas;

7) em situações extremas.

As tarefas resolvidas no processo de avaliação especializada de sistemas de controle podem ser divididas em dois grupos:

1) tarefas de síntese de novos sistemas de controle e sua avaliação;

2) tarefas de análise (medição) dos sistemas de gestão existentes de acordo com indicadores selecionados e critérios de desempenho.

As tarefas do primeiro grupo incluem: formação da imagem do sistema que está sendo criado; previsão de indicadores técnicos e econômicos das etapas de seu ciclo de vida; fundamentação das principais orientações da reorganização do sistema de gestão social; seleção de métodos de ação e resultados ótimos ou satisfatórios usando o sistema de controle criado, etc. Algumas das informações de especialistas obtidas no curso da solução desses problemas são de natureza qualitativa e são formadas na forma de julgamentos complexos de forma descritiva. No entanto, as tarefas de síntese resolvidas com a ajuda de avaliações de especialistas podem ser de natureza quantitativa, e sua solução estará associada à justificativa de inúmeros parâmetros (características) do sistema que está sendo criado. As tarefas do segundo grupo incluem todas as tarefas de avaliação de variantes existentes ou criadas de sistemas de controle usando indicadores e critérios de desempenho especificados. Exemplos de tais tarefas são: determinar as características estruturais, funcionais ou informacionais do sistema; avaliação da sua eficácia no decurso da execução de várias operações; determinação da conveniência de operação adicional de meios técnicos de controle e comunicação, etc.

1.2 O papel dos especialistas em gestão

Expertise é uma opinião, ideia, decisão ou avaliação baseada na implementação da valiosa experiência de um especialista, profundo conhecimento do assunto de pesquisa e tecnologias de análise qualitativa.

A especialização pode ser individual ou em grupo. Na perícia de grupo, a seleção de um grupo de especialistas e a metodologia para o processamento final dos resultados de seu trabalho são de grande importância.

O laudo pericial é um documento que registra o andamento do estudo e seus resultados. Ao mesmo tempo, as conclusões e opiniões dos especialistas podem ter uma forma categórica ("sim", "não") e probabilística (na forma de suposição, classificação, coeficiente de preferência etc.).

Ao organizar o trabalho de especialistas, é necessário aderir aos seguintes princípios:

1. Ideias, opiniões e avaliações devem se encaixar em um esquema pré-preparado. Isso permite generalizar, comparar, destacar o essencial, etc. Tal esquema não deve restringir o pensamento e limitar a fantasia. O esquema pode permitir e assumir a possibilidade de sua modificação e adição.

2. A tramitação dos laudos periciais deve ser realizada não só na generalização quantitativa, mas também através da análise qualitativa, destacando os principais, essenciais, importantes, relevantes, originais, novos, etc. O laudo pericial pode ser objeto de exame do segundo palco.

3. Os peritos devem ser independentes, ou seja, livre de quaisquer restrições organizacionais ou conceituais, bem como psicológicas. Nesse caso, sua experiência, conhecimento e intuição são realizados da melhor maneira.

4. O trabalho do grupo de especialistas deve ser objetivo. Entender por que e por que um exame é realizado é um elemento importante de sua implementação. Em muitos casos, é necessário treinamento especial de especialistas, que desempenha o papel de mobilizar esforços e inteligência.

5. Existem várias formas de organizar o trabalho de um grupo de especialistas: ou cada especialista faz um exame individualmente, depois os resultados são resumidos e sistematizados, ou os especialistas trabalham coletivamente, interagindo entre si.

6. É possível o trabalho paralelo e em várias etapas de vários grupos de especialistas. A comparação de conhecimentos fornece informações importantes.

Existem muitos métodos para obter avaliações de especialistas. Em alguns, eles trabalham com cada especialista separadamente, ele nem sabe quem mais é especialista e, portanto, expressa sua opinião independentemente das autoridades. Em outros, especialistas são reunidos para preparar materiais para o tomador de decisão, enquanto os especialistas discutem o problema entre si, aprendem uns com os outros e as opiniões incorretas são descartadas. Em alguns métodos, o número de especialistas é fixo e de tal forma que os métodos estatísticos para verificar a consistência das opiniões e, em seguida, calculá-las permitem tomar decisões informadas. Em outros, o número de examinadores cresce no decorrer do exame, por exemplo, quando se utiliza o método "bola de neve".

Um especialista ou grupo de especialistas atuando como especialistas às vezes é identificado com instrumento de medição, que apresenta erros de medição aleatórios e sistemáticos.

Erros aleatórios são devidos à subjetividade das opiniões de especialistas sobre o assunto em consideração e podem desviar em uma direção ou outra do valor real. O impacto de tais erros é reduzido pela média de um número suficiente de estimativas.

Um erro sistemático é inerente a toda a equipe de especialistas e não pode ser eliminado pelo processamento das estimativas obtidas. Isso sugere que, em alguns casos, é necessário abordar com muito cuidado os resultados de uma pesquisa com especialistas, o que às vezes pode expressar um ponto de vista geralmente errôneo, dependendo do nível de conhecimento e crenças dos especialistas.

1.3 Processo de revisão por pares

As principais etapas do processo de revisão por pares incluem:

Formação da meta e objetivos da avaliação pericial;

Constituição de um grupo de gestão e execução de decisão de avaliação pericial;

Escolher um método para obter informações de especialistas e métodos para seu processamento;

Seleção de um grupo de especialistas e formação, se necessário, de questionários de pesquisa;

Levantamento de especialistas (expertise);

Processamento e análise dos resultados do exame;

Interpretação dos resultados obtidos;

Compilação de um relatório.

A tarefa de realizar uma avaliação especializada é definida pelo tomador de decisão. A etapa de formação da meta e objetivos da avaliação pericial é a principal. A confiabilidade do resultado obtido e seu valor pragmático dependem disso. A formação da meta e dos objetivos da avaliação pericial é ditada pela essência do problema a ser resolvido. Aqui, devem ser levados em conta os seguintes fatores: a confiabilidade e completude da informação inicial disponível, a forma exigida de apresentação do resultado (qualitativo ou quantitativo), as possíveis áreas de uso da informação recebida, o momento de sua apresentação, os recursos disponíveis para a gestão, a possibilidade de atrair especialistas de outras áreas do conhecimento e muito mais. A tarefa é formalizada na forma de um documento orientador (por exemplo, uma decisão de realizar uma avaliação especializada).

Para preparar a decisão e orientar todo o trabalho posterior, o chefe do exame é nomeado. Define a composição do grupo de gestão. O grupo de controle fornece feedback aos especialistas ou ao método Delphi.

O grupo de gestão é encarregado não apenas de todo o trabalho organizacional e de planejamento para fornecer condições favoráveis ​​​​para a atividade criativa eficaz de especialistas, mas também de trabalho analítico sobre a seleção de um grupo de especialistas, determinando métodos para obter e processar informações, compilando questionários - questionários , interpretação significativa dos resultados.

Esta vasta e complexa gama de tarefas a resolver exige a inclusão de especialistas altamente qualificados no grupo de gestão tanto no domínio do problema em causa como noutras áreas - psicologia, matemática, medicina, sociologia.

A seleção de especialistas específicos é realizada com base em uma análise da qualidade de cada um dos especialistas propostos. Vários métodos são usados ​​para este fim:

avaliação dos candidatos a peritos com base na análise estatística dos resultados de atividades anteriores como peritos em problemas do estudo da SU;

avaliação coletiva do candidato a perito como especialista nesta área

autoavaliação de um candidato a especialista;

determinação analítica da competência dos candidatos a peritos.

No entanto, todos esses métodos apresentam algumas desvantagens, incluindo: a falta de uma única metodologia de avaliação geralmente reconhecida; alta complexidade da avaliação; o surgimento de problemas éticos ao usar métodos de avaliação subjetiva.

No decorrer deste trabalho, vários métodos são frequentemente utilizados simultaneamente: autoavaliação e avaliação coletiva das qualidades do especialista proposto. Esta abordagem torna possível selecionar razoavelmente especialistas com as qualidades necessárias. No entanto, deve-se reconhecer que o método de avaliação do desempenho passado parece ser mais objetivo do que os métodos de autoavaliações e avaliações coletivas.

Em geral, a formação de um grupo de especialistas é precedida pelas seguintes atividades:

o problema é identificado e formulado;

a finalidade e o escopo das atividades do grupo são determinados;

é elaborada uma lista preliminar de peritos;

é realizada a análise e seleção de especialistas (com base no uso de um ou mais métodos para selecioná-los);

a lista de especialistas é especificada; . é obtido o consentimento do perito para participar nos trabalhos do grupo de peritos;

uma lista final representativa de especialistas é determinada. Todos os especialistas em potencial, dependendo de sua qualidade e competência, podem ser classificados em sete classes

Um exemplo da gradação de qualidade e competência dos especialistas.

A escolha do número de classes de especialistas em qualidade neste caso se deve à “regra dos sete”, que é tradicionalmente utilizada na resolução de problemas de gestão da qualidade.

Essa gradação permite selecionar os especialistas necessários para trabalhar no grupo de especialistas. Para obter resultados suficientemente objetivos do estudo da SU, é desejável selecionar entre especialistas pertencentes às classes de 1ª a 4ª qualidade. Candidatos a especialistas de classes de qualidade inferior não devem ser envolvidos em exames.

Independentemente do método escolhido para avaliar as qualidades dos candidatos, os especialistas devem, em todos os casos, atender a certos requisitos, incluindo:

* competência profissional e experiência prática e de investigação no domínio da gestão;

* criatividade (capacidade de resolver problemas criativos); . intuição científica;

Interesse pelos resultados objetivos do trabalho especializado;

* independência de julgamento;

* Eficiência “disciplina” a capacidade de mudar de um tipo de atividade para outro, comunicatividade, independência de julgamento, motivação das ações);

* objetividade;

* inconformismo;

* alta erudição geral.

A realização da coleta de pareceres envolve determinar: o local e a hora da coleta dos pareceres; formas e métodos de coleta de opiniões; o número de rodadas de coleta de opinião; a composição e conteúdo da documentação; o procedimento para inserir os resultados dos pareceres de especialistas em documentos.

É muito importante determinar a forma de coleta de opiniões de especialistas. Dentre todas as formas conhecidas de coleta de opiniões, destacam-se as individuais, coletivas (grupo) e mistas. Assim, essas formas diferem principalmente em termos de participação de especialistas no trabalho (individual ou coletivo) e cada uma delas possui várias variedades:

*questionamento;

* entrevista;

* discussão;

* chuva de ideias

* encontro;

* jogo de negócios.

Todos eles têm suas próprias vantagens e desvantagens. Em muitos casos, cada uma dessas variedades é utilizada em conjunto com outras, o que muitas vezes proporciona maior efeito e objetividade. A forma mista é utilizada na coleta de pareceres de especialistas em casos de alguma ambiguidade do problema, em caso de discordância? opiniões individuais ou discordâncias de especialistas em uma discussão coletiva.

Após a realização de uma pesquisa com um grupo de especialistas, os resultados são processados. A informação inicial para processamento são os dados numéricos que expressam as preferências dos especialistas e a justificativa substantiva dessas preferências. A finalidade do tratamento é obter dados generalizados e novas informações contidas de forma oculta em avaliações periciais. Com base nos resultados do processamento, uma solução para o problema é formada.

A presença de dados numéricos e declarações significativas de especialistas leva à necessidade de aplicar métodos qualitativos e quantitativos para processar os resultados da avaliação de especialistas em grupo. A participação desses métodos depende essencialmente da classe de problemas resolvidos pela avaliação de especialistas.

Todo o conjunto de problemas pode ser dividido em duas classes. A primeira classe inclui problemas para a solução dos quais existe um nível suficiente de conhecimento e experiência, ou seja, existe o potencial de informação necessário. Ao resolver problemas pertencentes a esta classe, os especialistas são considerados bons medidores de média. O termo "bom na média" refere-se à possibilidade de obter resultados de medição próximos do verdadeiro. Para muitos especialistas, seus julgamentos se agrupam em torno do verdadeiro valor. Segue-se que para o processamento dos resultados da avaliação do grupo de especialistas de problemas de primeira classe, pode-se aplicar com sucesso os métodos de estatística matemática baseados em média de dados.

A segunda classe inclui problemas para os quais ainda não foi acumulado potencial de informação suficiente. A este respeito, as opiniões dos especialistas podem variar muito entre si. Além disso, o julgamento de um especialista, que é muito diferente do restante das opiniões, pode ser verdadeiro. Obviamente, o uso de métodos para calcular a média dos resultados de uma avaliação de especialistas em grupo na resolução de problemas de segunda classe pode levar a grandes erros. Portanto, o processamento dos resultados de uma pesquisa de especialistas neste caso deve ser baseado em métodos que não utilizam os princípios da média, mas em métodos de análise qualitativa.

Considerando que os problemas da primeira classe são os mais comuns na prática da revisão por pares, o foco deste capítulo está nos métodos de processamento dos resultados da revisão para esta classe de problemas.

Dependendo dos objetivos da avaliação do especialista e do método de medição escolhido, as seguintes tarefas principais surgem ao processar os resultados da pesquisa:

1) construir uma avaliação generalizada de objetos com base em avaliações individuais de especialistas;

2) construir uma avaliação generalizada a partir de uma comparação pareada de objetos por cada especialista;

3) determinação dos pesos relativos dos objetos;

4) determinar a consistência das opiniões dos especialistas;

5) determinação de dependências entre rankings;

6) avaliação da confiabilidade dos resultados do processamento.

A tarefa de construir uma avaliação generalizada de objetos com base em avaliações individuais de especialistas surge na avaliação de especialistas em grupo. A solução para este problema depende do método de medição utilizado pelos especialistas.

Ao resolver muitos problemas, não basta organizar os objetos de acordo com um indicador ou algum conjunto de indicadores. É desejável ter valores numéricos para cada objeto, indicando sua importância relativa em relação a outros objetos. Em outras palavras, para muitos problemas é necessário ter estimativas de objetos que não apenas realizem sua ordenação, mas também permitam determinar o grau de preferência de um objeto em relação a outro. Para resolver esse problema, você pode aplicar diretamente o método de avaliação direta. No entanto, sob certas condições, o mesmo problema pode ser resolvido pelo processamento de estimativas de especialistas.

A determinação da consistência das opiniões de especialistas é realizada por meio do cálculo de uma medida numérica que caracteriza o grau de similaridade das opiniões individuais. A análise do valor da medida de consistência contribui para o desenvolvimento de um julgamento correto sobre o nível geral de conhecimento sobre o problema a ser resolvido e a identificação de agrupamentos de opiniões de especialistas. Uma análise qualitativa das razões para agrupar opiniões permite estabelecer a existência de diferentes visões e conceitos, identificar escolas científicas, determinar a natureza da atividade profissional, etc. Todos esses fatores permitem compreender mais profundamente os resultados de uma pesquisa com especialistas.

Ao processar os resultados da avaliação de especialistas, é possível determinar as dependências entre os rankings de vários especialistas e, assim, estabelecer a unidade e a diferença nas opiniões dos especialistas. Um papel importante também é desempenhado pelo estabelecimento da relação entre os rankings construídos em vários indicadores de comparação de objetos. A identificação de tais dependências permite revelar indicadores de comparação relacionados e, talvez, agrupá-los de acordo com o grau de conexão. A importância da tarefa de determinar dependências para a prática é óbvia. Por exemplo, se os indicadores de comparação são objetivos diferentes, e os objetos são os meios para atingir os objetivos, então estabelecer a relação entre as classificações que ordenam os meios em termos de atingir os objetivos permite que você responda razoavelmente à questão da extensão a ser alcançada. em que o alcance de um objetivo com esses meios contribui para o alcance de outros objetivos.

As estimativas obtidas com base no processamento são objetos aleatórios, portanto, uma das tarefas importantes do procedimento de processamento é determinar sua confiabilidade. A devida atenção deve ser dada à solução deste problema.

O processamento dos resultados do exame é um processo demorado. A realização de cálculos manuais de estimativas e indicadores de sua confiabilidade está associada a grandes custos de mão de obra, mesmo no caso de resolver problemas simples de pedidos. A este respeito, é aconselhável o uso de informática e especialmente computadores. O uso de computadores levanta o problema de desenvolver programas de computador que implementem algoritmos para processar os resultados da avaliação de especialistas.

2. Métodos de avaliação de especialistas

Análise SWOT

Um tipo especial de método especialista, que é muito popular, é o método original de análise SWOT. Recebeu o nome das primeiras letras de quatro palavras em inglês, que na tradução russa significam: Forças e Fraquezas, Oportunidades e Ameaças.

Esta metodologia pode ser usada como universal. Tem um efeito especial no estudo de processos no sistema socioeconômico, caracterizado por dinamismo, controlabilidade, dependência de fatores internos e externos de funcionamento, desenvolvimento cíclico.

De acordo com a metodologia desta análise, a distribuição dos fatores que caracterizam o objeto de pesquisa é realizada de acordo com esses quatro componentes, levando em consideração se esse fator pertence à classe dos fatores externos ou internos.

Como resultado, surge um quadro da correlação de forças e fraquezas, oportunidades e perigos, que sugere como a situação deve ser alterada para que o desenvolvimento tenha sucesso.

A alocação de fatores a esses quadrantes ou setores das matrizes nem sempre é fácil. Acontece que o mesmo fator caracteriza simultaneamente os pontos fortes e fracos do sujeito. Além disso, os fatores agem situacionalmente. Em uma situação, eles parecem uma virtude, em outra - uma desvantagem. Às vezes, eles são desproporcionais em seu significado. Essas circunstâncias podem e devem ser levadas em consideração.

O mesmo fator pode ser colocado em vários quadrantes se for difícil determinar inequivocamente seu lugar. Isso não afetará negativamente o estudo. Afinal, a essência do método é identificar os fatores, colocá-los de tal forma que sua concentração sugira formas de resolver o problema, para que se tornem administráveis.

Em cada quadrante, os fatores não precisam ter o mesmo peso, mas devem ser apresentados em sua totalidade.

A matriz preenchida mostra o estado real das coisas, o estado do problema e a natureza da situação. Esta é a primeira etapa da análise SWOT.

O segundo passo é realizar uma análise comparativa de pontos fortes e oportunidades, que deve mostrar como usar os pontos fortes. Ao mesmo tempo, é necessário analisar as fragilidades em relação aos perigos existentes. Tal análise mostrará a probabilidade de uma crise. Afinal, o perigo aumenta quando surge em condições de fraqueza, quando os lados fracos não permitem impedir o perigo.

Claro que é muito útil fazer uma análise comparativa dos pontos fortes e dos perigos existentes. Afinal, os pontos fortes podem ser mal utilizados na prevenção de uma crise, os pontos fortes devem ser vistos não apenas em relação às oportunidades favoráveis, mas também em relação aos perigos.

No estudo de sistemas de controle, o assunto deste método pode ser vários problemas de desenvolvimento de controle. Por exemplo, eficiência, pessoal, estilo, distribuição de funções, estrutura do sistema de gestão, mecanismo de gestão, motivação, profissionalismo, suporte de informação, comunicação e comportamento organizacional, etc.

O uso de especialistas ou consultores internos especialmente treinados e selecionados torna esse método mais eficaz.

Método SMART

Existem muitas modificações no método de análise SWOT. O mais interessante deles é o método de desenvolvimento e análise de metas.

Sabe-se que o objetivo da gestão é fator decisivo de sucesso, eficiência, estratégia e desenvolvimento. Sem um objetivo, é impossível desenvolver um plano ou programa. Mas isso diz respeito não apenas ao objetivo da gestão, mas também ao objetivo da pesquisa. Afinal, também não é fácil formular esse objetivo corretamente. O programa de pesquisa, o uso de métodos de pesquisa dependem da finalidade.

A meta deve ser desenvolvida de acordo com os critérios de atingibilidade, especificidade, avaliabilidade (mensurabilidade), levando em consideração o Lugar e o Tempo. Esses critérios refletem palavras inglesas-- Específico, Mensurável, Alcançável, Relevante, Temporizado, abreviado como SMART. É assim que esse método é chamado.

O método pressupõe uma avaliação consistente dos objetivos de acordo com um conjunto de critérios dispostos em forma de matriz. Aqui está um conjunto de fatores comparáveis ​​que refletem as características da meta: difícil de alcançar - fácil de alcançar, alto custo - baixo custo, tem suporte de equipe - não tem suporte de equipe, tem prioridades - não tem prioridades, leva muito de tempo - leva pouco tempo, tem um grande impacto - tem influência limitada, orientada para alta tecnologia - orientada para baixa tecnologia (convencional), ligada à nova organização de gestão - não ligada à nova organização de gestão.

O próximo passo é criar uma matriz de definição do problema. Para atingir o objetivo, uma série de problemas devem ser resolvidos. Mas para isso eles devem primeiro ser definidos.

A distribuição dos problemas é realizada de acordo com os seguintes critérios: a situação existente, a situação desejada, a possibilidade de atingir o objetivo. Esses critérios caracterizam a horizontalidade da matriz. Os seguintes critérios são considerados ao longo da vertical: definição do problema, avaliação do problema (parâmetros quantitativos), organização da solução (quem, onde, quando), custos da solução do problema.

Essa matriz permite planejar pesquisas.

Método de classificação e avaliação.

De acordo com o método de ranks, o especialista realiza a ordenação (ordenação) dos objetos estudados do sistema organizacional dependendo de sua importância relativa (preferência), quando o objeto mais preferido recebe o rank 1, e o menos preferido é o último rank, igual em valor absoluto ao número de objetos ordenados. A ordenação mais precisa ocorre com um número menor de objetos de estudo e vice-versa.

Com o arranjo preferido (por rank) de objetos de perícia por um especialista, a soma de ranks deve ser igual à soma dos números de toda a série natural do número de objetos H, começando por um: H= (H+ 1): 2.

As classificações resultantes da classificação de objetos de acordo com os dados da pesquisa são determinadas como a soma das classificações de cada objeto. Nesse caso, como resultado, a primeira classificação é atribuída ao objeto que recebeu a menor soma de classificações e o último - àquele com a maior soma de classificações, ou seja. o objeto menos significativo (um exemplo de determinação da classificação resultante de três objetos por sete especialistas)

Quanto mais especialistas envolvidos, maior a objetividade do resultado da avaliação. No entanto, o envolvimento de um grande número de especialistas qualificados e a alta intensidade de trabalho do trabalho especializado aumentam o custo das avaliações de qualidade. Portanto, para reduzir a complexidade do trabalho dos especialistas, utiliza-se o método rank, que fornece apenas a ordenação dos indicadores, e não sua determinação numérica pelos especialistas.

No entanto, este método é utilizado na prática de estudar SU, apesar de sua simplicidade e baixa intensidade de trabalho, relativamente. Isso se deve ao grande número de objetos de pesquisa classificados.

Método de avaliação direta

É uma ordenação dos objetos em estudo (por exemplo, ao selecionar parâmetros para a compilação de um modelo paramétrico) em função de sua importância, atribuindo pontos a cada um deles. Neste caso, o objeto mais importante recebe o maior número de pontos na escala aceita (uma avaliação é dada). A faixa de escala de classificação mais comum é de 0 a 1; 0 a 5; 0 a 10; 0 a 100. No caso mais simples, a pontuação pode ser 0 ou 1.

Às vezes, a avaliação é feita verbalmente. Por exemplo, “muito importante”, “importante”, “sem importância”, etc., que às vezes também é traduzido em uma escala de pontos (respectivamente 3, 2, 1) para maior conveniência no processamento dos resultados da pesquisa.

A avaliação direta deve ser utilizada com total confiança na consciência profissional dos especialistas sobre as propriedades dos objetos em estudo. De acordo com os resultados das avaliações, determina-se a classificação e o peso (importância) de cada objeto em estudo.

Conclusão

Atualmente, vários métodos de avaliação de especialistas estão sendo cada vez mais utilizados. São indispensáveis ​​na resolução de problemas complexos de avaliação e seleção de objetos técnicos, inclusive para fins especiais, na análise e previsão de situações com um grande número de fatores significativos - sempre que for necessário envolver o conhecimento, a intuição e a experiência de muitos especialistas altamente qualificados .

Os métodos especializados são continuamente desenvolvidos e aprimorados. As principais direções desse desenvolvimento são determinadas por uma série de fatores, dentre os quais se pode apontar o desejo de ampliar o escopo, aumentar o grau de utilização de métodos matemáticos e computadores eletrônicos, e também encontrar formas de eliminar deficiências emergentes.

Apesar do progresso feito nos últimos anos no desenvolvimento e uso prático do método de avaliação de especialistas, há uma série de problemas e tarefas que exigem mais pesquisas metodológicas e verificação prática. É necessário melhorar o sistema de seleção de especialistas, aumentar a confiabilidade das características da opinião do grupo, desenvolver métodos para verificar a validade das avaliações e estudar as causas ocultas que reduzem a confiabilidade das avaliações dos especialistas.

A base da avaliação especializada das propriedades e qualidades empresariais do candidato é baseada nos parâmetros quantitativos e critérios de avaliação obtidos como resultado da entrevista. Embora haja aqui elementos de convenção e subjetividade, porém, com um bom desenvolvimento da escala de classificação e uma abordagem atenta (profissional) dos especialistas, é possível avaliar os assuntos com alto grau de confiabilidade.

Lista de literatura usada

1. Grigorov V. M. Especialistas no sistema de gestão da produção pública // M.: Pensamento, 1976

2. Demidova A.V. Estudo de sistemas de controle. - M.: Prior-izdat, 2005. - 96 p.

3. Ignatieva A.V. Estudo de sistemas de controle. - M.: UNITI-DANA, 2003. - 157 p.

4. Kafidov V.V. Estudo de sistemas de controle. - M.: Projeto Acadêmico, 2005. - 160 p.

5. Malin A.S. Estudo de sistemas de controle. - M.: GU VSHE, 2005. - 399 p.

6. Reylyan Ya. R. A base para a tomada de decisões gerenciais // M.: Finanças e estatísticas, 1989

7. Remennikov V.B. Desenvolvimento de uma solução de gestão. Proc. mesada. -- M.: UNITI-DANA, 2000.

8. Smolkin A. M. Gestão: fundamentos da organização. -- M.: INFRA-M, 1999.

Hospedado em Allbest.ru

Documentos Semelhantes

Resolução de problemas, argumentação e formação de estimativas quantitativas de resultados por métodos formais. Componentes do método de avaliação pericial. O método de geração coletiva de ideias ("brainstorming"). Método Delphi, características do método de grupo focal, análise SWOT.

apresentação, adicionada em 30/03/2014


Essência e conteúdo, principais etapas da análise pericial, alcance e características de sua aplicação prática, interpretação dos resultados. O grau de confiabilidade deste exame. Aplicação do método de peritagem para construção de uma árvore de objetivos.

trabalho de conclusão de curso, adicionado em 25/02/2012


O conceito e as características da aplicação de tecnologias especializadas como parte integrante do processo de preparação e tomada de decisões gerenciais importantes. Estudar as principais etapas de uma perícia. Seleção de especialistas. Método Delphi, PADRÃO, brainstorming.

resumo, adicionado em 09/10/2016


O uso de avaliações de especialistas. Aplicação de diferentes métodos para resolver um problema. Ranking, comparações pareadas e múltiplas, avaliação direta, o método de Thurstone são os procedimentos de medição de especialistas mais comumente usados. Métodos do tipo Delphi.

teste, adicionado em 03/09/2011


A essência e os tipos de avaliações de especialistas, o objetivo de seu uso. As principais etapas da pesquisa especializada. Características dos métodos de trabalho coletivo do grupo de especialistas, bem como métodos de obtenção de opinião individual. Processamento dos resultados de uma pesquisa com especialistas.

resumo, adicionado em 04/03/2012


Características dos procedimentos periciais: características dos métodos e modelos heurísticos, métodos de avaliações individuais, avaliações periciais coletivas. As especificidades do exame, o conteúdo e o processamento dos resultados. Avaliação especializada do nível de risco-país.

resumo, adicionado em 10/05/2010


Métodos para obtenção de avaliações periciais. O problema da seleção de especialistas. Documentos normativos que regulam as atividades das comissões de peritos. Tomada de decisão sob risco e incerteza. Tarefas para tomada de decisão sob incerteza.

trabalho de controle, adicionado em 15/07/2010


Essência e tipos de decisões no processo de gestão da produção. Os principais requisitos para a qualidade das decisões de gestão. Métodos para otimizar decisões gerenciais. Métodos de otimização de decisões por métodos de avaliação de especialistas.

trabalho de conclusão de curso, adicionado em 05/08/2002


O estudo dos métodos de previsão de desenvolvimento: extrapolação, equilíbrio, método normativo e programa-alvo. Estudo da organização do trabalho do perito, formação de questionários e quadros de peritagem. Análise de modelos matemáticos e estatísticos de previsão.

teste, adicionado em 19/06/2011


Metodologia e etapas de classificação do sistema de acordo com vários sinais. Elaboração de questionários para obtenção de laudos periciais, seus dados obrigatórios e principais dúvidas. A essência e construção da árvore de metas, os princípios de seu detalhamento. Metodologia de avaliação de sistemas complexos.

A ideia principal da previsão com base em estimativas de especialistas é construir procedimento racional de pensamento lógico-intuitivo de uma pessoa em combinação com métodos quantitativos para avaliar e processar os resultados obtidos.

A essência dos métodos de avaliação de especialistas reside no fato de que a previsão é baseada em opinião especialista ou equipe de especialistas, com base em experiência profissional, científica e prática.

Avaliações individuais de especialistas- baseiam-se no uso das opiniões de especialistas-especialistas do perfil relevante.

1. Método "entrevista" envolve uma conversa entre um previsor e um especialista de acordo com o esquema "pergunta-resposta", durante a qual o previsor, de acordo com um programa pré-desenvolvido, faz perguntas ao especialista sobre as perspectivas de desenvolvimento do objeto previsto. O sucesso de tal avaliação depende em grande parte da capacidade de um especialista em dar uma opinião improvisada sobre uma ampla variedade de questões.

2. Método do questionário consiste no fato de o especialista ser convidado a preencher um questionário (questionário) contendo uma lista de perguntas, cada uma delas logicamente relacionada à tarefa de pesquisa.

Os seguintes tipos de perguntas podem ser usados ​​no questionário:

aberto - as respostas a essas perguntas podem ser formuladas de qualquer forma;

Tipo fechado - são oferecidas respostas, uma das quais deve ser escolhida pelo especialista.

A utilização de perguntas do tipo fechadas no questionário é preferível, pois simplifica o processamento estatístico dos resultados da resposta e facilita o trabalho do especialista no preenchimento do questionário. Por outro lado, a lista de respostas a uma pergunta pode não conter a opinião de um especialista. Portanto, ao formar uma lista de respostas para algumas perguntas, deve ser possível que o especialista apresente sua própria resposta ou evite responder

3. Método analítico(notas analíticas) prevê uma trabalho independente um especialista na análise de tendências, avaliação do estado e caminhos de desenvolvimento do objeto previsto. Um especialista pode usar todas as informações de que precisa sobre o objeto de previsão. Ele escreve suas descobertas na forma de um memorando. A principal vantagem deste método é a possibilidade de aproveitamento máximo das habilidades individuais do especialista. No entanto, não é muito adequado para prever sistemas complexos e desenvolver uma estratégia devido ao conhecimento limitado de um especialista em áreas de conhecimento relacionadas.

A principal vantagem dos métodos de avaliação individual de especialistas é a possibilidade de maximizar o uso das habilidades individuais dos especialistas. No entanto, esses métodos não são adequados para prever as estratégias mais gerais devido ao conhecimento limitado de um especialista sobre o desenvolvimento de campos relacionados da ciência e da prática.

Um exemplo do uso de avaliações de especialistas no planejamento do desenvolvimento de sistemas socioeconômicos é o problema multicritério de escolha de uma opção de solução, que atualmente é relevante em muitas áreas da atividade humana.

O procedimento de seleção multicritério inclui as seguintes etapas:

1. Identificação dos indicadores (critérios) mais significativos que caracterizam o objeto em estudo;

2. Determinar como quantificar os indicadores;

3. Determinação de limites aceitáveis ​​para mudança de indicadores;

4. Escolha do método de busca da melhor opção;

5. Solução do problema e análise dos resultados.

A convolução aditiva de critérios é mais frequentemente usada como uma função objetivo para avaliar opções de solução:

Ou , (2.18)

onde são coeficientes de peso que caracterizam a significância do critério . Os valores numéricos são determinados por especialistas, embora seja desejável cumprir a seguinte condição:

Se os critérios tiverem unidades de medida diferentes, eles devem ser reduzidos a uma única escala adimensional para que as seguintes desigualdades sejam satisfeitas:

Exemplo . Segundo especialistas, os principais indicadores de desempenho econômico e desenvolvimento Social regiões são:

Produto interno bruto (regional);

O nível de emprego da população;

Salário médio mensal.

Uma avaliação especializada da significância dos critérios em uma escala de dez pontos é apresentada na Tabela. 2.2.

À liderança da região foram oferecidos quatro programas direcionados para o desenvolvimento da região, voltados ao financiamento prioritário:

1. Complexo agroindustrial;

2. Empresas da indústria alimentar;

3. Ramos da esfera sociocultural;

4. Construção de moradias.

Os valores esperados dos principais indicadores obtidos durante a implementação dos programas alvo em consideração são apresentados na Tabela. 2.3.

Tabela 2.2

Resultados da avaliação de especialistas

Tabela 2.3

Valores esperados dos principais indicadores socioeconômicos do desenvolvimento da região

É necessário determinar o programa mais adequado para o desenvolvimento da região.

Solução:

Vamos determinar os valores dos coeficientes de peso:

; ; .

Assim, como resultado do processamento de estimativas de especialistas, a função objetivo tem a seguinte forma:

Tendo em conta que o programa alvo nº 3 é obviamente ineficiente em comparação com o programa nº 2 (1500<2000; 80=80; 1000<2000), удалим её из матрицы возможных решений:

Como os valores dos indicadores possuem dimensões diferentes, eles devem ser reduzidos a uma única escala adimensional. Isso é obtido dividindo os elementos de cada coluna pelo valor máximo na coluna:

Na etapa final, determinamos o valor da função objetivo para os programas propostos:

O valor máximo da função objetivo corresponde ao programa nº 1. Portanto, a implementação deste programa é a mais adequada.

Os mais confiáveis ​​são avaliações periciais coletivas - envolvem determinar o grau de concordância entre as opiniões de especialistas sobre áreas promissoras para o desenvolvimento do objeto de previsão, formuladas por especialistas individuais.

Para organizar as peritagens, são criados grupos de trabalho, cujas funções incluem a realização de um inquérito, o tratamento de materiais e a análise dos resultados de uma peritagem colectiva. O grupo de trabalho nomeia especialistas que respondem às questões levantadas sobre as perspectivas de desenvolvimento deste objeto.

1. essência método de geração coletiva de ideias (brainstorming) consiste em utilizar o potencial criativo de especialistas no brainstorming de uma situação-problema, que primeiro implementa a geração de ideias, e depois sua estruturação, análise e crítica com o avanço de contramedidas e o desenvolvimento de um ponto de vista consistente.

O método de geração coletiva de ideias envolve a implementação das seguintes etapas:

1. a formação de um grupo de participantes no "brainstorming" para resolver um problema específico. O tamanho ideal do grupo é encontrado empiricamente. Grupos compostos por 10-15 pessoas são reconhecidos como os mais produtivos.

2. A equipe de análise elabora uma nota do problema, que formula a situação do problema e contém uma descrição do método e da situação do problema.

3. A fase de geração de ideias. Cada participante tem o direito de se apresentar muitas vezes. Críticas a discursos anteriores e comentários céticos não são permitidos. O facilitador corrige o processo, acolhe uma melhoria ou combinação de ideias, fornece apoio, libertando os participantes de constrangimentos. Duração do "brainstorming" - não inferior a 20 minutos e não superior a 1 hora, dependendo da atividade dos participantes.

4. Sistematização das ideias expressas na fase de geração. Uma lista de ideias é formada, os recursos são distinguidos pelos quais as ideias podem ser combinadas, as ideias são combinadas em grupos de acordo com os recursos selecionados.

5. Na quinta etapa, realiza-se a desestruturação (destruição) das ideias sistematizadas. Cada ideia é submetida a uma crítica abrangente por um grupo de especialistas altamente qualificados composto por 20 a 25 pessoas.

6. Na sexta etapa, as críticas são avaliadas e uma lista de ideias práticas é compilada.

Método "635"- uma das variedades de "brainstorming". Os números b, 3, 5 denotam 6 participantes, cada um dos quais deve escrever 3 ideias em 5 minutos. A folha se move. Assim, em meia hora todos anotarão 18 ideias em seu acervo, e todas juntas - 108. A estrutura das ideias está claramente definida. Modificações de método são possíveis. Este método é amplamente utilizado em países estrangeiros (especialmente no Japão) para selecionar entre uma variedade de ideias as mais originais e progressivas na resolução de determinados problemas.

2. Método "Delphi". O objetivo do método é desenvolver um programa de pesquisas individuais consecutivas de várias rodadas. Uma pesquisa individual de especialistas geralmente é realizada na forma de questionários. Em seguida, seu processamento estatístico é realizado em um computador e a opinião coletiva do grupo é formada, os argumentos a favor de vários julgamentos são identificados e generalizados. As informações processadas por computador são comunicadas a especialistas, que podem corrigir as estimativas, explicando as razões de seu desacordo com o julgamento coletivo. Este procedimento pode ser repetido até 3-4 vezes. Como resultado, há um estreitamento do leque de estimativas e um julgamento consistente sobre as perspectivas de desenvolvimento do objeto.

Características do método "Delphi":

a) anonimato dos especialistas - exclui-se completamente a interação dos membros do grupo no preenchimento dos questionários;
b) a possibilidade de utilização dos resultados da rodada anterior da pesquisa;

c) uma característica estatística da opinião do grupo.

3. Método de "comissões"- com base no trabalho de comissões especiais. Grupos de especialistas na "mesa redonda" discutem uma questão específica para chegar a um acordo sobre pontos de vista e desenvolver uma opinião comum. A desvantagem desse método é que o grupo de especialistas em seus julgamentos é guiado principalmente pela lógica do compromisso.

O método de comissões de especialistas pode ser organizado em uma das seguintes formas:

Como a prática mostrou, o método de "comissão" tem desvantagens significativas:

A grande influência de um fator psicológico como a opinião de especialistas de autoridade, à qual outros especialistas se unem sem expressar seu ponto de vista;

A relutância dos especialistas em renunciar publicamente às suas opiniões anteriormente expressas;

Durante o trabalho das comissões, na maioria das vezes há uma disputa entre dois ou três dos especialistas mais autorizados, como resultado da qual outros especialistas participam da discussão ou não aceitam ou levam em consideração suas opiniões.

4. Método judicial - com base na organização do trabalho de uma equipe de especialistas na forma de realização de um ensaio. A utilização deste método é aconselhável na presença de vários grupos de especialistas, cada um dos quais defende o seu ponto de vista. Nesse caso, o objeto da previsão atua como o “réu”. Os líderes de grupos que expressam pontos de vista alternativos atuam como promotores e defensores (promotor, advogado). Especialistas individuais desempenham o papel de testemunhas, fornecendo ao tribunal as informações necessárias para tomar uma decisão. O papel do juiz é desempenhado por uma pessoa interessada (um grupo de pessoas). Assim, por exemplo, no programa de televisão "The Trial", baseado no uso do método do tribunal para analisar e prever o desenvolvimento de vários processos socioeconômicos, o papel do juiz foi desempenhado pela audiência, votando no processo de transmissão por telefonemas para o ponto de vista que apoiavam.

Método de análise morfológica envolve a escolha da solução mais adequada para o problema dentre as possíveis. É aconselhável usá-lo ao prever pesquisas fundamentais. O método inclui uma série de técnicas que envolvem uma consideração sistemática das características do objeto. O estudo é realizado de acordo com o método da "caixa morfológica", que é construída na forma de uma árvore de metas ou uma matriz, nas células das quais são inseridos os parâmetros correspondentes. A conexão serial do parâmetro de primeiro nível com um dos parâmetros dos níveis subsequentes é uma possível solução para o problema. O número total de soluções possíveis é igual ao produto do número de todos os parâmetros apresentados na "caixa", tomado linha a linha. Através de permutações e várias combinações, é possível desenvolver as características probabilísticas dos objetos.

Método de escrita de script- com base na definição da lógica do processo ou fenômeno no tempo sob várias condições. Envolve o estabelecimento de uma sequência de eventos que se desenvolvem durante a transição da situação atual para o estado futuro do objeto. O cenário de previsão determina a estratégia de desenvolvimento do objeto de previsão. Deve refletir o objetivo geral do desenvolvimento do objeto, os critérios de avaliação dos níveis superiores da “árvore de objetivos”, as prioridades dos problemas e os recursos para atingir os objetivos principais. O cenário apresenta uma solução consistente para o problema, possíveis obstáculos. Nesse caso, são utilizados os materiais necessários para o desenvolvimento do objeto de previsão.

Um gráfico preditivo é uma figura que consiste em pontos-vértices conectados por segmentos-arestas. Uma "árvore de metas" é um gráfico de árvore que expressa a relação entre nós de estágio ou problemas de realização de metas. Cada vértice é um destino para todos os ramos que saem dele. A "árvore de metas" envolve a atribuição de vários níveis estruturais ou hierárquicos.

Construir uma "árvore de metas" requer resolver muitos problemas: prever o desenvolvimento do objeto como um todo; formulando o cenário da meta prevista, determinando os níveis e vértices da “árvore”, critérios e seus pesos na ordenação dos vértices. Essas tarefas podem ser resolvidas, se necessário, por métodos de avaliações de especialistas. Note-se que esta meta como objeto da previsão pode corresponder a muitos cenários diferentes.

O cenário costuma ter caráter multivariado e destaca três linhas de comportamento: otimista - o desenvolvimento do sistema na situação mais favorável; pessimista - o desenvolvimento do sistema na situação menos favorável; funcionando - o desenvolvimento do sistema, levando em consideração a oposição a fatores negativos, cuja aparência é mais provável. Como parte do cenário de previsão, é aconselhável elaborar uma estratégia de backup em caso de situações imprevistas.

O roteiro finalizado deve ser analisado. Com base na análise das informações consideradas adequadas para a próxima previsão, são formuladas metas, determinados critérios e consideradas soluções alternativas.