벽돌
전문가 평가 방법 적용 조건. 전문가 방법

전문가 평가 방법 적용 조건. 전문가 방법

소개 ...........................................................................................................................3

제 1 장 전문가 평가의 본질, 방법 및 과정 ........................................... 5

1.1 전문가 평가의 에센스 ...........................................................................................5

1.2 관리 전문가의 역할 ...........................................................................................9

1.3 동료 검토 프로세스 ........................................................................................................................................... ………………………………………………………………………………………………………………………………………………………………

1.4 전문가 평가 방법 ...........................................................................................18

1.4.1 SWOT 분석 ...........................................................................................................18

1.4.2 SMART 방식 ...........................................................................................................20

1.4.3 순위 및 평가 방법 ...........................................................................21

1.4.4 직접 평가 방법 ...........................................................................22

1.5 전문가의 합의 평가 ...........................................................................................23

2 장 UAZ OJSC의 예에 대한 전문가 평가 방법 ...........................................24

결론 ........................................................................................................................... 32

사용된 출처 및 문헌 목록 ...........................................................33

소개

경영 연구에서는 전문가 평가 방법이 널리 사용됩니다. 이는 많은 문제의 복잡성, "인적 요인"에서 비롯된 문제, 신뢰할 수 있는 실험적 또는 규범적 도구의 부족 때문입니다.

정보에 입각한 결정을 내리기 위해서는 전문가의 경험, 지식 및 직관에 의존해야 한다는 것은 부인할 수 없습니다. 2 차 세계 대전 후 관리 이론 (관리)의 틀 내에서 독립적 인 분야가 개발되기 시작했습니다 - 전문가 평가.

전문가 평가 방법은 의사 결정자의 의사 결정을 위한 정보를 준비하기 위해 전문가 전문가와 함께 작업을 구성하고 양적 및/또는 질적 형식으로 표현된 전문가 의견을 처리하는 방법입니다.

많은 연구가 전문가 평가의 적용 가능성과 특징에 대한 연구에 전념했습니다. 그들은 전문가 설문 조사의 형태를 고려합니다( 다른 유형설문지, 인터뷰), 평가 접근 방식(순위, 정규화, 다른 종류순서 등), 조사 결과 처리 방법, 전문가 요건 및 전문가 집단 구성, 전문가 양성 문제, 역량 평가(추정 처리 시 전문가 역량 계수, 의견의 신뢰도는 도입 및 고려), 전문가 설문 조사 구성 방법. 전문가 설문조사를 수행하기 위한 형식 및 방법의 선택, 설문조사 결과 처리 방법 등 시험의 특정 작업과 조건에 따라 다릅니다.

전문가 방법은 이제 정확한 계산을 기반으로 결정의 결과에 대한 선택, 정당화 및 평가를 수행할 수 없는 상황에서 사용됩니다. 이러한 상황은 종종 개발 중에 발생합니다. 현대 문제관리 사회적 생산특히 예측 및 장기 계획에서. 최근 몇 년 동안 전문가 평가는 사회 정치 및 과학 기술 예측, 국가 경제, 산업, 협회 계획, 주요 과학, 기술, 경제 및 사회 프로그램 개발, 특정 관리 문제 해결에 널리 사용되었습니다. 문제.

제1장 전문가 평가의 본질, 방법 및 과정

1.1 전문가 평가의 본질

전문가 평가를 사용할 가능성, 객관성의 정당성은 일반적으로 연구 중인 현상의 알려지지 않은 특성이 확률 변수로 해석되고 분포 법칙의 반영이 전문가 전문가의 개별 평가라는 사실에 기반합니다. 이벤트의 신뢰성과 중요성에 대해. 연구 대상 특성의 진정한 가치는 전문가 집단으로부터 받은 추정치의 범위 내에 있으며, 일반화된 집단의견은 신뢰할 수 있다고 가정한다.

그러나 일부 이론적 연구는 이 가정에 의문을 제기합니다. 예를 들어, 전문가 평가가 사용되는 문제를 두 가지 클래스로 나눌 것을 제안합니다. 에게 레인내 수업전문가를 다량의 정보의 수호자로 간주하여 '좋은 측정자'의 원칙이 적용될 수 있는 정보를 충분히 제공하고 전문가 집단의 의견이 참에 가까운 문제를 포함한다. 주식회사 이급지식이 이러한 가정의 타당성을 확신하기에 충분하지 않은 문제를 포함합니다. 전문가는 "좋은 측정자"로 간주 될 수 없으며,이 경우 약간의 연구에 더 많은 관심을 기울이는 한 명의 (단일) 전문가의 의견이 있기 때문에 검사 결과 처리에 신중하게 접근 해야 합니다. 연구된 문제가 가장 중요한 것으로 판명될 수 있으며 공식 처리 중에 손실됩니다. 이와 관련하여 결과의 질적 처리는 주로 두 번째 클래스의 문제에 적용되어야 합니다. 이 경우 평균화 방법("좋은 측정기"에 유효)을 사용하면 심각한 오류가 발생할 수 있습니다.

목표 형성, 방법 및 관리 형태 개선에 대한 집단 의사 결정 작업은 일반적으로 첫 번째 클래스에 기인 할 수 있습니다. 그러나 예측 및 장기 계획을 세울 때 "희귀한" 의견을 식별하고 보다 철저한 분석을 받는 것이 좋습니다.

시스템 분석을 수행할 때 유념해야 할 또 다른 문제는 다음과 같다. 1급과 관련된 문제를 푸는 경우에도 전문가 평가는 개별 전문가 고유의 협소한 주관적인 특성뿐만 아니라 -조사 결과를 처리할 때 사라지지 않는 주관적인 기능(델파이 절차를 사용하는 경우에도 향상될 수 있음). 다시 말해, 전문가 평가는 연구 주제에 대한 사회의 과학적, 기술적 지식 수준에 따라 일종의 "공적 관점"으로 간주되어야 하며, 이는 시스템과 이에 대한 아이디어가 발전함에 따라 바뀔 수 있습니다. . 따라서 전문가 설문조사는 일회성 절차가 아닙니다. 고도의 불확실성을 특징으로 하는 복잡한 문제에 대한 정보를 얻는 이러한 방식은 복잡한 시스템에서 일종의 "메커니즘"이 되어야 합니다. 전문가와 함께 정기적 인 작업 시스템을 만들어야합니다.

또한 전문가 설문조사를 구성할 때 확률을 평가하기 위해 고전적인 빈도 접근 방식을 사용하는 것이 어렵고 때로는 불가능할 수도 있다는 사실에 주의를 기울여야 합니다(대표 샘플 사용의 정당성을 증명할 수 없기 때문에). 따라서 현재 전문가 평가의 확률의 성격에 대한 연구는 이론, Zadeh의 퍼지 집합, 가설의 확인 정도 또는 달성 확률로서의 전문가 평가의 아이디어에 기반하여 진행 중입니다. 목표. 전문가 방법의 다양성 중 하나는 조직의 강점과 약점, 조직 활동에 대한 기회와 위협을 연구하는 방법인 SWOT 분석 방법입니다.

전문가 정보 수집은 전문가 평가 방법의 선택에 달려 있습니다. 일반적으로 전문가 정보를 수집하기 위해 관련 관리자가 승인한 설문지와 같은 특수 문서를 작성하여 전문가에게 보냅니다.

전문가 정보의 처리는 일반적으로 컴퓨터 기술을 사용하여 선택한 방법을 사용하여 수행됩니다. 처리의 결과로 얻은 데이터는 분석 및 제어 시스템의 분석 및 합성 문제를 해결하는 데 사용됩니다.

전문가 평가는 분석, 상태 진단, 개발 옵션의 후속 예측에 사용됩니다.

1) 개발이 완전히 또는 부분적으로 주제 설명 또는 수학적 형식화에 순응할 수 없는 대상,

2) 대상의 특성에 대해 충분히 대표되고 신뢰할 수 있는 통계가 없는 경우

3) 대상의 기능에 대한 환경의 불확실성이 큰 조건에서 시장 환경;

4) 새로운 시장의 중장기 예측에서 기초 과학(예: 미생물 산업, 양자 전자, 핵 공학)의 발견에 의해 크게 영향을 받는 새로운 산업의 대상;

5) 예측 및 의사 결정에 할당된 시간 또는 자금이 공식 모델을 사용하여 문제를 조사하는 것을 허용하지 않는 경우;

6) 적절한 특성을 가진 컴퓨터 기술과 같은 모델링에 필요한 기술적 수단이 없습니다.

7) 극한 상황에서.

제어 시스템에 대한 전문가 평가 과정에서 해결되는 작업은 두 그룹으로 나눌 수 있습니다.

1) 새로운 제어 시스템의 합성 및 평가 작업;

2) 선택된 지표 및 성과 기준에 따라 기존 관리 시스템의 분석(측정) 작업.

첫 번째 그룹의 작업은 다음과 같습니다. 생성되는 시스템의 이미지 형성; 수명주기 단계에 대한 기술 및 경제 지표 예측; 사회 관리 시스템 개편의 주요 방향에 대한 입증; 생성된 제어 시스템 등을 사용하여 최적 또는 만족스러운 조치 및 결과 선택

이러한 문제를 해결하는 과정에서 얻은 전문가 정보 중 일부는 질적인 성격을 띠고 있으며, 기술적인 형태로 복잡한 판단의 형태로 구성되어 있습니다. 그러나 전문가 평가의 도움으로 해결되는 합성 작업은 본질적으로 정량적일 수 있으며 해당 솔루션은 생성되는 시스템의 수많은 매개변수(특성)의 정당화와 관련됩니다.

두 번째 그룹의 작업에는 지정된 지표 및 성능 기준을 사용하여 기존 또는 생성된 제어 시스템 변형을 평가하는 모든 작업이 포함됩니다. 이러한 작업의 예는 다음과 같습니다. 시스템의 구조적, 기능적 또는 정보적 특성을 결정합니다. 다양한 작업을 수행하는 과정에서 효율성 평가 제어 및 통신 등의 기술적 수단의 추가 운영의 편의를 결정합니다. 이러한 문제를 해결하는 데 사용되는 전문가 정보의 상당 부분은 양적 성격을 띠거나 기초적 판단의 형태를 가지며 다양한 통계적 방법을 사용하여 처리됩니다.

교육부

러시아 연방

알타이 주립 대학교

경제학부

위기 관리, 비즈니스 평가 및 혁신 부서

전문가 평가 방법

(코스 작업)

학생이 완료

3개 코스, 그룹 277

스트레칼로바 S.B.

직업 보호

바르나울 - 1999

소개 3

1장. 경영의 전문성 5

1.1. 경영 전문가의 역할 5

1.2. 전문가 판단 방법 7

1.3. 피어 리뷰 조직 9

1.4. 전문가 선정 9

1.5. 전문가 설문조사 10

제2장 정보의 형식화

및 비교 척도 12

3장. 전문가 평가 처리 16

3.1. 가공 작업 16

3.2. 개체의 그룹 평가 17

3.3. 전문가 의견의 합의 평가 22

3.4. 쌍별 개체 비교 처리 25

3.5. 순위 관계 결정 27

결론 31

참고 문헌 32

소개

현대 경제는 관리에 대한 새롭고 더 높은 요구 사항을 만듭니다. 관리 방법을 개선하는 문제는 이제이 영역에서 국가 경제의 효율성을 높이기위한 더 많은 준비금이 있기 때문에 매우 중요해지고 있습니다.

과학적 관리 수준을 향상시키는 데 필수적인 요소는 솔루션 준비에 수학적 방법과 모델을 사용하는 것입니다. 그러나 기술적 및 경제적 문제의 완전한 수학적 공식화는 질적 참신함과 복잡성으로 인해 종종 실현 가능하지 않습니다. 이와 관련하여 합리적인 결정의 준비 및 선택에 필요한 정보를 전문가로부터 얻는 것을 목표로하는 일련의 논리적 및 수학적 통계적 방법 및 절차로 이해되는 전문가 방법이 점점 더 많이 사용되고 있습니다.

전문가 방법은 이제 정확한 계산을 기반으로 결정의 결과에 대한 선택, 정당화 및 평가를 수행할 수 없는 상황에서 사용됩니다. 이러한 상황은 사회 생산 관리, 특히 예측 및 장기 계획과 관련된 현대 문제의 발전에서 종종 발생합니다. 최근 몇 년 동안 전문가 평가는 사회 정치 및 과학 기술 예측, 국가 경제, 산업, 협회 계획, 주요 과학, 기술, 경제 및 사회 프로그램 개발, 특정 관리 문제 해결에 널리 사용되었습니다. 문제.

사회적 생산의 발전 과정에서 관리의 복잡성이 증가할 뿐만 아니라 의사 결정의 품질에 대한 요구 사항도 증가합니다. 결정의 타당성을 높이고 결과에 영향을 미치는 수많은 요소를 고려하기 위해서는 현재 상황과 발전 전망에 대해 잘 알고 있는 관리자와 전문가의 계산과 합리적인 판단을 바탕으로 종합적인 분석이 필요합니다. 다양한 분야실용적인 활동. 전문가 방법의 사용은 의사 결정의 모든 단계에서 전문가의 적극적이고 의도적인 참여를 보장하여 품질과 효율성을 크게 향상시킬 수 있습니다.

우리 작업의 목적은 유능한 관리 결정을 내리는 가장 중요한 단계 중 하나인 전문가 평가 방법을 연구하는 것입니다.

1) 관리에서 전문성의 역할에 대한 연구;

2) 전문가 평가 구성 절차 고려

3) 저울의 유형과 사용 절차에 대한 연구;

4) 전문가 평가의 최종 단계 - 전문가 평가의 처리에 대한 세부 고려.

초록은 서론, 3장, 결론, 참고문헌 목록으로 구성되어 있습니다.

첫 번째 장은 관리 전문성의 필요성 문제를 다루고 전문가 평가 방법, 전문가 평가 조직 단계를 고려합니다.

두 번째 장에서는 비교 척도, 각 척도 유형의 특성 및 정보의 공식화에 사용되는 순서에 대해 설명합니다.

세 번째 장은 전문가 평가의 처리를 다룬다: 작업 처리, 대상의 그룹 평가, 전문가 의견의 일관성 평가, 대상의 쌍별 비교 처리 및 순위 관계 결정.

이 연구의 목적은 이론적인 측면에서 전문가 평가를 고려하는 것이기 때문에 실제 적용은 고려하지 않는다.

결론적으로, 경영상의 의사결정에 있어 전문가 평가 방법의 역할이 고려된다.

1장. 관리의 전문성

1.1. 경영 전문가의 역할

현대사회는 생산의 근본적인 변혁, 인민경제의 구조와 경제에 중대한 변화를 일으키고 있는 과학기술혁명의 나날이 증대되는 영향하에서 발전하고 있습니다. 그 영향력에 있어 진행중인 과학 및 기술 혁명은 영역을 훨씬 뛰어 넘습니다. 재료 생산, 사회 생활의 모든 측면을 포착하고 합리적인 경제 및 사회 발전을 목표로하는 대부분의 결정을 미리 결정합니다.

과학, 기술 및 생산 발전의 역사는 인간 기능을 기계 기능으로 연속적으로 대체함과 동시에 관리 분야에서 그 역할이 증가함을 보여줍니다. 과학 발전, 신기술 창출 및 생산 개선에 대한 지출 규모의 지속적인 증가는 모든 수준의 경제 관리에서 취해진 결정의 중요성을 크게 증가시킵니다. 과학의 미래. 공학 및 경제는 이러한 결정의 품질과 적시성에 크게 좌우되며 과학 및 기술 진보의 객관적인 추세는 영향을 받아 가속화되거나 느려질 수 있습니다.

많은 실제 문제를 해결하는 데 시간과 비용을 절약하는 공식적이고 가장 자주 수학적 모델의 사용을 기반으로 하는 최적화 방법은 이제 관리에서 특히 중요해지고 있습니다. 모델링은 의사 결정 문제와 관련된 복잡하고 때로는 불확실한 요소를 일관된 체계로 가져오고 대안을 평가하고 선택하는 데 필요한 데이터를 결정하는 데 도움이 됩니다.

관리 과정에서 가능한 모든 것 중에서 객관적으로 최선의 해결책을 찾고자 하는 자연스러운 욕구가 있습니다. 수학 프로그래밍은 이제 최적화 도구로 널리 사용됩니다. 다양한 종류의 경제적, 과학적, 기술적, 군사적 문제를 해결하기 위해 수학적 프로그래밍을 적용하는 데 성공함으로써 방법론적 견해가 생겨났고, 이에 따르면 문제를 통제하는 근본적인 해결책은 모든 측면이 상호 연결된 시스템에 표시될 때만 가능합니다. 수학적 모델.

그러나 기술, 경제 및 관리 결정의 공식화는 현재 과학 및 기술 발전 단계의 여러 기능으로 인해 복잡합니다. 사회의 삶은 너무 복잡하여 사회 경제적 과정의 성격과 양적 관계를 완전히 반영하는 모델의 출현을 기대하기 어렵습니다. 실제 현실은 가장 미묘한 수학적 모델보다 항상 더 복잡하며, 그 발전은 종종 형식 지식을 능가합니다. 관리 작업에는 솔루션의 필수 요소로 사람의 참여가 필요합니다. 그리고 마지막으로 관리 프로세스 자체에는 항상 수치 데이터뿐만 아니라 일반적인 상식도 포함됩니다. 수학적 프로그래밍과 컴퓨터 기술을 사용하면 보다 완전하고 신뢰할 수 있는 정보를 기반으로 결정을 내릴 수 있습니다. 그러나 어떤 조건에서도 합리적인 솔루션을 선택하려면 좋은 수학적 모델 이상의 것이 필요하다는 것 또한 의심의 여지가 없습니다.

결정을 내릴 때 일반적으로 이를 지원하는 데 사용되는 정보가 정확하고 신뢰할 수 있다고 가정합니다. 그러나 질적으로 새롭고 반복적이지 않은 많은 경제 및 과학 기술 문제의 경우 이 가정은 분명히 실현되지 않거나 결정을 내릴 때 증명할 수 없습니다.

정보의 가용성과 사용의 정확성은 선택한 솔루션의 최적성을 크게 결정합니다. 수치 통계로 구성된 데이터 외에도 정보에는 가능한 해결책그리고 그들의 결과. 실습에 따르면 비즈니스 솔루션의 검색 및 선택에서 발생하는 주요 어려움은 주로 사용 가능한 정보의 품질이 불충분하고 불완전하기 때문입니다.

복잡한 결정을 개발할 때 발생하는 정보와 관련된 주요 어려움은 다음 그룹으로 나눌 수 있습니다.

첫째, 초기 통계 정보는 종종 충분히 신뢰할 수 없습니다.

둘째, 정보의 일부는 질적인 성격을 띠고 있으며 수량화할 수 없습니다. 따라서 계획의 이행에 대한 사회적, 정치적 요인의 영향 정도를 정확하게 계산하고 미래 발명의 경제적 효과를 평가하는 것은 불가능합니다. 그러나 이러한 요인과 현상은 의사결정의 결과에 중대한 영향을 미치기 때문에 무시할 수 없다.

셋째, 의사결정을 준비하는 과정에서 원칙적으로 필요한 정보를 얻을 수 있지만 의사결정 시에는 많은 시간이나 돈을 투자해야 하는 상황이 발생하는 경우가 많다.

넷째, 향후 의사결정의 실행에 영향을 미칠 수 있는 요인들이 많지만 정확하게 예측할 수는 없다.

다섯째, 해결책을 선택할 때 가장 큰 어려움 중 하나는 모든 과학적 또는 기술적 아이디어에는 구현을 위한 다양한 계획의 가능성이 포함되어 있으며 모든 경제적 조치는 여러 결과로 이어질 수 있다는 것입니다. 일반적으로 리소스 제약이 있기 때문에 최상의 솔루션을 선택하는 문제도 발생할 수 있습니다. 따라서 한 옵션을 채택하면 항상 다른 솔루션을 거부하게 됩니다.

여섯째, 최상의 솔루션을 선택할 때 가능한 결과를 비교할 수 있는 근거로 일반화된 기준의 모호성을 자주 접하게 됩니다. 지표의 모호성, 다차원성 및 질적 차이는 가능한 각 솔루션의 상대적 효율성, 중요성, 가치 또는 유용성에 대한 일반화된 평가를 얻는 데 심각한 장애물입니다.

이와 관련하여 복잡한 문제를 해결하는 주요 기능 중 하나는 여기에 계산을 적용하는 것이 항상 관리자, 과학자 및 전문가의 판단을 사용하는 것과 얽혀 있다는 것입니다. 이러한 판단을 통해 정보 부족을 최소한 부분적으로 보완하고, 개인 및 집단 경험을 최대한 활용하고, 대상의 미래 상태에 대한 전문가의 가정을 고려할 수 있습니다. 과학 기술의 발전 패턴은 새로운 지식, 과학 및 기술 정보가 장기간에 걸쳐 축적되는 것입니다. 종종 이러한 축적은 과학자와 개발자의 마음 속에 잠재된 형태로 진행됩니다. 그들은 다른 사람과 마찬가지로 자신이 일하는 영역의 전망을 평가할 수 있으며, 자신이 직접 관련되어 있는 시스템 생성에 있어 이러한 시스템의 특성을 예측할 수 있습니다.

경험에 따르면 개별 전문가의 체계화되지 않은 판단을 사용하는 것은 문제의 주요 요소 간의 관계가 다양하고 이를 모두 포괄할 수 없기 때문에 많은 복잡한 과학 및 기술 문제를 해결하는 데 충분히 효과적이지 않습니다. 전통적인 의사결정 준비 절차를 사용할 때 문제를 해결하는 대체 방법의 전체 범위를 고려하기 위해 광범위한 요소를 고려하는 것이 종종 불가능합니다.

이 모든 것이 전문가로서 다양한 지식 분야를 대표하는 전문가 그룹에 의존하도록 강요합니다. 그룹 전문 지식을 사용하면 많은 측면과 요소를 고려할 수 있을 뿐만 아니라 관리자가 최상의 솔루션을 찾는 데 도움이 되는 다양한 접근 방식을 결합할 수 있습니다.

1.2. 전문가 평가 방법

전문가 평가 방법의 본질은 전문가가 판단의 정량적 평가와 결과의 공식 처리로 문제에 대한 직관적이고 논리적인 분석을 수행한다는 것입니다. 처리의 결과로 얻은 전문가의 일반화 된 의견은 문제의 해결책으로 받아 들여집니다. 직관(무의식적 사고), 논리적 사고 및 공식 처리와 함께 양적 평가를 복합적으로 사용하면 문제에 대한 효과적인 솔루션을 얻을 수 있습니다.

관리 프로세스에서 자신의 역할을 수행할 때 전문가는 두 가지 주요 기능을 수행합니다. 대상(대안 상황, 목표, 결정 등)을 형성하고 특성(사건 발생 확률, 목표 유의성 계수, 의사 결정 선호도 등)을 측정합니다. 대상의 형성은 논리적 사고와 직관을 기반으로 전문가에 의해 수행됩니다. 이 경우 전문가의 지식과 경험이 중요한 역할을 합니다. 물체의 특성을 측정하려면 전문가가 측정 이론을 알아야 합니다.

복잡하고 형식화 할 수없는 문제를 해결하기위한 과학적 도구로서의 전문가 평가 방법의 특징은 첫째, 시험의 모든 단계를 과학적으로 구성하여 각 단계에서 작업의 최대 효율성을 보장하고 두 번째로 검사를 조직하고 전문가의 판단과 결과에 대한 공식적인 그룹 처리를 평가할 때 정량적 방법을 사용합니다. 이 두 가지 특징은 전문가 평가 방법을 인간 활동의 다양한 분야에서 널리 사용되는 일반적으로 오래 알려진 전문 지식과 구별합니다.

전문가 집단 평가는 이미 초기에 국가 경제 관리의 복잡한 문제를 해결하기 위해 국가적 규모로 널리 사용되었습니다. 소비에트 권력. 1918년에는 국가 경제를 재편하는 가장 어려운 문제를 해결하는 것을 임무로 하는 국민경제 최고위원회 산하에 전문가회의가 설치되었습니다. 국가 경제 발전 5개년 계획을 세울 때 다양한 전문가의 전문가 평가가 체계적으로 사용되었습니다.

현재 우리 나라와 해외에서 전문가 평가 방법은 다른 성격의 중요한 문제를 해결하는 데 널리 사용됩니다. 다양한 산업, 협회 및 기업에는 공식화할 수 없는 다양한 복잡한 문제에 대한 솔루션을 구성하는 상설 또는 임시 전문가 위원회가 있습니다.

제대로 형식화되지 않은 전체 문제 세트는 조건부로 두 가지 클래스로 나눌 수 있습니다. 첫 번째 클래스에는 이러한 문제를 성공적으로 해결하기에 충분한 정보 잠재력이 있는 문제가 포함됩니다. 피어 리뷰에서 1급 문제를 해결하는 데 있어 가장 큰 어려움은 전문가를 선택하고 합리적인 조사 절차를 구축하고 결과를 처리하기 위한 최적의 방법을 적용하여 기존 정보 잠재력을 실현하는 것입니다. 동시에 심문 및 처리 방법은 "좋은"측정기의 원칙을 기반으로합니다. 이 원칙은 다음 가설이 충족됨을 의미합니다.

1) 전문가는 합리적으로 처리된 다량의 정보를 보관하는 곳이므로 질적 정보원으로 볼 수 있다.

2) 전문가 집단의 의견이 문제의 진정한 해결책에 가깝다.

이러한 가설이 맞다면 측정 이론 및 수학적 통계의 결과를 사용하여 폴링 절차 및 처리 알고리즘을 구성할 수 있습니다.

두 번째 부류는 지식의 정보 잠재력이 이러한 가설의 타당성을 확신하기에 불충분한 것과 관련된 문제를 포함합니다. 이 전문가 등급의 문제를 해결할 때 더 이상 "좋은 측정자"로 간주될 수 없습니다. 따라서 검사 결과를 처리할 때 각별한 주의가 필요합니다. 이 경우 "양호한 측정기"에 유효한 평균화 방법을 사용하면 큰 오류가 발생할 수 있습니다. 예를 들어, 다른 전문가의 의견과 매우 다른 한 전문가의 의견이 옳은 것으로 판명될 수 있습니다. 이와 관련하여 2급 문제에 대해서는 주로 정성적 처리가 적용되어야 한다.

전문가 평가 방법의 범위는 매우 넓습니다. 전문가 평가 방법으로 해결되는 일반적인 작업을 나열합니다.

1) 일정 기간 동안 다양한 지역에서 발생할 수 있는 이벤트 목록을 작성하는 것;

2) 일련의 이벤트 완료를 위한 가장 가능성 있는 시간 간격의 결정;

3) 중요도 순으로 정렬하여 관리의 목표와 목적을 정의합니다.

4) 대안 식별(자신의 선호도를 평가하여 문제를 해결하기 위한 옵션;

5) 선호도 평가와 함께 문제 해결을 위한 자원의 대안적 분배;

6) 대안자신의 선호도를 평가하여 특정 상황에서 결정을 내립니다.

위의 문제를 해결하려면 일반적인 작업현재 다양한 종류의 전문가 평가 방법이 사용됩니다. 주요 유형은 다음과 같습니다. 영감; 논의; 회의; 작전 게임; 대본.

이러한 유형의 전문가 평가에는 각각 장단점이 있으며 합리적인 적용 영역을 결정합니다. 대부분의 경우 여러 유형의 전문 지식을 결합하여 적용하면 가장 큰 효과를 얻을 수 있습니다.

질문과 시나리오는 전문가의 개별 작업을 가정합니다. 인터뷰는 개별적으로 또는 전문가 그룹과 함께 수행할 수 있습니다. 다른 유형의 전문 지식은 작업에 전문가의 집단적 참여를 포함합니다. 전문가의 개인 또는 단체 참여 여부와 상관없이 많은 전문가로부터 정보를 얻는 것이 좋습니다. 이를 통해 전문가의 진술에 명시적으로 포함되지 않은 현상, 사건, 사실, 전문가 판단의 의존성에 대한 새로운 정보뿐만 아니라 데이터 처리를 기반으로 보다 신뢰할 수 있는 결과를 얻을 수 있습니다.

전문가 평가 방법을 사용할 때 몇 가지 문제가 있습니다. 주요 내용은 전문가 선택, 전문가 설문 조사 수행, 설문 조사 결과 처리, 검사 절차 구성입니다.

1.3. 전문가 평가 조직

전문가 평가 적용 작업 조직의 첫 번째 단계는 작업의 목적과 구현을 위한 주요 조항을 공식화하는 지침 문서의 준비 및 출판입니다. 이 문서는 다음 질문을 반영해야 합니다. 실험의 목적; 실험의 필요성 입증; 처리 시간; 관리 그룹의 작업 및 구성; 그룹의 의무와 권리; 재정 및 물질적 지원.

이 문서를 준비하고 전체 작업을 관리하기 위해 시험 리더가 임명됩니다. 관리 그룹의 구성과 업무 조직에 대한 책임을 맡습니다.

구성 후 관리 그룹은 대략 다음과 같은 순서로 전문가 그룹 선택 작업을 수행합니다. 문제와 관련된 활동 영역의 범위 결정; 각 활동 분야의 전문가 비율 결정; 그룹의 전문가 수 결정; 위치를 고려하여 예비 전문가 목록 작성; 전문가의 자질 분석 및 그룹의 전문가 목록 지정; 작업에 참여하기 위해 전문가의 동의를 얻는 것; 전문가 그룹의 최종 목록 편집.

전문가 그룹을 구성하는 프로세스와 병행하여 관리 그룹은 전문가 설문 조사를 수행하기 위한 조직 및 방법론을 개발하고 있습니다. 이 경우 다음과 같은 문제가 해결됩니다. 조사 라운드의 수와 목적; 설문조사의 형태; 조사 결과를 기록하고 수집하는 절차; 필요한 서류의 구성.

관리 그룹 작업의 다음 단계는 설문 조사 데이터를 처리하기 위한 조직과 방법론을 결정하는 것입니다. 이 단계에서 작업 및 처리 조건, 처리 절차 및 알고리즘, 처리 힘 및 수단을 결정해야 합니다.

전문가를 직접 조사하고 그 결과를 처리하는 과정에서 관리단은 개발된 계획에 따라 일련의 작업을 수행하고 내용, 시기 및 자원 제공 측면에서 필요에 따라 조정합니다.

관리 그룹 작업의 마지막 단계는 작업 결과 등록입니다. 이 단계에서 전문가 평가 결과를 분석합니다. 보고서 편집; 결과에 대한 토론 및 승인 승인을 위해 작업 결과를 제시합니다. 조직 및 개인의 검사 결과에 익숙해지기.

1.4. 전문가 선정

전문가 평가 절차를 구현하려면 전문가 그룹을 구성해야 합니다. 전문가 그룹 구성의 공통 요구 사항은 시험 문제에 대한 효과적인 솔루션입니다. 문제 해결의 효율성은 검사의 신뢰성과 비용의 특성에 따라 결정됩니다.

전문가 평가의 신뢰성은 문제에 대한 실질적인 솔루션과 그 결과 분석을 기반으로 해서만 결정할 수 있습니다. 전문가를 사용하는 것은 정보를 얻을 수 있는 다른 방법이 없기 때문입니다. 따라서 검사의 신뢰성 평가는 원칙적으로 사후(실험 후) 데이터를 기반으로만 수행할 수 있습니다. 거의 동일한 전문가 구성으로 체계적으로 심사를 진행하면 전문가 집단의 업무 신뢰도에 대한 통계적 자료를 축적하고 안정적인 수치적 신뢰도 평가를 얻을 수 있다. 이 추정치는 후속 검사를 위한 전문가 패널의 신뢰성에 대한 선험적 데이터로 사용될 수 있습니다.

집단 전문가 평가의 신뢰도는 집단 내 전체 전문가의 수, 집단 내 다른 전문가의 비율, 전문가의 특성에 따라 결정된다.

나열된 요소에 대한 신뢰성 의존성의 특성을 결정하는 것은 전문가 선택의 또 다른 문제입니다.

선발 절차의 어려운 문제는 시험 과정과 결과에 크게 영향을 미치는 전문가 특성 시스템의 형성입니다. 이러한 특성은 전문가의 특정 특성과 전문성에 영향을 미치는 사람들 간의 가능한 관계를 설명해야 합니다. 전문가의 특성에 대한 중요한 요구 사항은 이러한 특성의 측정 가능성입니다.

또 다른 문제는 전문가 선정 절차의 구성입니다. 전문가를 선택하는 과정에서 수행되는 작업의 명확한 순서와 구현에 필요한 리소스를 결정합니다.

그룹의 최대 전문가 수는 재정 자원의 제한에 따라 확인됩니다. 신뢰성, 전문가 수 및 지불 비용 간의 관계를 결정한 관리 팀은 이 정보를 경영진에게 제공하고 가능한 대안 솔루션을 공식화합니다. 이러한 대안은 전문가 평가 결과의 신뢰성을 전문가 비용 부담 한도를 충족하는 수준으로 낮추거나, 심사의 신뢰성에 대한 원래 요구 사항을 유지하고 전문가 지불 비용을 증가시킬 수 있습니다.

전문가 선정의 다음 단계는 예비 전문가 목록을 준비하는 것입니다. 이 목록을 작성할 때 전문가의 자질에 대한 분석이 수행됩니다. 전문가의 자질을 고려하는 것 외에도 위치와 선택한 전문가가 시험에 참여할 가능성이 결정됩니다. 자질을 평가할 때 전문가 후보자를 잘 아는 사람들의 의견을 고려합니다.

전문가 목록을 작성한 후 시험에 참여하도록 초대하는 편지가 그들에게 발송됩니다. 편지에는 시험의 목적, 시기, 실시 절차, 작업량 및 보수 조건이 설명되어 있습니다. 전문가 데이터의 설문지와 역량 자체 평가가 편지에 첨부되어 있습니다. 전문가들의 답변을 받은 관리단은 전문가단의 최종 명단을 작성한다.

목록이 작성되고 승인되면 전문가 그룹에 포함되었다는 메시지가 전문가에게 전송됩니다. 설문 방식으로 전문가 평가를 수행하는 경우 전문가 그룹에 포함됨 알림과 동시에 모든 전문가에게 설문지 작성에 필요한 지침이 포함된 설문지가 발송됩니다. 전문가에게 시험에 포함됨을 알리면 전문가 선정 작업이 종료됩니다.

1.5. 전문가 설문조사

설문조사는 경영진과 전문가들의 공동 작업의 주요 단계입니다. 설문조사의 주요 내용은 다음과 같습니다.

문제에 대한 설명 및 전문가에 대한 질문 프레젠테이션

전문가의 작업에 대한 정보 지원;

판단, 견적, 제안의 전문가에 의한 개발;

전문가의 작업 결과 수집.

설문 조사 프로세스에서 해결되는 작업에는 세 가지 유형이 있습니다.

주어진 대상에 대한 정성적 또는 정량적 평가

새로운 시설의 건설;

새로운 시설의 건설 및 평가.

집단적 전문성에서는 토론, 질문 및 인터뷰, 집단적 아이디어 생성 방법 또는 브레인스토밍과 같은 주요 유형의 조사가 사용됩니다.

설문조사는 피드백이 있거나 없이 수행될 수 있습니다. 피드백과 함께 질문할 때 전문가들은 여러 단계에 걸쳐 설문조사를 진행하며 개별 전문가의 평가 및 주장을 포함하여 이전 단계의 설문조사 결과 중 일부가 전문가의 주의를 끌게 됩니다.

설문 조사 조직에서 가장 중요한 것은 최대 정보와 최대 창의적 활동, 전문가의 독립성을 제공하는 것입니다. 전문가의 창의적 독립성과 활동성을 동시에 박탈하지 않으면서 가능한 한 전문가와 설문조사 주최자 모두가 사용할 수 있는 분석된 현상과 관련된 모든 정보를 각 전문가에게 제공하기 위해 노력해야 합니다.

그러나 정보처리 전문가의 가능성은 제한적입니다. 결과적으로 전문가는 자신이 처분할 수 있는 모든 정보를 사용하지 않고도 결정을 내릴 수 있습니다. 또한 새로운 정보는 특정 내부 저항을 가진 사람이 인식하며 이미 설정된 주관적인 평가에 즉시 영향을 미치지 않습니다. 새로운 정보에 대한 태도는 더 호의적이며, 이해하기 쉽고 생생하며 간결한 형태로 제시될 때 정보에 대한 지각과 활용은 더욱 완전해진다.

이들의 심리적 특성기록을 유지하고 기술적 수단을 사용하여 들어오는 정보를 포착할 수 있는 기회를 전문가에게 제공할 필요와 정보를 사전 처리하고 가장 인지할 수 있는 형식으로 전문가에게 제시해야 할 필요가 있습니다.

전문가에 의한 정보 교환의 중요성의 불일치를 강조할 필요가 있다. 왜냐하면 그러한 정보의 수신은 전문가에 의해 대상의 모델을 구축할 때 창조적 독립성을 잃을 위험이 있기 때문이다. 이 모순을 해결하는 것은 완전히 불가능하며, 각 조사에서 주최측은 먼저 조사 유형, 전문가 간의 의사 소통 형식 및 정도를 선택하여 합리적인 타협을 찾아야합니다.

각 설문 유형은 전문가 간의 정보 교환을 구축하고 독립적인 창의성을 구성하는 데 장단점이 있습니다. 설문 조사 유형 중 하나 또는 다른 유형의 선택은 여러 요인에 의해 결정되며 그 중 주요 요인은 다음과 같습니다.

시험의 목적과 목적

분석된 문제의 본질과 복잡성

초기 정보의 완전성 및 신뢰성

조사 결과 얻은 정보의 요구량 및 신뢰성

조사 및 조사 전반에 대해 할당된 시간

조사 및 일반 조사의 허용 비용

전문가 및 관리 그룹 구성원의 수, 특성.

질문은 전문가의 정보 지원과 독립적인 창의성을 결합하는 가장 좋은 방법을 허용하기 때문에 가장 효과적이고 가장 일반적인 유형의 설문조사입니다.

제2장 정보의 정형화 및 비교규모

전문가로부터 받은 정보의 합리적인 활용은 준비 및 의사결정을 목적으로 하는 추가 분석에 편리한 형태로 구성되어야 가능합니다.

정보를 공식화하는 가능성은 연구 대상의 특정 기능, 사용 가능한 데이터의 신뢰성과 완전성, 의사 결정 수준에 따라 다릅니다. 전문가 데이터의 표시 형식은 또한 허용된 기준에 따라 달라지며, 그 선택은 연구 중인 문제의 특성에 따라 크게 영향을 받습니다.

전문가로부터 받은 정보의 공식화는 수학적으로 완전히 설명할 수 없는 기술적, 경제적, 경제적 문제에 대한 해결책을 준비하는 것을 목표로 해야 합니다. 측정뿐만 아니라 연구 중인 목표의 본질, 달성 수단 및 외부 조건과 관련된 불확실성을 포함합니다.

전망을 분석할 때 정량화할 수 없는 정보의 일부를 간접적인 추정의 형태로 제시할 뿐만 아니라 그러한 추정의 도움으로 당시에 충분히 신뢰할 수 있는 데이터가 없는 정량화 가능한 정보를 표현할 뿐만 아니라 결정의 준비. 가장 중요한 것은 의사 결정자가 어떤 기준과 관련하여 가장 선호되는 하나 이상의 조치를 선택하는 데 도움이 되는 방식으로 이 정보를 공식화하는 것입니다.

전문가가 가능한 조치 옵션을 비교하고 평가하고 각각에 특정 번호를 할당하면 특정 선호 시스템이 있습니다. 이러한 선호도를 설정할 수 있는 규모에 따라 전문가 평가에는 더 많거나 더 적은 정보가 포함되며 공식화할 수 있는 다른 능력이 있습니다.

조사 대상이나 현상은 특징이나 요인에 따라 식별하거나 구별할 수 있습니다. 요인은 고려해야 할 양의 다른 수준을 나타내는 적어도 두 개의 요소 집합입니다. 일부 요소의 수준은 정량적으로(루블, 백분율, 킬로그램 등으로) 표현할 수 있습니다. 이러한 요소를 정량적이라고 합니다. 다른 사람의 수준은 숫자로 표현할 수 없으며 질적이라고합니다.

요인은 조건부로 이산 및 연속으로 나뉩니다. 이산(discrete)은 일반적으로 적은 수의 특정 수준을 가진 요인입니다. 수준이 연속 집합을 형성하는 것으로 간주되는 요인을 연속이라고 합니다. 분석의 목표와 기능에 따라 동일한 요인을 불연속 또는 연속 요인으로 처리할 수 있습니다.

다양한 척도를 사용하여 정보를 형식화하는 전문가 방법에 사용되는 주요 논리적 공리를 살펴보겠습니다.

사용 명목 저울연구 대상은 식별의 세 가지 공리를 기반으로 식별되고 구별될 수 있습니다.

1) 나거기에 제이, 또는 없다 제이 ;

2) 만약 나있다 제이, 그 다음에 제이있다 나 ;

3) 만약 나있다 제이그리고 제이있다 케이, 그 다음에 나있다 케이 .

이 경우 요인은 1(동일) 또는 0(다름)의 두 가지 수준의 이진 추정 형태로 형식화될 수 있는 정보가 있는 연관 지표 역할을 합니다.

중요한 요소(요인)를 고려하여 비교 결과 연구 대상을 특정 순서로 배치할 수 있는 경우, 서수 스케일, 동등성 또는 지배력을 확립하는 것을 허용합니다.

특정 순서로 정렬해야 한다고 가정합니다. N어떤 요소(기준)에 따라 개체. 우리는 이 순서를 행렬로 나타냅니다. 나, 제 = 1,2,…, N .

수량은 객체 간의 관계를 설정하며 다음과 같이 정의할 수 있습니다.

주문 조건을 준수하는 데 필요한 기본 공리를 설정합시다. 비율 의미 나선택할 만한 제이, 비대칭이어야 합니다. 즉, if then 및 전이적, 즉 if then

비율 의미 나그리고 제이등가 관계를 등가 관계라고 합니다. 이 비율은

반사적, 즉

대칭, 즉, 그렇다면

타동사, 즉 if and then

또한 이 두 관계는 호환 가능해야 합니다. 즉, if and then 그리고 also, if and then

마지막으로 주문이 연결되어야 합니다. 모든 i 및 j 또는 또는 또는

순서 척도를 사용하면 요인(기준)이 명시적으로 지정되지 않은 경우에도 개체를 구별할 수 있습니다. 우리가 비교의 표시를 알지 못하지만 전문가가 가지고 있는 선호 체계에 따라 부분적으로 또는 완전히 대상을 주문할 수 있을 때.

모든 세트 ㅏ요소 중 두 개에 대해 엑스그리고 와이그 중 하나를 발견 엑스선행 와이, 또는 와이선행 엑스. 때로는 집합의 모든 요소에 대해 엄격한 우선 순위를 설정할 수 없지만 동등한 요소의 하위 집합이 정렬될 때 "그룹" 정렬을 생성할 수 있습니다. 다음으로 이러한 부분 집합을 비교하고 정렬하는 문제를 제기할 수 있습니다.

순서 척도를 사용하면 단조 증가하는 모든 기능에 해당하는 전문가로부터 받은 추정치의 변환을 수행할 수 있습니다. 예를 들어, 양수 추정치는 제곱, 로그 또는 기타 단조 증가 함수로 대체될 수 있습니다.

전문가로부터 받은 추정치를 공식화하기 위해 종종 다음을 사용합니다. 간격 척도. 그러한 척도가 이러한 목적으로 사용될 때, 거의 모든 일반적인 통계적 조치를 취할 수 있습니다. 예외는 여기에서 조건부로 도입된 척도의 "진정한" 영점에 대한 지식을 필요로 하는 측정입니다.

간격 척도는 방정식을 사용하여 한 척도에서 얻은 점수를 다른 척도의 점수로 변환할 가능성을 나타냅니다.

간격 척도의 값 간의 차이는 비율 척도의 척도가 됩니다. 즉, 일반적인 수치 척도에서, 왜냐하면 빼기의 결과로 상수 항을 제거할 수 있습니다. 비 .

많은 경우 전문가 평가를 공식화할 때 관계의 규모에만 고유한 가산성 속성이 사용됩니다. 가산성의 존재는 다음 공리로 표현됩니다.

1) 만약 제이 = ㅏ그리고 나> 0, 그러면 나 + 제이 > ㅏ ;

2) 나 + 제이 = 제이 + 나 ;

3) 만약 나 = ㅏ그리고 제이 = 비, 그 다음에 나 + 제이 = ㅏ + 비 ;

4) (나 + 제이) + 케이 = 나 + (제이 + 케이).

가산성을 고려하여 결정을 내려야 하는 일반적인 상황은 여러(최소 2개) 정성적 요소가 있는 경우입니다. 특정 개체를 특징짓는 여러 요소가 있는 경우 개체 관계의 실제 속성과 유형이 많이 있습니다.

예를 들어, 새로운 기술의 생성 및 구현의 효율성을 특징 짓는 요소(지표)는 객관적인 내용에 따라 기술적, 경제적 및 사회적으로 나눌 수 있습니다. 다른 한편, 이러한 요소는 예를 들어 비용, 품질, 경제적 효율성 등을 특징짓는 지표를 강조하여 신기술을 만들고 구현하는 과정에서 역할에 따라 그룹화할 수 있습니다.

연구 중인 문제의 성격과 목적에 따라 대상이 다른 요소는 중요도에 따라 양적으로 비교할 수 있거나 비교할 수 없거나 부분적으로 비교할 수 있습니다. 등 .d. 다양한 요소의 공약 불가는 다른 측정 단위를 사용할 필요성 때문일 뿐만 아니라 특정 속성을 표현하는 각 요소가 동시에 이 속성에 대한 결정권자.

모든 수준의 관리 관행에서 많은 요소를 고려하여 결정을 내려야 하는 상황이 종종 발생합니다. 어떤 요소를 가장 중요하게 고려해야 하는지에 대한 질문은 결정 대상의 질적 특징과 이 결정이 충족해야 하는 목표에 따라 다릅니다.

예를 들어, 계획에 대한 여러 옵션이나 조직적 및 기술적 조치에 대한 옵션을 고려할 때 시간, 비용, 기술적 및 사회적 결과, 경제적 효율성 등의 요소를 고려해야 합니다. 일반적으로 그들은 모든 다양한 요소를 모호하지 않은 복잡한 평가로 이끌려고 노력하며 가장 편리하고 일반적인 평가는 금전적 평가입니다.

그러나 모든 결정, 특히 과학 및 기술 진보와 관련된 결정의 결과는 비용 지표를 넘어서기 때문에 특정 요인(또는 그 복합)의 중요성, 유용성을 특성화하는 지표가 필요합니다. 이러한 통합 미터는 제품 품질, 기술 및 경제적 생산 수준 평가, 과학 조직의 성과 평가 및 기타 여러 작업에 널리 사용됩니다. 그러한 계량기의 충분히 입증된 공식화 시스템을 만드는 문제는 아직 최종 결정과는 거리가 멀지만 몇 가지를 지적할 수 있습니다. 일반적인 특징, 이 프로세스의 형식화와 하나 또는 다른 논리적 및 수학적 장치의 사용에 대한 접근 방식을 제공합니다.

모든 요인이 명목 척도로 주어진 경우, 즉 일부 속성 a와 요소 M의 초기 세트가 이 척도에 주어지면 목표는 이 속성을 가진 요소 M(a)의 하위 집합을 선택하는 것입니다. 이러한 경우 요소 또는 그 속성은 기호(표준)와 비교되고 결과(세트의 분할)는 2요소 척도의 순서로 간주될 수 있습니다. 요소에는 0 또는 1과 같은 점수가 할당됩니다.

요인이 순서 척도 또는 여러 순서 척도로 주어지는 경우 목표는 원래 집합의 요소를 정렬하고 전문가의 도움으로 가정에 의해 고유한 숨겨진 정렬을 식별하는 것입니다. 이 세트. 필요조건이 문제에 대한 해결책은 전이성의 가정입니다. 요소가 더 완전하게 정렬될수록 이러한 문제를 해결하기 위해 논리-수학적 및 조합적 방법을 적용하기가 더 쉽습니다.

특정 요인의 성격이나 중요도에 따라 준비 및 의사결정 단계에서 다양한 척도를 사용할 수 있습니다. 비용, 이익, 시간과 같은 요소는 순서 또는 간격 척도(루블, 일 또는 기존 단위)로 평가할 수 있습니다. 투자 회수 기간이나 옵션의 비교 효과와 같은 요소를 평가하기 위해 간격 척도를 사용할 수 있습니다. 질적 또는 사회적 요인은 순서 또는 명목 척도로 평가할 수 있습니다.

3장. 전문가 평가 처리

3.1. 처리 작업

전문가 그룹에 대한 설문 조사를 수행한 후 결과가 처리됩니다. 처리를 위한 초기 정보는 전문가의 선호와 이러한 선호에 대한 실질적인 정당성을 나타내는 수치 데이터입니다. 처리의 목적은 전문가 평가에서 숨겨진 형태로 포함된 일반화된 데이터와 새로운 정보를 얻는 것입니다. 처리 결과를 기반으로 문제에 대한 솔루션이 형성됩니다.

수치 데이터와 전문가의 의미 있는 진술이 모두 존재하기 때문에 집단 전문가 평가 결과를 처리하기 위해 정성적, 정량적 방법을 적용할 필요가 있습니다. 이러한 방법의 점유율은 본질적으로 전문가 평가로 해결된 문제의 종류에 따라 다릅니다.

전체 문제 세트는 두 가지 클래스로 나눌 수 있습니다. 첫 번째 클래스에는 충분한 수준의 지식과 경험, 즉 필요한 정보 잠재력이 있는 솔루션에 대한 문제가 포함됩니다. 이 클래스에 속하는 문제를 해결할 때 전문가는 좋은 평균 측정자로 간주됩니다. "평균적으로 양호"라는 용어는 사실에 가까운 측정 결과를 얻을 수 있는 가능성을 나타냅니다. 많은 전문가들에게 그들의 판단은 진정한 가치를 중심으로 모여 있습니다. 따라서 첫 번째 클래스의 문제에 대한 그룹 전문가 평가 결과를 처리하기 위해 데이터 평균화에 기반한 수학적 통계 방법을 성공적으로 적용할 수 있습니다.

두 번째 클래스는 아직 충분한 정보 잠재력이 축적되지 않은 솔루션에 대한 문제를 포함합니다. 이와 관련하여 전문가의 의견은 서로 크게 다를 수 있습니다. 또한, 다른 의견과 매우 다른 한 전문가의 판단이 사실로 판명될 수도 있습니다. 분명히, 두 번째 클래스의 문제를 해결할 때 그룹 전문가 평가의 결과를 평균화하는 방법을 사용하면 큰 오류가 발생할 수 있습니다. 따라서이 경우 전문가 설문 조사 결과의 처리는 평균화 원칙을 사용하지 않고 정성 분석 방법을 사용하는 방법을 기반으로해야합니다.

첫 번째 클래스의 문제가 피어 리뷰의 관행에서 가장 일반적이라는 점을 고려하여 이 장의 초점은 이 클래스의 문제에 대한 리뷰 결과를 처리하는 방법에 있습니다.

전문가 평가의 목표와 선택한 측정 방법에 따라 설문 조사 결과를 처리할 때 다음과 같은 주요 작업이 발생합니다.

1) 전문가의 개별 평가를 기반으로 대상에 대한 일반화된 평가를 구축합니다.

2) 각 전문가가 대상을 쌍으로 비교하여 일반화된 평가를 구축합니다.

3) 물체의 상대적 무게 결정;

4) 전문가 의견의 일관성 결정

5) 순위 간의 종속성 결정;

6) 처리 결과의 신뢰성 평가.

전문가의 개별 평가를 기반으로 대상에 대한 일반화된 평가를 구성하는 작업은 그룹 전문가 평가에서 발생합니다. 이 문제에 대한 해결책은 전문가가 사용하는 측정 방법에 따라 다릅니다.

많은 문제를 해결할 때 하나의 지표 또는 일부 지표 세트에 따라 개체를 배열하는 것만으로는 충분하지 않습니다. 다른 개체와 비교하여 상대적 중요성을 나타내는 각 개체에 대한 숫자 값을 갖는 것이 바람직합니다. 다시 말해, 많은 문제에 대해 순서를 수행할 뿐만 아니라 한 대상이 다른 대상보다 선호하는 정도를 결정할 수 있도록 하는 대상의 추정치가 필요합니다. 이 문제를 해결하기 위해 직접 평가 방법을 직접 적용할 수 있습니다. 그러나 특정 조건에서는 전문가 추정치를 처리하여 동일한 문제를 해결할 수 있습니다.

전문가 의견의 일관성 판단은 개별 의견의 유사도를 나타내는 수치를 계산하여 수행됩니다. 일관성 측정값의 분석은 해결되는 문제에 대한 일반적인 지식 수준에 대한 올바른 판단의 발전과 전문가 의견의 그룹화 식별에 기여합니다. 의견을 그룹화하는 이유에 대한 질적 분석을 통해 다양한 견해, 개념의 존재를 확립하고, 과학 학교를 식별하고, 전문적인 활동등. 이러한 모든 요소를 통해 전문가 설문 조사 결과를 더 깊이 이해할 수 있습니다.

전문가 평가 결과를 처리함으로써 다양한 전문가의 순위 간의 종속성을 파악함으로써 전문가 의견의 통일성과 차이를 확립할 수 있다. 객체 비교의 다양한 지표를 기반으로 구축된 순위 간의 관계를 설정하는 것도 중요한 역할을 합니다. 이러한 종속성을 식별하면 관련된 비교 지표를 표시하고 연결 정도에 따라 그룹화할 수 있습니다. 실습에 대한 종속성을 결정하는 작업의 중요성은 분명합니다. 예를 들어, 비교 지표가 서로 다른 목표이고 대상이 목표 달성 수단인 경우 목표 달성 측면에서 수단을 정렬하는 순위 간의 관계를 설정하면 다음과 같은 질문에 합리적으로 대답할 수 있습니다. 이러한 수단으로 하나의 목표를 달성하면 다른 목표를 달성하는 데 기여합니다.

처리를 기반으로 얻은 추정치는 임의의 개체이므로 처리 절차의 중요한 작업 중 하나는 신뢰도를 결정하는 것입니다. 이 문제의 해결에 적절한 주의를 기울여야 합니다.

검사 결과를 처리하는 것은 시간이 많이 걸리는 과정입니다. 추정치 및 신뢰도 지표에 대한 수동 계산을 수행하는 것은 단순한 주문 문제를 해결하는 경우에도 많은 인건비와 관련이 있습니다. 이러한 이유로 다음을 사용하는 것이 좋습니다. 컴퓨터 기술특히 컴퓨터. 컴퓨터의 사용은 전문가 평가 결과를 처리하기 위한 알고리즘을 구현하는 컴퓨터 프로그램을 개발하는 문제를 제기합니다.

3.2. 개체의 그룹 평가

이 섹션에서는 일련의 객체에 대한 전문가 평가 결과를 처리하기 위한 알고리즘을 고려합니다. 허락하다 중전문가 평가 N시설 엘지표. 평가 결과는 값으로 표시되며, 여기서 제이– 전문가 번호, 나- 개체 번호, 시간– 비교 지표(속성)의 번호. 순위 방식으로 대상을 평가하면 값은 순위입니다. 대상 평가가 직접 평가 방법 또는 순차적 비교 방법으로 수행되는 경우 값은 숫자 축의 특정 세그먼트 또는 점의 숫자입니다. 평가 결과의 처리는 고려하는 측정 방법에 따라 크게 달라집니다.

값이 직접 평가 또는 순차적 비교, 즉 숫자 또는 점인 방법으로 얻은 경우를 고려해 보겠습니다. 이 경우 개체의 그룹 등급을 얻으려면 다음을 수행할 수 있습니다(각 개체에 대한 등급의 평균 값 사용

(5.1)

어디서 - 대상 비교 지표의 가중치 계수 - 전문가의 능력 계수. 지표의 가중치 계수 및 개체의 능력은 정규화된 값입니다.

(5.2)

지표의 가중치 계수는 전문가가 결정할 수 있습니다. 가중치 요소인 경우 시간-번째 표시기 제공 제이- 전문가, 그 다음 평균 중량 계수 시간-모든 전문가에 대한 지표는 다음과 같습니다.

(5.3)

개체의 속성을 추기경 척도로 측정할 때 개인의 평가를 능력의 가중치와 지표의 중요성으로 합산하여 집단 전문가 평가를 얻는 것은 von Neumann-Morgenstern 효용 이론의 공리가 개인과 집단 모두에 충족된다는 가정에 기반합니다. 모든 개별 평가에서 구별할 수 없는 경우 그룹 관계에서 대상의 구별 불가능성에 대한 평가 및 조건(부분 파레토 원리). 실제 문제에서는 일반적으로 이러한 조건이 충족되므로 개별 전문가 평가를 가중치로 합산하여 대상에 대한 그룹 평가를 얻는 것이 실제로 널리 사용됩니다.

전문가 역량 계수는 사후 데이터, 즉 대상 평가 결과에서 계산할 수 있습니다. 이 계산의 주요 아이디어는 전문가의 능력이 대상에 대한 그룹 평가와 평가의 일관성 정도에 의해 평가되어야 한다는 가정입니다.

전문가 역량 계수를 계산하는 알고리즘은 다음과 같은 반복 절차 형식을 갖습니다.

(5.4)

(5.5)

(5.6)

계산 시작 티=1. 식 (5.4)에서 능력계수의 초기값은 동일하고 동일한 것으로 가정하고, 식 (5.4)에 따라 1차 근사 대상의 군추정은 산술평균값과 같다. 전문가 추정치

(5.7)

(5.8)

공식 (5.6)에 따른 첫 번째 근사치의 능력 계수 값:

(5.9)

1차 근사치의 적격계수를 이용하여 공식 (5.4), (5.5), (5.6)을 사용하여 계산의 전 과정을 반복하고 수량의 2차 근사치를 구할 수 있습니다.

개체 추정치와 능력 계수를 계산하기 위한 반복적인 절차의 반복은 자연스럽게 수렴에 대한 질문을 제기합니다. 이 문제를 고려하기 위해 방정식 (5.4), (5.6)에서 변수를 제거하고 이러한 방정식을 벡터 형식으로 나타냅니다.

행렬 에치수 및 에서치수가 동일

방정식(5.10)의 양은 공식(5.5)에 의해 결정됩니다.

행렬인 경우 에그리고 에서음이 아니며 분해 불가능하며 Perron-Frobenius 정리에서 다음과 같이 사전 벡터 및 - 행렬의 고유 벡터로 수렴 에그리고 에서, 이러한 행렬의 최대 고유값에 해당

(5.12)

벡터의 한계값 엑스그리고 케이다음 방정식에서 계산할 수 있습니다.

(5.13)

행렬의 최대 고유값은 어디에 있습니까? 에그리고 에서 .

행렬의 음수가 아닌 조건 에그리고 에서행렬의 음이 아닌 요소를 선택하여 쉽게 수행 엑스전문가에 의한 개체 평가.

매트릭스 불분해성 조건 에그리고 에서이러한 행렬이 분해 가능하면 전문가와 개체가 독립적인 그룹으로 분해된다는 것을 의미하기 때문에 실제로 그렇습니다. 이 경우 각 전문가 그룹은 해당 그룹의 대상만 평가합니다. 당연히 이 경우 집단 평가를 받는 것은 의미가 없습니다. 따라서 행렬의 음이 아닌 비분해성 조건 에그리고 에서, 따라서 절차 (5.4), (5.5), (5.6)의 수렴 조건은 실제 조건에서 충족됩니다.

객체 및 역량 계수의 그룹 평가 벡터의 실제 계산은 재귀 공식 (5.4), (5.5), (5.6)을 사용하여 수행하는 것이 더 쉽다는 점에 유의해야 합니다. 방정식 (5.13)에 의해 이러한 벡터의 한계 값을 결정하려면 컴퓨터 기술을 사용해야 합니다.

이제 전문가가 순위 방법으로 개체 집합을 평가하여 값이 순위가 되도록 하는 경우를 고려해 보겠습니다. 순위 결과를 처리하는 것은 일반화된 순위를 구축하는 것입니다. 이러한 순위를 구성하기 위해 우리는 순위의 유한 차원 이산 공간과 이 공간에 메트릭을 도입합니다. 개체 집합의 각 순위 제이 th 전문가는 순위 공간의 한 포인트입니다.

순위는 쌍별 비교 행렬로 나타낼 수 있으며, 그 요소는 다음과 같이 정의됩니다.

분명히 모든 객체는 자신과 동등하기 때문입니다. 행렬 요소는 대칭입니다.

순위가 지정된 모든 객체가 동일하면 쌍별 비교 행렬의 모든 요소는 0과 같습니다. 이러한 행렬을 지정하고 행렬에 해당하는 순위 공간의 점이 시작점이라고 가정합니다.

순위가 매겨진 개체의 순서를 반대로 하면 쌍별 비교 행렬이 바뀝니다.

미터법 사이의 거리 나-일과 제이-th 순위는 공식에 의해 고유하게 결정됩니다.

다음 6가지 공리가 충족되면

1. 또한, 순위와 순위가 동일하면 평등을 달성합니다.

또한 순위가 순위와 "사이에" 있으면 평등이 달성됩니다. "사이에 있다"의 개념은 순위에 있는 어떤 개체 쌍에 대한 판단이 in, in 또는 in 중 하나의 이 쌍에 대한 판단과 일치한다는 것을 의미합니다.

여기서 는 객체의 일부 순열과 동일한 순열에서 얻습니다. 이 공리는 객체의 번호 다시 매기기로부터 거리의 독립성을 주장합니다.

5. 두 개의 순위가 , 다음을 제외하고 모든 곳에서 동일한 경우 N- 동시에 두 순위의 세그먼트인 요소 집합인 경우 이러한 순위만 있는 것처럼 계산할 수 있습니다. N-사물. 순위 세그먼트는 보완이 비어 있지 않은 집합이며 이 보완의 모든 요소가 세그먼트의 각 요소 앞이나 뒤에 있습니다. 이 공리의 의미는 세그먼트의 시작과 끝에서 두 순위가 완전히 일치하고 차이가 평균의 순서에 있는 경우 N-객체, 순위 사이의 거리가 평균 순위에 해당하는 거리와 같아야한다고 가정하는 것이 당연합니다. N-사물.

6. 최소 거리는 1입니다.

두 객체에 대한 순위 공간은 같은 직선에 있는 세 점으로 나타낼 수 있습니다. 포인트 사이의 거리는 동일하며 3개의 오브젝트로 가능한 모든 순위의 공간은 13개의 포인트로 구성됩니다.

도입된 메트릭을 사용하여 일반화된 순위를 전문가 순위를 나타내는 포인트와 가장 잘 일치하는 포인트로 정의합시다. 실제로 가장 잘 일치한다는 개념은 중앙값 및 평균 순위로 가장 자주 정의됩니다.

중앙값은 순위 공간의 한 지점으로 모든 지점까지의 거리 합계입니다. 전문가 순위는 최소입니다. 정의에 따르면 중앙값은 조건에서 계산됩니다.

평균 순위는 모든 지점까지의 거리 제곱의 합과 같은 지점입니다. 전문가 순위는 최소입니다. 조건에 따라 평균 순위가 결정됩니다.

순위 공간은 유한하고 불연속적이므로 중앙값 및 평균 순위는 이 공간의 모든 포인트만 될 수 있습니다. 일반적으로 중간 및 평균 순위는 전문가 순위와 일치하지 않을 수 있습니다.

전문가의 역량을 고려하면 다음 조건에 따라 중앙값 및 평균 순위가 결정됩니다.

전문가 역량 계수는 어디에 있습니까?

개체가 여러 지표로 순위가 매겨진 경우 모든 지표에 대해 각 전문가에 대해 중앙값이 먼저 결정된 다음 전문가 집합에 대해 중앙값이 계산됩니다.

(제이 =1,2,…,중);

지표의 가중치 계수는 어디에 있습니까?

중앙값 또는 평균 순위의 형태로 일반화된 순위를 결정하는 주요 단점은 계산이 복잡하다는 것입니다. 순위 공간에서 모든 점을 찾거나 열거하는 형태의 자연스러운 방법은 개체 수가 증가함에 따라 공간 균일성이 매우 빠르게 증가하고 결과적으로 복잡성이 증가하기 때문에 허용되지 않습니다. 계산. 찾는 문제 또는 정수 프로그래밍의 특정 문제로 줄이는 것이 가능합니다. 그러나 이것은 계산상의 어려움을 매우 효과적으로 줄이지 못합니다.

다양한 기준에 따른 일반화된 순위의 불일치는 전문가의 수가 적고 평가가 일관되지 않을 때 발생합니다. 전문가들의 의견이 가까우면 중앙값과 평균값의 기준에 따라 구축된 일반화된 순위가 일치하게 된다.

중앙값 또는 평균 순위 계산의 복잡성으로 인해 더 많은 순위가 필요했습니다. 간단한 방법일반화된 순위를 구축합니다.

이러한 방법 중 순위 합계 방법이 있습니다.

이 방법은 모든 전문가로부터 각 개체가받은 순위 합계 값에 따라 개체의 순위를 지정하는 것으로 구성됩니다. 순위 매트릭스의 경우 합계가 컴파일됩니다.

전문가의 능력을 고려하려면 각각을 곱하는 것으로 충분합니다. 나-능력 계수에 대한 순위 제이-th 전문가 이 경우 순위 합계의 계산 나 th 객체는 다음 공식에 따라 생성됩니다.

(나 =1,2,…,N).

전문가의 역량을 고려한 일반화된 순위는 모든 개체에 대한 순위 합계의 순서를 기반으로 합니다.

순위의 합으로 일반화된 순위를 구성하는 것은 순위가 자연수 1, 2, ..., N. 순위가 순서 척도의 숫자로 임의로 할당되는 경우 순위의 합은 일반적으로 변환의 단조성 조건을 유지하지 않으므로 개체를 서로 다른 매핑에 대해 다른 일반화된 순위를 얻을 수 있습니다. 수치 시스템. 자연수의 도움을 받아 독특한 방식으로 물체의 위치를 번호 매기기를 할 수 있습니다. 따라서 전문가들 사이의 좋은 합의하에 순위 합법을 사용하여 일반화된 순위를 구성하면 중앙값을 계산한 결과와 일치하는 결과를 얻을 수 있습니다.

일반화된 순위를 구성하는 또 다른 이론적으로 입증된 접근 방식은 순위 행렬에서 쌍별 비교 행렬로 이동하고 이 행렬의 최대 고유값에 해당하는 고유 벡터를 계산하는 것입니다. 객체의 순서는 고유 벡터 구성 요소의 크기에 따라 수행됩니다.

3.3. 전문가 의견의 공감대 평가

객체의 순위를 매길 때 전문가들은 일반적으로 해결 중인 문제에 대해 동의하지 않습니다. 이와 관련하여 전문가들의 동의 정도를 정량화할 필요가 있다. 전문가 의견의 일관성을 정량적으로 측정하면 의견 차이의 원인을 보다 합리적으로 해석할 수 있습니다.

현재 전문가 그룹의 의견 일관성 측정에는 분산 및 엔트로피 일치 계수의 두 가지가 있습니다.

일치의 분산 계수. 순위 결과 매트릭스를 고려하십시오. N그룹별 개체 중전문가( 제이 =1,…,중 ; 나 =1,…,N), 순위가 할당된 위치 제이-두 번째 전문가 나-번째 개체. 각 열의 순위 합계를 컴파일합니다. 결과적으로 구성 요소가 있는 벡터를 얻습니다.

(나=1,2,…,n). (5.14)

수량을 확률 변수의 실현으로 간주하고 분산 추정치를 구해 보겠습니다. 알려진 바와 같이 최소 평균 제곱 오차 기준에 따라 최적인 분산 추정치는 다음 공식에 의해 결정됩니다.

, (5.15)

수학적 기대치의 추정치는 다음과 같습니다.

일치의 분산 계수는 이 추정값의 최대값에 대한 분산 추정값(5.15)의 비율로 정의됩니다.

일치 계수는 0에서 1로 변경됩니다.

관련된 순위가 없는 경우(모든 개체가 다름) 분산 추정치의 최대값을 계산해 보겠습니다. 먼저 수학적 기대치의 추정이 대상의 수와 전문가의 수에만 의존한다는 것을 보여줍시다. (5.14)의 값을 (5.16)에 대입하면 다음을 얻습니다.

먼저 합산한 것을 고려하십시오. 나고정된 제이. 이것은 에 대한 순위의 합계입니다. 제이- 전문가. 전문가는 1에서 1까지의 자연수를 사용하기 때문에 N, 그런 다음 알려진 바와 같이 1에서 1까지의 자연수의 합 N와 동등하다

(5.19)

(5.19)를 (5.18)에 대입하면 다음을 얻습니다.

(5.20)

따라서 평균값은 전문가의 수에만 의존합니다. 중및 개체 수 N .

분산 추정치의 최대값을 계산하기 위해 (5.14)의 값을 (5.15)로 대체하고 괄호 안의 이항식을 제곱합니다. 결과적으로 우리는

(5.21)

(5.18)부터 다음과 같이 고려됩니다.

우리는 얻는다

(5.22)

최대 분산 값은 다음에서 도달합니다. 가장 높은 가치대괄호의 첫 번째 용어. 이 멤버의 값은 본질적으로 순위의 위치에 따라 달라집니다(각 줄의 자연수). 나. 예를 들어 모든 중전문가들은 모든 사람에게 동일한 순위를 부여했습니다. N사물. 그런 다음 행렬의 각 행에 동일한 숫자가 배치됩니다. 따라서 각 순위의 합계는 나-u 라인 제공 중- 여러 번 반복 나-ro 번호:

제곱 및 합산 나, 우리는 (5.22)에서 첫 번째 항의 값을 얻습니다.

(5.23)

이제 전문가들이 예를 들어 다음과 같이 일치하지 않는 순위를 부여한다고 가정합니다. N =중모든 전문가는 동일한 개체에 다른 순위를 할당합니다. 그 다음에

이 표현을 다음과 비교하면 중 =N, 우리는 공식 (9)의 대괄호 안의 첫 번째 항이 두 번째 항과 같으므로 분산 추정치가 0인지 확인합니다.

따라서 전문가 순위가 완전히 일치하는 경우는 분산 추정값의 최대값에 해당합니다. (5.23)을 (5.22)에 대입하고 변환을 수행하면 다음을 얻습니다.

(5.24)

표기법을 소개합니다

(5.25)

(5.25)를 사용하여 분산 추정치(5.15)를 다음과 같이 씁니다.

(5.24), (5.25), (5.26)을 (5.17)에 대입하고 인수 ( N-1), 일치 계수에 대한 최종 표현식을 작성합니다.

(5.27)

이 공식은 관련 순위가 없는 경우의 일치 계수를 결정합니다.

순위에 연결된 순위가 있는 경우 공식(5.17)의 분모 분산 최대값은 연결된 순위가 없는 경우보다 작아집니다. 관련 순위가 있는 경우 일치 계수는 다음 공식으로 계산됨을 알 수 있습니다.

(5.28)

(5.29)

공식 (5.28)에서 - 관련 순위 지표 제이-th 순위, -에서 동일한 순위의 그룹 수 제이-th 순위, -에서 동일한 순위의 수 케이-순위를 매길 때 관련 순위의 th 그룹 제이전문가. 일치하는 순위가 없으면 =0,=0이므로 =0입니다. 이 경우 공식 (5.28)은 공식 (5.27)과 일치합니다.

모든 전문가 순위가 동일한 경우 일치 계수는 1입니다. 일치 계수는 모든 순위가 다른 경우, 즉 일치하는 항목이 전혀 없는 경우 0입니다.

공식 (5.27) 또는 (5.28)에 의해 계산된 일치 계수는 계수의 실제 값의 추정치이므로 확률 변수입니다. 일치 계수 추정값의 중요성을 결정하려면 도수 분포를 알아야 합니다. 다른 의미전문가의 수 중및 개체 수 N. 주파수 할당 여에 대해 계산하고 에서 계산합니다. 큰 값의 경우 중그리고 N알려진 통계를 사용할 수 있습니다. 개체 수와 함께 N>7 일치 계수의 중요성 평가는 기준에 따라 이루어질 수 있습니다. 값 wm (N -1 )는 다음과 같은 분포를 가지고 있습니다. v=n-1 자유도.

연관된 순위가 있는 경우 분포 v=n-1 자유도의 값은 다음과 같습니다.

(5.30)

엔트로피 일치 계수공식(합의 계수)에 의해 결정됩니다.

어디 시간공식에 의해 계산된 엔트로피

(5.32)

a는 최대 엔트로피 값입니다. 엔트로피 공식에서 - 확률 추정 제이-순위 할당 나-번째 개체. 이러한 확률 추정치는 개체에 순위를 할당한 전문가 수의 비율로 계산됩니다. 제이전체 전문가 수에 해당합니다.

엔트로피의 최대 값은 순위의 균등 확률 분포, 즉 언제. 그 다음에

이 관계를 식 (5.32)에 대입하면 다음을 얻습니다.

(5.35)

일치 계수는 0에서 1까지 다양합니다. 순위에 따른 개체의 배열이 동일할 가능성이 있는 경우, 이 경우 . 이 경우는 공식화된 지표 세트에 따라 대상의 순위를 매길 수 없거나 전문가 의견의 완전한 불일치 때문일 수 있습니다. 에서, 이는 제로 엔트로피( 시간=0), 모든 전문가가 동일한 순위를 부여합니다. 실제로이 경우 각 고정 대상에 대해 모든 전문가가 동일한 순위를 지정합니다. 제이, 그러므로, , 그러므로, 그리고 시간 =0.

분산 및 엔트로피 일치 계수의 비교 평가는 이러한 계수가 가까운 순위를 가진 전문가의 일관성에 대해 거의 동일한 평가를 제공한다는 것을 보여줍니다. 그러나 예를 들어 전체 전문가 그룹이 두 개의 하위 그룹으로 의견이 나뉘고 이러한 하위 그룹의 순위가 반대(직접 및 역)인 경우 일치 분산 계수는 0이고 엔트로피 계수 일치도는 0.7과 같습니다. 따라서 일치의 엔트로피 계수는 의견을 두 개의 반대 그룹으로 나누는 사실을 고정할 수 있습니다. 엔트로피 일치 계수에 대한 계산량은 분산 일치 계수보다 다소 큽니다.

3.4. 쌍별 개체 비교 처리

많은 수의 대상을 평가하는 문제(순위 지정, 상대적 가중치 결정, 채점)를 해결할 때 대상의 많은 속성에 대한 전문가의 인식으로 인해 심리적 어려움이 발생합니다. 전문가는 개체의 쌍별 비교 문제를 비교적 쉽게 해결합니다. 전이 조건을 부과하지 않고 쌍 비교 결과를 기반으로 전체 객체 세트의 추정치를 얻는 방법은 무엇입니까? 이 문제를 해결하기 위한 알고리즘을 고려하십시오. 허락하다 중전문가는 모든 쌍의 물체를 평가하여 수치적 추정치를 제공합니다.

(5.36)

한 쌍의 전문가를 평가할 때 전문가의 선호에 대해 찬성하고 전문가가 이러한 대상을 동등하다고 생각하는 경우 확률 변수의 수학적 기대 추정치는 다음과 같습니다.

(5.37)

전문가의 총 수는 합계와 같습니다.

(5.38)

여기에서 결정하고 (5.37)에 대입하면 다음을 얻습니다.

(5.39)

값 세트가 모든 객체의 순위를 만들고 객체의 상대적 중요성 계수를 결정할 수 있는 기반으로 매트릭스를 형성한다는 것은 분명합니다.

순서의 객체의 상대적 중요성 계수 벡터를 소개하겠습니다. 티다음 공식:

여기서 는 개체 쌍의 추정치에 대한 수학적 기대치의 행렬이고, - 순서 객체의 상대적 중요도 계수의 벡터 티 . 값은

(5.41)

첫 번째 순서의 상대적 중요도 계수는 행렬 행 요소의 상대적 합입니다. 엑스. 과연, 가정 티=1, (5.40)에서 우리는

(5.42)

2차 상대 중요도 계수( 티=2)는 행렬의 행 요소의 상대 합입니다. x2 .

(5.43)

만약 매트릭스 엑스음수가 아니고 분해할 수 없으며, 차수가 증가함에 따라 수량은 행렬의 최대 고유값으로 수렴합니다. 엑스

객체의 상대적 중요도 계수의 벡터는 행렬의 고유 벡터로 가는 경향이 있습니다. 엑스최대 고유값에 해당

행렬의 고유값과 고유 벡터는 대수 방정식을 풀어서 결정됩니다.

여기서 E는 단위 행렬이고 선형 방정식 시스템

어디 케이행렬 고유 벡터 엑스최대 고유값에 해당합니다. 고유 벡터 구성 요소는 비율 척도로 측정된 객체의 상대적 중요도 계수입니다.

실용적인 관점에서 다음 공식 (5.40)에 따라 순차적 절차에 따라 객체의 상대적 중요도 계수를 계산하는 것이 더 쉽습니다. 티=1, 2, ... 경험에서 알 수 있듯이 3-4 개의 연속 계산으로 값을 얻고 케이, 방정식 (5.46), (5.47)에 의해 결정된 한계 값에 가깝습니다.

행렬은 모든 요소(5.39)가 음수가 아니므로 음수가 아닙니다. 행(동일한 이름의 행과 열)을 치환하여 삼각형 형태로 축소할 수 없는 행렬을 분해 불가 행렬이라고 합니다.

(5.48)

행렬의 분해 불가능한 부분행렬은 어디에 있습니까? 엑스. 행렬 표현 엑스형식 (5.48)은 객체를 다음으로 나누는 것을 의미합니다. 엘지배적 인 세트

~에 1 =N행렬 엑스즉, 원래 개체 집합과 일치하는 지배적인 집합이 하나만 있습니다. 매트릭스 분해성 엑스이는 전문가들 사이에서 대상 평가에 큰 불일치가 있음을 의미합니다.

만약 매트릭스 엑스분해할 수 없는 경우 상대적 중요도 계수를 계산하면 비교 지표 측면에서 한 개체가 다른 개체보다 몇 배나 우수한지 결정할 수 있습니다. 객체의 상대적 중요성 계수를 계산하면 객체의 순위를 동시에 작성할 수 있습니다. 첫 번째 개체가 상대 중요도 계수가 가장 높은 개체가 되도록 개체의 순위가 지정됩니다. 완전한 순위는 불평등의 사슬에 의해 결정됩니다.

다음에서

행렬 X가 분해 가능한 경우 각 집합에 대해서만 상대적 중요도 계수를 결정할 수 있습니다. 각 행렬에 대해 최대 고유값과 해당 고유 벡터가 결정됩니다. 고유 벡터의 구성 요소는 집합에 포함된 객체의 상대적 중요도 계수입니다. 이 계수에 따라 이 집합의 개체가 순위가 매겨집니다. 개체의 전체 순위는 관계에 의해 지정됩니다.

따라서 행렬의 경우 엑스분해 할 수없는 경우 대상의 쌍 비교 결과에 따라 관계의 척도와 순서의 척도 (순위)에서 대상의 선호도를 측정하는 것이 가능합니다. 만약 매트릭스 엑스분해할 수 있는 경우에는 개체의 순위 지정만 가능합니다.

선호 관계는 임의의 양수로 표현될 수 있다는 점에 유의해야 합니다. 에서. 이 경우 조건이 충족되어야 하며 특히 다음 중 하나를 선택할 수 있습니다. 에서=2 그래서 if , then if then 그리고 if , then .

3.5. 순위 관계 결정

순위 결과를 처리할 때 두 전문가의 순위 간의 관계, 동일한 문제 집합을 해결할 때 두 가지 다른 목표 달성 간의 관계 또는 두 기능 간의 관계를 결정하는 문제가 있을 수 있습니다.

이러한 경우 관계의 척도는 다음과 같습니다. 순위 상관 계수. 순위 또는 목표 집합의 관계 특성은 순위 상관 계수의 행렬이 됩니다. Spearman 및 Kendall의 순위 상관 계수가 알려져 있습니다.

Spearman의 순위 상관 계수는 다음 공식에 의해 결정됩니다.

여기서 는 첫 번째 순위와 두 번째 순위의 상호 상관 모멘트이고, 는 이러한 순위의 분산입니다. 이 두 순위를 기반으로 상호 상관 모멘트와 분산의 추정치는 다음 공식으로 계산됩니다.

(5.51)

(5.52)

어디 N- 순위가 지정된 개체의 수 - 각각 첫 번째 및 두 번째 순위의 순위 - 첫 번째 및 두 번째 순위의 평균 순위. 평균 순위 추정치는 다음 공식에 의해 결정됩니다.

(5.53)

순위에 관련 순위가 없다는 가정 하에 평균 순위 및 분산 추정치를 계산해 보겠습니다. 즉, 두 순위 모두 개체의 엄격한 순서를 제공합니다. 이 경우 평균 순위(5.53)는 1부터 1까지의 자연수의 합입니다. N로 나눈 N. 따라서 두 순위의 평균 순위는 동일하고 동일합니다.

(5.54)

분산 추정치를 계산할 때 수식 (5.52)에서 괄호를 열면 자연수와 그 제곱이 합계 기호 아래에 표시됩니다. 두 순위는 순위의 순열에 의해서만 서로 다를 수 있지만 자연수와 그 제곱의 합은 항의 순서(순열)에 의존하지 않습니다. 따라서 두 순위(관련 순위가 없는 경우)에 대한 분산(5.52)은 다음과 같을 것입니다.

(i=1.2). (5.55)

(5.51) 및 (5.55)의 값을 공식 (5.50)에 대입하면 Spearman 순위 상관 계수에 대한 추정치를 얻습니다.

(5.56)

실제 계산을 위해서는 Spearman 상관 계수에 대한 다른 공식을 사용하는 것이 더 편리합니다. 식을 사용하여 (5.56)에서 얻을 수 있습니다.

등식(5.57)에서 식(5.55)의 다음과 같이 오른쪽의 처음 두 합은 동일하고 다음과 같습니다.

공식 (5.56)에서 (5.57)의 합 값을 대입하고 등식 (5.58)을 사용하여 Spearman의 순위 상관 계수에 대해 계산에 편리한 다음 공식을 얻습니다.

(5.59)

Spearman의 상관 계수는 -1에서 +1까지 다양합니다. 동일한 순위, 즉 가치가 반대 순위(직접 및 역 순위)로 발생하는 경우 공식(5.59)에서 다음과 같이 1과 같음이 달성됩니다. 상관 계수가 0이면 순위는 선형 독립적인 것으로 간주됩니다.

식(5.59)에 의해 계산된 상관계수의 추정치는 확률변수이다. 이 추정값의 유의성을 결정하려면 확률값을 설정하고 상관계수의 유의성을 결정하며 근사식을 사용하여 임계값을 결정해야 합니다.

(5.60)

어디 N는 객체의 수이며, 함수의 역함수입니다.

테이블이 있습니다. 임계값을 계산한 후 상관 계수 추정값은 다음과 같은 경우 유의한 것으로 간주됩니다.

Spearman 계수 추정값의 중요성을 결정하기 위해 스튜던트 기준을 사용할 수 있습니다.

대략적으로 학생의 법칙에 따라 N- 2 자유도.

순위에 관련 순위가 있는 경우 Spearman 계수는 다음 공식을 사용하여 계산됩니다.

(5.62)

여기서 는 공식 (5.59)에 의해 계산된 Spearman 순위 상관 계수의 추정치이며 값은 다음과 같습니다.

(5.63)

이 공식에서 - 각각 첫 번째 및 두 번째 순위에서 서로 다른 관련 순위의 수입니다.

관련 순위가 없는 경우 Kendall의 순위 상관 계수는 다음과 같이 지정됩니다.

어디 N– 개체의 수, - 개체의 순위, 징후 엑스는 다음과 같은 함수입니다.

Spearman 및 Kendall 순위 상관 계수의 비교 평가는 Spearman 계수가 더 간단한 공식을 사용하여 계산됨을 보여줍니다. 또한 Spearman 계수는 최소 평균 제곱 오차 기준으로 상관 계수의 최적 추정값이므로 보다 정확한 결과를 제공합니다.

따라서 순위의 상관 의존성의 실제 계산에서는 Spearman 순위 상관 계수를 사용하는 것이 바람직합니다.

결론

현대 경제 과제의 역동성과 참신함, 의사 결정의 효율성에 영향을 미치는 다양한 요인의 출현 가능성으로 인해 이러한 결정은 신속하고 동시에 충분히 입증되어야 합니다. 경험, 직관, 원근감이 정보와 결합되어 전문가가 가장 중요한 목표와 개발 방향을보다 정확하게 선택하고 정보가없는 조건에서 복잡한 과학, 기술 및 사회 경제적 문제를 해결하기위한 최상의 옵션을 찾도록 돕습니다. 과거에 유사한 문제를 해결합니다.

전문가 평가 방법을 사용하면 정보에 입각한 결정을 내리는 데 가장 편리한 형식으로 변환하기 위해 전문가의 의견을 수집, 요약 및 분석하는 절차를 공식화하는 데 도움이 됩니다.

그러나 전문가 평가 방법은 관리 또는 계획 결정을 대체할 수 없으며 그러한 결정의 준비 및 채택에 필요한 정보를 보충할 수 있을 뿐입니다. 전문가 평가의 광범위한 사용은 미래를 분석하기 위해 보다 정확한 방법을 적용하는 것이 불가능한 경우에만 정당화됩니다.

전문가 방법은 지속적으로 개발되고 개선됩니다. 이 개발의 주요 방향은 여러 가지 요인에 의해 결정되며, 그 중 하나는 범위를 확장하고 수학적 방법 및 전자 컴퓨터의 사용 정도를 늘리고 새로운 단점을 제거하는 방법을 찾고자 하는 욕구를 가리킬 수 있습니다.

최근 몇 년간 전문가 평가 방법의 개발과 실용화에 진전이 있었음에도 불구하고, 추가적인 방법론적 연구와 실질적인 검증이 필요한 많은 문제와 과제가 있다. 전문가 선정 체계의 개선, 집단 의견 특성의 신뢰도 제고, 평가의 타당성 확인 방법 개발, 전문가 평가의 신뢰도를 저하시키는 숨은 원인에 대한 연구가 필요하다.

그러나 오늘날에도 다른 수학적 및 통계적 방법과 결합된 전문가 평가는 모든 수준에서 관리를 개선하기 위한 중요한 도구입니다.

서지:

2. 베클레셰프 V.K., 자블린 P.N. 연구 기관 및 디자인 국의 노동 배급. M.: 경제학, 1973. 203 p.

10. Dobrov G.M., Ershov Yu.V., Levin E.I., Smirnov L.P. 과학 및 기술 예측에 대한 전문가 평가. 키예프: Naukova Dumka, 1974. 263 p.

11. 에블라노프 L.G. 불확실성 하에서의 의사결정. M.: IUNKh, 1976. 196 p.

12. Evlanov L.G., Kutuzov V.A. 관리에 대한 전문가 평가. M.: 경제학, 1978. 133 p.

13. Kardanskaya N. 관리 의사 결정. M.: UNITI, 1999. 407 p.

14. Kemeny D., Snell D. 사이버네틱 모델링. M.: 소련 라디오, 1972. 234 p.

15. 크라브첸코 T.K. 계획 결정을 내리는 과정. M.: 경제학, 1974. 183 p.

16. 미르킨 B.G. 그룹 선택의 문제. M.: Nauka, 1974. 256 p. . 17. 미히예프 V.I. 관리의 사회 심리적 측면. 머리의 스타일과 작업 방법. M.: Young Guard, 1975. 181 p.

18. Pfantsagl I. 측정 이론. M.: Mir, 1976. 278 p.

19. 티코미로프 유아. 관리 결정. M.: Nauka, 1996. 278 p.

20. 페도렌코 N.P. 경제 최적화. M.: Nauka, 1977. 236 p.

21. Yampolsky S.M., Lisichkin V.A. 과학 및 기술 발전을 예측합니다. M.: 경제학, 1974. 302 p.

전문가의 의사결정 방법

결정은 객관적인 데이터(최적화 방법 및 확률-통계 모델 사용 포함)를 기반으로 하거나 전문가(전문가)의 의견을 기반으로 할 수 있습니다. 전략 및 운영 관리, 기술 및 경제 분석, 환경 안전, 환경 관리 및 환경 보호 등의 업무에서 다양한 전문가 평가 방법이 지속적으로 사용됩니다. 이 장에서 설명합니다.

전문가 평가 방법의 주요 아이디어

전문가 평가 방법의 예.시간이 지남에 따라 경제 환경은 어떻게 변할까요? 10년 후 자연환경은 어떻게 될까요? 환경은 어떻게 바뀔까요? 산업 생산의 환경 안전이 보장됩니까, 아니면 인공 사막이 확산되기 시작할 것입니까? 100% 신뢰할 수 있는 예측이 불가능하다는 것을 이해하려면 이러한 자연스러운 질문에 대해 생각하고 10년 또는 20년 이상 전에 현재를 어떻게 상상했는지 분석하는 것으로 충분합니다. 특정 숫자가 있는 진술 대신 정성적 평가만 예상할 수 있습니다. 그럼에도 불구하고 우리 관리자, 경제학자, 엔지니어는 예를 들어 환경 및 기타 프로젝트 및 투자에 대한 결정을 내려야하며 그 결과는 10, 20 등으로 느껴질 것입니다. 연령. 어떻게 될 것인가? 전문가 평가 방법으로 전환해야합니다. 이러한 방법은 무엇입니까?

정보에 입각한 결정을 내리기 위해서는 전문가의 경험, 지식 및 직관에 의존해야 한다는 것은 부인할 수 없습니다. 제 2 차 세계 대전 후 사이버네틱스, 제어 이론, 관리 및 운영 연구의 틀 내에서 전문가 평가의 이론과 실제와 같은 독립적 인 분야가 개발되기 시작했습니다.

전문가 평가 방법은 전문가와 함께 작업을 구성하고 전문가 의견을 처리하는 방법입니다.. 이러한 의견은 일반적으로 부분적으로는 양적으로, 부분적으로는 질적으로 표현됩니다. 의사결정자(의사결정자는 의사결정자임)의 의사결정을 위한 정보를 준비하기 위해 전문가 조사가 수행됩니다. 전문가 평가 방법에 대한 작업을 수행하기 위해 의사 결정자를 대신하여 전문가 위원회(EC)에서 통합된(공식적으로 또는 본질적으로) 전문가의 활동을 구성하는 작업 그룹(WG로 약칭)이 생성됩니다. .

전문가 의견은 개인그리고 집단적. 개별 평가이것은 한 전문가의 추정치입니다. 예를 들어, 교사는 혼자서 학생에게 표시를 하고 의사는 환자에게 진단을 내립니다. 그러나 질병의 어려운 경우 또는 가난한 학업으로 인한 학생의 퇴학 위협이있을 때 그들은 집단적의견 - 의사 심포지엄 또는 교사 위원회. 군대에서도 상황은 비슷하다. 일반적으로 지휘관이 단독으로 결정을 내립니다. 그러나 어렵고 책임있는 상황에서 군사 평의회가 개최됩니다. 이러한 종류의 가장 유명한 예 중 하나는 1812년 Fili에서 열린 군사 평의회에서 M.I. Kutuzov는 "프랑스인에게 모스크바 근처에서 전투를 줄 것인지 말 것인지"라는 질문이 결정되었습니다.

전문가 평가의 또 다른 간단한 예는 KVN의 숫자 평가입니다. 심사위원들은 각자 자신의 점수로 합판을 올리고, 기술직은 산술평균점수를 계산하여 심사위원들의 집단적 의견으로 선언한다. ).

피겨 스케이팅에서는 절차가 더 복잡해집니다. 평균화하기 전에 가장 큰 점수와 가장 작은 점수는 삭제됩니다.이것은 한 선수(예: 동포)를 과대평가하거나 다른 선수를 과소평가하려는 유혹이 없도록 하기 위한 것입니다. 일반 시리즈와 크게 다른 추정치는 즉시 폐기됩니다.

전문가 판단은 선택에 자주 사용됩니다. 예를 들면 다음과 같습니다.

일련의 여러 샘플을 시작하기 위한 기술 장치의 한 변형,

많은 지원자들의 우주비행사 그룹,

대규모 지원에서 자금 지원을 위한 연구 프로젝트 모집,

많은 신청자들로부터 환경 대출을 받은 분들,

선택할 때 투자 프로젝트제시된 것 등의 구현을 위해

전문가 평가를 얻는 방법에는 여러 가지가 있습니다. 어떤 경우에는 각 전문가와 따로 작업을 하여 다른 사람이 전문가인지도 모르고 당국에 구애받지 않고 자신의 의견을 표명하기도 합니다. 다른 곳에서는 전문가들이 모여 의사결정자를 위한 자료를 준비하고, 전문가들이 서로 문제를 논의하고, 서로 배우고, 잘못된 의견은 버립니다. 어떤 방법에서는 전문가의 수를 고정하고 의견의 일관성을 확인하고 평균을 내는 통계적 방법을 통해 정보에 입각한 결정을 내릴 수 있습니다. 다른 곳에서는 예를 들어 "눈덩이" 방법을 사용할 때와 같이 검사를 수행하는 과정에서 전문가의 수가 증가합니다(나중에 자세히 설명).

수학이 풍부하고 전산화 된 것을 포함하여 전문가의 답변을 처리하는 방법은 적지 않습니다. 그들 중 다수는 수치가 아닌 대상의 통계 및 기타 현대 응용 통계 방법의 성과를 기반으로합니다.

가장 잘 알려진 피어 리뷰 방법 중 하나는 델파이 방식. 이름은 델포이 신전에 지원하기로 결정할 때 지원을 받는 고대 관습과 관련하여 주어졌습니다. 그것은 유독 한 화산 가스의 출구에 위치했습니다. 독을 흡입하는 사원의 여사제는 이해할 수없는 말을하면서 예언하기 시작했습니다. 특별한 "번역가"- 사원의 사제는 이 말을 해석하고 문제를 안고 온 순례자들의 질문에 주목했습니다. 전승에 따르면 델포이 신전은 그리스에 있었다고 합니다. 그러나 화산은 없습니다. 분명히 그는 Vesuvius 또는 Etna 근처의 이탈리아에 있었고 XII-XIV 세기에 설명 된 예측 자체가 발생했습니다. 이것은 현대 역사 과학의 최고 업적인 새로운 통계 연대기에서 비롯된 것입니다.

1960년대 미국에서는 델파이 방식을 과학기술 발전을 예측하는 전문가 절차라고 불렀다. 첫 번째 라운드에서 전문가들은 특정 미래 성취의 예상 날짜를 불렀습니다. 두 번째 라운드에서 각 전문가는 다른 모든 전문가의 예측을 알게 되었습니다. 그의 예측이 대량의 예측과 매우 다른 경우, 그는 자신의 입장을 설명하라는 요청을 받았고 종종 평균 값에 접근하여 추정을 변경했습니다. 이 평균값은 집단의견으로 고객에게 주어졌습니다. 라고 말해야 합니다. 실제 결과연구는 다소 겸손한 것으로 판명되었습니다. 미국인이 달에 착륙하는 날짜는 한 달 이내에 예측되었지만 다른 모든 예측은 실패했습니다. 20세기의 저온 열핵 융합과 암 치료법. 인류는 기다리지 않았다.

그러나 기술 자체는 인기있는 것으로 판명되었습니다. 이후 몇 년 동안 적어도 40,000 번 사용되었습니다. 델파이 방식을 사용한 전문가 연구의 평균 비용은 미화 5,000달러이지만 경우에 따라 더 많은 금액(최대 130,000달러)을 지출해야 했습니다.

전문가 평가의 주류와는 다소 거리가 있습니다. 스크립팅 방법주로 전문가 예측에 사용됩니다. 시나리오 전문가 예측 기술의 주요 아이디어를 고려해 보겠습니다. 일반적으로 모든 예측과 마찬가지로 환경 또는 사회 경제적 예측은 조건의 일부 안정성에서만 성공할 수 있습니다. 그러나 당국, 개인 및 기타 이벤트의 결정은 조건을 변경하고 이벤트는 이전에 예상했던 것과 다른 방식으로 진행됩니다. 1996년 대통령 선거의 첫 번째 라운드 이후에 시나리오의 측면에서만 사건의 추가 발전에 대해 말할 수 있었던 것은 아주 분명합니다. 만약 B.N. Yeltsin, G.A.가 이기면 이것 저것이 일어날 것입니다. Zyuganov, 그러면 이벤트가 이쪽 저쪽으로 갈 것입니다.

시나리오 방식은 사회경제적, 환경적 분야에서만 필요한 것이 아니다. 예를 들어 방법론, 소프트웨어 및 정보 지원을 개발할 때 위험도 분석화학 및 기술 프로젝트의 경우 독성 누출과 관련된 사고 시나리오의 상세한 카탈로그를 작성해야 합니다. 화학 물질. 이러한 각 시나리오는 개별 기원, 발달, 결과 및 경고 기능과 함께 해당 유형의 사고를 설명합니다.

따라서 시나리오 방법은 가능한 모든 개발 옵션을 함께 포함하는 이벤트(시나리오) 개발을 위한 개별 옵션 세트의 선택을 제공하는 예측 문제의 분해 방법입니다. 동시에 각 개별 시나리오는 충분히 정확한 예측을 허용해야 하며 총 시나리오 수가 표시되어야 합니다.

그러한 분해의 가능성은 분명하지 않습니다. 시나리오 방법을 적용할 때 연구의 두 단계를 수행해야 합니다.

포괄적이지만 관리 가능한 시나리오 세트 구축

연구자가 관심 있는 질문에 대한 답변을 얻기 위해 각 특정 시나리오 내에서 예측합니다.

이러한 각 단계는 부분적으로만 형식화됩니다. 추론의 상당 부분은 사회 경제 및 사회 경제의 관습에 따라 질적 수준에서 수행됩니다. 인문학. 그 이유 중 하나는 과도한 형식화와 수학화에 대한 욕구가 인공의본질적으로 존재하지 않는 확실성의 도입 또는 성가신 수학적 장치의 사용. 따라서 언어 수준의 추론은 대부분의 상황에서 증거로 간주되는 반면, 예를 들어 퍼지 집합 이론을 사용하여 사용된 단어의 의미를 명확히 하려는 시도는 매우 번거로운 수학적 모델로 이어집니다.

시나리오 세트가 표시되어야 합니다. 우리는 외계인의 도착, 소행성의 추락, 이전에 알려지지 않은 질병의 대량 전염병 등 다양한 가능성이 없는 사건을 배제해야 합니다. 그 자체로 일련의 시나리오를 만드는 것이 전문가 연구의 주제입니다. 또한 전문가는 특정 시나리오의 구현 가능성을 평가할 수 있습니다.

연구자가 관심 있는 질문에 대한 답변을 얻기 위한 각 특정 시나리오 내 예측도 위에서 설명한 예측 방법론에 따라 수행됩니다. 안정적인 조건에서 시계열 예측을 위한 통계적 방법을 적용할 수 있습니다. 그러나 이것은 전문가의 도움을 받아 분석이 선행되며 종종 구두 수준의 예측으로 충분하며(연구원과 의사 결정자가 관심 있는 결론을 얻기에) 정량적 설명이 필요하지 않습니다.

아시다시피 다음을 기반으로 결정을 내릴 때 상황 분석(그들이 말했듯이, 상황 분석) 예측 연구의 결과 분석을 포함하여 다양한 기준을 기반으로 할 수 있습니다. 따라서 상황이 최악, 최선 또는 평균(어떤 의미에서든)으로 발전할 것이라는 사실에 집중할 수 있습니다. 모든 시나리오 등에서 최소한의 수용 가능한 유용한 결과를 제공하는 활동을 간략하게 설명할 수 있습니다.

동료 검토를 위한 또 다른 옵션은 영감. 그것은 전문가 회의로 구성되어 있지만 연설에는 매우 중요한 제한이 있습니다. 다른 사람의 제안을 비판할 수 없습니다. 당신은 그것을 발전시킬 수 있고, 당신의 생각을 표현할 수 있지만, 당신은 비판할 수 없습니다! 회의 중에 전문가들은 서로 "감염"하면서 점점 더 사치스러운 고려를 표명합니다. 2시간 후, 녹음기나 비디오 카메라에 녹화된 세션이 종료되고 브레인스토밍의 두 번째 단계인 표현된 아이디어 분석이 시작됩니다. 일반적으로 100개 아이디어 중 30개는 더 자세히 설명할 가치가 있으며, 5-6개 중 응용 프로젝트를 공식화할 수 있으며 2-3개는 궁극적으로 이익, 환경 안전 향상, 자연 환경 개선과 같은 유익한 효과를 가져옵니다. , 등. 동시에 아이디어의 해석은 창의적인 과정입니다. 예를 들어, 어뢰 공격으로부터 선박을 보호할 수 있는 가능성에 대해 논의할 때 "선원을 측면에 정렬하고 어뢰를 날려 진로를 변경하십시오."라는 아이디어가 표현되었습니다. 정교화 후, 이 아이디어는 어뢰를 경로에서 벗어나게 하는 파도를 생성하는 특수 장치의 제작으로 이어졌습니다.

전문가 설문조사의 주요 단계.전문가 연구의 개별 단계를 자세히 살펴보겠습니다. 경험에서 알 수 있듯이 이러한 연구의 주최자 인 관리자의 관점에서 전문가 설문 조사의 다음 단계를 선택하는 것이 좋습니다.

1) 전문가 설문 조사의 필요성을 결정하고 의사 결정권자(DM)가 그 목적을 공식화합니다.따라서 이니셔티브는 경영진에서 나와야하며 미래에 조직 및 재정 문제의 성공적인 솔루션을 보장합니다. 분명히 초기 추진력은 직원 중 한 사람의 메모나 회의에서의 토론으로 주어질 수 있지만 실제 작업의 시작은 의사 결정자의 결정입니다.

2) 워킹 그룹의 주요 구성 의사 결정권자의 선정 및 임명,약칭 WG(보통 - 감독자 및 비서). 동시에 감독자는 전체 전문가 연구를 조직하고 수행하고 수집 된 자료를 분석하고 전문가위원회의 결론을 공식화하는 책임이 있습니다. 그는 전문가 팀을 구성하고 각 전문가에게 작업을 발행하는 데 참여합니다(의사 결정권자 또는 그의 대리인과 함께). 그 자신은 높은 자격을 갖춘 전문가이며 다른 전문가들이 인정하는 전문가 위원회의 공식 및 비공식 지도자입니다. 비서의 임무는 조직 문제를 해결하기 위해 전문가 설문 조사의 문서를 유지하는 것입니다.

3) WG 개발(보다 정확하게는 주요 직원, 주로 감독자와 비서) 전문가 설문 조사를 수행하기위한 위임 조건의 의사 결정자의 승인. 이 단계에서 전문가 설문 조사를 수행하기로 한 결정은 시간, 재정, 인력, 물질 및 조직 지원 측면에서 명확해집니다. 특히 작업 그룹이 구성되고 분석, 계량 경제학 (방법 전문가), 컴퓨터, 전문가 (예 : 면접관) 및 조직과의 다양한 전문가 그룹이 WG에서 구별됩니다. 이러한 모든 직책이 의사 결정권자의 승인을 받는 것은 성공을 위해 매우 중요합니다.

4) 전문가 의견(평가)의 수집 및 분석을 위한 세부 시나리오(예: 규정)의 WG 분석 그룹에 의한 개발.시나리오에는 우선 전문가로부터 받을 특정 유형의 정보(예: 단어, 조건부 그라데이션, 숫자, 순위, 분할 또는 기타 유형의 비숫자 개체)가 포함됩니다. 예를 들어, 전문가들은 사전에 공식화된 여러 질문에 답하면서 자유롭게 말하도록 요청받는 경우가 많습니다. 또한 각 지점에서 여러 그라데이션 중 하나를 선택하여 형식적 지도를 완성해야 합니다. 스크립트에는 수집된 정보를 분석하기 위한 특정 방법도 포함되어야 합니다. 예를 들어, Kemeny 중앙값 계산, Lucians의 통계 분석, 숫자가 아닌 개체에 대한 다른 통계 방법의 사용 및 응용 통계의 기타 섹션(이 방법 중 일부는 아래에서 논의됨). 이 작업은 WG의 계량 경제학 및 컴퓨터 그룹에 속합니다. 전통적인 실수는 먼저 정보를 수집한 다음 이를 어떻게 처리할지 생각하는 것입니다. 결과적으로 슬픈 경험에서 알 수 있듯이 정보는 1-2% 이하로 사용됩니다.

5) 전문가 선정그들의 능력에 따라. 이 단계에서 WG는 가능한 전문가 목록을 작성하고 제안된 연구에 대한 적합성을 평가합니다.

6) 전문가위원회 구성. 이 단계에서 WG는 전문가와 협상을 수행하고 전문가 위원회(약칭 EC)에서 작업하기로 동의합니다. WG에서 임명한 전문가 중 일부는 전문가 위원회에 포함될 수 없거나(질병, 휴가, 출장 등) 이런저런 이유(취업, 계약 조건 등)를 거부할 수 있습니다. 의사 결정자는 WG의 제안에 일부 전문가를 삭제하거나 추가하여 전문가 위원회의 구성을 승인합니다. 작업 조건 및 지불에 대해 전문가와 계약을 체결하고 있습니다.

7) 전문가 정보 수집.종종 이것은 WG를 구성하는 그룹 중 하나인 면접관의 채용 및 교육이 선행됩니다.

8) 컴퓨터 전문가 정보 분석스크립트에 포함된 방법을 사용합니다. 일반적으로 컴퓨터에 정보가 도입되기 전에 진행됩니다.

9) 여러 라운드에서 전문가 절차의 시나리오에 따라 적용되는 경우 - 되풀이두 개의 이전 단계.

10) 전문가 의견 최종 분석, 결과 해석 WG의 분석 그룹 및 최종 문서 준비의사결정자를 위한 EC.

11) 공식 결말를 포함한 WG의 활동 EC의 최종 문서에 대한 의사 결정자의 승인, 전문가 연구 수행, WG 전문가 및 직원의 보수, EC 및 WG 활동의 공식 종료(해산)에 대한 WG의 과학 및 재무 보고서 작성 및 승인.

전문가 연구의 개별 단계를 더 자세히 분석해 보겠습니다. 전문가 선택부터 시작하겠습니다. 직원이 모든 것을 결정합니다! 전문가는 무엇입니까 - 전문가위원회의 결론과 같은 품질입니다.

전문가 선정.전문가 선정 문제는 전문가 연구의 이론과 실천에서 가장 어려운 문제 중 하나이다. 분명히, 전문가로서 적절한 결정을 내리는 데 가장 도움이 될 판단을 가진 사람들을 사용해야 합니다. 그러나 그러한 사람들을 식별하고 찾고 선택하는 방법은 무엇입니까? 라고 직접 말해야 한다. 시험의 성공을 확실히 보장할 전문가를 선정하는 방법은 없습니다.이제 우리는 전문가들 사이에 다양한 "당사자"가 존재하는 문제에 대해 논의하지 않고 전문가 선택 절차의 다양한 다른 측면에 주의를 기울일 것입니다.

전문가 선택 문제에는 두 가지 구성 요소가 있습니다. 가능한 전문가 목록을 작성하고 후보자의 능력에 따라 전문가위원회를 선택합니다.

해당 시험 유형이 반복적으로 수행될 때 가능한 전문가 목록의 편집이 용이합니다. 그러한 상황에서 일반적으로 기재예를 들어 국가 환경 전문가 또는 심판 분야의 가능한 전문가 피겨 스케이팅, 다양한 기준에 따라 선택하거나 의사 난수 생성기(또는 테이블)를 사용할 수 있습니다.

검사가 처음 수행되는 경우 가능한 전문가 목록이 설정되지 않은 경우 어떻게 합니까? 그러나 이 경우에도 각 특정 전문가는 유사한 상황의 전문가에게 필요한 것이 무엇인지 어느 정도 알고 있습니다. 목록을 작성하려면 유용한 방법 "스노볼"고려 중인 주제에 대해 전문가가 될 수 있는 사람의 이름 중 일정 수(보통 5~10명)를 전문가로 참여하는 각 전문가로부터 받는 방식입니다. 분명히 이러한 성 중 일부는 WG 활동 초기에 만났고 일부는 새로운 것입니다. 각 신규 이민자는 동일한 계획에 따라 심문을 받습니다. 목록을 확장하는 프로세스는 새로운 성이 거의 발생하지 않을 때 중지됩니다. 결과는 가능한 전문가의 다소 광범위한 목록입니다. 방법 "스노볼"에도 단점이 있습니다. 혼수상태 형성 과정이 멈추기까지의 라운드 수는 미리 예측할 수 없습니다. 또한 첫 번째 단계에서 모든 전문가가 동일한 "일족" 출신이거나 유사한 견해를 가지고 있거나 유사한 활동에 참여했다면 "눈덩이" 방법이 동일한 "일족"의 사람에게 제공할 가능성이 큽니다. 다른 "씨족"의 의견과 주장은 생략됩니다. (여기서 우리는 전문가 커뮤니티가 실제로 위에서 "클랜"이라는 그룹으로 나뉘고 의사 소통이 주로 "클랜" 내에서 이루어진다는 사실에 대해 이야기하고 있습니다. "클랜"이 속한 과학의 비공식적 구조는 연구하기가 매우 어렵습니다. 여기서 "클랜"은 일반적으로 대규모 공식 센터(대학, 과학 기관), 과학 학교를 기반으로 형성된다는 점에 유의합니다.)

전문가의 역량을 평가하는 문제는 그다지 복잡하지 않습니다. 이전 시험에 대한 참여의 성공은 스포츠 대회에서 맛보기, 의사, 심사 위원의 활동에 대한 좋은 기준임이 분명합니다. 긴 시리즈의 유사한 시험에 참여하는 그러한 전문가. 그러나 유감스럽게도 가장 흥미롭고 중요한 것은 유사점이 없는 대규모 프로젝트의 고유한 전문성입니다. 전문가의 공식 지표(직위, 학력 및 직위, 근속 기간, 간행물 수 ...)의 사용은 분명히 오늘날의 급변하는 상황에서 보조적 성격이 될 수 있지만 그러한 지표는 적용하기 가장 쉽습니다. .

전문가의 능력에 대한 자체 평가 및 상호 평가 방법을 사용하는 것이 종종 제안됩니다. 전문가가 자신이 유능한 영역과 그렇지 않은 영역에 대한 정보를 제공하는 자체 평가 방법부터 시작하여 논의해 보겠습니다. 한편, 그 자신보다 전문가의 능력을 더 잘 아는 사람이 어디 있겠습니까? 반면, 역량 자기평가는 실제 역량보다는 전문가의 자신감 정도를 평가하는 것이다. 게다가 그 개념 자체가 "능력"엄격하게 정의되지 않습니다. 구성 요소를 강조 표시하여 개선할 수 있지만 이는 전문가 위원회 작업의 예비 부분을 복잡하게 만듭니다. 종종 전문가는 자신의 실제 능력을 과장합니다. 예를 들어, 대부분의 사람들은 자신이 정치, 경제, 교육 및 양육, 가족 및 의학에 정통하다고 믿습니다. 실제로 전문가(심지어 지식이 풍부한 사람들) 이 영역에서 매우 작습니다. 다른 방향으로의 편차, 자신의 능력에 대한 지나치게 비판적인 태도도 있습니다.

상호평가 방법을 사용할 때 개인과 집단의 호불호가 갈릴 가능성과 함께 서로의 능력에 대한 전문가들의 낮은 인식도 한 몫 한다. 현대적인 상황에서 수년 동안(최소 3-4) 함께 일한 전문가들만이 같은 방에서 같은 주제로 함께 일하면서 서로의 작업과 능력에 대해 꽤 잘 알 수 있습니다. "라고 말할 수 있는 것은 그런 커플에 관한 것입니다." 소금 한 조각을 함께 먹었다". 그러나 그러한 전문가 쌍의 참여는 유사성으로 인해 그들의 견해가 매우 바람직하지 않습니다. 삶의 길서로 너무 비슷합니다.

전문가 조사 절차가 전문가의 직접적인 의사 소통을 포함하는 경우 다른 여러 상황을 고려해야 합니다. 그들의 개인적(사회심리적) 자질은 매우 중요합니다. 그래서 하나뿐인" 연설자"합동 회의에서 전체위원회의 활동을 마비시킬 수 있습니다. 위원의 적대 관계와 위원의 매우 다른 과학적, 공식적 지위가 모두 혼란을 초래할 수 있습니다. 이러한 경우 준수하는 것이 중요합니다. WG에서 개발한 작업 규정.

전문가 선정은 Working Group의 주요 기능 중 하나이며 어떠한 선정 방법으로도 책임을 면제할 수 없음을 강조해야 합니다. 즉, 문제를 해결하는 근본적인 능력에 대한 전문가의 능력을 책임지는 것은 워킹 그룹입니다. 중요한 요구 사항은 의사 결정자가 전문가 목록을 승인하는 것입니다. 동시에 의사 결정자는 개별 전문가를 위원회에 추가하거나 일부 전문가를 삭제할 수 있습니다.

특정 영역에서 전문가 위원회의 활동을 규제하는 많은 규범 문서가 있습니다. 예가 법이다. 러시아 연방 1995년 11월 23일자 "생태학적 전문지식에 관하여"는 다음을 식별하기 위해 "제안된 경제 또는 기타 활동"의 조사 절차를 규정합니다. 가능한 피해문제의 활동이 환경에 영향을 줄 수 있음을 의미합니다.

전문가 의견의 수집 및 분석을 위한 규정 개발.전문가 평가를 얻는 방법에는 여러 가지가 있습니다. 어떤 경우에는 각 전문가와 개별적으로 작업하며 다른 사람이 전문가인지도 모르기 때문에 당국, "클랜" 및 개별 동료에 관계없이 자신의 의견을 표현합니다. 다른 곳에서는 전문가들이 모여 의사결정자를 위한 자료를 준비하고, 전문가들이 서로 문제를 논의하고, 서로의 주장을 수용하거나 거부하고, 서로에게서 배우고, 틀리거나 근거가 불충분한 의견은 폐기합니다. 일부 방법에서는 전문가의 수를 고정하고 의견의 일관성을 확인한 다음(의견이 충분히 일치하는 경우) 평균을 내는 통계적 방법을 통해 계량 경제학의 관점에서 정보에 입각한 결정을 내릴 수 있습니다. 다른 곳에서는 예를 들어 "눈덩이" 방법을 사용하여 전문가 팀을 구성하는 경우와 같이 시험 과정에서 전문가의 수가 증가합니다.

현재 존재하지 않는다일반적으로 과학적으로 입증 된 전문가 평가 방법의 분류 및 적용에 대한 모호하지 않은 권장 사항. 전문가 평가 방법 분류에 대한 가능한 관점 중 하나를 강제로 승인하려는 시도는 해를 끼칠 수 있습니다.

그러나 다양한 전문가 평가에 대해 이야기하려면 몇 가지 작업 분류 방법이 필요합니다. 전문가 평가를 나누는 근거를 나열하여 아래에 가능한 분류 중 하나를 제공합니다.

주요 질문 중 하나 - 전문가 위원회는 작업의 결과로 정확히 무엇을 제공해야 하나요? - 의사 결정자가 결정을 내리기 위한 정보 또는 결정 초안 자체는 무엇입니까? 전문가 위원회의 작업 구성은 이 방법론적 질문에 대한 답변에 따라 달라지며 방법을 분할하는 첫 번째 기초 역할을 합니다.

목적 - DMP에 대한 정보 수집. 그런 다음 작업 그룹은 가능한 한 많은 관련 정보, 특정 솔루션에 "찬성" 및 "반대" 주장을 수집해야 합니다. 전문가의 수를 점진적으로 늘리는 다음과 같은 방법이 유용합니다. 첫째, 첫 번째 전문가는 고려 중인 문제에 대한 자신의 견해를 제시합니다. 그에 의해 편집된 자료는 그의 주장을 추가하는 두 번째 전문가에게 전달됩니다. 축적된 자료는 3차 전문가에게... 새로운 고민의 흐름이 마르면 절차가 끝난다.

고려 중인 방법의 전문가는 정보, "찬성" 및 "반대" 주장만 제공할 뿐 합의된 초안 결정을 개발하지는 않습니다. 전문가의 의견이 서로 일치하도록 노력할 필요가 없습니다. 또한 대중과 다른 생각을 가진 전문가가 가장 유용합니다. 그들로부터 가장 독창적인 주장이 기대되어야 합니다.

목적 - 결정을 위한 초안 결정 준비. 전문가 평가의 수학적 방법은 일반적으로 결정 초안 준비와 관련된 문제를 해결하는 데 사용됩니다. 동시에 일관성과 1차원성의 도그마는 종종 무비판적으로 받아들여집니다. 이러한 교리는 한 출판물에서 다른 출판물로 "로밍"하므로 논의하는 것이 좋습니다.

일관성의 도마. 어떤 정당성도 없이 전문가들의 합의된 의견에 근거해서만 결정이 내려질 수 있다고 가정하는 경우가 많습니다. 따라서 다수의견과 의견이 다른 사람은 전문가 집단에서 제외된다. 동시에, 오해나 자신의 전문적 수준과 관련이 없는 이유로 전문위원단의 구성에 들어간 무자격자와 다수보다 문제를 더 깊이 파고든 가장 독창적인 사상가 모두 제거됨. 그들의 주장이 명확해야 하고, 그들의 관점을 입증할 기회가 주어져야 합니다. 대신 그들의 의견은 무시됩니다.

또한 전문가들은 공통된 공통점을 가진 두 개 이상의 그룹으로 나누어집니다. 그룹관점. 따라서 과학 연구의 결과를 평가할 때 전문가를 두 그룹으로 나누는 것은 잘 알려진 예입니다. 결과(Academic Institute for Control Problems(Automation and Telemechanics)의 R&D 경쟁에 대해 이야기하고 있음).

때로는 두 개 이상의 전문가 그룹이 발견되면(하나의 합의가 아닌) 설문조사가 목표를 달성하지 못한다고 주장합니다. 이것은 사실이 아닙니다! 목표가 달성되었습니다. 합의가 이루어지지 않은 것으로 확인되었습니다.이건 매우 중요합니다. 그리고 의사결정자는 의사결정을 할 때 이를 고려해야 합니다. 전체 전문가의 의견의 일관성을 보장하려는 열망은 가장 사랑받는 워킹 그룹을 제외한 모든 관점을 무시하고 의도적으로 일방적 인 전문가 선택으로 이어질 수 있습니다 (또는 결정에 의해 "촉발 된" 만드는 사람).

또 다른 순전히 계량 경제학적인 상황은 종종 고려되지 않습니다. 전문가의 수는 일반적으로 20-30명을 초과하지 않기 때문에 전문가 의견의 형식적 통계적 일관성(특정 검증 기준을 사용하여 설정됨) 통계적 가설)는 전문가를 그룹으로 실제 분할하는 것과 결합될 수 있으므로 추가 계산은 현실과 관련이 없습니다. 예를 들어, Kendall 또는 Spearman의 순위 상관 계수를 기반으로 하는 일치 계수(즉, 번역 - 일치)를 사용하는 특정 계산 방법을 살펴보겠습니다. 계량경제학 이론에 따르면 이러한 방식으로 일관성을 확인하는 긍정적인 결과는 독립성 및 모든 순위 집합에 대한 전문가 의견의 균일한 분포라는 가설을 거부하는 것 이상도 이하도 아니라는 점을 상기해야 합니다. 따라서 전문가의 의견을 설명하는 순위가 모든 순위 집합에 균일하게 분포된 독립적인 무작위 이항 관계라는 귀무 가설이 테스트됩니다. 나쁜 전통에 따르면 이 귀무가설을 기각하는 것은 전문가 답변의 일관성으로 해석됩니다. 다시 말해서, 우리는 단어의 독특한 해석에서 발생하는 오해의 희생자가 됩니다. 표시된 수학적 통계적 의미의 일관성 확인은 전문가 평가의 실행 의미에서의 일관성 확인이 전혀 아닙니다. (전문가 그룹이 일관성을 확인하기 위한 새로운 계량 경제학 장치를 개발하게 한 것은 고려된 수학적 및 통계적 순위 분석 방법의 결함입니다. 소위 비모수적 방법입니다. 루시안계량 경제학의 현대 섹션에 포함 - 숫자가 아닌 데이터 통계). 유사한 방법을 사용하는 전문가 그룹은 군집 분석의 계량경제학적 방법으로 구분할 수 있습니다.

반체제 인사의 의견. 인위적으로 일관성을 유지하기 위해 전문가 의견의 영향을 줄이려고 합니다. 반체제 인사, 즉. 다수에 비해 반대자. 딱딱한반체제 인사를 다루는 방법은 그들의 의견을 무시하는 것입니다. 사실, 전문가 위원회의 구성에서 제외됩니다. 전문가의 거부와 이상치(이상치)의 거부는 통계적 특성이 좋지 않거나 알려지지 않은 절차로 이어집니다. 예, 알려진 극도의 불안정모델 가정에서의 편차와 관련하여 이상값을 거부하는 고전적인 방법(예: 지도 시간 ).

부드러운반체제 인사를 다루는 방법은 강력한(안정적인) 통계 절차. 가장 간단한 예: 전문가의 답변이 실수인 경우 반체제 인사의 이상치 의견은 전문가 답변의 산술 평균에 큰 영향을 미치며 중위수에는 영향을 미치지 않습니다. 따라서 중앙값을 합의 의견으로 간주하는 것이 합리적입니다. 그러나 이것은 반대파의 주장을 무시합니다(의사결정자에게 도달하지 않음).

반체제 인사를 대하는 두 가지 방법 중 어느 쪽이든, 의사 결정자는 반체제 인사로부터 오는 정보를 얻지 못하기 때문에 불합리한 결정을 내릴 수 있으며, 이는 결과적으로 부정적인 결과를 초래할 수 있습니다. 한편, 전체의견을 의사결정자에게 제출함으로써 최종결정을 준비하는 전문가위원회와 전문가조사를 수행하는 워킹그룹의 책임과 노동의 일부가 제거되고 이 책임과 노동이 결정권자의 어깨.

1차원의 도마. 구식, 때로는 현대 과학 및 기술 문헌에서 소위 "질량 측정"에 대한 다소 논쟁의 여지가있는 접근 방식이 널리 퍼져 있으며 이에 따라 검사 대상을 항상 평가할 수 있습니다. 하나의 숫자. 이상한 생각! 하나의 숫자로 사람을 평가하는 것은 노예 시장에서만 마음에 떠올랐습니다.. 가장 열성적인 품질 측정가조차도 책이나 그림을 "시장 가치"와 같은 숫자로 간주하지 않을 것입니다. 거의 모든 실제 개체는 매우 복잡하므로 숫자가 아닌 수학적 개체뿐만 아니라 많은 숫자의 도움을 통해서만 정확하게 설명할 수 있습니다.

동시에 품질, 기술 수준 및 이와 유사한 지표의 일반화 된 지표를 검색한다는 아이디어를 완전히 부인할 수 없습니다. 따라서 각 개체는 많은 품질 지표에 의해 평가될 수 있습니다. 예를 들어 자동차는 다음 지표에서 평가할 수 있습니다.

100km당 휘발유 소비량(평균);

신뢰성(연간 평균 수리 비용 포함);

배기 가스의 유해 물질 함량으로 평가되는 환경 안전성;

기동성(회전 반경 포함);

이동 시작 후 100km / h의 속도를 선택하는 속도; 최대 도달 속도;

낮은 외부 온도(예: 섭씨 영하 50도)와 엔진이 꺼진 상태에서 실내 온도를 긍정적으로 유지하는 기간;

디자인(외관 및 인테리어 트림의 매력 및 "유행성");

무게 등

이 지표에 대한 점수를 함께 요약할 수 있습니까? 자동차가 선택되는 특정 상황이 결정적이라는 것은 분명합니다. 달성된 최대 속도는 레이서에게 중요하지만, 우리가 보는 바와 같이 일반 개인 차량의 운전자, 특히 최대 속도에 대한 엄격한 제한이 있는 도시에서 실질적으로 중요하지 않습니다. 이러한 운전자에게는 연비, 기동성 및 신뢰성이 더 중요합니다. 다양한 서비스의 기계용 정부 통제, 분명히 개인 상인보다 신뢰성이 더 중요하고 가솔린 소비는 그 반대입니다. 극북 지역의 경우 객실의 단열이 중요하지만 남부 지역은 중요하지 않습니다. 등.

따라서 전문가에게 문제에 대한 구체적(좁은) 설명이 중요합니다. 그러나 그러한 설정은 종종 존재하지 않습니다. 그런 다음 일반화된 품질 지표를 개발하기 위한 "게임"(예: 선형 함수나열된 변수에서 - 객관적인 결론을 내릴 수 없습니다. 유일한 일반화 지표의 대안은 다음 유형의 수학적 장치입니다. 다목적 최적화- 파레토 세트 등

어떤 경우에는 여전히 객체를 전역적으로 비교할 수 있습니다. 예를 들어, 동일한 전문가의 도움으로 고려 중인 객체(제품 또는 프로젝트)의 순서를 얻을 수 있습니다. 그런 다음 개별 지표에 대한 계수를 선택할 수 있습니다. 선형 함수에 의한 순서는 가능한 전역 순서에 가깝습니다.(예를 들어, 최소 제곱법을 사용하여 이러한 계수를 찾습니다). 반대로, 그러한 경우 전문가의 도움으로 표시된 계수를 평가해서는 안 됩니다(SHOULD NOT). 이 간단한 아이디어는 전문가 설문 조사를 수행하고 결과를 분석하기 위한 방법론의 개별 작성자에게 아직 명확하지 않습니다. 그들은 전문가들이 그들이 하는 일을 하도록 열심히 노력한다 할 수 없는- 최종 일반화 지표에 개별 품질 지표가 포함되어야 하는 가중치를 나타냅니다.

지식 기반에서 좋은 작업을 보내는 것은 간단합니다. 아래 양식을 사용하십시오

연구와 업무에 지식 기반을 사용하는 학생, 대학원생, 젊은 과학자들은 매우 감사할 것입니다.

게시일 http://www.allbest.ru/

모스크바 사회경제연구소

"전문가 평가 수행 방법"이라는 주제에

재학생:

아르튜셴코 율리아 빅토로브나

그룹: M10B-D-O-z

모스크바 2014

소개

2. 전문가 평가 방법

결론

소개

많은 연구가 전문가 평가의 적용 가능성과 특징에 대한 연구에 전념했습니다. 전문가 설문조사의 형태(다양한 형태의 설문지, 인터뷰), 평가 방식(순위화, 정규화, 다양한 순서화 등), 설문조사 결과 처리 방법, 전문가 요구사항 및 전문가 집단 구성, 이슈 등을 고려한다. 훈련 전문가의 능력 평가 (평가를 처리 할 때 전문가의 능력 계수, 의견의 신뢰성이 도입되고 고려됨) 전문가 설문 조사를 조직하는 방법. 전문가 설문조사를 수행하기 위한 형식 및 방법의 선택, 설문조사 결과 처리 방법 등 시험의 특정 작업과 조건에 따라 다릅니다.

1. 전문가 평가의 본질, 방법 및 과정

1.1 전문가 평가의 본질

그러나 일부 이론적 연구는 이 가정에 의문을 제기합니다. 예를 들어, 전문가 평가가 사용되는 문제를 두 가지 클래스로 나눌 것을 제안합니다. 1급은 전문가를 다량의 정보의 수호자로 간주하여 '좋은 측정자'의 원칙을 적용할 수 있는 정보를 충분히 제공하고, 전문가 집단의 의견이 가까운 문제를 포함한다. 진정한 것. 두 번째 부류에는 위의 가정의 타당성을 확신하기에 충분한 지식이 없는 문제가 포함됩니다. 전문가는 "좋은 측정자"로 간주 될 수 없으며,이 경우 약간의 연구에 더 많은 관심을 기울이는 한 명의 (단일) 전문가의 의견이 있기 때문에 검사 결과 처리에 신중하게 접근 해야 합니다. 연구된 문제가 가장 중요한 것으로 판명될 수 있으며 공식 처리 중에 손실됩니다. 이와 관련하여 결과의 질적 처리는 주로 두 번째 클래스의 문제에 적용되어야 합니다. 이 경우 평균화 방법("좋은 측정기"에 유효)을 사용하면 심각한 오류가 발생할 수 있습니다.

시스템 분석을 수행할 때 유념해야 할 또 다른 문제는 다음과 같다. 1급과 관련된 문제를 푸는 경우에도 전문가 평가는 개별 전문가 고유의 협소한 주관적인 특성뿐만 아니라 또한 조사 결과를 처리할 때 사라지지 않는 집합적-주관적 기능(델파이 절차를 사용할 때 향상될 수도 있음). 다시 말해, 전문가 평가는 연구 주제에 대한 사회의 과학적, 기술적 지식 수준에 따라 일종의 "공적 관점"으로 간주되어야 하며, 이는 시스템과 이에 대한 아이디어가 발전함에 따라 바뀔 수 있습니다. . 따라서 전문가 설문조사는 일회성 절차가 아닙니다. 고도의 불확실성을 특징으로 하는 복잡한 문제에 대한 정보를 얻는 이러한 방식은 복잡한 시스템에서 일종의 "메커니즘"이 되어야 합니다. 전문가와 함께 정기적 인 작업 시스템을 만들어야합니다.

또한 전문가 설문조사를 구성할 때 확률을 평가하기 위해 고전적인 빈도 접근 방식을 사용하는 것이 어렵고 때로는 불가능할 수도 있다는 사실에 주의를 기울여야 합니다(대표 샘플 사용의 정당성을 증명할 수 없기 때문에). 따라서 현재 전문가 평가의 확률의 성격에 대한 연구는 이론, Zadeh의 퍼지 집합, 가설의 확인 정도 또는 달성 확률로서의 전문가 평가의 아이디어에 기반하여 진행 중입니다. 목표. 품종 중 하나 전문가 방법조직의 강점과 약점, 조직 활동에 대한 기회와 위협을 연구하는 방법인 SWOT 분석 방법입니다.

전문가 평가는 분석, 상태 진단, 개발 옵션의 후속 예측에 사용됩니다.

1) 개발이 완전히 또는 부분적으로 주제 설명 또는 수학적 형식화에 순응할 수 없는 대상,

2) 대상의 특성에 대해 충분히 대표되고 신뢰할 수 있는 통계가 없는 경우

3) 대상의 기능에 대한 환경의 불확실성이 큰 조건에서 시장 환경;

4) 새로운 시장의 중장기 예측에서 기초 과학(예: 미생물 산업, 양자 전자, 핵 공학)의 발견에 의해 크게 영향을 받는 새로운 산업의 대상;

5) 예측 및 의사 결정에 할당된 시간 또는 자금이 공식 모델을 사용하여 문제를 조사하는 것을 허용하지 않는 경우;

6) 적절한 특성을 가진 컴퓨터 기술과 같은 모델링에 필요한 기술적 수단이 없습니다.

7) 극한 상황에서.

제어 시스템에 대한 전문가 평가 과정에서 해결되는 작업은 두 그룹으로 나눌 수 있습니다.

1) 새로운 제어 시스템의 합성 및 평가 작업;

2) 선택된 지표 및 성과 기준에 따라 기존 관리 시스템의 분석(측정) 작업.

첫 번째 그룹의 작업은 다음과 같습니다. 생성되는 시스템의 이미지 형성; 수명주기 단계에 대한 기술 및 경제 지표 예측; 사회 관리 시스템 개편의 주요 방향에 대한 입증; 생성된 제어 시스템 등을 사용하여 최적 또는 만족스러운 조치 및 결과의 선택. 이러한 문제를 해결하는 과정에서 얻은 전문가 정보 중 일부는 정성적 성격을 띠고 설명 형식의 복잡한 판단 형태로 형성됩니다. 그러나 전문가 평가의 도움으로 해결되는 합성 작업은 본질적으로 정량적일 수 있으며 해당 솔루션은 생성되는 시스템의 수많은 매개변수(특성)의 정당화와 관련됩니다. 두 번째 그룹의 작업에는 지정된 지표 및 성능 기준을 사용하여 기존 또는 생성된 제어 시스템 변형을 평가하는 모든 작업이 포함됩니다. 이러한 작업의 예는 다음과 같습니다. 시스템의 구조적, 기능적 또는 정보적 특성을 결정합니다. 다양한 작업을 수행하는 과정에서 효율성 평가 제어 및 통신 등의 기술적 수단의 추가 운영의 타당성 결정

1.2 경영 전문가의 역할

전문성은 전문가의 귀중한 경험, 연구 주제에 대한 깊은 지식 및 정성 분석 기술의 구현을 기반으로 한 의견, 아이디어, 결정 또는 평가입니다.

전문 지식은 개인 또는 그룹이 될 수 있습니다. 그룹 전문성에서 전문가 그룹의 선택과 작업 결과의 최종 처리 방법론은 매우 중요합니다.

전문가 의견은 연구 과정과 결과를 기록하는 문서입니다. 동시에 전문가의 결론과 의견은 범주 ( "예", "아니오") 및 확률 (가정, 순위, 선호 계수 등의 형태) 형식을 모두 가질 수 있습니다.

전문가의 작업을 구성 할 때 다음 원칙을 준수해야합니다.

1. 아이디어, 의견 및 평가는 미리 준비된 계획에 맞아야 합니다. 이를 통해 필수 사항 등을 일반화, 비교, 강조 표시할 수 있습니다. 이러한 계획은 생각을 제한하고 환상을 제한해서는 안 됩니다. 이 계획은 수정 및 추가 가능성을 허용하고 가정할 수 있습니다.

2. 전문가 의견의 처리는 양적 일반화뿐만 아니라 질적 분석을 통해 주요, 필수, 중요, 관련성, 독창적, 새로운 등을 강조하여 수행되어야 합니다. 전문가 의견은 두 번째 검토 대상이 될 수 있습니다. 단계.

3. 전문가는 독립적이어야 합니다. 조직적, 개념적, 심리적 제약에서 해방됩니다. 이 경우 그들의 경험, 지식 및 직관이 가장 좋은 방법으로 실현됩니다.

4. 전문가 그룹의 작업은 목적이 있어야 합니다. 검사가 수행되는 이유와 이유를 이해하는 것은 구현의 중요한 요소입니다. 많은 경우에 노력과 지능을 동원하는 역할을 하는 전문가의 특별 훈련이 필요하다.

5. 전문가 집단의 업무를 조직화하는 방식에는 여러 가지가 있다. 각 전문가가 개별적으로 검사한 후 결과를 요약하고 체계화하거나, 전문가들이 모여서 상호작용하는 방식이다.

6. 여러 전문가 그룹의 병렬 및 다단계 작업이 가능합니다. 전문 지식의 비교는 중요한 정보를 제공합니다.

전문가 평가를 얻는 방법에는 여러 가지가 있습니다. 어떤 경우에는 각 전문가와 따로 작업을 하여 다른 사람이 전문가인지도 모르고 당국에 구애받지 않고 자신의 의견을 표명하기도 합니다. 다른 곳에서는 전문가들이 모여 의사결정자를 위한 자료를 준비하고, 전문가들이 서로 문제를 논의하고, 서로 배우고, 잘못된 의견은 버립니다. 어떤 방법에서는 전문가의 수를 고정하고 의견의 일관성을 확인하고 평균을 내는 통계적 방법을 통해 정보에 입각한 결정을 내릴 수 있습니다. 다른 곳에서는 예를 들어 "눈덩이" 방법을 사용할 때 시험 과정에서 시험관 수가 증가합니다.

전문가 역할을 하는 전문가 또는 전문가 그룹은 때때로 다음과 같이 식별됩니다. 측정 장치, 임의적이고 체계적인 측정 오류가 있습니다.

무작위 오류는 고려 중인 문제에 대한 전문가 의견의 주관성으로 인해 발생하며 실제 값에서 한 방향 또는 다른 방향으로 벗어날 수 있습니다. 이러한 오류의 영향은 충분한 수의 추정치를 평균화하여 감소됩니다.

시스템 오류는 전체 전문가 팀에 내재되어 있으며 얻은 추정치를 처리하여 제거할 수 없습니다. 이는 어떤 경우에는 전문가 설문조사의 결과에 매우 주의 깊게 접근할 필요가 있음을 시사하며, 이는 때때로 전문가의 지식과 신념 수준에 따라 일반적으로 잘못된 관점을 나타낼 수 있습니다.

1.3 동료 검토 프로세스

피어 리뷰 프로세스의 주요 단계는 다음과 같습니다.

전문가 평가의 목표와 목적의 형성

1. 관리단 구성 및 전문가 평가결정의 집행

1. 전문가정보의 취득방법 및 처리방법의 선택

1. 전문가그룹 선정 및 필요한 경우 설문조사 구성

전문가 조사(전문성);

검사 결과의 처리 및 분석

얻어진 결과의 해석

보고서 편집.

전문가 평가를 수행하는 작업은 의사 결정자가 설정합니다. 전문가 평가의 목표와 목적을 형성하는 단계가 주요 단계입니다. 얻은 결과의 신뢰성과 실용적인 가치는 그것에 달려 있습니다. 전문가 평가의 목표와 목적의 형성은 해결하려는 문제의 본질에 따라 결정됩니다. 여기에서 다음 요소를 고려해야 합니다. 사용 가능한 초기 정보의 신뢰성과 완전성, 결과를 제시하는 데 필요한 형식(정성적 또는 양적), 수신된 정보의 가능한 사용 영역, 제출 시기, 경영진이 이용할 수 있는 자원, 다른 지식 분야의 전문가를 유치할 수 있는 가능성 등. 작업은 지침 문서의 형태로 공식화됩니다(예: 전문가 평가 수행 결정).

결정을 준비하고 모든 추가 작업을 안내하기 위해 시험 책임자를 임명합니다. 관리 그룹의 구성을 정의합니다. 컨트롤 그룹은 전문가 또는 델파이 방식으로 피드백을 제공합니다.

관리 그룹은 전문가의 효과적인 창의적 활동에 유리한 조건을 제공하기 위한 모든 조직 및 계획 작업뿐만 아니라 전문가 그룹 선택에 대한 분석 작업, 정보 획득 및 처리 방법 결정, 설문지 작성 - 설문지를 위임받습니다. , 결과의 의미 있는 해석.

해결해야 할 이 크고 복잡한 범위의 작업을 수행하려면 고려 중인 문제 분야와 심리학, 수학, 의학, 사회학 등의 다른 영역 모두에서 관리 그룹에 자격을 갖춘 전문가를 포함해야 합니다.

특정 전문가의 선택은 제안된 각 전문가의 품질 분석을 기반으로 수행됩니다. 이를 위해 다양한 방법이 사용됩니다.

SU 연구의 I 문제에 대한 전문가로서의 과거 활동 결과의 통계 분석을 기반으로 한 전문가 후보자 평가;

이 분야의 전문가로서 전문가 후보자에 대한 종합 평가

전문가 후보자의 자체 평가;

전문가 후보자의 능력에 대한 분석적 결정.

그러나 이러한 모든 방법에는 다음과 같은 특정 단점이 있습니다. 일반적으로 인정되는 단일 평가 방법의 부족; 평가의 높은 복잡성; 주관적인 평가 방법을 사용할 때 윤리적 문제의 출현.

이 작업 과정에서 제안 된 전문가의 자질에 대한 자체 평가 및 집단 평가와 같은 여러 방법이 동시에 사용되는 경우가 많습니다. 이 접근 방식을 통해 필요한 자질을 갖춘 전문가를 합리적으로 선택할 수 있습니다. 그러나 과거의 성과를 평가하는 방법이 자기평가나 집단평가보다 객관적으로 보인다는 점을 인식해야 한다.

일반적으로 전문가 그룹의 구성에는 다음 활동이 선행됩니다.

문제가 식별되고 공식화됩니다.

그룹 활동의 목적과 범위가 결정됩니다.

전문가의 예비 목록이 작성됩니다.

전문가의 분석 및 선택이 수행됩니다 (하나 이상의 선택 방법을 사용하여).

전문가 목록이 지정됩니다. . 전문가 그룹의 작업에 참여하기 위해 전문가의 동의를 얻었습니다.

전문가의 최종 대표 목록이 결정됩니다. 모든 잠재적 전문가는 품질과 역량에 따라 7가지 등급으로 분류될 수 있습니다.

전문가의 품질과 능력의 등급화의 예.

이 경우 전문가 품질 등급의 수를 선택하는 것은 품질 관리 문제를 해결하는 데 전통적으로 사용되는 "7법칙" 때문입니다.

이 그라데이션을 통해 전문가 그룹에서 작업하기 위해 필요한 전문가를 선택할 수 있습니다. SU 연구의 충분히 객관적인 결과를 얻기 위해서는 1~4급의 전문가 중에서 선택하는 것이 바람직하다. 저품질 등급의 전문가 후보자는 시험에 참여해서는 안됩니다.

후보자의 자질을 평가하기 위해 선택한 방법에 관계없이 전문가는 모든 경우에 다음을 포함한 특정 요구 사항을 충족해야 합니다.

* 관리 분야의 전문적인 능력과 실제 및 연구 경험;

* 창의성(창의적인 문제를 해결하는 능력); . 과학적 직관;

전문가 작업의 객관적인 결과에 대한 관심

* 판단의 독립성;

* 효율성 "규율" 한 유형의 활동에서 다른 유형의 활동으로 전환하는 능력, 의사 소통, 판단의 독립성, 행동 동기);

* 객관성;

* 비순응성;

* 높은 일반 학식.

전문가 의견 수렴에는 다음 사항이 포함됩니다. 의견 수렴 장소 및 시간 의견수렴의 형태 및 방법 의견 수렴 횟수; 문서의 구성 및 내용 전문가 의견의 결과를 문서에 입력하는 절차.

전문가 의견 수렴의 형태를 결정하는 것은 매우 중요하다. 알려진 모든 형태의 의견 수집 중에서 개인, 집단(그룹) 및 혼합을 확인할 수 있습니다. 따라서 이러한 형식은 주로 작업(개인 또는 집단)에 전문가의 참여 측면에서 다르며 각 형식에는 여러 가지가 있습니다.

* 질문;

* 인터뷰;

* 논의;

* 브레인스토밍

* 회의;

* 비즈니스 게임.

그들 모두는 자신의 장점과 단점이 있습니다. 많은 경우 이러한 각 품종은 다른 품종과 함께 사용되어 종종 더 큰 효과와 객관성을 제공합니다. 문제의 모호성이 있는 경우, 의견의 불일치가 있는 경우 전문가의 의견을 수집할 때 혼합형을 사용합니까? 집단 토론에서 개인의 의견이나 전문가의 의견 불일치.

전문가 평가의 목표와 선택한 측정 방법에 따라 설문 조사 결과를 처리할 때 다음과 같은 주요 작업이 발생합니다.

1) 전문가의 개별 평가를 기반으로 대상에 대한 일반화된 평가를 구축합니다.

2) 각 전문가가 대상을 쌍으로 비교하여 일반화된 평가를 구축합니다.

3) 물체의 상대적 무게 결정;

4) 전문가 의견의 일관성 결정

5) 순위 간의 종속성 결정;

6) 처리 결과의 신뢰성 평가.

전문가 의견의 일관성 판단은 개별 의견의 유사도를 나타내는 수치를 계산하여 수행됩니다. 일관성 측정값의 분석은 해결되는 문제에 대한 일반적인 지식 수준에 대한 올바른 판단의 발전과 전문가 의견의 그룹화 식별에 기여합니다. 의견을 그룹화하는 이유에 대한 질적 분석을 통해 다양한 견해와 개념의 존재를 확립하고 과학 학교를 식별하며 전문 활동의 성격을 결정할 수 있습니다. 이러한 모든 요소를 통해 결과를보다 깊이 이해할 수 있습니다. 전문가 조사.

검사 결과를 처리하는 것은 시간이 많이 걸리는 과정입니다. 추정치 및 신뢰도 지표의 수동 계산을 수행하는 것은 단순한 주문 문제를 해결하는 경우에도 많은 인건비와 관련이 있습니다. 이와 관련하여 컴퓨터 기술, 특히 컴퓨터를 사용하는 것이 좋습니다. 컴퓨터의 사용은 전문가 평가 결과를 처리하기 위한 알고리즘을 구현하는 컴퓨터 프로그램을 개발하는 문제를 제기합니다.

2. 전문가 평가 방법

SWOT 분석

매우 대중적인 특별한 종류의 전문가 방법은 SWOT 분석의 독창적인 방법입니다. 그것은 러시아어 번역에서 강점과 약점, 기회와 위협을 의미하는 네 개의 영어 단어의 첫 글자에서 그 이름을 얻었습니다.

이 방법론은 보편적인 방법으로 사용될 수 있습니다. 그것은 역 동성, 통제 가능성, 기능의 내부 및 외부 요인의 의존성, 주기적 개발을 특징으로하는 사회 경제 시스템의 프로세스 연구에 특별한 영향을 미칩니다.

이 분석의 방법론에 따르면 연구 주제를 특징 짓는 요인의 분포는이 요인이 외부 요인 또는 내부 요인의 클래스에 속하는지 여부를 고려하여 이러한 네 가지 구성 요소에 따라 수행됩니다.

결과적으로 강점과 약점, 기회와 위험의 상관관계에 대한 그림이 나타나며, 이는 개발 성공을 위해 상황을 어떻게 변화시켜야 하는지를 시사합니다.

매트릭스의 이러한 사분면이나 섹터에 요인을 할당하는 것이 항상 쉬운 것은 아닙니다. 동일한 요소가 주제의 강점과 약점을 동시에 특징 짓는 경우가 발생합니다. 또한 요인은 상황에 따라 작용합니다. 어떤 상황에서는 미덕처럼 보이고 다른 상황에서는 단점으로 보입니다. 때때로 그것들은 그 중요성에서 불균형적입니다. 이러한 상황을 고려할 수 있고 고려해야 합니다.

그 위치를 명확하게 결정하기 어려운 경우 동일한 요소를 여러 사분면에 배치할 수 있습니다. 이것은 연구에 부정적인 영향을 미치지 않습니다. 결국 방법의 본질은 요인을 식별하고 집중이 문제를 해결하는 방법을 제안하는 방식으로 배치하여 관리할 수 있게 하는 것입니다.

각 사분면에서 요소의 가중치가 같을 필요는 없지만 전체적으로 표시되어야 합니다.

완성된 매트릭스는 실제 상황, 문제의 상태 및 상황의 성격을 보여줍니다. 이것은 SWOT 분석의 첫 번째 단계입니다.

두 번째 단계는 강점과 기회에 대한 비교 분석을 수행하여 강점을 활용하는 방법을 보여주어야 합니다. 동시에 기존의 위험성과 관련하여 약점을 분석할 필요가 있다. 그러한 분석은 위기가 얼마나 가능성이 있는지 보여줄 것입니다. 결국 위험은 취약한 상황이 발생할 때, 취약한 측면이 위험을 방해하는 것을 가능하게 하지 않을 때 증가합니다.

물론 강점과 기존 위험을 비교 분석하는 것은 매우 유용합니다. 결국 강점은 위기를 예방하는 데 제대로 사용되지 않을 수 있으며 강점은 유리한 기회와 관련하여뿐만 아니라 위험과 관련하여 보아야 합니다.

제어 시스템 연구에서 이 방법의 주제는 제어 개발의 다양한 문제가 될 수 있습니다. 예를 들어, 효율성, 인력, 스타일, 기능 분배, 관리 시스템의 구조, 관리 메커니즘, 동기 부여, 전문성, 정보 지원, 커뮤니케이션 및 조직 행동 등

특별히 훈련되고 선택된 전문가 또는 내부 컨설턴트를 사용하면 이 방법이 더 효과적입니다.

스마트 방식

SWOT 분석 방법에는 많은 수정이 있습니다. 그 중 가장 흥미로운 것은 목표 개발 및 분석 방법입니다.

경영의 목표는 성공, 효율성, 전략 및 발전에 있어 결정적인 요소라고 알려져 있습니다. 목표가 없으면 계획이나 프로그램을 개발할 수 없습니다. 그러나 이것은 관리의 목표뿐만 아니라 연구의 목표와도 관련이 있습니다. 결국 이 목표를 올바르게 공식화하는 것도 쉽지 않습니다. 연구 프로그램, 연구 방법의 사용은 목적에 따라 다릅니다.

목표는 장소와 시간을 고려하여 달성 가능성, 특이성, 평가 가능성(측정 가능성)의 기준에 따라 개발되어야 합니다. 이러한 기준은 다음을 반영합니다. 영어 단어-- Specific, Measurable, Achievable, Relevant, Timed, 줄여서 SMART. 바로 이 방법이라고 합니다.

이 방법은 매트릭스 형태로 배열된 기준 세트에 따라 목표에 대한 일관된 평가를 가정합니다. 다음은 목표의 특성을 반영하는 비교 가능한 요소 집합입니다. 달성하기 어려움 - 달성하기 쉬움, 높은 비용 - 저렴한 비용, 직원 지원 있음 - 직원 지원 없음, 우선 순위 있음 - 우선 순위 없음, 많이 소요 시간의 - 시간이 거의 걸리지 않고 광범위한 영향을 미칩니다. - 영향력이 제한적, 높은 기술 지향 - 낮은(전통적인) 기술 지향, 새로운 관리 조직과 연결됨 - 새로운 관리 조직과 연결되지 않음.

다음 단계는 문제 정의 매트릭스를 만드는 것입니다. 목표를 달성하려면 여러 문제를 해결해야 합니다. 그러나 이를 위해서는 먼저 정의해야 합니다.

문제의 배포는 기존 상황, 원하는 상황, 목표 달성 가능성과 같은 기준에 따라 수행됩니다. 이러한 기준은 매트릭스의 수평을 특징짓습니다. 문제 정의, 문제 평가(정량적 매개변수), 솔루션 구성(누가, 어디서, 언제), 문제 해결 비용과 같은 수직 기준이 고려됩니다.

이 매트릭스를 통해 연구를 계획할 수 있습니다.

순위 및 평가 방법.

순위 방식에 따라 전문가는 조직 시스템의 연구 대상을 상대적 중요도(선호도)에 따라 순위 지정(순서)을 수행하며, 가장 선호하는 대상이 1순위, 가장 선호도가 낮은 대상이 마지막 순위인 경우, 순서가 지정된 개체의 수와 절대값이 같습니다. 보다 정확한 순서는 연구 대상의 수가 적을수록 발생하며 그 반대의 경우도 마찬가지입니다.

한 전문가가 선호하는(순위별) 전문지식 개체 배열에서 순위의 합은 1부터 시작하여 개체 수 H의 전체 자연 계열 수의 합과 같아야 합니다. H= (H+ 1): 2.

조사 데이터에 따른 순위 개체의 결과 순위는 각 개체에 대한 순위의 합으로 결정됩니다. 이 경우 결과적으로 첫 번째 순위는 순위 합이 가장 작은 개체에 할당되고 마지막 순위는 순위 합이 가장 큰 개체에 할당됩니다. 최하위 개체(7명의 전문가가 3개 개체의 결과 순위를 결정하는 예)

전문가가 많을수록 평가 결과의 객관성은 높아집니다. 그러나 자격을 갖춘 많은 전문가가 참여하고 전문가 작업의 노동 집약도가 높기 때문에 품질 평가 비용이 증가합니다. 따라서 전문가 작업의 복잡성을 줄이기 위해 전문가의 수치 결정이 아닌 지표의 순위 만 제공하는 순위 방법이 사용됩니다.

그럼에도 불구하고 이 방법은 상대적으로 단순하고 노동 강도가 낮음에도 불구하고 SU를 연구하는 실습에 사용됩니다. 이는 순위가 매겨진 연구 대상이 많기 때문입니다.

직접평가방법

각 개체에 포인트를 할당하여 중요도에 따라 연구 중인 개체(예: 파라메트릭 모델을 컴파일하기 위한 매개변수를 선택할 때)를 정렬하는 것입니다. 이 경우 가장 중요한 대상에 허용된 척도에서 가장 높은 점수를 부여합니다(평가가 주어짐). 가장 일반적인 등급 척도 범위는 0에서 1 사이입니다. 0 ~ 5; 0 ~ 10; 0에서 100까지. 가장 간단한 경우 점수는 0 또는 1이 될 수 있습니다.

때때로 평가는 구두로 이루어집니다. 예를 들어, "매우 중요", "중요", "중요하지 않음" 등은 설문조사 결과 처리의 더 큰 편의를 위해 때때로 점수 척도(각각 3, 2, 1)로 번역되기도 합니다.

직접 평가는 연구 대상의 속성에 대한 전문가의 전문적인 인식을 완전히 신뢰하여 사용해야 합니다. 평가 결과에 따라 연구 대상별 순위와 가중치(중요도)가 결정됩니다.

결론

현재 다양한 전문가 평가 방법이 점점 더 많이 사용되고 있습니다. 그들은 많은 중요한 요소가 있는 상황을 분석하고 예측할 때 특별한 목적을 위한 것을 포함하여 기술적 개체를 평가하고 선택하는 복잡한 문제를 해결하는 데 필수적입니다. 많은 고급 전문가의 지식, 직관 및 경험이 필요한 곳 .

후보자의 속성 및 비즈니스 자질에 대한 전문가 평가의 기초는 인터뷰 결과 얻은 정량적 매개 변수 및 평가 기준을 기반으로 합니다. 그러나 여기에는 관례와 주관성의 요소가 있지만 평가 척도의 좋은 발전과 전문가의 세심한 (전문적인) 접근 방식으로 높은 수준의 신뢰성으로 주제를 평가할 수 있습니다.

중고 문헌 목록

1. Grigorov V. M. 공공 생산 관리 시스템의 전문가 // M .: 생각, 1976

2.데미도바 A.V. 제어 시스템 연구. - M.: Prior-izdat, 2005. - 96 p.

3. 이그나티에바 A.V. 제어 시스템 연구. - M.: UNITI-DANA, 2003. - 157 p.

4. 카피도프 V.V. 제어 시스템 연구. - M.: 학술 프로젝트, 2005. - 160 p.

5. 마린 A.S. 제어 시스템 연구. - M.: GU VSHE, 2005. - 399 p.

6. Reylyan Ya. R. 관리 결정의 기초 // M .: 재무 및 통계, 1989

7. 레멘니코프 V.B. 관리 솔루션 개발. 절차 용돈. -- M.: UNITI-DANA, 2000.

8. 스몰킨 A.M. 관리: 조직의 기초. -- M.: INFRA-M, 1999.

Allbest.ru에서 호스팅

유사한 문서

문제 해결, 논증 및 공식적인 방법에 의한 결과의 정량적 추정의 형성. 전문가 평가 방법의 구성 요소. 아이디어의 집단적 생성 방법("브레인스토밍"). 델파이 방식, 포커스 그룹 방식의 특징, SWOT 분석.

프레젠테이션, 2014년 3월 30일 추가됨

본질과 내용, 전문가 분석의 주요 단계, 실제 적용 범위 및 특징, 결과 해석. 이 검사의 신뢰도입니다. 목표 트리를 구축하기 위해 전문가 평가 방법을 적용합니다.

학기 논문, 2012년 2월 25일 추가됨

중요한 경영 결정을 준비하고 내리는 과정의 필수적인 부분으로서 전문 기술을 적용하는 개념과 특징. 전문가 설문조사의 주요 단계를 연구합니다. 전문가 선정. 델파이 방식, 패턴, 브레인스토밍.

초록, 2016년 9월 10일 추가됨

전문가 평가 사용. 하나의 문제를 해결하기 위해 다양한 방법을 적용합니다. 순위, 쌍 및 다중 비교, 직접 평가, Thurstone의 방법이 가장 일반적으로 사용되는 전문가 측정 절차입니다. 델파이 유형 메서드.

테스트, 2011년 3월 9일 추가됨

전문가 평가의 본질과 유형, 사용 목적. 전문가 연구의 주요 단계. 전문가 그룹의 집단 작업 방법 및 개별 의견을 얻는 방법의 특성. 전문가 설문 조사 결과 처리.

초록, 2012년 4월 3일 추가됨

전문가 절차의 특성: 발견적 방법 및 모델의 특징, 개별 평가 방법, 집단 전문가 평가. 검사의 세부 사항, 결과의 내용 및 처리. 국가 위험 수준에 대한 전문가 평가.

초록, 2010년 5월 10일 추가됨

전문가 평가를 얻는 방법. 전문가 선정 문제. 전문가 위원회의 활동을 규제하는 규범 문서. 위험과 불확실성 하에서의 의사 결정. 불확실성 하에서의 의사결정을 위한 작업.

제어 작업, 2010년 7월 15일 추가됨

생산 관리 과정에서 결정의 본질과 유형. 관리 결정의 품질에 대한 주요 요구 사항. 경영 결정을 최적화하는 방법. 전문가 평가 방법으로 의사 결정을 최적화하는 방법.

학기 논문, 2002년 5월 8일 추가됨

개발 예측 방법 연구: 외삽, 균형, 규범 및 프로그램 목표 방법. 전문가의 작업 구성, 설문지 구성 및 전문가 평가 테이블에 대한 연구. 수학적 및 통계적 예측 모델 분석.

테스트, 2011년 6월 19일 추가됨

에 따른 시스템 분류의 방법론 및 단계 다양한 표지판. 전문가 평가, 필수 세부 정보 및 주요 질문을 얻기 위한 설문지 작성. 목표 트리의 본질과 구성, 세부 사항의 원칙. 복잡한 시스템을 평가하기 위한 방법론.

전문가 추정치를 기반으로 한 예측의 주요 아이디어는 얻은 결과를 평가하고 처리하기 위한 정량적 방법과 결합된 사람의 직관적-논리적 사고의 합리적인 절차.

전문가 평가 방법의 본질은 예측이 다음을 기반으로 한다는 사실에 있습니다. 의견전문가 또는 전문가 팀, 전문적이고 과학적이며 실용적인 경험.

개별 전문가 평가- 관련 프로필의 전문가-전문가의 의견을 기반으로 합니다.

1. "면접" 방법사전 개발된 프로그램에 따라 예측자가 예측 대상의 발전에 대한 전망에 관해 전문가에게 질문을 하는 "질문 답변" 방식에 따라 예측자와 전문가 간의 대화가 포함됩니다. 그러한 평가의 성공 여부는 광범위한 문제에 대해 즉석에서 의견을 제시할 수 있는 전문가의 능력에 크게 좌우됩니다.

2. 설문 방법 전문가가 연구 과제와 논리적으로 관련된 질문 목록이 포함된 설문지(설문지)를 작성하도록 초대되었다는 사실로 구성됩니다.

설문지에는 다음 유형의 질문을 사용할 수 있습니다.

공개 - 이러한 질문에 대한 답변은 어떤 형태로든 공식화될 수 있습니다.

폐쇄형 - 답변이 제공되며 그 중 하나는 전문가가 선택해야 합니다.

설문지에서 폐쇄형 질문을 사용하는 것은 답변 결과의 통계 처리를 단순화하고 설문지를 작성할 때 전문가의 작업을 용이하게 하기 때문에 바람직합니다. 반면, 질문에 대한 답변 목록에는 전문가의 의견이 포함되지 않을 수 있습니다. 따라서 일부 질문에 대한 답변 목록을 작성할 때 전문가가 자신의 답변을 제시하거나 답변을 회피할 수 있어야 합니다.

3. 분석 방법(분석 참고 사항) 독립적 인 일추세 분석, 예측 대상의 상태 및 개발 경로 평가에 대한 전문가. 전문가는 예측 대상에 대해 필요한 모든 정보를 사용할 수 있습니다. 그는 자신의 연구 결과를 메모 형식으로 씁니다. 이 방법의 주요 장점은 전문가의 개별 능력을 최대한 활용할 수 있다는 것입니다. 그러나 관련 지식 분야의 전문가 1인의 제한된 지식으로 인해 복잡한 시스템을 예측하고 전략을 수립하는 데에는 적합하지 않습니다.

개별 전문가 평가 방법의 가장 큰 장점은 전문가의 개별 능력을 최대한 활용할 수 있다는 것입니다. 그러나 이러한 방법은 관련 과학 및 실무 분야의 발전에 대한 한 전문가의 제한된 지식으로 인해 가장 일반적인 전략을 예측하는 데 적합하지 않습니다.

사회 경제적 시스템의 개발을 계획할 때 전문가 평가를 사용하는 예는 현재 인간 활동의 많은 영역과 관련된 솔루션 옵션을 선택하는 다중 기준 문제입니다.

다중 기준 선택 절차에는 다음 단계가 포함됩니다.

1. 연구 대상을 특징짓는 가장 중요한 지표(기준)의 식별

2. 지표의 정량화 방법 결정

3. 지표 변경에 대한 허용 한도 결정

4. 최상의 선택을 위한 검색 방법의 선택

5. 문제 해결 및 결과 분석.

기준의 가법 컨볼루션은 솔루션 옵션을 평가하기 위한 목적 함수로 가장 자주 사용됩니다.

또는 , (2.18)

여기서 는 기준의 중요성을 나타내는 가중치 계수입니다. 수치는 전문가가 결정하지만 다음 조건을 준수하는 것이 바람직합니다.

기준에 다른 측정 단위가 있는 경우 다음 부등식을 충족하도록 단일 무차원 척도로 줄여야 합니다.

예시 . 전문가들에 따르면 경제 및 사회 발전지역은 다음과 같습니다.

국내총생산(지역)

인구의 고용 수준;

평균 월 급여입니다.

10점 척도에 대한 기준의 중요성에 대한 전문가 평가가 표에 나와 있습니다. 2.2.

이 지역의 지도부는 우선 자금 조달을 목표로 지역 개발을 위한 4가지 목표 프로그램을 제안받았습니다.

1. 농공단지

2. 식품공업기업

3. 사회문화적 영역의 분과

4. 주택 건설.

고려중인 대상 프로그램을 구현하는 동안 얻은 주요 지표의 예상 값은 표에 나와 있습니다. 2.3.

표 2.2

전문가 평가 결과

표 2.3

지역 발전의 주요 사회 경제적 지표의 기대 값

지역의 발전에 가장 적합한 프로그램을 결정하는 것이 필요합니다.

해결책:

가중치 계수의 값을 결정합시다.

; ; .

따라서 전문가 추정치를 처리한 결과 목적 함수는 다음과 같은 형식을 갖습니다.

대상 프로그램 3번이 2번 프로그램(1500<2000; 80=80; 1000<2000), удалим её из матрицы возможных решений:

지표의 값은 차원이 다르기 때문에 단일 무차원 척도로 줄여야 합니다. 이는 각 열의 요소를 열의 최대값으로 나눔으로써 달성됩니다.

마지막 단계에서 제안된 프로그램의 목적 함수 값을 결정합니다.

목적 함수의 최대값은 프로그램 번호 1에 해당합니다. 따라서 이 프로그램의 구현이 가장 적절합니다.

가장 신뢰할 수 있는 것은 집단 전문가 평가 -개별 전문가가 공식화한 예측 대상 개발을 위한 유망한 영역에 대한 전문가의 의견 간의 합의 정도를 결정하는 것을 포함합니다.

전문가 평가를 구성하기 위해 설문 조사 수행, 자료 처리 및 집단 전문가 평가 결과 분석을 포함하는 작업 그룹이 만들어집니다. 작업 그룹은 이 개체의 개발 전망과 관련하여 제기된 질문에 대한 답변을 제공하는 전문가를 임명합니다.

1. 본질 아이디어의 집단적 생성 방법(브레인스토밍) 전문가의 창의적 잠재력을 활용하여 문제 상황을 브레인스토밍하는 것으로, 먼저 아이디어의 생성을 구현한 다음, 대응책의 발전과 일관된 관점의 개발을 통해 구조화, 분석 및 비판을 수행합니다.

아이디어의 집단적 생성 방법에는 다음 단계의 구현이 포함됩니다.

1. 특정 문제를 해결하기 위해 "브레인스토밍"에 참가자 그룹을 형성합니다. 최적의 그룹 크기는 경험적으로 찾습니다. 10-15명으로 구성된 그룹이 가장 생산적인 것으로 인식됩니다.

2. 분석 팀은 문제 상황을 공식화하고 방법 및 문제 상황에 대한 설명을 포함하는 문제 노트를 작성합니다.

3. 아이디어 생성 단계. 각 참가자는 여러 번 공연할 권리가 있습니다. 이전 연설에 대한 비판 및 회의적인 발언은 허용되지 않습니다. 촉진자는 프로세스를 수정하고 아이디어의 개선 또는 조합을 환영하며 지원을 제공하여 참가자를 제약에서 해방시킵니다. "브레인스토밍" 기간 - 참가자의 활동에 따라 20분 이상 1시간 이하.

4. 생성 단계에서 표현된 아이디어의 체계화. 아이디어 목록이 형성되고, 아이디어를 결합할 수 있는 기능이 구별되며, 선택한 기능에 따라 아이디어가 그룹으로 결합됩니다.

5. 5단계에서는 체계화된 아이디어를 해체(파괴)한다. 각 아이디어는 20-25명으로 구성된 자격을 갖춘 전문가 그룹에 의해 포괄적인 비판을 받습니다.

6. 여섯 번째 단계에서는 비판을 평가하고 실용적인 아이디어 목록을 작성합니다.

방법 "635"- "브레인 스토밍"의 종류 중 하나. 숫자 b, 3, 5는 6명의 참가자를 나타내며 각 참가자는 5분 이내에 3개의 아이디어를 적어야 합니다. 잎이 이리저리 움직입니다. 따라서 30분 안에 모든 사람이 자산에 18개의 아이디어를 기록하고 모두 함께 108개를 작성합니다. 아이디어의 구조는 명확하게 정의됩니다. 방법 수정이 가능합니다. 이 방법은 특정 문제를 해결하는 데 있어 가장 독창적이고 진보적인 다양한 아이디어 중에서 선택하기 위해 외국(특히 일본)에서 널리 사용됩니다.

2. "델파이" 방법. 이 방법의 목적은 연속적인 다중 라운드 개별 설문조사 프로그램을 개발하는 것입니다. 전문가에 대한 개별 설문조사는 일반적으로 설문지 형식으로 수행됩니다. 그런 다음 통계 처리가 컴퓨터에서 수행되고 그룹의 집단 의견이 형성되고 다양한 판단에 찬성하는 주장이 식별되고 일반화됩니다. 컴퓨터 처리된 정보는 전문가에게 전달되며 전문가는 추정치를 수정할 수 있으며 집단 판단에 동의하지 않는 이유를 설명합니다. 이 절차는 최대 3-4회 반복할 수 있습니다. 그 결과 추정의 범위가 좁아지고 대상의 발전 전망에 대해 일관된 판단이 내려진다.

"델파이" 방법의 특징:

a) 전문가의 익명성 - 설문지를 작성할 때 그룹 구성원의 상호 작용은 완전히 배제됩니다.
b) 이전 설문조사의 결과를 사용할 가능성;

c) 그룹 의견의 통계적 특성.

3. "수수료"의 방법- 특별위원회의 작업을 기반으로합니다. "원탁"의 전문가 그룹은 관점에 동의하고 공통의 의견을 개발하기 위해 특정 문제에 대해 토론합니다. 이 방법의 단점은 전문가 그룹의 판단이 주로 타협의 논리에 따라 좌우된다는 것입니다.

전문가 위원회의 방법은 다음 형식 중 하나로 구성할 수 있습니다.

실습에서 알 수 있듯이 "커미션" 방법에는 다음과 같은 심각한 단점이 있습니다.

권위있는 전문가의 의견과 같은 심리적 요인의 큰 영향으로 다른 전문가가 자신의 견해를 표명하지 않고 합류합니다.

전문가가 이전에 표현된 의견을 공개적으로 포기하는 것을 꺼림;

위원회 작업 중에 가장 권위 있는 전문가 2~3명 사이에 분쟁이 발생하는 경우가 가장 많으며, 그 결과 다른 전문가가 토론에 참여하거나 의견을 수락하거나 고려하지 않습니다.

4. 법원 방식 - 재판을 수행하는 형태로 전문가 팀의 작업 구성을 기반으로합니다. 이 방법을 사용하는 것은 각각의 관점을 옹호하는 여러 전문가 그룹이 있는 경우에 권장됩니다. 이 경우 예측의 대상은 “피고”가 됩니다. 대안적 관점을 표명하는 집단의 지도자는 검사와 변호인(검사, 변호사)의 역할을 동시에 수행합니다. 개별 전문가는 증인의 역할을 하여 법원에 결정을 내리는 데 필요한 정보를 제공합니다. 판사의 역할은 이해관계인(그룹)이 수행합니다. 예를 들어, 텔레비전 프로그램 "The Trial"에서 법원 방식을 사용하여 다양한 사회 경제적 과정의 발전을 분석하고 예측하는 것을 기반으로 판사의 역할은 청중이 수행했으며 그 과정에서 투표했습니다. 그들이 지원하는 관점에 대한 전화 통화에 의한 전송의.

형태학적 분석 방법가능한 것 중에서 문제에 대한 가장 적절한 해결책을 선택하는 것을 포함합니다. 기초 연구를 예측할 때 사용하는 것이 좋습니다. 이 방법에는 대상의 특성을 체계적으로 고려하는 여러 기술이 포함됩니다. 연구는 해당 매개 변수가 입력 된 셀에서 목표 트리 또는 매트릭스 형태로 구축 된 "형태 학적 상자"방법에 따라 수행됩니다. 후속 레벨의 매개변수 중 하나와 첫 번째 레벨 매개변수의 직렬 연결은 문제에 대한 가능한 솔루션입니다. 가능한 솔루션의 총 수는 행별로 취한 "상자"에 표시된 모든 매개변수 수의 곱과 같습니다. 순열과 다양한 조합을 통해 개체의 확률적 특성을 개발할 수 있습니다.

스크립트 작성 방법- 다양한 조건에서 시간에 따른 과정이나 현상의 논리 정의를 기반으로 합니다. 현재 상황에서 대상의 미래 상태로 전환하는 동안 발생하는 일련의 이벤트 설정이 포함됩니다. 예측 시나리오는 예측 개체의 개발 전략을 결정합니다. 그것은 개체 개발의 일반적인 목표, "목표 트리"의 상위 수준을 평가하기 위한 기준, 문제의 우선 순위 및 주요 목표를 달성하기 위한 리소스를 반영해야 합니다. 시나리오는 문제, 가능한 장애물에 대한 일관된 솔루션을 표시합니다. 이 경우 예측 대상 개발에 필요한 자료를 사용합니다.

예측 그래프는 선분-모서리로 연결된 점-꼭짓점으로 구성된 그림입니다. "목표 트리"는 단계 노드 또는 목표 달성 문제 간의 관계를 나타내는 트리 그래프입니다. 각 정점은 해당 정점에서 나가는 모든 분기의 대상입니다. "목표 트리"는 여러 구조적 또는 계층적 수준의 할당을 포함합니다.

"목표 트리"를 구축하려면 다음과 같은 많은 문제를 해결해야 합니다. 예측된 목표의 시나리오를 공식화하고 "트리"의 수준과 꼭짓점, 꼭짓점 순위에서 기준 및 가중치를 결정합니다. 이러한 작업은 필요한 경우 전문가 평가 방법으로 해결할 수 있습니다. 예측의 대상으로서의 이 목표는 다양한 시나리오에 대응할 수 있다는 점에 유의해야 합니다.

시나리오는 일반적으로 다변량 특성을 가지며 세 가지 행동 행을 강조합니다. 낙관적 - 가장 유리한 상황에서 시스템 개발; 비관적 - 가장 불리한 상황에서 시스템 개발; 작업 - 가장 가능성이 높은 부정적인 요인에 대한 대응을 고려한 시스템 개발. 예측 시나리오의 일부로 예상치 못한 상황에 대비하여 백업 전략을 수립하는 것이 좋습니다.

완성된 스크립트를 분석해야 합니다. 향후 예측에 적합하다고 판단되는 정보의 분석을 기반으로 목표를 수립하고 기준을 결정하며 대체 솔루션을 고려합니다.