Syarat untuk menerapkan metode penilaian ahli. metode ahli
Pendahuluan …………………………………………………………………………..3
Bab 1 Esensi, Metode dan Proses Penilaian Ahli …………………… 5
1.1 Esensi penilaian ahli …………………………………………………… 5
1.2 Peran tenaga ahli dalam manajemen ………………………………………………..9
1.3 Proses Tinjauan Sejawat ………………………………………………………………………………………………………………………………… ………………………………………………………………………………………………………………………………….
1.4 Metode penilaian ahli ………………………………………………..18
1.4.1 Analisis SWOT ………………………………………………………………...18
1.4.2 Metode CERDAS …………………………………………………………….20
1.4.3 Metode pemeringkatan dan evaluasi ……………………………………..21
1.4.4 Metode penilaian langsung …………………………………22
1.5 Menilai konsensus para ahli ………………………………………….23
Bab 2 Metode penilaian ahli pada contoh UAZ OJSC …………….24
Kesimpulan ………………………………………………………………………… 32
Daftar sumber dan literatur yang digunakan …………………………..33
pengantar
Dalam studi manajemen, metode penilaian ahli banyak digunakan. Ini karena kompleksitas banyak masalah, asalnya dari "faktor manusia", kurangnya alat eksperimental atau normatif yang andal.
Tidak dapat disangkal bahwa untuk membuat keputusan yang tepat, perlu mengandalkan pengalaman, pengetahuan, dan intuisi para spesialis. Setelah Perang Dunia Kedua, dalam kerangka teori manajemen (manajemen), disiplin independen mulai berkembang - penilaian ahli.
Metode penilaian ahli adalah metode untuk mengorganisir pekerjaan dengan ahli spesialis dan mengolah pendapat ahli yang dinyatakan dalam bentuk kuantitatif dan/atau kualitatif dalam rangka menyiapkan informasi untuk pengambilan keputusan oleh pengambil keputusan.
Banyak karya telah dikhususkan untuk mempelajari kemungkinan dan fitur penerapan penilaian ahli. Mereka mempertimbangkan bentuk survei ahli ( jenis yang berbeda kuesioner, wawancara), pendekatan penilaian (peringkat, normalisasi, jenis yang berbeda pemesanan, dll.), metode pemrosesan hasil survei, persyaratan ahli dan pembentukan kelompok ahli, masalah pelatihan ahli, penilaian kompetensi mereka (saat memproses perkiraan, koefisien kompetensi ahli, keandalan pendapat mereka, diperkenalkan dan diperhitungkan), metode pengorganisasian survei ahli. Pilihan bentuk dan metode untuk melakukan survei ahli, pendekatan untuk memproses hasil survei, dll. tergantung pada tugas khusus dan kondisi pemeriksaan.
Metode ahli sekarang digunakan dalam situasi di mana pilihan, pembenaran dan evaluasi konsekuensi keputusan tidak dapat dilakukan atas dasar perhitungan yang akurat. Situasi seperti itu sering muncul selama pengembangan masalah kontemporer pengelolaan produksi sosial dan terutama dalam peramalan dan perencanaan jangka panjang. Dalam beberapa tahun terakhir, penilaian ahli telah banyak digunakan dalam peramalan sosial-politik dan ilmiah-teknis, dalam perencanaan ekonomi nasional, industri, asosiasi, dalam pengembangan program ilmiah, teknis, ekonomi dan sosial utama, dalam memecahkan manajemen tertentu. masalah.
Bab 1 Esensi, Metode dan Proses Penilaian Ahli
1.1 Inti dari penilaian ahli
Kemungkinan menggunakan penilaian ahli, pembenaran objektivitasnya biasanya didasarkan pada fakta bahwa karakteristik yang tidak diketahui dari fenomena yang diteliti ditafsirkan sebagai variabel acak, refleksi dari hukum distribusi yang merupakan penilaian individu dari ahli spesialis. pada keandalan dan pentingnya suatu peristiwa. Diasumsikan bahwa nilai sebenarnya dari karakteristik yang diteliti berada dalam kisaran perkiraan yang diterima dari kelompok ahli, dan bahwa opini kolektif yang digeneralisasikan dapat diandalkan.
Namun, beberapa studi teoritis mempertanyakan asumsi ini. Misalnya, diusulkan untuk membagi masalah yang penilaian ahli digunakan menjadi dua kelas. Ke jalurkelasku mencakup masalah yang dilengkapi dengan informasi yang cukup baik dan yang dapat digunakan prinsip "pengukur yang baik", mengingat ahli sebagai penjaga sejumlah besar informasi, dan pendapat kelompok ahli mendekati yang benar. Bersama. kelas kedua termasuk masalah yang pengetahuannya tidak cukup untuk memastikan validitas asumsi ini; ahli tidak dapat dianggap sebagai “pengukur yang baik”, dan pengolahan hasil pemeriksaan perlu didekati dengan cermat, karena dalam hal ini pendapat seorang (tunggal) ahli, yang lebih memperhatikan kajian sedikit- masalah yang dipelajari, mungkin menjadi yang paling signifikan, dan selama pemrosesan formal itu akan hilang. Dalam hal ini, pengolahan hasil kualitatif harus diterapkan terutama pada masalah-masalah kelas kedua. Penggunaan metode rata-rata (berlaku untuk "pengukur yang baik") dalam hal ini dapat menyebabkan kesalahan yang signifikan.
Tugas pengambilan keputusan kolektif tentang pembentukan tujuan, peningkatan metode dan bentuk manajemen biasanya dapat dikaitkan dengan kelas satu. Namun, ketika mengembangkan prakiraan dan rencana jangka panjang, disarankan untuk mengidentifikasi pendapat "langka" dan menjadikannya analisis yang lebih menyeluruh.
Masalah lain yang perlu diingat ketika melakukan analisis sistem adalah sebagai berikut: bahkan dalam kasus pemecahan masalah yang berkaitan dengan kelas pertama, kita tidak boleh lupa bahwa penilaian ahli tidak hanya membawa fitur subjektif sempit yang melekat pada masing-masing pakar, tetapi juga secara kolektif -fitur subjektif yang tidak hilang saat memproses hasil survei (dan bahkan dapat ditingkatkan saat menggunakan prosedur Delphi). Dengan kata lain, penilaian ahli harus dilihat sebagai semacam "sudut pandang publik", tergantung pada tingkat pengetahuan ilmiah dan teknis masyarakat mengenai subjek penelitian, yang dapat berubah seiring dengan berkembangnya sistem dan gagasan kita tentangnya. . Oleh karena itu, survei ahli bukanlah prosedur satu kali. Cara memperoleh informasi tentang masalah kompleks yang ditandai dengan tingkat ketidakpastian yang tinggi ini harus menjadi semacam "mekanisme" dalam sistem yang kompleks, yaitu. perlu untuk membuat sistem kerja yang teratur dengan para ahli.
Perhatian juga harus diberikan pada fakta bahwa penggunaan pendekatan frekuensi klasik untuk menilai probabilitas ketika mengorganisir survei ahli bisa jadi sulit, dan kadang-kadang tidak mungkin (karena ketidakmungkinan membuktikan legitimasi menggunakan sampel yang representatif). Oleh karena itu, saat ini, studi sedang berlangsung pada sifat probabilitas penilaian ahli, berdasarkan teori, himpunan fuzzy Zadeh, pada gagasan penilaian ahli sebagai tingkat konfirmasi hipotesis atau sebagai kemungkinan pencapaian sebuah tujuan. Salah satu jenis metode pakar adalah metode mempelajari kekuatan dan kelemahan organisasi, peluang dan ancaman terhadap kegiatannya - metode analisis SWOT.
Pengumpulan informasi pakar tergantung pada pilihan metode penilaian pakar. Biasanya, untuk mengumpulkan informasi pakar, dokumen khusus disusun, misalnya, kuesioner yang disetujui oleh manajer terkait dan kemudian dikirim ke pakar.
Pemrosesan informasi pakar dilakukan dengan menggunakan metode yang dipilih, biasanya dengan penggunaan teknologi komputer. Data yang diperoleh sebagai hasil pemrosesan dianalisis dan digunakan untuk memecahkan masalah analisis dan sintesis sistem kontrol.
Penilaian ahli digunakan untuk analisis, diagnosis keadaan, prediksi opsi pengembangan selanjutnya:
1) objek, yang perkembangannya sebagian atau seluruhnya tidak sesuai dengan deskripsi subjek atau formalisasi matematis;
2) dengan tidak adanya statistik yang cukup representatif dan andal tentang karakteristik objek;
3) dalam kondisi ketidakpastian yang besar di lingkungan untuk berfungsinya objek, lingkungan pasar;
4) dalam peramalan pasar baru jangka menengah dan panjang, objek industri baru yang sangat dipengaruhi oleh penemuan dalam ilmu dasar (misalnya, industri mikrobiologi, elektronik kuantum, teknik nuklir);
5) dalam kasus di mana waktu atau dana yang dialokasikan untuk peramalan dan pengambilan keputusan tidak memungkinkan untuk menyelidiki masalah menggunakan model formal;
6) tidak ada sarana teknis pemodelan yang diperlukan, misalnya, teknologi komputer dengan karakteristik yang sesuai;
7) dalam situasi ekstrim.
Tugas yang diselesaikan dalam proses penilaian ahli sistem kontrol dapat dibagi menjadi dua kelompok:
1) tugas sintesis sistem kontrol baru dan evaluasinya;
2) tugas analisis (pengukuran) sistem manajemen yang ada sesuai dengan indikator dan kriteria kinerja yang dipilih.
Tugas kelompok pertama meliputi: pembentukan citra sistem yang sedang dibuat; meramalkan indikator teknis dan ekonomi dari tahapan siklus hidupnya; pembuktian arah utama reorganisasi sistem manajemen sosial; pemilihan metode tindakan dan hasil yang optimal atau memuaskan menggunakan sistem kontrol yang dibuat, dll.
Beberapa informasi ahli yang diperoleh selama pemecahan masalah ini bersifat kualitatif dan dibentuk dalam bentuk penilaian yang kompleks dalam bentuk deskriptif. Namun, tugas sintesis yang diselesaikan dengan bantuan penilaian ahli dapat bersifat kuantitatif, dan solusinya akan dikaitkan dengan pembenaran berbagai parameter (karakteristik) dari sistem yang dibuat.
Tugas kelompok kedua mencakup semua tugas mengevaluasi varian sistem kontrol yang ada atau dibuat menggunakan indikator dan kriteria kinerja yang ditentukan. Contoh tugas tersebut adalah: menentukan karakteristik struktural, fungsional atau informasi dari sistem; evaluasi efektivitasnya dalam melakukan berbagai operasi; menentukan kelayakan operasi lebih lanjut dari sarana teknis kontrol dan komunikasi, dll. Bagian penting dari informasi ahli yang digunakan dalam memecahkan masalah tersebut bersifat kuantitatif atau memiliki bentuk penilaian dasar dan diproses dengan menggunakan berbagai metode statistik.
MENTERI PENDIDIKAN
FEDERASI RUSIA
UNIVERSITAS NEGERI ALTAI
Fakultas Ekonomi
Departemen Manajemen Krisis, Penilaian Bisnis dan Inovasi
METODE PENILAIAN AHLI
(tugas kuliah)
Diselesaikan oleh seorang siswa
3 kursus, grup 277
Strekalova S.B.
Pekerjaan dilindungi
Barnaul - 1999
Pendahuluan 3
Bab 1. KEAHLIAN MANAJEMEN 5
1.1. Peran ahli dalam manajemen 5
1.2. Metode penilaian ahli 7
1.3. Organisasi tinjauan sejawat 9
1.4. Pemilihan ahli 9
1.5. Survei Ahli 10
Bab 2. FORMALISASI INFORMASI
DAN SKALA PERBANDINGAN 12
Bab 3. PENGOLAHAN PENILAIAN AHLI 16
3.1. Tugas pemesinan 16
3.2. Evaluasi kelompok objek 17
3.3. Menilai konsensus pendapat ahli 22
3.4. Menangani Perbandingan Objek Berpasangan 25
3.5. Menentukan hubungan peringkat 27
Kesimpulan 31
Referensi 32
PENGANTAR
Ekonomi modern membuat tuntutan baru yang lebih tinggi pada manajemen. Pertanyaan tentang perbaikan metode manajemen sekarang menjadi sangat penting, karena di bidang inilah ada cadangan yang lebih besar untuk meningkatkan efisiensi ekonomi nasional.
Faktor penting dalam meningkatkan tingkat ilmiah manajemen adalah penggunaan metode dan model matematika dalam persiapan solusi. Namun, formalisasi matematis lengkap dari masalah teknis dan ekonomi seringkali tidak layak karena kebaruan dan kompleksitas kualitatifnya. Dalam hal ini, metode pakar semakin banyak digunakan, yang dipahami sebagai seperangkat metode dan prosedur logis dan matematis-statistik yang bertujuan untuk memperoleh dari spesialis informasi yang diperlukan untuk persiapan dan pemilihan keputusan rasional.
Metode ahli sekarang digunakan dalam situasi di mana pilihan, pembenaran dan evaluasi konsekuensi keputusan tidak dapat dilakukan atas dasar perhitungan yang akurat. Situasi seperti itu sering muncul dalam perkembangan masalah modern dalam mengelola produksi sosial dan, terutama, dalam peramalan dan perencanaan jangka panjang. Dalam beberapa tahun terakhir, penilaian ahli telah banyak digunakan dalam peramalan sosial-politik dan ilmiah-teknis, dalam perencanaan ekonomi nasional, industri, asosiasi, dalam pengembangan program ilmiah, teknis, ekonomi dan sosial utama, dalam memecahkan manajemen tertentu. masalah.
Dalam perjalanan perkembangan produksi sosial, tidak hanya kompleksitas manajemen yang meningkat, tetapi juga persyaratan untuk kualitas keputusan yang dibuat. Untuk meningkatkan validitas keputusan dan mempertimbangkan berbagai faktor yang mempengaruhi hasil mereka, diperlukan analisis yang komprehensif, berdasarkan perhitungan dan pertimbangan yang masuk akal dari manajer dan spesialis yang akrab dengan keadaan dan prospek pengembangan di perusahaan. berbagai daerah kegiatan praktis. Penggunaan metode pakar memastikan partisipasi aktif dan terarah dari para spesialis di semua tahap pengambilan keputusan, yang secara signifikan dapat meningkatkan kualitas dan efisiensinya.
Tujuan pekerjaan kami adalah untuk mempelajari metode penilaian ahli - salah satu tahap terpenting dalam membuat keputusan manajemen yang kompeten.
1) kajian tentang peran keahlian dalam manajemen;
2) pertimbangan tata cara penyelenggaraan penilaian ahli;
3) mempelajari jenis-jenis timbangan dan tata cara penggunaannya;
4) pertimbangan rinci tahap akhir evaluasi ahli - pemrosesan evaluasi ahli.
Abstrak terdiri dari pendahuluan, tiga bab, kesimpulan dan daftar referensi.
Bab pertama membahas masalah perlunya keahlian dalam manajemen, mempertimbangkan metode penilaian ahli, tahapan organisasi penilaian ahli.
Bab kedua dikhususkan untuk skala perbandingan, karakteristik masing-masing jenis skala dan urutan penggunaannya dalam formalisasi informasi diberikan.
Bab ketiga membahas tentang pemrosesan penilaian ahli: pemrosesan tugas, penilaian kelompok objek, penilaian konsistensi pendapat ahli, pemrosesan perbandingan berpasangan objek, dan penentuan hubungan peringkat.
Karena tujuan dari pekerjaan ini adalah untuk mempertimbangkan evaluasi ahli dalam aspek teoritis, aplikasi praktis tidak dipertimbangkan.
Kesimpulannya, peran metode penilaian ahli dalam membuat keputusan manajerial dipertimbangkan.
Bab 1. KEAHLIAN DALAM MANAJEMEN
1.1. Peran ahli dalam manajemen
Masyarakat modern berkembang di bawah pengaruh revolusi ilmiah dan teknologi yang terus meningkat, yang menyebabkan transformasi mendasar dalam produksi, perubahan besar dalam struktur dan ekonomi ekonomi nasional. Revolusi ilmiah dan teknologi yang sedang berlangsung dalam pengaruhnya jauh melampaui lingkup produksi bahan, menangkap semua aspek kehidupan masyarakat, menentukan sebagian besar keputusan yang ditujukan untuk pembangunan ekonomi dan sosial yang rasional.
Sejarah perkembangan ilmu pengetahuan, teknologi dan produksi menunjukkan bahwa seiring dengan pergantian fungsi manusia secara berturut-turut dengan fungsi mesin, perannya dalam bidang manajemen semakin meningkat. Pertumbuhan terus-menerus dalam volume pengeluaran untuk pengembangan ilmu pengetahuan, untuk penciptaan teknologi baru dan peningkatan produksi secara signifikan meningkatkan signifikansi keputusan yang diambil di semua tingkat manajemen ekonomi. Masa depan ilmu pengetahuan. Rekayasa dan ekonomi sangat bergantung pada kualitas dan ketepatan waktu keputusan ini, dan tren objektif kemajuan ilmu pengetahuan dan teknologi dapat mempercepat atau memperlambat di bawah pengaruhnya.
Metode optimasi berdasarkan penggunaan formal, model matematika paling sering, yang menghemat waktu dan uang dalam memecahkan banyak masalah praktis, sekarang memperoleh kepentingan khusus dalam manajemen. Pemodelan membantu membawa faktor kompleks dan terkadang tidak pasti yang terkait dengan masalah keputusan ke dalam skema yang koheren, menentukan data apa yang diperlukan untuk mengevaluasi dan memilih alternatif.
Dalam proses manajemen, ada keinginan alami untuk menemukan solusi yang secara objektif adalah yang terbaik dari semua yang mungkin. Pemrograman matematika sekarang banyak digunakan sebagai alat optimasi. Keberhasilan dalam penerapan pemrograman matematika untuk memecahkan berbagai jenis masalah ekonomi, ilmiah, teknis dan militer telah memunculkan pandangan metodologis, yang menurutnya solusi utama untuk mengendalikan masalah hanya mungkin jika semua aspeknya ditampilkan dalam sistem yang saling berhubungan. model matematika.
Namun, formalisasi keputusan teknis, ekonomi dan manajerial diperumit oleh sejumlah fitur dari tahap kemajuan ilmiah dan teknologi saat ini. Kehidupan masyarakat begitu kompleks sehingga sulit untuk mengandalkan munculnya model-model yang sepenuhnya mencerminkan sifat dan hubungan kuantitatif proses sosial-ekonomi. Realitas nyata selalu lebih kompleks daripada model matematika yang paling halus, dan perkembangannya sering kali melampaui pengetahuan formal. Tugas manajemen membutuhkan partisipasi orang sebagai elemen integral dari solusi. Dan, akhirnya, proses manajemen itu sendiri selalu melibatkan orientasi tidak hanya pada data numerik, tetapi juga pada akal sehat biasa. Penggunaan pemrograman matematika dan teknologi komputer memungkinkan untuk membuat keputusan berdasarkan informasi yang lebih lengkap dan dapat diandalkan. Tetapi juga tidak diragukan bahwa dalam kondisi apa pun, memilih solusi rasional membutuhkan sesuatu yang lebih dari sekadar model matematika yang baik.
Saat membuat keputusan, kami umumnya berasumsi bahwa informasi yang digunakan untuk mendukungnya akurat dan dapat diandalkan. Tetapi untuk banyak masalah ekonomi dan ilmiah-teknis, yang secara kualitatif baru dan tidak berulang, asumsi ini jelas tidak terwujud, atau tidak dapat dibuktikan pada saat mengambil keputusan.
Ketersediaan informasi dan kebenaran penggunaannya sangat menentukan optimalitas solusi yang dipilih. Selain data yang terdiri dari statistik numerik, informasi mencakup besaran lain yang tidak dapat diukur secara langsung, seperti asumsi tentang solusi yang memungkinkan dan hasil mereka. Praktik menunjukkan bahwa kesulitan utama yang muncul dalam pencarian dan pemilihan solusi bisnis terutama disebabkan oleh kurangnya kualitas dan ketidaklengkapan informasi yang tersedia.
Kesulitan utama yang terkait dengan informasi yang muncul dalam pengembangan keputusan yang kompleks dapat dibagi menjadi beberapa kelompok berikut.
Pertama, informasi statistik awal seringkali tidak cukup andal.
Kedua, beberapa informasi bersifat kualitatif dan tidak dapat diukur. Dengan demikian, tidak mungkin untuk secara akurat menghitung tingkat pengaruh faktor sosial dan politik pada implementasi rencana, untuk menilai efek ekonomi dari penemuan di masa depan, dll. Namun, karena faktor dan fenomena ini memiliki dampak yang signifikan terhadap hasil keputusan, mereka tidak dapat diabaikan.
Ketiga, dalam proses persiapan keputusan, situasi sering muncul ketika, pada prinsipnya, informasi yang diperlukan dapat diperoleh, tetapi pada saat pengambilan keputusan tidak tersedia, karena ini terkait dengan investasi waktu atau uang yang besar.
Keempat, ada sekelompok besar faktor yang dapat mempengaruhi implementasi keputusan di masa depan, tetapi tidak dapat diprediksi secara akurat.
Kelima, salah satu kesulitan paling signifikan dalam memilih solusi adalah bahwa setiap ide ilmiah atau teknis mengandung potensi berbagai skema untuk implementasinya, dan tindakan ekonomi apa pun dapat menghasilkan banyak hasil. Masalah memilih solusi terbaik juga dapat muncul karena biasanya ada kendala sumber daya, dan oleh karena itu, adopsi satu opsi selalu dikaitkan dengan penolakan solusi lain.
Keenam, ketika memilih solusi terbaik, kita sering menghadapi ambiguitas dari kriteria umum, atas dasar yang memungkinkan untuk membandingkan hasil yang mungkin. Ambiguitas, multidimensi dan perbedaan kualitatif indikator merupakan hambatan serius untuk memperoleh penilaian umum dari efektivitas relatif, kepentingan, nilai atau kegunaan dari masing-masing solusi yang mungkin.
Dalam hal ini, salah satu fitur utama dari pemecahan masalah yang kompleks adalah bahwa penerapan perhitungan di sini selalu terkait dengan penggunaan penilaian manajer, ilmuwan, dan spesialis. Penilaian ini memungkinkan untuk setidaknya sebagian mengimbangi kurangnya informasi, untuk memanfaatkan pengalaman individu dan kolektif secara lebih penuh, dan untuk mempertimbangkan asumsi spesialis tentang keadaan objek di masa depan. Pola perkembangan ilmu pengetahuan dan teknologi adalah bahwa pengetahuan baru, informasi ilmiah dan teknis terakumulasi dalam jangka waktu yang lama. Cukup sering akumulasi ini berlangsung dalam bentuk laten di benak para ilmuwan dan pengembang. Mereka, tidak seperti orang lain, mampu menilai prospek area di mana mereka bekerja, dan untuk mengantisipasi karakteristik sistem tersebut dalam penciptaan yang mereka terlibat langsung.
Pengalaman menunjukkan bahwa penggunaan penilaian spesialis individu yang tidak sistematis tidak cukup efektif dalam memecahkan banyak masalah ilmiah dan teknis yang kompleks karena berbagai hubungan antara elemen utama dari masalah tersebut dan ketidakmungkinan untuk mencakup semuanya. Saat menggunakan prosedur persiapan keputusan tradisional, seringkali tidak mungkin untuk mempertimbangkan berbagai faktor, untuk mempertimbangkan seluruh rentang cara alternatif untuk memecahkan masalah.
Semua ini memaksa seseorang untuk menggunakan kelompok staf spesialis yang mewakili berbagai bidang pengetahuan sebagai ahli. Penggunaan keahlian kelompok memungkinkan tidak hanya untuk mempertimbangkan banyak aspek dan faktor, tetapi juga untuk menggabungkan pendekatan yang berbeda, dengan bantuan manajer menemukan solusi terbaik.
1.2. Metode penilaian ahli
Inti dari metode penilaian ahli adalah bahwa para ahli melakukan analisis intuitif-logis dari masalah dengan penilaian penilaian kuantitatif dan pemrosesan formal dari hasil. Pendapat umum para ahli yang diperoleh sebagai hasil pemrosesan diterima sebagai solusi untuk masalah tersebut. Penggunaan intuisi yang kompleks (pemikiran bawah sadar), pemikiran logis dan penilaian kuantitatif dengan pemrosesan formalnya memungkinkan untuk memperoleh solusi yang efektif untuk masalah tersebut.
Ketika melakukan peran mereka dalam proses manajemen, para ahli melakukan dua fungsi utama: mereka membentuk objek (situasi alternatif, tujuan, keputusan, dll.) dan mengukur karakteristik mereka (probabilitas peristiwa yang terjadi, koefisien signifikansi tujuan, preferensi keputusan, dll.) . Pembentukan objek dilakukan oleh para ahli atas dasar pemikiran logis dan intuisi. Dalam hal ini, pengetahuan dan pengalaman ahli memegang peranan penting. Mengukur ciri-ciri benda menuntut para ahli untuk mengetahui teori pengukuran.
Fitur karakteristik metode penilaian ahli sebagai alat ilmiah untuk memecahkan masalah kompleks yang tidak dapat diformalkan adalah, pertama, organisasi berbasis ilmiah dari semua tahap pemeriksaan, memastikan efisiensi kerja terbesar pada setiap tahap, dan, kedua, penggunaan metode kuantitatif baik dalam mengatur pemeriksaan dan dan dalam mengevaluasi penilaian ahli dan pemrosesan kelompok formal dari hasil. Kedua fitur ini membedakan metode penilaian ahli dari keahlian biasa yang sudah lama dikenal, banyak digunakan di berbagai bidang aktivitas manusia.
Penilaian kolektif ahli banyak digunakan dalam skala nasional untuk memecahkan masalah kompleks dalam mengelola ekonomi nasional di tahun-tahun awal. kekuatan Soviet. Pada tahun 1918, Dewan Ahli didirikan di bawah Dewan Tertinggi Ekonomi Nasional, yang tugasnya adalah memecahkan masalah paling sulit dalam mengatur kembali ekonomi nasional negara itu. Dalam menyusun rencana lima tahun untuk pengembangan ekonomi nasional negara, penilaian ahli dari berbagai spesialis digunakan secara sistematis.
Saat ini, di negara kita dan di luar negeri, metode penilaian ahli banyak digunakan untuk memecahkan masalah penting yang sifatnya berbeda. Di berbagai industri, asosiasi dan perusahaan, ada komisi ahli permanen atau sementara yang membentuk solusi untuk berbagai masalah kompleks yang tidak dapat diformalkan.
Seluruh rangkaian masalah yang diformalkan dengan buruk secara kondisional dapat dibagi menjadi dua kelas. Kelas pertama mencakup masalah yang memiliki potensi informasi yang cukup untuk berhasil memecahkan masalah ini. Kesulitan utama dalam memecahkan masalah kelas satu dalam peer review adalah dalam mewujudkan potensi informasi yang ada dengan memilih ahli, membangun prosedur survei yang rasional dan menerapkan metode yang optimal untuk memproses hasilnya. Pada saat yang sama, metode interogasi dan pemrosesan didasarkan pada penggunaan prinsip meteran "baik". Prinsip ini berarti bahwa hipotesis berikut terpenuhi:
1) seorang ahli adalah gudang dari sejumlah besar informasi yang diproses secara rasional, dan oleh karena itu dapat dianggap sebagai sumber informasi kualitatif;
2) pendapat kelompok ahli mendekati solusi yang benar dari masalah.
Jika hipotesis ini benar, maka hasil teori pengukuran dan statistik matematis dapat digunakan untuk menyusun prosedur polling dan algoritma pemrosesan.
Kelas kedua mencakup masalah dalam kaitannya dengan potensi informasi pengetahuan yang tidak cukup untuk memastikan validitas hipotesis ini. Saat memecahkan masalah dari kelas ahli ini tidak bisa lagi dianggap sebagai "pengukur yang baik". Oleh karena itu, perlu kehati-hatian dalam mengolah hasil pemeriksaan. Penggunaan metode rata-rata yang valid untuk "meter yang baik" dalam hal ini dapat menyebabkan kesalahan besar. Misalnya, pendapat seorang ahli, yang sangat berbeda dengan pendapat ahli lainnya, bisa jadi benar. Dalam hal ini, untuk masalah kelas kedua, pemrosesan kualitatif harus diterapkan.
Cakupan metode penilaian ahli sangat luas. Kami membuat daftar tugas-tugas khas yang diselesaikan dengan metode penilaian ahli:
1) menyusun daftar kemungkinan kejadian di berbagai daerah untuk jangka waktu tertentu;
2) penentuan interval waktu yang paling mungkin untuk penyelesaian serangkaian peristiwa;
3) definisi tujuan dan sasaran manajemen dengan mengurutkannya dalam urutan kepentingan;
4) identifikasi alternatif (pilihan untuk memecahkan masalah dengan penilaian preferensi mereka;
5) distribusi alternatif sumber daya untuk memecahkan masalah dengan penilaian preferensi mereka;
6) pilihan alternatif membuat keputusan dalam situasi tertentu dengan penilaian preferensi mereka.
Untuk mengatasi hal di atas tugas khas Saat ini, berbagai jenis metode penilaian ahli digunakan. Jenis utama meliputi: pertanyaan dan wawancara; bertukar pikiran; diskusi; pertemuan; permainan operasional; skenario.
Masing-masing jenis evaluasi ahli ini memiliki kelebihan dan kekurangannya sendiri, yang menentukan area aplikasi yang rasional. Dalam banyak kasus, penerapan gabungan dari beberapa jenis keahlian memberikan efek terbesar.
Menanyakan dan skenario mengasumsikan pekerjaan individu ahli. Wawancara dapat dilakukan baik secara individu maupun dengan sekelompok ahli. Jenis keahlian lainnya melibatkan partisipasi kolektif para ahli dalam pekerjaan. Terlepas dari partisipasi individu atau kelompok ahli dalam pekerjaan, disarankan untuk memperoleh informasi dari banyak ahli. Hal ini memungkinkan untuk memperoleh hasil yang lebih andal berdasarkan pengolahan data, serta informasi baru tentang ketergantungan fenomena, peristiwa, fakta, penilaian ahli, yang tidak secara eksplisit terkandung dalam pernyataan para ahli.
Saat menggunakan metode penilaian ahli, ada beberapa masalah. Yang utama adalah: pemilihan ahli, melakukan survei ahli, mengolah hasil survei, menyelenggarakan prosedur pemeriksaan.
1.3. Organisasi penilaian ahli
Tahap pertama dalam organisasi kerja pada penerapan penilaian ahli adalah persiapan dan publikasi dokumen pedoman, yang merumuskan tujuan pekerjaan dan ketentuan utama untuk pelaksanaannya. Dokumen ini harus mencerminkan pertanyaan-pertanyaan berikut: pernyataan eksperimen masalah; tujuan percobaan; pembuktian perlunya eksperimen; waktu penyelesaian; tugas dan komposisi kelompok manajemen; tugas dan hak kelompok; dukungan finansial dan material untuk pekerjaan.
Untuk mempersiapkan dokumen ini, serta untuk mengelola seluruh pekerjaan, seorang pemimpin ujian ditunjuk. Itu dipercayakan dengan pembentukan kelompok manajemen dan tanggung jawab untuk mengatur pekerjaannya.
Setelah pembentukan, kelompok manajemen melakukan pekerjaan pemilihan kelompok ahli dengan urutan sebagai berikut: klarifikasi masalah yang akan dipecahkan; penetapan jangkauan bidang kegiatan yang terkait dengan masalah; penetapan proporsi tenaga ahli pada setiap bidang kegiatan; penetapan jumlah ahli dalam kelompok; menyusun daftar ahli pendahuluan, dengan mempertimbangkan lokasi mereka; analisis kualitas pakar dan spesifikasi daftar pakar dalam kelompok; memperoleh persetujuan ahli untuk ikut serta dalam pekerjaan; penyusunan daftar akhir kelompok ahli.
Sejalan dengan proses pembentukan kelompok ahli, kelompok manajemen mengembangkan organisasi dan metodologi untuk melakukan survei ahli. Dalam hal ini, masalah berikut diselesaikan: tempat dan waktu survei; jumlah dan tujuan putaran survei; bentuk survei; tata cara pencatatan dan pengumpulan hasil survei; komposisi dokumen yang diperlukan.
Langkah selanjutnya dalam pekerjaan kelompok manajemen adalah menentukan organisasi dan metodologi untuk memproses data survei. Pada tahap ini, perlu untuk menentukan tugas dan persyaratan pemrosesan, prosedur dan algoritma untuk pemrosesan, kekuatan dan sarana untuk pemrosesan.
Dalam proses melakukan survei para ahli secara langsung dan memproses hasilnya, kelompok manajemen melakukan serangkaian pekerjaan sesuai dengan rencana yang dikembangkan, menyesuaikannya seperlunya dalam hal isi, waktu dan penyediaan sumber daya.
Tahap kerja terakhir untuk kelompok pengelola adalah pendaftaran hasil karya. Pada tahap ini, hasil evaluasi ahli dianalisis; kompilasi laporan; pembahasan dan persetujuan hasil; mempresentasikan hasil pekerjaan untuk disetujui; sosialisasi dengan hasil pemeriksaan organisasi dan individu.
1.4. Seleksi ahli
Untuk melaksanakan prosedur evaluasi pakar, perlu dibentuk kelompok pakar. Persyaratan umum dalam pembentukan kelompok ahli adalah solusi yang efektif untuk masalah pemeriksaan. Efektivitas pemecahan masalah ditentukan oleh karakteristik keandalan pemeriksaan dan biayanya.
Keandalan evaluasi ahli hanya dapat ditentukan atas dasar solusi praktis untuk masalah dan analisis hasilnya. Penggunaan tenaga ahli justru karena tidak ada cara lain untuk memperoleh informasi. Oleh karena itu, penilaian keandalan pemeriksaan dapat dilakukan, sebagai suatu peraturan, hanya berdasarkan data a posteriori (pasca-eksperimental). Jika pemeriksaan dilakukan secara sistematis dengan komposisi ahli yang kurang lebih sama, maka dimungkinkan untuk mengumpulkan data statistik tentang keandalan pekerjaan sekelompok ahli dan memperoleh penilaian keandalan numerik yang stabil. Perkiraan ini dapat digunakan sebagai data apriori keandalan panel ahli untuk pemeriksaan selanjutnya.
Keandalan evaluasi ahli kelompok tergantung pada jumlah ahli dalam kelompok, proporsi ahli yang berbeda dalam kelompok, dan karakteristik ahli.
Menentukan sifat ketergantungan keandalan pada faktor-faktor yang terdaftar adalah masalah lain dalam pemilihan ahli.
Masalah yang sulit dalam prosedur seleksi adalah pembentukan sistem karakteristik ahli yang secara signifikan mempengaruhi kursus dan hasil ujian. Karakteristik ini harus menggambarkan karakteristik khusus dari spesialis dan kemungkinan hubungan antara orang-orang yang mempengaruhi keahlian. Persyaratan penting untuk karakteristik seorang pakar adalah keterukuran karakteristik tersebut.
Masalah lain adalah organisasi prosedur untuk memilih ahli, yaitu. penentuan urutan pekerjaan yang jelas yang dilakukan dalam proses pemilihan ahli dan sumber daya yang diperlukan untuk implementasinya.
Jumlah maksimum ahli dalam kelompok diperiksa terhadap keterbatasan sumber daya keuangan. Setelah menentukan hubungan antara keandalan, jumlah ahli dan biaya pembayaran, tim manajemen menyajikan informasi ini kepada manajemen dan merumuskan solusi alternatif yang memungkinkan. Alternatif-alternatif tersebut dapat berupa pengurangan keandalan hasil evaluasi ahli ke tingkat yang menjamin terpenuhinya batasan biaya ahli yang dibayar, atau mempertahankan persyaratan awal untuk keandalan pemeriksaan dan meningkatkan biaya tenaga ahli.
Langkah selanjutnya dalam pemilihan ahli adalah penyusunan daftar ahli pendahuluan. Saat menyusun daftar ini, analisis kualitas para ahli dilakukan. Selain mempertimbangkan kualitas ahli, lokasi mereka dan kemungkinan partisipasi spesialis terpilih dalam pemeriksaan ditentukan. Saat mengevaluasi kualitas, pendapat orang yang mengenal kandidat ahli dengan baik diperhitungkan.
Setelah menyusun daftar ahli, surat dikirim kepada mereka dengan undangan untuk berpartisipasi dalam ujian. Surat-surat itu menjelaskan tujuan pemeriksaan, waktu pelaksanaannya, tata cara pelaksanaannya, jumlah pekerjaan, dan ketentuan remunerasi. Kuesioner data ahli dan penilaian kompetensi diri dilampirkan pada surat. Setelah menerima tanggapan para ahli, kelompok manajemen menyusun daftar akhir kelompok ahli.
Setelah daftar dikompilasi dan disetujui, sebuah pesan dikirim ke para ahli tentang penyertaan mereka dalam kelompok ahli. Jika evaluasi ahli dilakukan dengan metode angket, maka bersamaan dengan pemberitahuan masuknya kelompok ahli, semua ahli dikirimkan angket dengan petunjuk pengisian yang diperlukan. Dengan menginformasikan para ahli tentang keikutsertaan mereka dalam ujian, pekerjaan pemilihan ahli berakhir.
1.5. Survei Ahli
Survei adalah tahap utama kerja bersama kelompok manajemen dan para ahli. Isi utama dari survei adalah:
Pernyataan masalah dan penyajian pertanyaan kepada para ahli;
Dukungan informasi untuk pekerjaan para ahli;
Pengembangan oleh para ahli penilaian, perkiraan, proposal;
Mengumpulkan hasil kerja para ahli.
Ada tiga jenis tugas yang diselesaikan dalam proses survei:
Penilaian kualitatif atau kuantitatif dari objek yang diberikan;
Pembangunan fasilitas baru;
Konstruksi dan evaluasi fasilitas baru.
Dalam keahlian kolektif, jenis survei utama berikut digunakan: diskusi, tanya jawab dan wawancara, metode pengumpulan ide secara kolektif, atau curah pendapat.
Survei dapat dilakukan dengan atau tanpa umpan balik. Ketika bertanya dengan umpan balik, para ahli disurvei dalam beberapa tahap, dengan beberapa hasil survei pada tahap sebelumnya menjadi perhatian para ahli, termasuk penilaian ahli individu dan argumen mereka.
Hal utama dalam organisasi survei adalah memberikan informasi maksimal dan aktivitas kreatif maksimal, kemandirian ahli. Penting untuk berusaha memberikan kepada setiap ahli, jika mungkin, semua informasi yang terkait dengan fenomena yang dianalisis, yang tersedia bagi para ahli dan penyelenggara survei, tanpa menghilangkan independensi dan aktivitas kreatif ahli pada saat yang bersamaan.
Namun, kemungkinan seorang ahli pemrosesan informasi terbatas. Akibatnya, seorang ahli dapat membuat keputusan tanpa menggunakan semua informasi yang dimilikinya. Selain itu, informasi baru dirasakan oleh seseorang dengan resistensi internal tertentu dan tidak langsung mempengaruhi penilaian subjektif yang sudah ada. Sikap terhadap informasi baru lebih menguntungkan, dan persepsi serta penggunaannya lebih lengkap jika disajikan dalam bentuk yang dapat dipahami, jelas, dan ringkas.
Ini karakteristik psikologis ada kebutuhan untuk memberi para ahli peluang untuk menangkap informasi yang masuk dengan menyimpan catatan, menggunakan sarana teknis, serta kebutuhan untuk memproses informasi terlebih dahulu dan menyajikannya kepada para ahli dalam bentuk yang paling jelas.
Perlu ditekankan inkonsistensi pentingnya pertukaran informasi oleh para ahli, karena penerimaan informasi tersebut penuh dengan bahaya kehilangan kemandirian kreatif dalam membangun model suatu objek oleh seorang ahli. Penyelesaian kontradiksi ini sama sekali tidak mungkin, dan pada setiap pemeriksaan penyelenggaranya harus menemukan kompromi yang masuk akal, pertama-tama, dengan memilih jenis survei, bentuk dan tingkat komunikasi antara para ahli.
Masing-masing jenis survei memiliki kelebihan dan kekurangan dalam membangun pertukaran informasi antar pakar dan dalam mengorganisir kreativitas mandiri mereka. Pilihan satu atau beberapa jenis survei ditentukan oleh banyak faktor, di antaranya yang utama adalah:
Maksud dan tujuan pemeriksaan;
Esensi dan kompleksitas masalah yang dianalisis;
Kelengkapan dan keandalan informasi awal;
Volume yang diperlukan dan keandalan informasi yang diperoleh sebagai hasil survei;
Waktu yang diberikan untuk survei dan pemeriksaan secara umum;
Biaya yang diperbolehkan untuk survei, dan pemeriksaan secara umum;
Jumlah tenaga ahli dan anggota kelompok manajemen, karakteristiknya.
Menanyakan adalah jenis survei yang paling efektif dan paling umum, karena memungkinkan cara terbaik untuk menggabungkan dukungan informasi dari para ahli dengan kreativitas independen mereka.
Bab 2. FORMALISASI INFORMASI DAN SKALA PERBANDINGAN
Penggunaan rasional informasi yang diterima dari para ahli dimungkinkan asalkan informasi tersebut dibentuk menjadi bentuk yang nyaman untuk analisis lebih lanjut yang bertujuan untuk mempersiapkan dan membuat keputusan.
Kemungkinan memformalkan informasi tergantung pada fitur spesifik dari objek yang diteliti, keandalan dan kelengkapan data yang tersedia, dan tingkat pengambilan keputusan. Bentuk penyajian data pakar juga tergantung pada kriteria yang diterima, yang pilihannya, pada gilirannya, sangat dipengaruhi oleh kekhususan masalah yang diteliti.
Formalisasi informasi yang diterima dari para ahli harus ditujukan untuk menyiapkan solusi untuk masalah teknis, ekonomi, dan ekonomi yang tidak dapat sepenuhnya dijelaskan secara matematis, karena "terstruktur lemah", yaitu. mengandung ketidakpastian yang terkait tidak hanya dengan pengukuran, tetapi juga dengan sifat tujuan yang diteliti, sarana untuk mencapainya dan kondisi eksternal.
Saat menganalisis prospek, perlu tidak hanya menyajikan dalam bentuk perkiraan tidak langsung bagian dari informasi yang tidak dapat diukur, dan tidak hanya untuk mengungkapkan dengan bantuan perkiraan tersebut, informasi yang dapat diukur yang tidak ada data yang cukup dapat diandalkan pada saat itu. dari persiapan keputusan. Yang paling penting adalah memformalkan informasi ini sedemikian rupa untuk membantu pengambil keputusan memilih dari serangkaian tindakan satu atau lebih yang paling disukai dalam kaitannya dengan beberapa kriteria.
Jika seorang ahli dapat membandingkan dan mengevaluasi opsi yang mungkin untuk tindakan, menetapkan nomor tertentu untuk masing-masing opsi, maka ia memiliki sistem preferensi tertentu. Tergantung pada skala di mana preferensi ini dapat ditetapkan, penilaian ahli mengandung lebih banyak atau lebih sedikit informasi dan memiliki kemampuan yang berbeda untuk diformalkan.
Objek atau fenomena yang diselidiki dapat diidentifikasi atau dibedakan atas dasar tanda atau faktor. Faktor adalah himpunan setidaknya dua elemen yang mewakili tingkat yang berbeda dari beberapa besaran yang akan dipertimbangkan. Tingkat beberapa faktor dapat dinyatakan secara kuantitatif (dalam rubel, persen, kilogram, dll.) - faktor seperti itu disebut kuantitatif. Tingkat orang lain tidak dapat dinyatakan dengan angka, mereka disebut kualitatif.
Faktor secara kondisional dibagi menjadi diskrit dan kontinu. Diskrit adalah faktor-faktor dengan jumlah level tertentu, biasanya kecil. Faktor-faktor yang levelnya dianggap membentuk himpunan kontinu disebut kontinu. Tergantung pada tujuan dan kemampuan analisis, faktor yang sama dapat diperlakukan sebagai diskrit atau berkelanjutan.
Mari kita pertimbangkan aksioma logis utama yang digunakan dalam metode pakar dalam memformalkan informasi menggunakan berbagai skala.
Menggunakan skala nominal objek yang diteliti dapat diidentifikasi dan dibedakan berdasarkan tiga aksioma identifikasi:
1) saya entah di sana j, atau tidak ada j ;
2) jika saya ada j, kemudian j ada saya ;
3) jika saya ada j dan j ada k, kemudian saya ada k .
Faktor dalam hal ini bertindak sebagai indikator asosiatif yang memiliki informasi yang dapat diformalkan dalam bentuk perkiraan biner dari dua tingkat: 1 (identik) atau 0 (berbeda).
Dalam hal objek yang diteliti dapat ditempatkan dalam urutan tertentu sebagai hasil perbandingan, dengan mempertimbangkan faktor (faktor) yang signifikan. skala ordinal, memungkinkan untuk membangun kesetaraan atau dominasi.
Misalkan Anda perlu mengatur dalam urutan tertentu n objek menurut beberapa faktor (kriteria). Kami mewakili pemesanan ini sebagai matriks di mana aku j = 1,2,…, n .
Kuantitas membangun hubungan antara objek dan dapat didefinisikan sebagai berikut:
Mari kita membangun aksioma dasar yang diperlukan untuk mematuhi kondisi pemesanan. rasio artinya saya lebih baik j, harus asimetris, yaitu jika maka dan transitif, yaitu jika maka
rasio artinya saya dan j ekivalen disebut relasi ekivalensi. Rasio ini seharusnya
refleksif, yaitu
simetris, yaitu jika maka
transitif, yaitu jika dan maka
Selain itu, kedua relasi ini harus kompatibel, yaitu jika dan kemudian dan juga, jika dan kemudian
Dan akhirnya, pemesanan harus terhubung, mis. untuk setiap i dan j atau atau or
Penggunaan skala ordinal memungkinkan untuk membedakan objek bahkan dalam kasus di mana faktor (kriteria) tidak ditentukan secara eksplisit, mis. ketika kita tidak mengetahui tanda perbandingan, tetapi kita dapat mengurutkan sebagian atau seluruhnya objek berdasarkan sistem preferensi yang dimiliki pakar.
Set apa saja SEBUAH akan disebut terurut jika untuk dua elemennya X dan kamu menemukan itu juga X didahului kamu, atau kamu didahului X. Kadang-kadang tidak mungkin untuk menetapkan prioritas yang ketat untuk semua elemen dari suatu himpunan, tetapi dimungkinkan untuk menghasilkan urutan "grup" ketika himpunan bagian dari elemen yang setara dipesan. Selanjutnya, kita dapat mengajukan masalah membandingkan dan mengurutkan himpunan bagian ini.
Penggunaan skala ordinal memungkinkan untuk melakukan transformasi perkiraan yang diterima dari para ahli yang sesuai dengan semua fungsi yang meningkat secara monoton. Jadi, misalnya, taksiran positif dapat diganti dengan kuadrat, atau logaritma, atau fungsi lain yang meningkat secara monoton.
Untuk memformalkan perkiraan yang diterima dari para ahli, orang sering menggunakan skala interval. Ketika skala tersebut digunakan untuk tujuan ini, hampir semua ukuran statistik biasa dapat diambil. Pengecualian adalah langkah-langkah yang membutuhkan pengetahuan tentang titik nol "benar" dari skala, yang diperkenalkan secara kondisional di sini.
Skala interval menyarankan kemungkinan untuk mengubah skor yang diperoleh pada satu skala menjadi skor pada skala lain menggunakan persamaan
Perbedaan antara nilai pada skala interval menjadi ukuran pada skala rasio, yaitu pada skala numerik biasa, karena sebagai hasil dari pengurangan, Anda dapat menyingkirkan suku konstan b .
Dalam sejumlah kasus, ketika memformalkan penilaian ahli, properti aditif digunakan, yang hanya melekat pada skala hubungan. Kehadiran aditif dinyatakan oleh aksioma berikut:
1) jika j = sebuah dan saya> 0, maka saya + j > sebuah ;
2) saya + j = j + saya ;
3) jika saya = sebuah dan j = b, kemudian saya + j = sebuah + b ;
4) (saya + j) + k = saya + (j + k).
Situasi umum di mana keputusan perlu dibuat dengan mempertimbangkan aditif adalah ketika ada beberapa (setidaknya dua) faktor kualitatif. Jika ada beberapa faktor yang mencirikan objek tertentu, ada banyak sifat nyata dan jenis hubungan objek.
Misalnya, faktor (indikator) yang mencirikan efektivitas penciptaan dan penerapan teknologi baru, sesuai dengan konten tujuannya, dapat dibagi menjadi teknis, ekonomi, dan sosial. Di sisi lain, faktor-faktor ini dapat dikelompokkan sesuai dengan perannya dalam proses menciptakan dan menerapkan teknologi baru, menyoroti, misalnya, indikator yang mencirikan biaya, kualitas, efisiensi ekonomi, dll.
Bergantung pada sifat dan tujuan masalah yang diteliti, faktor-faktor yang membedakan objek dapat sebanding secara kuantitatif atau tidak dapat dibandingkan di antara mereka sendiri, sebagian sebanding (yaitu tidak ada dengan apa pun, tetapi hanya beberapa dari mereka), diurutkan berdasarkan tingkat kepentingannya, dll. .d. Ketidakterbandingan berbagai faktor tidak hanya disebabkan oleh kebutuhan untuk menggunakan unit pengukuran yang berbeda, tetapi juga oleh fakta bahwa setiap faktor, yang mengekspresikan properti tertentu, pada saat yang sama merupakan penilaian sikap terhadap properti ini dari pihak pembuat keputusan.
Dalam praktik manajemen di semua tingkatannya, situasi sering muncul ketika perlu untuk membuat keputusan dengan mempertimbangkan banyak faktor. Pertanyaan tentang faktor mana yang harus dianggap paling penting tergantung pada fitur kualitatif dari objek keputusan dan tujuan yang harus dipenuhi oleh keputusan ini.
Misalnya, ketika mempertimbangkan beberapa opsi untuk rencana atau opsi untuk tindakan organisasi dan teknis, faktor waktu, biaya, hasil teknis dan sosial, efisiensi ekonomi, dll. harus diperhitungkan. Biasanya, mereka mencoba mengarahkan semua variasi faktor ke penilaian kompleks yang tidak ambigu, dan penilaian semacam itu yang paling nyaman dan umum adalah moneter.
Namun, karena konsekuensi dari setiap keputusan, terutama keputusan yang terkait dengan kemajuan ilmiah dan teknologi, melampaui indikator biaya, diperlukan indikator yang mencirikan signifikansi, kegunaan faktor tertentu (atau kompleksnya). Pengukur terintegrasi semacam itu banyak digunakan dalam menilai kualitas produk, tingkat teknis dan ekonomi produksi, dalam menilai kinerja organisasi ilmiah, dan dalam sejumlah tugas lainnya. Meskipun masalah pembuatan sistem meteran yang cukup kuat dan formal masih jauh dari keputusan akhir, kami dapat menunjukkan beberapa fitur umum, memberikan pendekatan untuk formalisasi proses ini dan penggunaan satu atau lain aparat logis dan matematis.
Dalam kasus ketika semua faktor diberikan pada skala nominal, mis. beberapa atribut a dan set awal elemen M diberikan pada skala ini, tujuannya adalah untuk memilih subset elemen M(a) yang memiliki atribut ini. Dalam kasus seperti itu, elemen, atau lebih tepatnya propertinya, dibandingkan dengan tanda - standar, dan hasilnya - partisi himpunan - dapat dianggap sebagai urutan pada skala dua elemen, yang menurutnya masing-masing elemen elemen diberi skor sama dengan nol atau satu.
Dalam kasus ketika faktor-faktor diberikan pada skala ordinal atau pada beberapa skala ordinal, tujuannya adalah untuk mengurutkan elemen-elemen dari himpunan asli, untuk mengidentifikasi, dengan bantuan para ahli, pengurutan tersembunyi yang, dengan asumsi, melekat pada set ini. Kondisi yang diperlukan solusi untuk masalah ini adalah asumsi transitivitas. Semakin lengkap unsur-unsur yang dipesan, semakin mudah untuk menerapkan metode logis-matematis dan kombinatorial untuk memecahkan masalah tersebut.
Tergantung pada sifat atau pentingnya faktor tertentu, berbagai skala dapat digunakan pada tahap persiapan dan pengambilan keputusan. Faktor-faktor seperti biaya, keuntungan, waktu, dapat dievaluasi pada skala ordinal atau interval (dalam rubel, hari atau unit konvensional). Untuk mengevaluasi faktor-faktor seperti periode pengembalian modal atau efektivitas komparatif opsi, skala interval dapat digunakan; faktor kualitatif atau sosial dapat dinilai pada skala ordinal atau nominal.
Bab 3. PENGOLAHAN PENILAIAN AHLI
3.1. Memproses tugas
Setelah melakukan survei terhadap sekelompok ahli, hasilnya diolah. Informasi awal untuk diproses adalah data numerik yang mengungkapkan preferensi para ahli dan pembenaran substantif untuk preferensi ini. Tujuan pengolahan adalah untuk mendapatkan data umum dan informasi baru yang terkandung dalam bentuk tersembunyi dalam penilaian ahli. Berdasarkan hasil pengolahan tersebut, maka terbentuklah solusi dari permasalahan tersebut.
Adanya data numerik dan pernyataan ahli yang bermakna menyebabkan perlunya penerapan metode kualitatif dan kuantitatif untuk mengolah hasil evaluasi ahli kelompok. Bagian dari metode ini pada dasarnya tergantung pada kelas masalah yang diselesaikan oleh evaluasi ahli.
Seluruh rangkaian masalah dapat dibagi menjadi dua kelas. Kelas pertama mencakup masalah yang solusinya memiliki tingkat pengetahuan dan pengalaman yang cukup, yaitu, ada potensi informasi yang diperlukan. Ketika memecahkan masalah yang termasuk dalam kelas ini, para ahli dianggap sebagai pengukur rata-rata yang baik. Istilah “baik rata-rata” mengacu pada kemungkinan memperoleh hasil pengukuran yang mendekati kebenaran. Bagi banyak ahli, penilaian mereka mengelompok di sekitar nilai sebenarnya. Oleh karena itu untuk mengolah hasil evaluasi ahli kelompok masalah kelas satu, seseorang dapat berhasil menerapkan metode statistik matematika berdasarkan rata-rata data.
Kelas kedua mencakup masalah-masalah yang solusinya belum terakumulasi potensi informasi yang memadai. Dalam hal ini, pendapat para ahli bisa sangat berbeda satu sama lain. Selain itu, penilaian seorang ahli, yang sangat berbeda dengan pendapat lainnya, bisa jadi benar. Jelas, penggunaan metode untuk rata-rata hasil penilaian ahli kelompok dalam memecahkan masalah kelas dua dapat menyebabkan kesalahan besar. Oleh karena itu, pengolahan hasil survei ahli dalam hal ini harus didasarkan pada metode yang tidak menggunakan prinsip rata-rata, tetapi pada metode analisis kualitatif.
Mengingat masalah kelas pertama adalah yang paling umum dalam praktik peer review, fokus bab ini adalah pada metode pengolahan hasil review untuk masalah kelas ini.
Tergantung pada tujuan penilaian ahli dan metode pengukuran yang dipilih, tugas utama berikut muncul saat memproses hasil survei:
1) membangun penilaian objek secara umum berdasarkan penilaian individu ahli;
2) membangun penilaian umum berdasarkan perbandingan berpasangan objek oleh masing-masing ahli;
3) penentuan bobot relatif benda;
4) menentukan konsistensi pendapat ahli;
5) penentuan dependensi antar peringkat;
6) penilaian keandalan hasil pengolahan.
Tugas membangun penilaian umum objek berdasarkan penilaian individu ahli muncul dalam penilaian ahli kelompok. Solusi untuk masalah ini tergantung pada metode pengukuran yang digunakan oleh para ahli.
Ketika memecahkan banyak masalah, tidak cukup untuk mengatur objek menurut satu indikator atau beberapa indikator. Diinginkan untuk memiliki nilai numerik untuk setiap objek, yang menunjukkan kepentingan relatifnya dibandingkan dengan objek lain. Dengan kata lain, untuk banyak masalah perlu memiliki perkiraan objek yang tidak hanya melakukan urutannya, tetapi juga memungkinkan seseorang untuk menentukan tingkat preferensi satu objek di atas yang lain. Untuk mengatasi masalah ini, Anda bisa langsung menerapkan metode evaluasi langsung. Namun, dalam kondisi tertentu, masalah yang sama dapat diselesaikan dengan memproses perkiraan ahli.
Penentuan konsistensi pendapat ahli dilakukan dengan menghitung ukuran numerik yang mencirikan derajat kesamaan pendapat individu. Analisis nilai ukuran konsistensi berkontribusi pada pengembangan penilaian yang benar tentang tingkat pengetahuan umum tentang masalah yang dipecahkan dan identifikasi pengelompokan pendapat ahli. Analisis kualitatif tentang alasan pengelompokan pendapat memungkinkan untuk menetapkan keberadaan berbagai pandangan, konsep, mengidentifikasi aliran ilmiah, menentukan sifat aktivitas profesional dll. Semua faktor ini memungkinkan untuk lebih memahami hasil survei para ahli.
Dengan mengolah hasil evaluasi ahli, dimungkinkan untuk menentukan ketergantungan antara peringkat berbagai ahli dan dengan demikian membangun kesatuan dan perbedaan pendapat para ahli. Peran penting juga dimainkan oleh pembentukan hubungan antara peringkat yang dibangun di atas berbagai indikator perbandingan objek. Identifikasi ketergantungan semacam itu memungkinkan seseorang untuk mengungkapkan indikator perbandingan terkait dan, mungkin, mengelompokkannya menurut tingkat koneksi. Pentingnya tugas menentukan ketergantungan untuk latihan sudah jelas. Misalnya, jika indikator perbandingan adalah tujuan yang berbeda, dan objek adalah sarana untuk mencapai tujuan, maka membangun hubungan antara peringkat yang mengurutkan sarana dalam hal mencapai tujuan memungkinkan Anda untuk menjawab pertanyaan tentang sejauh mana di mana pencapaian satu tujuan dengan cara-cara ini berkontribusi pada pencapaian tujuan lainnya.
Estimasi yang diperoleh berdasarkan pemrosesan adalah objek acak, jadi salah satu tugas penting dari prosedur pemrosesan adalah menentukan keandalannya. Perhatian yang tepat harus diberikan pada solusi masalah ini.
Memproses hasil pemeriksaan adalah proses yang memakan waktu. Melakukan perhitungan manual perkiraan dan indikator keandalannya dikaitkan dengan biaya tenaga kerja yang besar, bahkan dalam kasus pemecahan masalah pemesanan sederhana. Untuk alasan ini, disarankan untuk menggunakan teknologi komputer dan terutama komputer. Penggunaan komputer menimbulkan masalah dalam mengembangkan program komputer yang mengimplementasikan algoritma untuk memproses hasil evaluasi ahli.
3.2. Evaluasi kelompok objek
Pada bagian ini, kami mempertimbangkan algoritma untuk memproses hasil evaluasi ahli dari satu set objek. Membiarkan m ahli menilai n fasilitas oleh aku indikator. Hasil evaluasi disajikan sebagai nilai, dimana j- nomor ahli, saya- nomor objek, h– jumlah indikator (atribut) perbandingan. Jika penilaian objek dilakukan dengan metode peringkat, maka nilainya adalah peringkat. Jika penilaian objek dilakukan dengan metode penilaian langsung atau dengan metode perbandingan berurutan, maka nilainya adalah angka dari segmen tertentu dari sumbu numerik, atau titik. Pemrosesan hasil evaluasi sangat tergantung pada metode pengukuran yang dipertimbangkan.
Mari kita pertimbangkan kasus ketika nilai diperoleh dengan metode evaluasi langsung atau perbandingan berurutan, yaitu, angka atau poin. Untuk mendapatkan peringkat kelompok objek dalam hal ini, Anda dapat (menggunakan nilai rata-rata peringkat untuk setiap objek
(5.1)
dimana - koefisien bobot indikator perbandingan objek, - koefisien kompetensi ahli. Koefisien bobot indikator dan kompetensi objek adalah nilai yang dinormalisasi
(5.2)
Koefisien bobot indikator dapat ditentukan oleh seorang ahli. Jika adalah faktor berat h-indikator yang diberikan j ahli -th, maka koefisien bobot rata-rata h-Indikator ke-th untuk semua ahli sama dengan
(5.3)
Memperoleh penilaian ahli kelompok dengan menjumlahkan penilaian individu dengan bobot kompetensi dan pentingnya indikator ketika mengukur sifat-sifat benda dalam skala kardinal didasarkan pada asumsi bahwa aksioma teori utilitas von Neumann-Morgenstern terpenuhi baik untuk individu maupun kelompok penilaian dan kondisi untuk tidak dapat dibedakannya objek dalam hubungan kelompok, jika mereka tidak dapat dibedakan dalam semua penilaian individu (prinsip Pareto parsial). Dalam masalah nyata, kondisi ini biasanya dipenuhi, sehingga memperoleh penilaian kelompok objek dengan menjumlahkan penilaian ahli individu dengan bobot banyak digunakan dalam praktik.
Koefisien kompetensi ahli dapat dihitung dari data a posteriori, yaitu dari hasil evaluasi objek. Ide pokok dari perhitungan ini adalah asumsi bahwa kompetensi ahli harus dinilai dengan derajat konsistensi penilaiannya dengan penilaian kelompok objek.
Algoritma untuk menghitung koefisien kompetensi ahli berbentuk prosedur berulang:
(5.4)
(5.5)
(5.6)
Perhitungan dimulai dari t=1. Pada rumus (5.4), nilai awal koefisien kompetensi diasumsikan sama dan sama, kemudian menurut rumus (5.4), taksiran kelompok objek aproksimasi pertama sama dengan nilai rata-rata aritmatika dari perkiraan ahli
(5.7)
(5.8)
dan nilai koefisien kompetensi aproksimasi pertama menurut rumus (5.6):
(5.9)
Dengan menggunakan koefisien kompetensi dari pendekatan pertama, dimungkinkan untuk mengulangi seluruh proses perhitungan menggunakan rumus (5.4), (5.5), (5.6) dan mendapatkan perkiraan kedua dari kuantitas
Pengulangan prosedur berulang untuk menghitung perkiraan objek dan koefisien kompetensi secara alami menimbulkan pertanyaan tentang konvergensinya. Untuk mempertimbangkan masalah ini, kami menghilangkan variabel dari persamaan (5.4), (5.6) dan mewakili persamaan ini dalam bentuk vektor
dimana matriks PADA dimensi dan DARI dimensinya sama
Besaran dalam persamaan (5.10) ditentukan dengan rumus (5.5).
Jika matriks PADA dan DARI adalah non-negatif dan tidak dapat didekomposisi, maka, sebagai berikut dari teorema Perron-Frobenius, prevektor dan - konvergen ke vektor eigen dari matriks PADA dan DARI, sesuai dengan nilai eigen maksimum dari matriks ini
(5.12)
Batasi nilai vektor X dan k dapat dihitung dari persamaan:
(5.13)
di mana nilai eigen maksimum dari matriks PADA dan DARI .
Kondisi matriks non-negatif PADA dan DARI mudah dilakukan dengan memilih elemen non-negatif dari matriks X penilaian objek oleh para ahli.
Kondisi matriks yang tidak dapat terurai PADA dan DARI praktis berlaku, karena jika matriks ini dapat didekomposisi, maka ini berarti para ahli dan objek pecah menjadi kelompok-kelompok independen. Dalam hal ini, setiap kelompok ahli hanya mengevaluasi objek dari kelompoknya. Secara alami, tidak masuk akal untuk menerima penilaian kelompok dalam kasus ini. Dengan demikian, kondisi non-negatif dan ketidakteruraian matriks PADA dan DARI, dan karenanya kondisi untuk konvergensi prosedur (5.4), (5.5), (5.6) dipenuhi dalam kondisi praktis.
Perlu dicatat bahwa perhitungan praktis vektor penilaian kelompok objek dan koefisien kompetensi lebih mudah dilakukan dengan menggunakan rumus rekursif (5.4), (5.5), (5.6). Menentukan nilai batas dari vektor-vektor ini dengan persamaan (5.13) membutuhkan penggunaan teknologi komputer.
Sekarang mari kita pertimbangkan kasus ketika para ahli mengevaluasi satu set objek dengan metode peringkat sehingga nilainya adalah peringkat. Memproses hasil peringkat adalah untuk membangun peringkat umum. Untuk menyusun peringkat seperti itu, kami memperkenalkan ruang peringkat diskrit berdimensi-hingga dan metrik di ruang ini. Setiap peringkat dari satu set objek j Pakar th adalah titik di ruang peringkat.
Pemeringkatan dapat direpresentasikan sebagai matriks perbandingan berpasangan, yang elemen-elemennya didefinisikan sebagai berikut:
Jelas, karena setiap objek setara dengan dirinya sendiri. Elemen matriks adalah antisimetris.
Jika semua objek berperingkat ekuivalen, maka semua elemen matriks perbandingan berpasangan sama dengan nol. Kami akan menunjuk matriks seperti itu dan menganggap bahwa titik di ruang peringkat yang sesuai dengan matriks adalah titik awal.
Pembalikan urutan objek peringkat menghasilkan transposisi matriks perbandingan berpasangan.
metrik sebagai jarak antara saya-th dan j Peringkat -th ditentukan secara unik oleh rumus
jika 6 aksioma berikut dipenuhi:
1. apalagi, kesetaraan dicapai jika peringkat dan identik;
2. 
apalagi, kesetaraan dicapai jika peringkat "terletak di antara" peringkat dan. Konsep "terletak di antara" berarti bahwa penilaian tentang beberapa pasangan objek dalam peringkat bertepatan dengan penilaian tentang pasangan ini baik di, atau di, atau di
4.
di mana diperoleh dari beberapa permutasi objek, dan dari permutasi yang sama. Aksioma ini menegaskan independensi jarak dari penomoran ulang objek.
5. Jika dua peringkat , di mana-mana sama kecuali n-elemen set elemen yang secara bersamaan merupakan segmen dari kedua peringkat, maka dapat dihitung seolah-olah peringkat hanya ini n-objek. Segmen peringkat adalah himpunan yang komplemennya tidak kosong dan semua elemen dari komplemen ini berada di depan atau di belakang setiap elemen segmen. Arti dari aksioma ini adalah jika dua peringkat berada dalam kesepakatan lengkap di awal dan akhir segmen, dan perbedaannya adalah dalam urutan rata-rata. n-objek, wajar untuk mengasumsikan bahwa jarak antara peringkat harus sama dengan jarak yang sesuai dengan peringkat rata-rata n-objek.
6. Jarak minimum adalah satu.
Ruang peringkat untuk dua objek dapat direpresentasikan sebagai tiga titik yang terletak pada garis lurus yang sama. Jarak antara titik adalah sama Dengan tiga objek, ruang dari semua peringkat yang mungkin terdiri dari 13 poin.
Dengan menggunakan metrik yang diperkenalkan, mari kita tentukan peringkat umum sebagai poin yang paling sesuai dengan poin yang mewakili peringkat pakar. Konsep kesepakatan terbaik dalam praktiknya paling sering didefinisikan sebagai peringkat median dan rata-rata.
Median adalah titik di ruang peringkat, jumlah jarak dari semua poin - peringkat ahli minimal. Menurut definisi, median dihitung dari kondisi
Peringkat rata-rata adalah titik seperti itu, jumlah jarak kuadrat dari mana ke semua poin - peringkat ahli minimal. Peringkat rata-rata ditentukan dari kondisi
Ruang peringkat terbatas dan diskrit, sehingga peringkat median dan rata-rata hanya dapat berupa poin apa pun di ruang ini. Dalam kasus umum, peringkat median dan rata-rata mungkin tidak sesuai dengan peringkat pakar mana pun.
Jika kompetensi ahli diperhitungkan, maka median dan rata-rata rangking ditentukan dari kondisi:
dimana adalah koefisien kompetensi ahli.
Jika objek diurutkan berdasarkan beberapa indikator, maka median terlebih dahulu ditentukan untuk masing-masing pakar untuk semua indikator, kemudian median dihitung atas himpunan pakar:
(j
=1,2,…,m);
di mana adalah koefisien bobot indikator.
Kerugian utama dari penentuan peringkat umum dalam bentuk peringkat median atau rata-rata adalah kompleksitas perhitungan. Cara alami untuk menemukan atau dalam bentuk pencacahan semua titik dalam ruang peringkat tidak dapat diterima karena peningkatan yang sangat cepat dalam keseragaman ruang dengan peningkatan jumlah objek dan, akibatnya, peningkatan kompleksitas perhitungan. Hal ini dimungkinkan untuk mengurangi masalah menemukan atau masalah tertentu dari pemrograman integer. Namun, ini tidak mengurangi kesulitan komputasi dengan sangat efektif.
Perbedaan antara peringkat umum di bawah berbagai kriteria muncul ketika jumlah ahli kecil dan penilaian mereka tidak konsisten. Jika pendapat para ahli mendekati, maka peringkat umum, yang dibangun sesuai dengan kriteria median dan nilai rata-rata, akan bertepatan.
Kompleksitas penghitungan peringkat median atau rata-rata telah menyebabkan perlunya lebih banyak cara sederhana membangun peringkat umum.
Diantara metode tersebut adalah metode penjumlahan pangkat.
Metode ini terdiri dari pemeringkatan objek sesuai dengan nilai penjumlahan rangking yang diterima setiap objek dari semua pakar. Untuk matriks peringkat, jumlah dikompilasi
Untuk memperhitungkan kompetensi para ahli, cukup dikalikan masing-masing saya peringkat -th pada koefisien kompetensi j ahli -th Dalam hal ini, perhitungan jumlah peringkat untuk saya th objek diproduksi sesuai dengan rumus berikut:
(saya =1,2,…,n).
Pemeringkatan umum, dengan mempertimbangkan kompetensi ahli, didasarkan pada urutan jumlah peringkat untuk semua objek.
Perlu dicatat bahwa konstruksi peringkat umum dengan jumlah peringkat adalah prosedur yang benar jika peringkat ditetapkan sebagai tempat objek dalam bentuk bilangan asli 1, 2, ..., n. Jika peringkat ditetapkan secara sewenang-wenang, sebagai angka pada skala urutan, maka jumlah peringkat, secara umum, tidak mempertahankan kondisi monotonisitas transformasi dan, oleh karena itu, seseorang dapat memperoleh peringkat umum yang berbeda untuk pemetaan objek yang berbeda ke sistem numerik. Penomoran tempat benda dapat dilakukan dengan cara yang unik dengan bantuan bilangan asli. Oleh karena itu, dengan kesepakatan yang baik antara para ahli, konstruksi pemeringkatan umum menggunakan metode rank sum memberikan hasil yang konsisten dengan hasil perhitungan median.
Pendekatan lain yang secara teoritis lebih kuat untuk membangun peringkat umum adalah dengan berpindah dari matriks peringkat ke matriks perbandingan berpasangan dan menghitung vektor eigen yang sesuai dengan nilai eigen maksimum dari matriks ini. Pengurutan objek dilakukan dengan besaran komponen vektor eigen.
3.3. Evaluasi konsensus pendapat para ahli
Ketika membuat peringkat objek, para ahli biasanya tidak setuju pada masalah yang sedang dipecahkan. Dalam hal ini, ada kebutuhan untuk mengukur tingkat kesepakatan para ahli. Memperoleh ukuran kuantitatif dari konsistensi pendapat para ahli memungkinkan interpretasi yang lebih masuk akal tentang alasan divergensi pendapat.
Saat ini, ada dua ukuran konsistensi pendapat sekelompok ahli: koefisien konkordansi dispersi dan entropi.
Koefisien dispersi konkordansi. Pertimbangkan matriks hasil peringkat n benda oleh sekelompok m ahli ( j =1,…,m ; saya =1,…,n), di mana peringkat yang ditetapkan j-pakar saya-objek. Kumpulkan jumlah peringkat untuk setiap kolom. Akibatnya, kami mendapatkan vektor dengan komponen
(saya= 1,2,…,n). (5.14)
Mari kita pertimbangkan kuantitas sebagai realisasi dari variabel acak dan menemukan perkiraan varians. Seperti diketahui, estimasi varians, optimal dengan kriteria kesalahan kuadrat rata-rata minimum, ditentukan oleh rumus:
, (5.15)
di mana adalah perkiraan harapan matematis, sama dengan
Koefisien dispersi konkordansi didefinisikan sebagai rasio estimasi varians (5,15) dengan nilai maksimum estimasi ini
Koefisien konkordansi berubah dari nol menjadi satu, karena.
Mari kita hitung nilai maksimum estimasi varians untuk kasus tidak adanya peringkat terkait (semua objek berbeda). Pertama-tama, mari kita tunjukkan bahwa estimasi ekspektasi matematis hanya bergantung pada jumlah objek dan jumlah pakar. Substitusi ke (5.16) nilai dari (5.14), kita peroleh
Pertimbangkan dulu penjumlahannya saya di tetap j. Ini adalah jumlah peringkat untuk j ahli -th. Karena ahli menggunakan bilangan asli dari 1 sampai n, maka, seperti diketahui, jumlah bilangan asli dari 1 sampai n adalah sama dengan
(5.19)
Substitusikan (5.19) ke (5.18), kita peroleh
(5.20)
Dengan demikian, nilai rata-rata hanya bergantung pada jumlah ahli m dan jumlah benda n .
Untuk menghitung nilai maksimum estimasi varians, kami mengganti nilai dari (5.14) menjadi (5.15) dan kuadratkan binomial dalam tanda kurung. Akibatnya, kita mendapatkan
(5.21)
Menimbang bahwa dari (5.18) berikut ini
kita mendapatkan
(5.22)
Nilai dispersi maksimum dicapai pada nilai tertinggi suku pertama dalam kurung siku. Nilai anggota ini pada dasarnya tergantung pada lokasi peringkat - bilangan asli di setiap baris saya. Mari, misalnya, semua m para ahli memberikan peringkat yang sama untuk semua n objek. Kemudian angka yang sama akan ditempatkan di setiap baris matriks. Oleh karena itu, penjumlahan rangking di masing-masing saya-garis u memberi m-beberapa pengulangan saya-ro nomor:
Mengkuadratkan dan menjumlahkan saya, kita mendapatkan nilai suku pertama dalam (5.22):
(5.23)
Sekarang anggaplah para ahli memberikan peringkat yang tidak cocok, misalnya, untuk kasus ini n =m semua ahli menetapkan peringkat yang berbeda untuk objek yang sama. Kemudian
Membandingkan ekspresi ini dengan m =n, kami memastikan bahwa suku pertama dalam tanda kurung siku dari rumus (9) sama dengan suku kedua dan, oleh karena itu, taksiran variansnya adalah nol.
Dengan demikian, kasus kebetulan lengkap dari peringkat ahli sesuai dengan nilai maksimum estimasi varians. Mengganti (5.23) menjadi (5.22) dan melakukan transformasi, kami memperoleh
(5.24)
Kami memperkenalkan notasi
(5.25)
Menggunakan (5.25), kami menulis estimasi varians (5.15) sebagai
Substitusi (5.24), (5.25), (5.26) menjadi (5.17) dan dikurangi dengan faktor ( n-1), kami menulis ekspresi akhir untuk koefisien konkordansi
(5.27)
Rumus ini menentukan koefisien konkordansi untuk kasus tidak ada peringkat terkait.
Jika peringkat memiliki peringkat terkait, maka nilai varians maksimum pada penyebut rumus (5.17) menjadi lebih kecil daripada tanpa peringkat terkait. Dapat ditunjukkan bahwa dengan adanya peringkat terkait, koefisien konkordansi dihitung dengan rumus:
(5.28)
(5.29)
Dalam rumus (5.28) - indikator peringkat terkait di j peringkat -th, - jumlah grup dengan peringkat yang sama di j peringkat -th, - jumlah peringkat yang sama di k-Kelompok peringkat terkait saat peringkat j ahli ke. Jika tidak ada peringkat yang cocok, maka =0,=0 dan, oleh karena itu, =0. Dalam hal ini rumus (5.28) bertepatan dengan rumus (5.27).
Koefisien konkordansi sama dengan 1 jika semua peringkat pakar sama. Koefisien konkordansi adalah nol jika semua peringkat berbeda, yaitu tidak ada kecocokan sama sekali.
Koefisien konkordansi yang dihitung dengan rumus (5.27) atau (5.28) adalah perkiraan nilai sebenarnya dari koefisien dan, oleh karena itu, merupakan variabel acak. Untuk menentukan signifikansi pendugaan koefisien konkordansi, perlu diketahui distribusi frekuensi untuk arti yang berbeda jumlah ahli m dan jumlah benda n. Alokasi frekuensi untuk W untuk dan dihitung dalam . Untuk nilai besar m dan n statistik yang diketahui dapat digunakan. Dengan jumlah benda n>7 penilaian signifikansi koefisien konkordansi dapat dilakukan sesuai dengan kriteria. Nilai wm (n -1 ) memiliki distribusi dengan v=n-1 derajat kebebasan.
Di hadapan peringkat terkait, distribusi dengan v=n-1 derajat kebebasan memiliki nilai:
(5.30)
Koefisien Kesesuaian Entropi ditentukan dengan rumus (koefisien kesepakatan):
di mana H adalah entropi yang dihitung dengan rumus
(5.32)
a adalah nilai entropi maksimum. Dalam rumus untuk entropi - perkiraan probabilitas j peringkat -th ditugaskan saya-objek. Perkiraan probabilitas ini dihitung sebagai rasio jumlah ahli yang menetapkan peringkat ke objek j dengan jumlah tenaga ahli.
Nilai maksimum entropi dicapai dengan distribusi peringkat yang setara, yaitu kapan. Kemudian
Substitusikan relasi ini ke dalam rumus (5.32), kita peroleh
(5.35)
Koefisien kesepakatan bervariasi dari nol hingga satu. Ketika susunan objek berdasarkan peringkat sama-sama mungkin, karena dalam hal ini . Kasus ini mungkin disebabkan oleh ketidakmungkinan pemeringkatan objek menurut serangkaian indikator yang dirumuskan, atau karena ketidakkonsistenan pendapat ahli. Pada , yang dicapai pada entropi nol ( H=0), semua ahli memberikan peringkat yang sama. Memang, dalam hal ini, untuk setiap objek tetap, semua ahli menetapkannya dengan peringkat yang sama j, oleh karena itu, , a Oleh karena itu, dan H =0.
Penilaian komparatif dari koefisien konkordansi dispersi dan entropi menunjukkan bahwa koefisien ini memberikan penilaian yang kurang lebih sama terhadap konsistensi para ahli dengan peringkat yang dekat. Namun, jika, misalnya, seluruh kelompok ahli dibagi dalam pendapat menjadi dua subkelompok, dan peringkat dalam subkelompok ini berlawanan (langsung dan terbalik), maka koefisien dispersi konkordansi akan sama dengan nol, dan koefisien entropi konkordansi akan sama dengan 0,7. Dengan demikian, koefisien konkordansi entropi memungkinkan penetapan fakta pembagian pendapat menjadi dua kelompok yang berlawanan. Jumlah perhitungan untuk koefisien konkordansi entropi agak lebih besar daripada untuk koefisien konkordansi dispersi.
3.4. Menangani perbandingan objek berpasangan
Saat memecahkan masalah mengevaluasi sejumlah besar objek (peringkat, menentukan bobot relatif, penilaian), kesulitan psikologis muncul karena persepsi para ahli tentang banyak properti objek. Para ahli relatif mudah memecahkan masalah perbandingan berpasangan objek. Timbul pertanyaan, bagaimana memperoleh perkiraan seluruh himpunan objek berdasarkan hasil perbandingan berpasangan, tanpa memaksakan kondisi transitivitas? Pertimbangkan algoritma untuk memecahkan masalah ini. Membiarkan m para ahli mengevaluasi semua pasangan objek, memberikan perkiraan numerik
(5.36)
Jika, ketika mengevaluasi sepasang ahli, mereka berbicara mendukung preferensi para ahli, dan para ahli menganggap objek-objek ini setara, maka perkiraan ekspektasi matematis dari variabel acak sama dengan
(5.37)
Jumlah ahli sama dengan jumlah
(5.38)
Menentukan dari sini dan mensubstitusikannya ke (5.37), kita peroleh
(5.39)
Jelas bahwa himpunan nilai membentuk matriks atas dasar yang memungkinkan untuk membangun peringkat semua objek dan menentukan koefisien kepentingan relatif objek.
Mari kita perkenalkan vektor koefisien kepentingan relatif objek-objek ordo t rumus berikut:
dimana matriks ekspektasi matematis dari estimasi pasangan objek, 
- vektor koefisien kepentingan relatif objek keteraturan t
.
Nilainya adalah
(5.41)
Koefisien kepentingan relatif orde pertama adalah jumlah relatif dari elemen-elemen baris matriks X. Memang, dengan asumsi t=1, dari (5.40) kita peroleh
(5.42)
Koefisien kepentingan relatif orde kedua ( t=2) adalah jumlah relatif dari elemen-elemen baris matriks x2 .
(5.43)
Jika matriks X adalah non-negatif dan tidak dapat didekomposisi, maka ketika orde meningkat, kuantitas konvergen ke nilai eigen maksimum dari matriks X
dan vektor koefisien kepentingan relatif objek cenderung ke vektor eigen matriks X sesuai dengan nilai eigen maksimum
Nilai eigen dan vektor eigen dari matriks ditentukan dengan menyelesaikan persamaan aljabar
di mana E adalah matriks identitas, dan sistem persamaan linear
di mana k adalah vektor eigen matriks X sesuai dengan nilai eigen maksimum. Komponen vektor eigen adalah koefisien kepentingan relatif objek, diukur pada skala rasio.
Dari sudut pandang praktis, lebih mudah untuk menghitung koefisien kepentingan relatif objek dengan prosedur berurutan sesuai dengan rumus (5.40) dengan t=1, 2, … Seperti yang ditunjukkan oleh pengalaman, 3-4 perhitungan berturut-turut sudah cukup untuk mendapatkan nilai dan k, mendekati nilai batas yang ditentukan oleh persamaan (5,46), (5,47).
Matriksnya non-negatif, karena semua elemennya (5.39) non-negatif. Suatu matriks disebut tidak dapat diurai jika tidak dapat direduksi menjadi bentuk segitiga dengan mengubah baris (baris dan kolom dengan nama yang sama)
(5.48)
di mana adalah submatriks yang tidak dapat didekomposisi dari matriks X. Representasi matriks X dalam bentuk (5.48) berarti pembagian objek menjadi aku himpunan dominan
Pada 1 =n matriks X tidak dapat didekomposisi, yaitu, hanya ada satu himpunan dominan yang bertepatan dengan himpunan objek asli. Dekomposisi matriks X artinya diantara para ahli terdapat perbedaan pendapat yang besar dalam penilaian objek.
Jika matriks X tidak dapat didekomposisi, maka perhitungan koefisien kepentingan relatif memungkinkan Anda untuk menentukan berapa kali satu objek lebih unggul dari objek lain dalam hal indikator yang dibandingkan. Perhitungan koefisien kepentingan relatif objek memungkinkan Anda untuk secara bersamaan membangun peringkat objek. Objek diberi peringkat sehingga objek pertama adalah objek dengan koefisien kepentingan relatif tertinggi. Peringkat lengkap ditentukan oleh rantai ketidaksetaraan
dari yang berikut
Jika matriks X dapat didekomposisi, maka dimungkinkan untuk menentukan koefisien kepentingan relatif hanya untuk setiap himpunan. Untuk setiap matriks, nilai eigen maksimum dan vektor eigen yang sesuai ditentukan. Komponen vektor eigen adalah koefisien kepentingan relatif dari objek yang termasuk dalam himpunan. Menurut koefisien ini, objek dari himpunan ini diberi peringkat. Peringkat keseluruhan objek diberikan oleh relasi
Jadi, jika matriks X tidak dapat didekomposisi, maka menurut hasil perbandingan berpasangan objek, dimungkinkan baik untuk mengukur preferensi objek dalam skala hubungan, dan dalam skala urutan (peringkat). Jika matriks X dapat didekomposisi, maka hanya peringkat objek yang mungkin.
Perlu dicatat bahwa hubungan preferensi dapat dinyatakan dengan bilangan positif apa pun DARI. Dalam hal ini, kondisinya harus dipenuhi, secara khusus, seseorang dapat memilih DARI=2 sehingga jika , maka jika maka dan jika , maka .
3.5. Menentukan hubungan peringkat
Saat memproses hasil pemeringkatan, mungkin ada masalah dalam menentukan hubungan antara peringkat dua pakar, hubungan antara pencapaian dua tujuan yang berbeda saat memecahkan serangkaian masalah yang sama, atau hubungan antara dua fitur.
Dalam kasus ini, ukuran hubungan dapat koefisien korelasi peringkat. Suatu karakteristik hubungan dari sekumpulan peringkat atau tujuan akan menjadi matriks koefisien korelasi peringkat. Koefisien korelasi peringkat Spearman dan Kendall diketahui.
Koefisien korelasi rank spearman ditentukan dengan rumus:
di mana momen korelasi timbal balik dari peringkat pertama dan kedua, adalah varians dari peringkat ini. Berdasarkan dua peringkat ini, perkiraan momen korelasi timbal balik dan varians dihitung dengan rumus:
(5.51)
(5.52)
di mana n- jumlah objek peringkat, - peringkat di peringkat pertama dan kedua, - peringkat rata-rata di peringkat pertama dan kedua. Perkiraan peringkat rata-rata ditentukan oleh rumus:
(5.53)
Mari kita hitung perkiraan peringkat rata-rata dan varians dengan asumsi bahwa tidak ada peringkat terkait dalam peringkat, yaitu, kedua peringkat memberikan urutan objek yang ketat. Dalam hal ini, pangkat rata-rata (5,53) adalah jumlah dari bilangan asli dari satu sampai n dibagi dengan n. Oleh karena itu, peringkat rata-rata untuk kedua peringkat adalah sama dan setara
(5.54)
Saat menghitung perkiraan varians, kami mencatat bahwa jika kami membuka tanda kurung dalam rumus (5.52), maka bilangan asli dan kuadratnya akan berada di bawah tanda jumlah. Dua peringkat dapat berbeda satu sama lain hanya dengan permutasi peringkat, tetapi jumlah bilangan asli dan kuadratnya tidak bergantung pada urutan (permutasi) istilah. Oleh karena itu, varians (5.52) untuk dua peringkat (jika tidak ada peringkat terkait) akan sama dan sama dengan
(i=1,2). (5.55)
Mengganti nilai dari (5,51) dan dari (5,55) ke dalam rumus (5,50), kita memperoleh perkiraan untuk koefisien korelasi peringkat Spearman
(5.56)
Untuk perhitungan praktis, akan lebih mudah menggunakan rumus lain untuk koefisien korelasi Spearman. Itu dapat diperoleh dari (5.56) menggunakan identitas
Dalam persamaan (5.57), dua jumlah pertama di ruas kanan, sebagai berikut dari ekspresi (5.55), adalah sama dan sama dengan
Mensubstitusikan ke dalam rumus (5,56) nilai jumlah dari (5,57) dan menggunakan persamaan (5,58), kita memperoleh rumus berikut, yang mudah untuk perhitungan, untuk koefisien korelasi peringkat Spearman:
(5.59)
Koefisien korelasi Spearman bervariasi dari -1 hingga +1. Kesetaraan satu dicapai, sebagai berikut dari rumus (5.59), dengan peringkat yang sama, yaitu, ketika Nilai muncul dengan peringkat yang berlawanan (peringkat langsung dan terbalik). Jika koefisien korelasi sama dengan nol, peringkat dianggap independen linier.
Estimasi koefisien korelasi yang dihitung dengan rumus (5.59) adalah variabel acak. Untuk menentukan signifikansi pendugaan ini, perlu ditetapkan nilai probabilitas , menentukan signifikansi koefisien korelasi dan menentukan nilai ambang batas dengan menggunakan rumus aproksimasi.
(5.60)
di mana n adalah jumlah objek, adalah fungsi kebalikan dari fungsi
yang ada meja. Setelah menghitung nilai ambang batas, estimasi koefisien korelasi dianggap signifikan jika.
Untuk menentukan signifikansi estimasi koefisien Spearman, Anda dapat menggunakan kriteria Student, karena nilai
kira-kira didistribusikan menurut hukum Student dengan n- 2 derajat kebebasan.
Jika ada peringkat terkait dalam peringkat, maka koefisien Spearman dihitung menggunakan rumus berikut:
(5.62)
di mana adalah perkiraan koefisien korelasi peringkat Spearman, dihitung dengan rumus (5,59), dan nilainya adalah
(5.63)
Dalam formula ini - jumlah peringkat terkait yang berbeda di peringkat pertama dan kedua, masing-masing.
Koefisien korelasi peringkat Kendall tanpa adanya peringkat terkait diberikan oleh:
di mana n– jumlah objek, - peringkat objek, tanda x adalah fungsi yang sama dengan
Evaluasi perbandingan koefisien korelasi peringkat Spearman dan Kendall menunjukkan bahwa koefisien Spearman dihitung dengan menggunakan rumus yang lebih sederhana. Selain itu, koefisien Spearman memberikan hasil yang lebih akurat, karena merupakan estimasi optimal dari koefisien korelasi dalam hal kriteria kesalahan kuadrat rata-rata minimum.
Oleh karena itu, dalam perhitungan praktis ketergantungan korelasi peringkat, lebih baik menggunakan koefisien korelasi peringkat Spearman.
KESIMPULAN
Dinamisme dan kebaruan tugas ekonomi modern, kemungkinan munculnya berbagai faktor yang mempengaruhi efektivitas keputusan, mengharuskan keputusan ini dibuat dengan cepat dan pada saat yang sama dapat dibuktikan dengan baik. Pengalaman, intuisi, rasa perspektif, dikombinasikan dengan informasi, membantu spesialis memilih tujuan dan arah pengembangan yang paling penting secara lebih akurat, menemukan opsi terbaik untuk memecahkan masalah ilmiah, teknis, dan sosial-ekonomi yang kompleks dalam kondisi di mana tidak ada informasi tentang memecahkan masalah serupa di masa lalu.
Penggunaan metode penilaian ahli membantu memformalkan prosedur untuk mengumpulkan, meringkas, dan menganalisis pendapat spesialis untuk mengubahnya menjadi bentuk yang paling nyaman untuk membuat keputusan yang tepat.
Namun, perlu dicatat bahwa metode penilaian ahli tidak dapat menggantikan keputusan administratif atau perencanaan, ini hanya memungkinkan Anda untuk mengisi kembali informasi yang diperlukan untuk persiapan dan adopsi keputusan tersebut. Meluasnya penggunaan penilaian ahli dibenarkan hanya jika tidak mungkin untuk menerapkan metode yang lebih akurat untuk menganalisis masa depan.
Metode ahli terus dikembangkan dan ditingkatkan. Arah utama perkembangan ini ditentukan oleh sejumlah faktor, di antaranya dapat menunjukkan keinginan untuk memperluas ruang lingkup, meningkatkan tingkat penggunaan metode matematika dan komputer elektronik, dan juga menemukan cara untuk menghilangkan kekurangan yang muncul.
Terlepas dari kemajuan yang dicapai dalam beberapa tahun terakhir dalam pengembangan dan penggunaan praktis metode penilaian ahli, ada sejumlah masalah dan tugas yang memerlukan penelitian metodologis lebih lanjut dan verifikasi praktis. Perlu perbaikan sistem seleksi pakar, peningkatan reliabilitas karakteristik opini kelompok, pengembangan metode pemeriksaan validitas penilaian, dan mempelajari penyebab tersembunyi yang menurunkan reliabilitas penilaian pakar.
Namun, bahkan saat ini, penilaian ahli dalam kombinasi dengan metode matematika dan statistik lainnya merupakan alat penting untuk meningkatkan manajemen di semua tingkatan.
BIBLIOGRAFI:
2. Bekleshev V.K., Zavlin P.N. Penjatahan tenaga kerja di lembaga penelitian dan biro desain. M.: Ekonomi, 1973. 203 hal.
10. Dobrov G.M., Ershov Yu.V., Levin E.I., Smirnov L.P. Penilaian ahli dalam peramalan ilmiah dan teknis. Kiev: Naukova Dumka, 1974. 263 hal.
11. Evlanov L.G. Pengambilan keputusan di bawah ketidakpastian. M.: IUNKh, 1976. 196 hal.
12. Evlanov L.G., Kutuzov V.A. Penilaian ahli dalam manajemen. M.: Ekonomi, 1978. 133 hal.
13. Kardanskaya N. Pengambilan keputusan manajemen. M.: UNITI, 1999. 407 hal.
14. Kemeny D., Snell D. Pemodelan sibernetik. M.: radio Soviet, 1972. 234 hal.
15. Kravchenko T.K. Proses membuat keputusan perencanaan. M.: Ekonomi, 1974. 183 hal.
16. Mirkin B.G. Masalah pilihan kelompok. M.: Nauka, 1974. 256 hal. . 17. Mikheev V.I. Aspek sosial-psikologis manajemen. Gaya dan metode kerja kepala. M.: Pengawal Muda, 1975. 181 hal.
18. Pfantsagl I. Teori pengukuran. M.: Mir, 1976. 278 hal.
19. Tikhomirov Yu.A. keputusan manajemen. M.: Nauka, 1996. 278 hal.
20. Fedorenko N.P. Optimalisasi ekonomi. M.: Nauka, 1977. 236 hal.
21. Yampolsky S.M., Lisichkin V.A. Memprediksi kemajuan ilmu pengetahuan dan teknologi. M.: Ekonomi, 1974. 302 hal.
METODE PENGAMBILAN KEPUTUSAN AHLI
Keputusan dapat dibuat baik atas dasar data objektif (termasuk menggunakan metode optimasi dan model statistik-probabilistik), atau atas dasar pendapat spesialis (ahli). Dalam tugas manajemen strategis dan operasional, analisis teknis dan ekonomi, keselamatan lingkungan, pengelolaan lingkungan dan perlindungan lingkungan, dll. berbagai metode penilaian ahli terus digunakan. Mereka dibahas dalam bab ini.
Gagasan utama metode penilaian ahli
Contoh metode penilaian ahli. Bagaimana lingkungan ekonomi akan berubah dari waktu ke waktu? Apa yang akan terjadi pada lingkungan alam dalam sepuluh tahun? Bagaimana lingkungan akan berubah? Akankah keamanan lingkungan dari produksi industri dipastikan, atau akankah gurun buatan manusia mulai menyebar? Cukuplah untuk memikirkan pertanyaan-pertanyaan alami ini, untuk menganalisis bagaimana kita membayangkan hari ini sepuluh atau bahkan lebih dari dua puluh tahun yang lalu, untuk memahami bahwa tidak mungkin ada ramalan yang dapat diandalkan 100%. Alih-alih pernyataan dengan angka tertentu, hanya penilaian kualitatif yang dapat diharapkan. Namun demikian, kita, para manajer, ekonom, insinyur, harus membuat keputusan, misalnya, tentang proyek dan investasi lingkungan dan lainnya, yang konsekuensinya akan terasa dalam sepuluh, dua puluh, dan seterusnya. bertahun-tahun. Bagaimana menjadi? Masih beralih ke metode penilaian ahli. Apa saja metode-metode tersebut?
Tidak dapat disangkal bahwa untuk membuat keputusan yang tepat, perlu mengandalkan pengalaman, pengetahuan, dan intuisi para spesialis. Setelah Perang Dunia Kedua, dalam kerangka sibernetika, teori kontrol, manajemen dan riset operasi, disiplin independen mulai berkembang - teori dan praktik penilaian ahli.
Metode penilaian ahli adalah metode untuk mengatur pekerjaan dengan ahli ahli dan memproses pendapat ahli. Pendapat-pendapat ini biasanya diungkapkan sebagian dalam bentuk kuantitatif, sebagian lagi dalam bentuk kualitatif. Penelitian ahli dilakukan dalam rangka mempersiapkan informasi untuk pengambilan keputusan oleh pengambil keputusan (ingat, pengambil keputusan adalah pengambil keputusan). Untuk melaksanakan pekerjaan dengan metode penilaian ahli, Kelompok Kerja dibuat (disingkat WG), yang mengatur, atas nama pengambil keputusan, kegiatan para ahli yang disatukan (secara formal atau pada intinya) dalam komisi ahli (EC). .
Pendapat para ahli adalah individu dan kolektif. Peringkat individu Ini adalah perkiraan dari satu spesialis. Misalnya, seorang guru seorang diri memberi tanda pada seorang siswa, dan seorang dokter membuat diagnosis pada seorang pasien. Tetapi dalam kasus penyakit yang sulit atau ancaman pengusiran seorang siswa karena studi yang buruk, mereka beralih ke kolektif pendapat - simposium dokter atau komisi guru. Situasi serupa di tentara. Biasanya komandan membuat keputusan sendiri. Tetapi dalam situasi yang sulit dan bertanggung jawab, dewan militer diadakan. Salah satu contoh paling terkenal dari jenis ini adalah dewan militer tahun 1812 di Fili, di mana, di bawah kepemimpinan M.I. Kutuzov, pertanyaannya diputuskan: "Memberikan atau tidak memberi Prancis pertempuran di dekat Moskow?"
Contoh sederhana lain dari penilaian ahli adalah penilaian angka dalam KVN. Masing-masing anggota juri mengangkat kayu lapis dengan skor mereka, dan pekerja teknis menghitung skor rata-rata aritmatika, yang dinyatakan sebagai pendapat kolektif juri (kita akan melihat di bawah bahwa pendekatan ini tidak benar dari sudut pandang teori pengukuran ).
Dalam figure skating, prosedurnya menjadi lebih rumit - sebelum rata-rata skor terbesar dan terkecil dibuang. Ini dilakukan agar tidak ada godaan untuk melebih-lebihkan satu atlet (misalnya, rekan senegaranya) atau meremehkan yang lain. Perkiraan seperti itu yang menonjol tajam dari seri umum akan segera dibuang.
Expert judgement sering digunakan dalam seleksi, misalnya:
Salah satu varian perangkat teknis untuk meluncurkan serangkaian beberapa sampel,
Rombongan astronot dari banyak pelamar,
Rekrutmen proyek penelitian untuk pendanaan dari banyak aplikasi,
Penerima pinjaman lingkungan dari banyak pelamar,
Saat memilih proyek investasi untuk implementasi di antara yang disajikan, dll.
Ada banyak metode untuk mendapatkan penilaian ahli. Dalam beberapa, mereka bekerja dengan masing-masing ahli secara terpisah, dia bahkan tidak tahu siapa lagi yang ahli, dan karena itu mengungkapkan pendapatnya terlepas dari otoritas. Di tempat lain, para ahli dikumpulkan untuk menyiapkan bahan bagi pengambil keputusan, sementara para ahli mendiskusikan masalah satu sama lain, belajar dari satu sama lain, dan pendapat yang salah dibuang. Dalam beberapa metode, jumlah ahli tetap dan sedemikian rupa sehingga metode statistik untuk memeriksa konsistensi pendapat dan kemudian meratakannya memungkinkan pengambilan keputusan yang tepat. Di tempat lain, jumlah ahli bertambah dalam proses melakukan pemeriksaan, misalnya, saat menggunakan metode "bola salju" (lebih lanjut nanti).
Tidak ada metode yang kurang untuk mengolah jawaban para ahli, termasuk yang sangat kaya akan matematika dan komputerisasi. Banyak dari mereka didasarkan pada pencapaian statistik objek non-numerik dan metode statistik terapan modern lainnya.
Salah satu metode peer review yang paling terkenal adalah Metode Delphi. Nama tersebut diberikan oleh asosiasi dengan kebiasaan kuno untuk mendapatkan dukungan ketika membuat keputusan untuk melamar ke Kuil Delphic. Itu terletak di pintu keluar gas vulkanik beracun. Para pendeta kuil, menghirup racun, mulai bernubuat, mengucapkan kata-kata yang tidak bisa dipahami. "Penerjemah" khusus - para imam kuil menafsirkan kata-kata ini dan mencatat pertanyaan para peziarah yang datang dengan masalah mereka. Menurut tradisi, dikatakan bahwa Kuil Delphi terletak di Yunani. Tapi tidak ada gunung berapi. Rupanya, dia berada di Italia - dekat Vesuvius atau Etna, dan ramalan yang dijelaskan sendiri terjadi pada abad XII-XIV. Ini mengikuti dari pencapaian tertinggi ilmu sejarah modern - kronologi statistik baru.
Di Amerika Serikat pada tahun 1960-an, metode Delphi disebut sebagai prosedur ahli untuk memprediksi perkembangan ilmu pengetahuan dan teknologi. Di babak pertama, para ahli menyebut tanggal kemungkinan pencapaian masa depan tertentu. Di babak kedua, masing-masing ahli berkenalan dengan ramalan semua yang lain. Jika ramalannya sangat berbeda dengan ramalan massal, dia diminta untuk menjelaskan posisinya, dan seringkali dia mengubah perkiraannya, mendekati nilai rata-rata. Nilai rata-rata ini diberikan kepada pelanggan sebagai pendapat kelompok. Harus dikatakan bahwa hasil nyata penelitian ternyata agak sederhana - meskipun tanggal pendaratan orang Amerika di bulan diprediksi dalam waktu satu bulan, semua ramalan lainnya gagal - fusi termonuklir dingin dan obat untuk kanker pada abad kedua puluh. manusia tidak menunggu.
Namun, teknik itu sendiri ternyata populer - di tahun-tahun berikutnya digunakan setidaknya 40 ribu kali. Biaya rata-rata studi ahli menggunakan metode Delphi adalah 5.000 dolar AS, tetapi dalam beberapa kasus, perlu menghabiskan jumlah yang lebih besar - hingga 130.000 dolar AS.
Agak terlepas dari arus utama penilaian ahli terletak metode skrip digunakan terutama untuk peramalan ahli. Mari kita pertimbangkan ide-ide utama dari teknologi perkiraan ahli skenario. Peramalan lingkungan atau sosio-ekonomi, seperti peramalan pada umumnya, hanya dapat berhasil dalam beberapa kondisi stabilitas. Namun, keputusan otoritas, individu, dan peristiwa lain mengubah kondisi, dan peristiwa berkembang dengan cara yang berbeda dari yang diperkirakan sebelumnya. Sangat jelas bahwa setelah putaran pertama pemilihan presiden pada tahun 1996, orang dapat berbicara tentang perkembangan lebih lanjut dari peristiwa hanya dalam hal skenario: jika B.N. Yeltsin, maka ini dan itu akan terjadi, jika G.A. menang. Zyuganov, maka peristiwa akan berjalan ke sana kemari.
Metode skenario diperlukan tidak hanya di bidang sosial ekonomi atau lingkungan. Misalnya, ketika mengembangkan dukungan metodologis, perangkat lunak, dan informasi analisis resiko proyek kimia dan teknologi, perlu untuk menyusun katalog rinci skenario kecelakaan yang terkait dengan kebocoran racun zat kimia. Masing-masing skenario ini menjelaskan jenis kecelakaannya, dengan asal, perkembangan, konsekuensi, dan kemampuan peringatannya masing-masing.
Dengan demikian, metode skenario adalah metode dekomposisi masalah peramalan, yang menyediakan pemilihan serangkaian opsi individu untuk pengembangan peristiwa (skenario), yang bersama-sama mencakup semua opsi pengembangan yang mungkin. Pada saat yang sama, setiap skenario individu harus memungkinkan peramalan yang cukup akurat, dan jumlah total skenario harus terlihat.
Kemungkinan dekomposisi seperti itu tidak jelas. Saat menerapkan metode skenario, perlu dilakukan dua tahap penelitian:
Membangun serangkaian skenario yang komprehensif namun dapat dikelola;
Peramalan dalam setiap skenario tertentu untuk mendapatkan jawaban atas pertanyaan yang menarik bagi peneliti.
Masing-masing tahap ini hanya sebagian diformalkan. Bagian penting dari penalaran dilakukan pada tingkat kualitatif, seperti kebiasaan dalam sosial-ekonomi dan sastra. Salah satu alasannya adalah keinginan untuk formalisasi dan matematisasi yang berlebihan mengarah pada palsu pengenalan kepastian di mana itu tidak ada pada dasarnya, atau penggunaan peralatan matematika yang rumit. Dengan demikian, penalaran pada tingkat verbal dianggap pembuktian dalam kebanyakan situasi, sementara upaya untuk mengklarifikasi arti dari kata-kata yang digunakan, menggunakan, misalnya, teori himpunan fuzzy, mengarah ke model matematika yang sangat rumit.
Kumpulan skenario harus terlihat. Kita harus mengecualikan berbagai peristiwa yang tidak mungkin - kedatangan alien, jatuhnya asteroid, epidemi massal penyakit yang sebelumnya tidak diketahui, dll. Dalam dirinya sendiri, penciptaan satu set skenario adalah subjek studi ahli. Selain itu, para ahli dapat menilai probabilitas penerapan skenario tertentu.
Peramalan dalam setiap skenario tertentu untuk mendapatkan jawaban atas pertanyaan yang menarik bagi peneliti juga dilakukan sesuai dengan metodologi peramalan yang dijelaskan di atas. Dalam kondisi stabil, metode statistik untuk peramalan deret waktu dapat diterapkan. Namun, hal ini didahului dengan analisis dengan bantuan para ahli, dan seringkali peramalan pada tingkat verbal sudah cukup (untuk memperoleh kesimpulan yang menarik bagi peneliti dan pengambil keputusan) dan tidak memerlukan klarifikasi kuantitatif.
Seperti yang Anda ketahui, ketika membuat keputusan berdasarkan analisis situasi(seperti yang mereka katakan, analisis situasi), termasuk analisis hasil studi prediktif, dapat didasarkan pada berbagai kriteria. Jadi, Anda dapat fokus pada fakta bahwa situasi akan berkembang dengan cara yang terburuk, atau terbaik, atau rata-rata (dalam arti apa pun). Anda dapat mencoba menguraikan aktivitas yang memberikan hasil berguna minimum yang dapat diterima dalam skenario apa pun, dll.
Pilihan lain untuk peer review adalah brainstorming. Ini diselenggarakan sebagai pertemuan para ahli, yang pidatonya dikenakan pembatasan satu, tetapi sangat signifikan - seseorang tidak dapat mengkritik proposal orang lain. Anda dapat mengembangkannya, Anda dapat mengekspresikan ide-ide Anda, tetapi Anda tidak dapat mengkritik! Selama pertemuan, para ahli, "saling menginfeksi", mengungkapkan pertimbangan yang semakin boros. Dua jam kemudian, sesi yang direkam pada tape recorder atau kamera video berakhir, dan tahap kedua brainstorming dimulai - analisis ide yang diungkapkan. Biasanya, dari 100 ide, 30 pantas dielaborasi lebih lanjut, dari 5-6 mereka memungkinkan untuk merumuskan proyek yang diterapkan, dan 2-3 akhirnya membawa efek menguntungkan - keuntungan, peningkatan keamanan lingkungan, perbaikan lingkungan alam , dll. Pada saat yang sama, interpretasi ide adalah proses kreatif. Misalnya, ketika membahas kemungkinan melindungi kapal dari serangan torpedo, gagasan itu diungkapkan: "Berbariskan para pelaut di sepanjang sisi dan tiup torpedo untuk mengubah arahnya." Setelah elaborasi, ide ini mengarah pada penciptaan perangkat khusus yang menciptakan gelombang yang menjatuhkan torpedo.
Tahapan utama survei ahli. Mari kita lihat lebih dekat pada tahap individu penelitian ahli. Seperti yang ditunjukkan oleh pengalaman, dari sudut pandang manajer - penyelenggara studi semacam itu, disarankan untuk memilih tahapan survei ahli berikut.
1) Memutuskan perlunya melakukan survei ahli dan perumusan oleh Pengambil Keputusan (DM) tentang tujuannya. Dengan demikian, inisiatif harus datang dari manajemen, yang akan memastikan keberhasilan solusi masalah organisasi dan keuangan di masa depan. Jelas, dorongan awal dapat diberikan oleh memorandum salah satu karyawan atau diskusi dalam rapat, tetapi awal kerja yang sebenarnya adalah keputusan pembuat keputusan.
2) Pemilihan dan penunjukan pengambil keputusan komposisi utama Pokja, disingkat WG (biasanya - supervisor dan sekretaris). Pada saat yang sama, supervisor bertanggung jawab untuk mengatur dan melakukan studi ahli secara keseluruhan, serta menganalisis bahan yang dikumpulkan dan merumuskan kesimpulan komisi ahli. Ia berpartisipasi dalam pembentukan tim ahli dan pemberian tugas kepada masing-masing ahli (bersama dengan pengambil keputusan atau wakilnya). Dia sendiri adalah seorang ahli yang sangat berkualitas dan pemimpin formal dan informal dari komisi ahli yang diakui oleh para ahli lainnya. Tugas sekretaris adalah menyimpan dokumentasi survei ahli, untuk memecahkan masalah organisasi.
3) pengembangan WG(lebih tepatnya, staf utamanya, terutama supervisor dan sekretaris) dan persetujuan oleh pembuat keputusan tentang kerangka acuan untuk melakukan survei ahli. Pada tahap ini, keputusan untuk melakukan survei ahli menjadi jelas dalam hal waktu, keuangan, personel, material, dan dukungan organisasi. Secara khusus, Kelompok Kerja dibentuk, berbagai kelompok spesialis dibedakan dalam WG - analitis, ekonometrik (spesialis dalam metode), komputer, untuk bekerja dengan para ahli (misalnya, pewawancara), dan organisasi. Sangat penting untuk keberhasilan bahwa semua posisi ini disetujui oleh pengambil keputusan.
4) Pengembangan oleh kelompok analitik WG dari skenario terperinci (yaitu peraturan) untuk pengumpulan dan analisis pendapat ahli (penilaian). Skenario mencakup, pertama-tama, jenis informasi tertentu yang akan diterima dari para ahli (misalnya, kata-kata, gradasi bersyarat, angka, peringkat, pemisahan, atau jenis objek non-numerik lainnya). Misalnya, cukup sering para ahli diminta untuk berbicara dengan bebas, sambil menjawab sejumlah pertanyaan yang telah dirumuskan sebelumnya. Selain itu, mereka diminta untuk melengkapi peta formal, memilih salah satu dari beberapa gradasi di setiap titik. Skrip juga harus berisi metode khusus untuk menganalisis informasi yang dikumpulkan. Misalnya, perhitungan median Kemeny, analisis statistik Lucian, penggunaan metode statistik lain dari objek non-numerik dan bagian lain dari statistik terapan (beberapa metode ini akan dibahas di bawah). Pekerjaan ini jatuh pada kelompok ekonometrik dan komputer dari WG. Kesalahan tradisional adalah mengumpulkan informasi terlebih dahulu, lalu memikirkan apa yang harus dilakukan dengannya. Akibatnya, seperti yang ditunjukkan oleh pengalaman menyedihkan, informasi digunakan oleh tidak lebih dari 1-2%.
5) Seleksi ahli sesuai dengan kompetensinya. Pada tahap ini, WG menyusun daftar kemungkinan ahli dan mengevaluasi kesesuaian mereka untuk studi yang diusulkan.
6) Pembentukan komisi ahli. Pada tahap ini, WG melakukan negosiasi dengan para ahli, memperoleh persetujuan mereka untuk bekerja di komisi ahli (disingkat EC). Ada kemungkinan bahwa beberapa ahli yang ditunjuk oleh WG tidak dapat dimasukkan dalam komisi ahli (sakit, liburan, perjalanan bisnis, dll.) atau menolak karena satu dan lain alasan (pekerjaan, kondisi kontrak, dll.). Pengambil keputusan menyetujui komposisi komisi ahli, mungkin dengan menghapus atau menambahkan beberapa ahli ke dalam proposal WG. Kontrak sedang disimpulkan dengan para ahli tentang kondisi pekerjaan mereka dan pembayaran mereka.
7) Pengumpulan informasi ahli. Seringkali ini didahului dengan perekrutan dan pelatihan pewawancara - salah satu kelompok yang membentuk WG.
8) Komputer analisis informasi ahli menggunakan metode yang disertakan dalam skrip. Biasanya didahului dengan pengenalan informasi ke dalam komputer.
9) Ketika diterapkan sesuai dengan skenario prosedur ahli dari beberapa putaran - pengulangan dua tahap sebelumnya.
10) Analisis akhir pendapat ahli, interpretasi hasil kelompok analitik dari WG dan persiapan dokumen akhir EC untuk pengambil keputusan.
11) Resmi akhir kegiatan WG, termasuk persetujuan pembuat keputusan dari dokumen akhir EC, penyusunan dan persetujuan laporan ilmiah dan keuangan WG tentang pelaksanaan studi ahli, remunerasi para ahli dan karyawan WG, penghentian resmi kegiatan (pembubaran) KE dan WG.
Mari kita menganalisis secara lebih rinci tahap individu penelitian ahli. Mari kita mulai dengan pemilihan ahli: personel memutuskan segalanya! Apa ahli - seperti itu kualitas kesimpulan dari komisi ahli.
Pemilihan ahli. Masalah pemilihan ahli adalah salah satu yang paling sulit dalam teori dan praktik penelitian ahli. Jelas, sebagai ahli perlu menggunakan orang-orang yang penilaiannya paling membantu untuk membuat keputusan yang memadai. Tetapi bagaimana mengidentifikasi, menemukan, memilih orang-orang seperti itu? Harus dikatakan secara langsung bahwa tidak ada metode untuk memilih ahli yang pasti akan menjamin keberhasilan ujian. Sekarang kita tidak akan membahas masalah adanya berbagai "pihak" di antara para ahli dan akan memperhatikan berbagai aspek lain dari prosedur pemilihan ahli.
Ada dua komponen untuk masalah pemilihan ahli - menyusun daftar calon tenaga ahli dan memilih komisi ahli dari mereka sesuai dengan kompetensi calon.
Penyusunan daftar kemungkinan ahli dipermudah bila jenis pemeriksaan yang bersangkutan dilakukan berulang-ulang. Dalam situasi seperti itu, biasanya pendaftaran ahli yang mungkin, misalnya, di bidang keahlian lingkungan negara atau perwasitan seluncur indah, dari mana Anda dapat memilih sesuai dengan berbagai kriteria atau menggunakan generator (atau tabel) angka pseudo-acak.
Bagaimana jika pemeriksaan dilakukan untuk pertama kalinya, tidak ada daftar calon ahli yang ditetapkan? Namun, bahkan dalam kasus ini, setiap spesialis tertentu memiliki beberapa gagasan tentang apa yang diperlukan dari seorang ahli dalam situasi yang sama. Untuk membentuk daftar, metode yang berguna "semakin bertambah" di mana sejumlah tertentu (biasanya 5 - 10) dari nama-nama mereka yang dapat menjadi ahli pada subjek yang dipertimbangkan diterima dari setiap spesialis yang terlibat sebagai ahli. Jelas, beberapa nama keluarga ini bertemu lebih awal dalam kegiatan WG, dan beberapa baru. Setiap pendatang baru diinterogasi menurut skema yang sama. Proses perluasan daftar berhenti ketika nama keluarga baru praktis berhenti muncul. Hasilnya adalah daftar kemungkinan ahli yang cukup luas. metode "semakin bertambah" juga memiliki kekurangan. Jumlah putaran sebelum proses pembentukan koma berhenti tidak dapat diprediksi sebelumnya. Selain itu, jelas bahwa jika pada tahap pertama semua ahli berasal dari "klan" yang sama, memiliki pandangan yang sama atau terlibat dalam kegiatan serupa, maka metode "bola salju" kemungkinan besar akan memberikan orang-orang dari "klan" yang sama. Pendapat dan argumen dari "klan" lain akan terlewatkan. (Di sini kita berbicara tentang fakta bahwa komunitas spesialis sebenarnya dibagi menjadi kelompok-kelompok yang disebut "klan" di atas, dan komunikasi terjadi terutama di dalam "klan". Struktur informal sains, yang menjadi milik "klan", adalah cukup sulit untuk dipelajari Kami mencatat di sini bahwa "klan" biasanya dibentuk atas dasar pusat formal yang besar (universitas, lembaga ilmiah), sekolah ilmiah.)
Soal penilaian kompetensi ahli tidak kalah rumitnya. Jelas bahwa keberhasilan partisipasi dalam ujian sebelumnya adalah kriteria yang baik untuk kegiatan pengecap, dokter, hakim dalam kompetisi olahraga, mis. ahli tersebut yang berpartisipasi dalam serangkaian panjang pemeriksaan serupa. Namun, sayangnya, yang paling menarik dan penting adalah keahlian unik dari proyek-proyek besar yang tidak memiliki analog. Penggunaan indikator formal para ahli (jabatan, gelar dan gelar akademik, masa kerja, jumlah publikasi ...), jelas, dalam kondisi yang berubah dengan cepat saat ini hanya dapat bersifat tambahan, meskipun indikator seperti itu paling mudah diterapkan. .
Sering diusulkan untuk menggunakan metode penilaian diri dan penilaian bersama terhadap kompetensi para ahli. Mari kita bahas, dimulai dengan metode penilaian diri, di mana ahli sendiri memberikan informasi tentang di bidang mana dia kompeten dan di mana dia tidak. Di satu sisi, siapa yang lebih mengetahui kemampuan seorang ahli selain dirinya sendiri? Di sisi lain, penilaian kompetensi diri lebih menilai tingkat kepercayaan diri seorang ahli daripada kompetensinya yang sebenarnya. Apalagi konsepnya "kompetensi" tidak didefinisikan secara ketat. Ini dapat disempurnakan dengan menyoroti komponen, tetapi ini memperumit bagian awal pekerjaan komisi ahli. Cukup sering, seorang ahli melebih-lebihkan kompetensinya yang sebenarnya. Misalnya, kebanyakan orang percaya bahwa mereka fasih dalam politik, ekonomi, pendidikan dan pengasuhan, keluarga dan kedokteran. Faktanya, para ahli (dan bahkan orang yang berpengetahuan) di daerah ini sangat kecil. Ada juga penyimpangan ke arah lain, sikap yang terlalu kritis terhadap kemampuan seseorang.
Ketika menggunakan metode penilaian timbal balik, selain kemungkinan menampilkan suka dan tidak suka pribadi dan kelompok, rendahnya kesadaran para ahli tentang kemampuan masing-masing berperan. Dalam kondisi modern, hanya spesialis yang telah bekerja bersama selama bertahun-tahun (setidaknya 3-4) yang bekerja bersama, di ruangan yang sama, pada topik yang sama, yang dapat memiliki kenalan yang cukup baik dengan pekerjaan dan kemampuan satu sama lain. Tentang pasangan seperti itulah yang bisa dikatakan bahwa mereka " makan segudang garam bersama". Namun, keterlibatan pasangan spesialis seperti itu sangat tidak disarankan, karena pandangan mereka, karena kesamaan jalan hidup terlalu mirip satu sama lain.
Jika prosedur survei ahli melibatkan komunikasi langsung dengan para ahli, sejumlah keadaan lain harus diperhitungkan. Kualitas pribadi (sosial-psikologis) mereka sangat penting. Jadi, satu-satunya" pembicara"dapat melumpuhkan aktivitas seluruh komisi dalam rapat gabungan. Baik hubungan permusuhan anggota komisi dan status ilmiah dan resmi yang sangat berbeda dari anggota komisi dapat menyebabkan gangguan. Dalam kasus seperti itu, penting untuk mematuhi peraturan kerja yang dikembangkan oleh WG.
Harus ditekankan bahwa pemilihan tenaga ahli adalah salah satu fungsi utama Kelompok Kerja, dan tidak ada metode pemilihan yang dapat membebaskannya dari tanggung jawab. Dengan kata lain, Pokja bertanggung jawab atas kompetensi para ahli, atas kemampuan fundamental mereka untuk memecahkan masalah. Persyaratan penting bagi pengambil keputusan untuk menyetujui daftar ahli. Pada saat yang sama, pembuat keputusan dapat menambahkan ahli individu ke komisi atau menghapus beberapa dari mereka - untuk alasannya sendiri, yang tidak perlu diketahui oleh anggota WG dan EC.
Ada sejumlah dokumen normatif yang mengatur kegiatan komisi ahli di bidang tertentu. Contohnya adalah Hukum Federasi Rusia“Tentang Keahlian Ekologi” tanggal 23 November 1995, yang mengatur tentang tata cara pemeriksaan “usulan kegiatan ekonomi atau kegiatan lainnya” dalam rangka mengidentifikasi kemungkinan bahaya bahwa kegiatan tersebut dapat menyebabkan lingkungan.
Tentang pengembangan peraturan untuk pengumpulan dan analisis pendapat ahli. Ada banyak metode untuk mendapatkan penilaian ahli. Dalam beberapa, mereka bekerja dengan masing-masing ahli secara terpisah, dia bahkan tidak tahu siapa lagi yang ahli, dan karena itu mengungkapkan pendapatnya terlepas dari otoritas, "klan" dan rekan individu. Di tempat lain, para ahli dikumpulkan untuk menyiapkan bahan bagi pengambil keputusan, sementara para ahli mendiskusikan masalah satu sama lain, menerima atau menolak argumen satu sama lain, belajar dari satu sama lain, dan pendapat yang salah atau tidak cukup didukung dibuang. Dalam beberapa metode, jumlah ahli ditetapkan dan sedemikian rupa sehingga metode statistik untuk memeriksa konsistensi pendapat dan kemudian (dalam hal persetujuan pendapat yang cukup baik) merata-ratakannya memungkinkan pengambilan keputusan yang tepat dari sudut pandang ekonometrika. Di tempat lain, jumlah ahli bertambah selama ujian, misalnya, ketika menggunakan metode "bola salju" untuk membentuk tim ahli.
Saat ini tidak ada klasifikasi metode penilaian ahli yang didukung secara ilmiah yang diterima secara umum, dan terlebih lagi - rekomendasi yang jelas untuk penerapannya. Upaya untuk secara paksa menyetujui salah satu sudut pandang yang mungkin tentang klasifikasi metode penilaian ahli hanya dapat membahayakan.
Namun, untuk berbicara tentang berbagai penilaian ahli, beberapa klasifikasi kerja metode diperlukan. Kami memberikan salah satu dari kemungkinan klasifikasi di bawah ini, dengan mencantumkan alasan kami membagi penilaian ahli.
Salah satu pertanyaan utama - apa sebenarnya yang harus disediakan komisi ahli sebagai hasil kerjanya - informasi untuk membuat keputusan oleh pembuat keputusan atau rancangan keputusan itu sendiri? Organisasi kerja komisi ahli tergantung pada jawaban atas pertanyaan metodologis ini, dan ini berfungsi sebagai dasar pertama untuk membagi metode.
TUJUAN - MENGUMPULKAN INFORMASI UNTUK DMP. Kemudian Kelompok Kerja harus mengumpulkan sebanyak mungkin informasi yang relevan, argumen "untuk" dan "menentang" solusi tertentu. Metode berikut untuk meningkatkan jumlah ahli secara bertahap berguna. Pertama, ahli pertama memberikan pandangannya tentang masalah yang sedang dipertimbangkan. Materi yang disusun olehnya ditransfer ke ahli kedua, yang menambahkan argumennya. Bahan yang terakumulasi pergi ke ahli berikutnya - ketiga ... Prosedur berakhir ketika aliran pertimbangan baru mengering.
Perhatikan bahwa para ahli dalam metode yang dipertimbangkan hanya memberikan informasi, argumen "untuk" dan "menentang", tetapi tidak mengembangkan rancangan keputusan yang disepakati. Tidak perlu berusaha keras untuk memastikan bahwa pendapat para ahli konsisten satu sama lain. Selain itu, para ahli dengan pola pikir yang menyimpang dari massa paling berguna. Dari merekalah argumen paling orisinal harus diharapkan.
TUJUAN - PERSIAPAN DRAFT KEPUTUSAN UNTUK KEPUTUSAN. Metode matematis dalam penilaian ahli biasanya digunakan khusus untuk menyelesaikan masalah yang berkaitan dengan penyusunan suatu rancangan keputusan. Pada saat yang sama, dogma konsistensi dan satu dimensi sering diterima tanpa kritik. Dogma-dogma ini "berkeliaran" dari satu terbitan ke terbitan lain, jadi disarankan untuk membahasnya.
DOGMA KONSISTENSI. Seringkali diasumsikan, tanpa pembenaran apapun, bahwa keputusan hanya dapat dibuat berdasarkan pendapat para ahli yang disepakati. Oleh karena itu, mereka yang pendapatnya berbeda dengan pendapat mayoritas dikeluarkan dari kelompok ahli. Pada saat yang sama, baik orang-orang yang tidak memenuhi syarat yang masuk ke dalam komposisi komisi ahli karena kesalahpahaman atau karena alasan yang tidak terkait dengan tingkat profesional mereka, serta para pemikir paling orisinal yang telah menembus lebih dalam masalah daripada mayoritas, adalah dihilangkan. Argumen mereka harus diklarifikasi, mereka harus diberi kesempatan untuk memperkuat sudut pandang mereka. Sebaliknya, pendapat mereka diabaikan.
Juga terjadi bahwa para ahli dibagi menjadi dua atau lebih kelompok yang memiliki kesamaan kelompok sudut pandang. Dengan demikian, ada contoh terkenal membagi spesialis dalam mengevaluasi hasil penelitian ilmiah menjadi dua kelompok: "teoretisi" yang jelas lebih suka R&D di mana hasil teoritis diperoleh, dan "praktisi" yang memilih R&D yang memungkinkan memperoleh langsung diterapkan. hasil (kita berbicara tentang kompetisi R&D di Academic Institute for Control Problems (Automation and Telemechanics)).
Kadang-kadang diklaim bahwa jika dua atau lebih kelompok ahli ditemukan (bukan satu yang disepakati), survei tidak mencapai tujuannya. Ini tidak benar! Tujuannya telah tercapai - telah ditetapkan bahwa tidak ada konsensus. Ini sangat penting. Dan pengambil keputusan harus mempertimbangkan hal ini ketika membuat keputusan. Keinginan untuk memastikan konsistensi pendapat para ahli dari keseluruhan mana pun dapat mengarah pada pemilihan ahli sepihak yang disengaja, mengabaikan semua sudut pandang, kecuali satu, Kelompok Kerja yang paling dicintai (atau bahkan "didorong" oleh keputusan tersebut. pembuat).
Keadaan ekonometrik murni lainnya sering tidak diperhitungkan. Karena jumlah pakar biasanya tidak melebihi 20-30, maka konsistensi statistik formal pendapat pakar (ditetapkan dengan menggunakan kriteria verifikasi tertentu hipotesis statistik) dapat dikombinasikan dengan pembagian ahli yang sebenarnya ke dalam kelompok, yang membuat perhitungan lebih lanjut tidak relevan dengan kenyataan. Sebagai contoh, mari kita beralih ke metode perhitungan khusus menggunakan koefisien konkordansi (yaitu, dalam terjemahan - kesepakatan) berdasarkan koefisien korelasi peringkat Kendall atau Spearman. Harus diingat bahwa menurut teori ekonometrika, hasil positif dari pemeriksaan konsistensi dengan cara ini berarti tidak lebih dan tidak kurang dari menolak hipotesis independensi dan distribusi pendapat ahli yang seragam pada himpunan semua peringkat. Dengan demikian, hipotesis nol diuji, yang menurutnya peringkat yang menggambarkan pendapat para ahli adalah hubungan biner acak independen yang didistribusikan secara seragam di atas himpunan semua peringkat. Penolakan hipotesis nol ini, menurut tradisi buruk, dimaknai sebagai konsistensi jawaban para ahli. Dengan kata lain, kita menjadi korban kesalahpahaman yang timbul dari interpretasi kata-kata yang aneh: pemeriksaan konsistensi dalam arti matematika-statistik yang ditunjukkan sama sekali bukan pemeriksaan konsistensi dalam arti praktik penilaian ahli. (Kecacatan metode matematis dan statistik yang dipertimbangkan dari analisis peringkat yang menyebabkan sekelompok spesialis mengembangkan peralatan ekonometrik baru untuk memeriksa konsistensi - metode non-parametrik berdasarkan apa yang disebut. lucia dan termasuk dalam bagian ekonometrika modern - statistik data non-numerik). Kelompok pakar dengan metode serupa dapat dibedakan dengan metode ekonometrika analisis klaster.
PENDAPAT PARA PARA PENDIDIKAN. Untuk mencapai konsistensi artifisial, mereka mencoba mengurangi pengaruh pendapat ahli. pembangkang, yaitu pembangkang dibandingkan dengan mayoritas. Keras cara menghadapi pembangkang adalah dengan mengabaikan pendapat mereka, mis. pada kenyataannya, pengecualian mereka dari komposisi komisi ahli. Penolakan ahli, serta penolakan terhadap outlier (pencilan), mengarah pada prosedur yang memiliki sifat statistik yang buruk atau tidak diketahui. Ya, diketahui ketidakstabilan ekstrim metode klasik untuk menolak outlier sehubungan dengan penyimpangan dari asumsi model (lihat, misalnya, tutorial ).
Lembut cara untuk menghadapi pembangkang adalah dengan menggunakan prosedur statistik yang kuat (stabil). Contoh paling sederhana: jika jawaban pakar adalah bilangan real, maka outlier opinion dari dissident sangat mempengaruhi mean aritmatika jawaban pakar dan tidak mempengaruhi median. Oleh karena itu, masuk akal untuk mempertimbangkan median sebagai pendapat konsensus. Namun, ini mengabaikan (tidak mencapai pengambil keputusan) argumen para pembangkang.
Dalam salah satu dari dua cara menangani pembangkang, pembuat keputusan kehilangan informasi yang berasal dari pembangkang, dan karena itu dapat membuat keputusan yang tidak masuk akal, yang selanjutnya akan menyebabkan konsekuensi negatif. Di sisi lain, penyerahan seluruh rangkaian pendapat kepada pengambil keputusan menghilangkan sebagian tanggung jawab dan tenaga untuk menyiapkan keputusan akhir dari komisi ahli dan kelompok kerja untuk melakukan survei ahli dan mengalihkan tanggung jawab dan tenaga ini ke pundak pengambil keputusan.
DOGMA SATU-DIMENSI. Dalam literatur ilmiah dan teknis modern yang ketinggalan zaman, dan kadang-kadang, pendekatan yang agak kontroversial dari apa yang disebut "kualimetri" tersebar luas, yang menurutnya objek pemeriksaan selalu dapat dinilai. satu nomor. Ide yang aneh! Mengevaluasi seseorang dengan satu angka hanya muncul di pikiran di pasar budak. Tidak mungkin bahkan ahli kualimetri yang paling bersemangat sekalipun menganggap buku atau gambar setara dengan angka - "nilai pasar" -nya. Hampir semua objek nyata cukup kompleks, dan oleh karena itu mereka dapat dijelaskan dengan akurasi apa pun hanya dengan bantuan banyak dan banyak angka, serta objek matematika yang bersifat non-numerik.
Pada saat yang sama, seseorang tidak dapat sepenuhnya menyangkal gagasan mencari indikator umum kualitas, tingkat teknis, dan yang serupa. Jadi, setiap objek dapat dievaluasi dengan banyak indikator kualitas. Misalnya, mobil dapat dievaluasi berdasarkan indikator berikut:
konsumsi bensin per 100 km (rata-rata);
keandalan (termasuk biaya rata-rata perbaikan per tahun);
keamanan lingkungan, dinilai berdasarkan kandungan zat berbahaya dalam gas buang;
kemampuan manuver (termasuk radius putar);
kecepatan menambah kecepatan 100 km / jam setelah dimulainya gerakan; kecepatan maksimum yang dapat dicapai;
durasi mempertahankan suhu positif di kabin pada suhu luar yang rendah (misalnya, minus lima puluh derajat Celcius) dan mesin mati;
desain (daya tarik dan "kemodisan" penampilan dan trim interior);
berat, dll.
Apakah mungkin untuk meringkas skor untuk indikator-indikator ini bersama-sama? Jelas bahwa situasi spesifik di mana mobil dipilih sangat menentukan. Kecepatan maksimum yang dicapai penting bagi pembalap, tetapi, seperti yang kita lihat, praktis tidak terlalu penting bagi pengemudi mobil pribadi biasa, terutama di kota dengan batas kecepatan maksimum yang parah. Untuk pengemudi seperti itu, jarak tempuh, kemampuan manuver, dan keandalan lebih penting. Untuk mesin dari berbagai layanan dikendalikan pemerintah, rupanya, keandalan lebih penting daripada untuk pedagang swasta, dan konsumsi bensin adalah sebaliknya. Untuk wilayah Far North, isolasi termal kabin penting, tetapi tidak untuk wilayah selatan. Dll.
Dengan demikian, pernyataan masalah yang spesifik (sempit) kepada para ahli adalah penting. Tetapi pengaturan seperti itu seringkali tidak ada. Dan kemudian "permainan" untuk mengembangkan indikator kualitas umum - misalnya, dalam bentuk fungsi linear dari variabel yang terdaftar - tidak dapat memberikan kesimpulan yang objektif. Sebuah alternatif untuk satu-satunya indikator umum adalah peralatan matematika dari jenis optimasi multi-tujuan- Set Pareto, dll.
Dalam beberapa kasus, masih mungkin untuk membandingkan objek secara global - misalnya, dengan bantuan ahli yang sama, Anda bisa mendapatkan pemesanan objek yang sedang dipertimbangkan - produk atau proyek. Kemudian Anda dapat memilih koefisien untuk masing-masing indikator sehingga pemesanan dengan fungsi linier sedekat mungkin dengan pemesanan global(misalnya, temukan koefisien ini menggunakan metode kuadrat terkecil). Sebaliknya, dalam kasus seperti itu TIDAK HARUS mengevaluasi koefisien yang ditunjukkan dengan bantuan para ahli. Ide sederhana ini belum menjadi jelas bagi penyusun metodologi individu untuk melakukan survei ahli dan menganalisis hasil mereka. Mereka berusaha keras untuk membuat para ahli melakukan apa yang mereka lakukan tidak dapat- menunjukkan bobot yang dengannya indikator kualitas individu harus dimasukkan dalam indikator umum akhir.
Kirim karya bagus Anda di basis pengetahuan sederhana. Gunakan formulir di bawah ini
Mahasiswa, mahasiswa pascasarjana, ilmuwan muda yang menggunakan basis pengetahuan dalam studi dan pekerjaan mereka akan sangat berterima kasih kepada Anda.
Diposting pada http://www.allbest.ru/
LEMBAGA SOSIAL-EKONOMI MOSKOW
dengan topik "Metodologi untuk melakukan penilaian ahli"
Siswa:
Artyushenko Yulia Viktorovna
Grup: M10B-D-O-z
Moskow 2014
pengantar
2. Metode penilaian ahli
Kesimpulan
pengantar
Dalam studi manajemen, metode penilaian ahli banyak digunakan. Ini karena kompleksitas banyak masalah, asalnya dari "faktor manusia", kurangnya alat eksperimental atau normatif yang andal.
Tidak dapat disangkal bahwa untuk membuat keputusan yang tepat, perlu mengandalkan pengalaman, pengetahuan, dan intuisi para spesialis. Setelah Perang Dunia Kedua, dalam kerangka teori manajemen (manajemen), disiplin independen mulai berkembang - penilaian ahli.
Metode penilaian ahli adalah metode untuk mengorganisir pekerjaan dengan ahli spesialis dan mengolah pendapat ahli yang dinyatakan dalam bentuk kuantitatif dan/atau kualitatif dalam rangka menyiapkan informasi untuk pengambilan keputusan oleh pengambil keputusan.
Banyak karya telah dikhususkan untuk mempelajari kemungkinan dan fitur penerapan penilaian ahli. Mereka mempertimbangkan bentuk survei ahli (berbagai jenis kuesioner, wawancara), pendekatan penilaian (pemeringkatan, normalisasi, berbagai jenis pengurutan, dll.), metode untuk memproses hasil survei, persyaratan ahli dan pembentukan kelompok ahli, masalah ahli pelatihan, penilaian kompetensi mereka (saat memproses penilaian, koefisien kompetensi ahli, keandalan pendapat mereka diperkenalkan dan diperhitungkan), metode pengorganisasian survei ahli. Pilihan bentuk dan metode untuk melakukan survei ahli, pendekatan untuk memproses hasil survei, dll. tergantung pada tugas khusus dan kondisi pemeriksaan.
Metode ahli sekarang digunakan dalam situasi di mana pilihan, pembenaran dan evaluasi konsekuensi keputusan tidak dapat dilakukan atas dasar perhitungan yang akurat. Situasi seperti itu sering muncul dalam perkembangan masalah modern dalam mengelola produksi sosial dan, terutama, dalam peramalan dan perencanaan jangka panjang. Dalam beberapa tahun terakhir, penilaian ahli telah banyak digunakan dalam peramalan sosial-politik dan ilmiah-teknis, dalam perencanaan ekonomi nasional, industri, asosiasi, dalam pengembangan program ilmiah, teknis, ekonomi dan sosial utama, dalam memecahkan manajemen tertentu. masalah. peringkat manajemen ahli
1. Esensi, metode dan proses penilaian ahli
1.1 Inti dari penilaian ahli
Kemungkinan menggunakan penilaian ahli, pembenaran objektivitasnya biasanya didasarkan pada fakta bahwa karakteristik yang tidak diketahui dari fenomena yang diteliti ditafsirkan sebagai variabel acak, refleksi dari hukum distribusi yang merupakan penilaian individu dari ahli spesialis. pada keandalan dan pentingnya suatu peristiwa. Diasumsikan bahwa nilai sebenarnya dari karakteristik yang diteliti berada dalam kisaran perkiraan yang diterima dari kelompok ahli, dan bahwa opini kolektif yang digeneralisasikan dapat diandalkan.
Namun, beberapa studi teoritis mempertanyakan asumsi ini. Misalnya, diusulkan untuk membagi masalah yang penilaian ahli digunakan menjadi dua kelas. Kelas pertama mencakup masalah-masalah yang dilengkapi dengan informasi yang cukup baik dan untuk itu prinsip "pengukur yang baik" dapat digunakan, mengingat ahli sebagai penjaga sejumlah besar informasi, dan pendapat kelompok ahli dekat dengan yang benar. Kelas kedua mencakup masalah yang tidak memiliki cukup pengetahuan untuk memastikan validitas asumsi di atas; ahli tidak dapat dianggap sebagai “pengukur yang baik”, dan pengolahan hasil pemeriksaan perlu didekati dengan cermat, karena dalam hal ini pendapat seorang (tunggal) ahli, yang lebih memperhatikan kajian sedikit- masalah yang dipelajari, mungkin menjadi yang paling signifikan, dan selama pemrosesan formal itu akan hilang. Dalam hal ini, pengolahan hasil kualitatif harus diterapkan terutama pada masalah-masalah kelas kedua. Penggunaan metode rata-rata (berlaku untuk "pengukur yang baik") dalam hal ini dapat menyebabkan kesalahan yang signifikan.
Tugas pengambilan keputusan kolektif tentang pembentukan tujuan, peningkatan metode dan bentuk manajemen biasanya dapat dikaitkan dengan kelas satu. Namun, ketika mengembangkan prakiraan dan rencana jangka panjang, disarankan untuk mengidentifikasi pendapat "langka" dan menjadikannya analisis yang lebih menyeluruh.
Masalah lain yang perlu diingat ketika melakukan analisis sistem adalah sebagai berikut: bahkan dalam kasus pemecahan masalah yang berkaitan dengan kelas satu, orang tidak boleh lupa bahwa penilaian ahli tidak hanya membawa fitur subjektif sempit yang melekat pada masing-masing pakar, tetapi juga fitur kolektif-subyektif yang tidak hilang saat memproses hasil survei (dan saat menggunakan prosedur Delphi, fitur tersebut bahkan dapat ditingkatkan). Dengan kata lain, penilaian ahli harus dilihat sebagai semacam "sudut pandang publik", tergantung pada tingkat pengetahuan ilmiah dan teknis masyarakat mengenai subjek penelitian, yang dapat berubah seiring dengan berkembangnya sistem dan gagasan kita tentangnya. . Oleh karena itu, survei ahli bukanlah prosedur satu kali. Cara memperoleh informasi tentang masalah kompleks yang ditandai dengan tingkat ketidakpastian yang tinggi ini harus menjadi semacam "mekanisme" dalam sistem yang kompleks, yaitu. perlu untuk membuat sistem kerja yang teratur dengan para ahli.
Perhatian juga harus diberikan pada fakta bahwa penggunaan pendekatan frekuensi klasik untuk menilai probabilitas ketika mengorganisir survei ahli bisa jadi sulit, dan kadang-kadang tidak mungkin (karena ketidakmungkinan membuktikan legitimasi menggunakan sampel yang representatif). Oleh karena itu, saat ini, studi sedang berlangsung pada sifat probabilitas penilaian ahli, berdasarkan teori, himpunan fuzzy Zadeh, pada gagasan penilaian ahli sebagai tingkat konfirmasi hipotesis atau sebagai kemungkinan pencapaian sebuah tujuan. Salah satu varietas metode ahli adalah metode mempelajari kekuatan dan kelemahan organisasi, peluang dan ancaman kegiatannya – metode analisis SWOT.
Pengumpulan informasi pakar tergantung pada pilihan metode penilaian pakar. Biasanya, untuk mengumpulkan informasi pakar, dokumen khusus disusun, misalnya, kuesioner yang disetujui oleh manajer terkait dan kemudian dikirim ke pakar.
Pemrosesan informasi pakar dilakukan dengan menggunakan metode yang dipilih, biasanya dengan penggunaan teknologi komputer. Data yang diperoleh sebagai hasil pemrosesan dianalisis dan digunakan untuk memecahkan masalah analisis dan sintesis sistem kontrol.
Penilaian ahli digunakan untuk analisis, diagnosis keadaan, prediksi opsi pengembangan selanjutnya:
1) objek, yang perkembangannya sebagian atau seluruhnya tidak sesuai dengan deskripsi subjek atau formalisasi matematis;
2) dengan tidak adanya statistik yang cukup representatif dan andal tentang karakteristik objek;
3) dalam kondisi ketidakpastian yang besar di lingkungan untuk berfungsinya objek, lingkungan pasar;
4) dalam peramalan pasar baru jangka menengah dan panjang, objek industri baru yang sangat dipengaruhi oleh penemuan dalam ilmu dasar (misalnya, industri mikrobiologi, elektronik kuantum, teknik nuklir);
5) dalam kasus di mana waktu atau dana yang dialokasikan untuk peramalan dan pengambilan keputusan tidak memungkinkan untuk menyelidiki masalah menggunakan model formal;
6) tidak ada sarana teknis pemodelan yang diperlukan, misalnya, teknologi komputer dengan karakteristik yang sesuai;
7) dalam situasi ekstrim.
Tugas yang diselesaikan dalam proses penilaian ahli sistem kontrol dapat dibagi menjadi dua kelompok:
1) tugas sintesis sistem kontrol baru dan evaluasinya;
2) tugas analisis (pengukuran) sistem manajemen yang ada sesuai dengan indikator dan kriteria kinerja yang dipilih.
Tugas kelompok pertama meliputi: pembentukan citra sistem yang sedang dibuat; meramalkan indikator teknis dan ekonomi dari tahapan siklus hidupnya; pembuktian arah utama reorganisasi sistem manajemen sosial; pemilihan metode tindakan dan hasil yang optimal atau memuaskan dengan menggunakan sistem kontrol yang dibuat, dll. Beberapa informasi ahli yang diperoleh selama menyelesaikan masalah ini bersifat kualitatif dan dibentuk dalam bentuk penilaian kompleks dalam bentuk deskriptif. Namun, tugas sintesis yang diselesaikan dengan bantuan penilaian ahli dapat bersifat kuantitatif, dan solusinya akan dikaitkan dengan pembenaran berbagai parameter (karakteristik) dari sistem yang dibuat. Tugas kelompok kedua mencakup semua tugas mengevaluasi varian sistem kontrol yang ada atau dibuat menggunakan indikator dan kriteria kinerja yang ditentukan. Contoh tugas tersebut adalah: menentukan karakteristik struktural, fungsional atau informasi dari sistem; evaluasi efektivitasnya dalam melakukan berbagai operasi; penentuan kelayakan operasi lebih lanjut dari sarana kontrol dan komunikasi teknis, dll.
1.2 Peran ahli dalam manajemen
Keahlian adalah pendapat, ide, keputusan, atau penilaian berdasarkan penerapan pengalaman berharga dari seorang spesialis, pengetahuan mendalam tentang subjek penelitian dan teknologi analisis kualitatif.
Keahlian bisa individu atau kelompok. Dalam keahlian kelompok, pemilihan sekelompok ahli dan metodologi untuk pemrosesan akhir hasil pekerjaannya sangat penting.
Pendapat ahli adalah dokumen yang mencatat jalannya penelitian dan hasilnya. Pada saat yang sama, kesimpulan dan pendapat para ahli dapat memiliki bentuk kategoris ("ya", "tidak"), dan probabilistik (dalam bentuk asumsi, peringkat, koefisien preferensi, dll.).
Dalam mengatur pekerjaan para ahli, perlu mematuhi prinsip-prinsip berikut:
1. Ide, pendapat, dan penilaian harus sesuai dengan skema yang telah disiapkan sebelumnya. Ini memungkinkan Anda untuk menggeneralisasi, membandingkan, menyoroti yang esensial, dll. Skema semacam itu seharusnya tidak membatasi pemikiran dan membatasi fantasi. Skema dapat memungkinkan dan mengasumsikan kemungkinan modifikasi dan penambahannya.
2. Pemrosesan pendapat ahli harus dilakukan tidak hanya dalam generalisasi kuantitatif, tetapi juga melalui analisis kualitatif, menyoroti yang utama, penting, penting, relevan, asli, baru, dll. Pendapat ahli dapat menjadi bahan pemeriksaan yang kedua panggung.
3. Pakar harus independen, yaitu bebas dari batasan organisasi atau konseptual, serta psikologis. Dalam hal ini, pengalaman, pengetahuan, dan intuisi mereka diwujudkan dengan cara terbaik.
4. Pekerjaan kelompok ahli harus memiliki tujuan. Memahami mengapa dan mengapa suatu pemeriksaan dilakukan merupakan unsur penting dalam pelaksanaannya. Dalam banyak kasus, diperlukan pelatihan khusus dari para ahli, yang berperan dalam memobilisasi upaya dan intelijen.
5. Bentuk pengorganisasian kerja kelompok ahli bermacam-macam: baik masing-masing ahli melakukan pemeriksaan secara individu, kemudian hasilnya dirangkum dan disistematisasikan, atau para ahli bekerja secara kolektif, saling berinteraksi.
6. Pekerjaan paralel dan multi-tahap dari beberapa kelompok ahli dimungkinkan. Perbandingan keahlian memberikan informasi penting.
Ada banyak metode untuk mendapatkan penilaian ahli. Dalam beberapa, mereka bekerja dengan masing-masing ahli secara terpisah, dia bahkan tidak tahu siapa lagi yang ahli, dan karena itu mengungkapkan pendapatnya terlepas dari otoritas. Di tempat lain, para ahli dikumpulkan untuk menyiapkan bahan bagi pengambil keputusan, sementara para ahli mendiskusikan masalah satu sama lain, belajar dari satu sama lain, dan pendapat yang salah dibuang. Dalam beberapa metode, jumlah ahli tetap dan sedemikian rupa sehingga metode statistik untuk memeriksa konsistensi pendapat dan kemudian meratakannya memungkinkan pengambilan keputusan yang tepat. Di tempat lain, jumlah penguji bertambah selama ujian, misalnya, saat menggunakan metode "bola salju".
Seorang spesialis atau sekelompok spesialis yang bertindak sebagai ahli kadang-kadang diidentifikasi dengan: alat ukur, yang memiliki kesalahan pengukuran acak dan sistematis.
Kesalahan acak disebabkan oleh subjektivitas pendapat ahli tentang masalah yang sedang dipertimbangkan dan dapat menyimpang ke satu arah atau lainnya dari nilai sebenarnya. Dampak dari kesalahan tersebut dikurangi dengan rata-rata jumlah perkiraan yang memadai.
Kesalahan sistematis melekat pada seluruh tim ahli dan tidak dapat dihilangkan dengan memproses perkiraan yang diperoleh. Hal ini menunjukkan bahwa dalam beberapa kasus perlu untuk mendekati hasil survei ahli dengan sangat hati-hati, yang terkadang dapat mengungkapkan sudut pandang yang umumnya salah, tergantung pada tingkat pengetahuan dan keyakinan para ahli.
1.3 Proses peninjauan sejawat
Tahapan utama dari proses peer review meliputi:
Pembentukan maksud dan tujuan penilaian ahli;
Pembentukan kelompok manajemen dan pelaksanaan keputusan untuk melakukan penilaian ahli;
Memilih metode untuk memperoleh informasi ahli dan metode untuk pemrosesannya;
Pemilihan kelompok ahli dan formasi, jika perlu, kuesioner survei;
Survei ahli (expertise);
Pengolahan dan analisis hasil pemeriksaan;
Interpretasi hasil yang diperoleh;
Penyusunan laporan.
Tugas melakukan penilaian ahli ditetapkan oleh pengambil keputusan. Tahap pembentukan tujuan dan sasaran evaluasi ahli adalah yang utama. Keandalan hasil yang diperoleh dan nilai pragmatisnya bergantung padanya. Pembentukan tujuan dan sasaran evaluasi ahli ditentukan oleh esensi masalah yang dipecahkan. Di sini, faktor-faktor berikut harus diperhitungkan: keandalan dan kelengkapan informasi awal yang tersedia, bentuk penyajian hasil yang diperlukan (kualitatif atau kuantitatif), kemungkinan area penggunaan informasi yang diterima, waktu penyerahannya, sumber daya yang tersedia untuk manajemen, kemungkinan menarik spesialis dari bidang pengetahuan lain, dan banyak lagi. Tugas diformalkan dalam bentuk dokumen panduan (misalnya, keputusan untuk melakukan penilaian ahli).
Untuk mempersiapkan keputusan dan memandu semua pekerjaan lebih lanjut, kepala ujian ditunjuk. Ini mendefinisikan komposisi grup manajemen. Kelompok kontrol memberikan umpan balik kepada para ahli atau metode Delphi.
Kelompok manajemen dipercayakan tidak hanya dengan semua pekerjaan organisasi dan perencanaan untuk menyediakan kondisi yang menguntungkan bagi aktivitas kreatif para ahli yang efektif, tetapi juga dengan pekerjaan analitis pada pemilihan kelompok ahli, menentukan metode untuk memperoleh dan memproses informasi, menyusun kuesioner - kuesioner , interpretasi hasil yang bermakna.
Rentang besar dan kompleks tugas yang harus diselesaikan ini memerlukan masuknya spesialis berkualifikasi tinggi dalam kelompok manajemen baik di bidang masalah yang sedang dipertimbangkan dan di bidang lain - psikologi, matematika, kedokteran, sosiologi.
Pemilihan pakar khusus dilakukan atas dasar analisis kualitas masing-masing pakar yang diusulkan. Berbagai metode digunakan untuk tujuan ini:
penilaian calon ahli berdasarkan analisis statistik hasil kegiatan masa lalu sebagai ahli pada masalah studi SU;
penilaian kolektif calon ahli sebagai spesialis di bidang ini
penilaian sendiri terhadap calon tenaga ahli;
penentuan analitis kompetensi calon tenaga ahli.
Namun, semua metode ini memiliki kelemahan tertentu, termasuk: kurangnya metodologi penilaian tunggal yang diakui secara umum; kompleksitas penilaian yang tinggi; munculnya masalah etika ketika menggunakan metode penilaian subjektif.
Selama pekerjaan ini, beberapa metode sering digunakan secara bersamaan: penilaian diri dan penilaian kolektif kualitas ahli yang diusulkan. Pendekatan ini memungkinkan untuk memilih ahli secara wajar dengan kualitas yang diperlukan. Namun, harus diakui bahwa metode penilaian kinerja masa lalu tampaknya lebih objektif daripada metode penilaian diri dan penilaian kolektif.
Secara umum, pembentukan kelompok ahli didahului dengan kegiatan sebagai berikut:
masalah diidentifikasi dan dirumuskan;
tujuan dan ruang lingkup kegiatan kelompok ditentukan;
daftar ahli awal disusun;
analisis dan pemilihan ahli dilakukan (berdasarkan penggunaan satu atau lebih metode untuk memilihnya);
daftar tenaga ahli ditetapkan; . persetujuan ahli untuk berpartisipasi dalam pekerjaan kelompok ahli diperoleh;
daftar perwakilan ahli akhir ditentukan. Semua ahli potensial, tergantung pada kualitas dan kompetensinya, dapat diklasifikasikan ke dalam tujuh kelas
Contoh gradasi kualitas dan kompetensi tenaga ahli.
Pemilihan jumlah kelas ahli kualitas dalam hal ini disebabkan oleh "aturan tujuh", yang secara tradisional digunakan dalam memecahkan masalah manajemen mutu.
Gradasi ini memungkinkan untuk memilih ahli yang dibutuhkan untuk bekerja dalam kelompok ahli. Untuk mendapatkan hasil studi SU yang cukup objektif, diinginkan untuk memilih di antara para ahli yang termasuk dalam kelas kualitas 1-4. Kandidat ahli dari kelas berkualitas rendah tidak boleh dilibatkan dalam ujian.
Terlepas dari metode penilaian kualitas kandidat yang dipilih, para ahli dalam semua kasus harus memenuhi persyaratan tertentu, termasuk:
* kompetensi profesional dan pengalaman praktis dan penelitian di bidang manajemen;
* kreativitas (kemampuan memecahkan masalah kreatif); . intuisi ilmiah;
Ketertarikan pada hasil objektif pekerjaan ahli;
* independensi penilaian;
* Efisiensi "disiplin" kemampuan untuk beralih dari satu jenis kegiatan ke yang lain, komunikatif, kemandirian penilaian, motivasi tindakan);
* objektivitas;
* ketidaksesuaian;
* pengetahuan umum yang tinggi.
Pelaksanaan pengumpulan pendapat ahli meliputi penentuan: tempat dan waktu pengumpulan pendapat; bentuk dan metode pengumpulan pendapat; jumlah putaran pengumpulan pendapat; komposisi dan isi dokumentasi; tata cara memasukkan hasil pendapat ahli ke dalam dokumen.
Sangat penting untuk menentukan bentuk pengumpulan pendapat ahli. Di antara semua bentuk pengumpulan pendapat yang diketahui, seseorang dapat mencatat individu, kolektif (kelompok) dan campuran. Dengan demikian, bentuk-bentuk ini berbeda terutama dalam hal partisipasi para ahli dalam pekerjaan (individu atau kolektif) dan masing-masing memiliki sejumlah varietas:
* bertanya;
* wawancara;
* diskusi;
* brainstorming
* pertemuan;
* permainan bisnis.
Semuanya memiliki kelebihan dan kekurangan masing-masing. Dalam banyak kasus, masing-masing varietas ini digunakan bersama dengan yang lain, yang seringkali memberikan efek dan objektivitas yang lebih besar. Apakah bentuk campuran digunakan ketika mengumpulkan pendapat ahli dalam kasus beberapa ambiguitas masalah, dalam kasus ketidaksepakatan? pendapat individu atau perbedaan pendapat para ahli dalam diskusi kolektif.
Setelah melakukan survei terhadap sekelompok ahli, hasilnya diolah. Informasi awal untuk diproses adalah data numerik yang mengungkapkan preferensi para ahli dan pembenaran substantif untuk preferensi ini. Tujuan pengolahan adalah untuk mendapatkan data umum dan informasi baru yang terkandung dalam bentuk tersembunyi dalam penilaian ahli. Berdasarkan hasil pengolahan tersebut, maka terbentuklah solusi dari permasalahan tersebut.
Adanya data numerik dan pernyataan ahli yang bermakna menyebabkan perlunya penerapan metode kualitatif dan kuantitatif untuk mengolah hasil evaluasi ahli kelompok. Bagian dari metode ini pada dasarnya tergantung pada kelas masalah yang diselesaikan oleh evaluasi ahli.
Seluruh rangkaian masalah dapat dibagi menjadi dua kelas. Kelas pertama mencakup masalah yang solusinya memiliki tingkat pengetahuan dan pengalaman yang cukup, yaitu, ada potensi informasi yang diperlukan. Ketika memecahkan masalah yang termasuk dalam kelas ini, para ahli dianggap sebagai pengukur rata-rata yang baik. Istilah “baik rata-rata” mengacu pada kemungkinan memperoleh hasil pengukuran yang mendekati kebenaran. Bagi banyak ahli, penilaian mereka mengelompok di sekitar nilai sebenarnya. Oleh karena itu untuk mengolah hasil evaluasi ahli kelompok masalah kelas satu, seseorang dapat berhasil menerapkan metode statistik matematika berdasarkan rata-rata data.
Kelas kedua mencakup masalah-masalah yang solusinya belum terakumulasi potensi informasi yang memadai. Dalam hal ini, pendapat para ahli bisa sangat berbeda satu sama lain. Selain itu, penilaian seorang ahli, yang sangat berbeda dengan pendapat lainnya, bisa jadi benar. Jelas, penggunaan metode untuk rata-rata hasil penilaian ahli kelompok dalam memecahkan masalah kelas dua dapat menyebabkan kesalahan besar. Oleh karena itu, pengolahan hasil survei ahli dalam hal ini harus didasarkan pada metode yang tidak menggunakan prinsip rata-rata, tetapi pada metode analisis kualitatif.
Mengingat masalah kelas pertama adalah yang paling umum dalam praktik peer review, fokus bab ini adalah pada metode pengolahan hasil review untuk masalah kelas ini.
Tergantung pada tujuan penilaian ahli dan metode pengukuran yang dipilih, tugas utama berikut muncul saat memproses hasil survei:
1) membangun penilaian objek secara umum berdasarkan penilaian individu ahli;
2) membangun penilaian umum berdasarkan perbandingan berpasangan objek oleh masing-masing ahli;
3) penentuan bobot relatif benda;
4) menentukan konsistensi pendapat ahli;
5) penentuan dependensi antar peringkat;
6) penilaian keandalan hasil pengolahan.
Tugas membangun penilaian umum objek berdasarkan penilaian individu ahli muncul dalam penilaian ahli kelompok. Solusi untuk masalah ini tergantung pada metode pengukuran yang digunakan oleh para ahli.
Ketika memecahkan banyak masalah, tidak cukup untuk mengatur objek menurut satu indikator atau beberapa indikator. Diinginkan untuk memiliki nilai numerik untuk setiap objek, yang menunjukkan kepentingan relatifnya dibandingkan dengan objek lain. Dengan kata lain, untuk banyak masalah perlu memiliki perkiraan objek yang tidak hanya melakukan urutannya, tetapi juga memungkinkan seseorang untuk menentukan tingkat preferensi satu objek di atas yang lain. Untuk mengatasi masalah ini, Anda bisa langsung menerapkan metode evaluasi langsung. Namun, dalam kondisi tertentu, masalah yang sama dapat diselesaikan dengan memproses perkiraan ahli.
Penentuan konsistensi pendapat ahli dilakukan dengan menghitung ukuran numerik yang mencirikan derajat kesamaan pendapat individu. Analisis nilai ukuran konsistensi berkontribusi pada pengembangan penilaian yang benar tentang tingkat pengetahuan umum tentang masalah yang dipecahkan dan identifikasi pengelompokan pendapat ahli. Analisis kualitatif tentang alasan pengelompokan pendapat memungkinkan untuk menetapkan keberadaan pandangan dan konsep yang berbeda, untuk mengidentifikasi sekolah ilmiah, untuk menentukan sifat kegiatan profesional, dll. Semua faktor ini memungkinkan untuk lebih memahami hasil penelitian. survei para ahli.
Dengan mengolah hasil evaluasi ahli, dimungkinkan untuk menentukan ketergantungan antara peringkat berbagai ahli dan dengan demikian membangun kesatuan dan perbedaan pendapat para ahli. Peran penting juga dimainkan oleh pembentukan hubungan antara peringkat yang dibangun di atas berbagai indikator perbandingan objek. Identifikasi ketergantungan semacam itu memungkinkan seseorang untuk mengungkapkan indikator perbandingan terkait dan, mungkin, mengelompokkannya menurut tingkat koneksi. Pentingnya tugas menentukan ketergantungan untuk latihan sudah jelas. Misalnya, jika indikator perbandingan adalah tujuan yang berbeda, dan objek adalah sarana untuk mencapai tujuan, maka membangun hubungan antara peringkat yang mengurutkan sarana dalam hal mencapai tujuan memungkinkan Anda untuk menjawab pertanyaan tentang sejauh mana dimana pencapaian satu tujuan dengan sarana tersebut memberikan kontribusi terhadap pencapaian tujuan lainnya. .
Estimasi yang diperoleh berdasarkan pemrosesan adalah objek acak, jadi salah satu tugas penting dari prosedur pemrosesan adalah menentukan keandalannya. Perhatian yang tepat harus diberikan pada solusi masalah ini.
Memproses hasil pemeriksaan adalah proses yang memakan waktu. Melakukan perhitungan manual perkiraan dan indikator keandalannya dikaitkan dengan biaya tenaga kerja yang besar, bahkan dalam kasus pemecahan masalah pemesanan sederhana. Dalam hal ini, disarankan untuk menggunakan teknologi komputer dan khususnya komputer. Penggunaan komputer menimbulkan masalah dalam mengembangkan program komputer yang mengimplementasikan algoritma untuk memproses hasil evaluasi ahli.
2. Metode penilaian ahli
analisis SWOT
Jenis khusus dari metode pakar, yang sangat populer, adalah metode asli analisis SWOT. Itu mendapat namanya dari huruf pertama dari empat kata bahasa Inggris, yang dalam terjemahan Rusia berarti: Kekuatan dan Kelemahan, Peluang dan Ancaman.
Metodologi ini dapat digunakan sebagai metodologi universal. Ini memiliki efek khusus dalam mempelajari proses dalam sistem sosial-ekonomi, yang dicirikan oleh dinamisme, kemampuan kontrol, ketergantungan faktor fungsi internal dan eksternal, perkembangan siklus.
Menurut metodologi analisis ini, distribusi faktor-faktor yang menjadi ciri subjek penelitian dilakukan menurut empat komponen ini, dengan mempertimbangkan apakah faktor ini termasuk dalam kelas faktor eksternal atau internal.
Akibatnya, muncul gambaran korelasi kekuatan dan kelemahan, peluang dan bahaya, yang menunjukkan bagaimana situasi harus diubah agar pembangunan berhasil.
Alokasi faktor ke kuadran atau sektor matriks ini tidak selalu mudah. Kebetulan faktor yang sama secara bersamaan mencirikan kekuatan dan kelemahan subjek. Selain itu, faktor bertindak secara situasional. Dalam satu situasi, mereka terlihat seperti kebajikan, di lain - kerugian. Terkadang mereka tidak proporsional dalam signifikansi mereka. Keadaan ini dapat dan harus diperhitungkan.
Faktor yang sama dapat ditempatkan di beberapa kuadran jika sulit untuk secara jelas menentukan tempatnya. Ini tidak akan berdampak buruk pada penelitian. Bagaimanapun, inti dari metode ini adalah untuk mengidentifikasi faktor-faktor, menempatkannya sedemikian rupa sehingga konsentrasinya menunjukkan cara-cara untuk memecahkan masalah, sehingga dapat dikelola.
Dalam setiap kuadran, faktor-faktor tersebut tidak harus memiliki bobot yang sama, tetapi harus disajikan secara keseluruhan.
Matriks lengkap menunjukkan keadaan sebenarnya, keadaan masalah dan sifat situasi. Ini adalah tahap pertama dari analisis SWOT.
Langkah kedua adalah melakukan analisis komparatif kekuatan dan peluang, yang harus menunjukkan bagaimana menggunakan kekuatan. Pada saat yang sama, perlu untuk menganalisis kelemahan dalam kaitannya dengan bahaya yang ada. Analisis semacam itu akan menunjukkan seberapa besar kemungkinan terjadinya krisis. Lagi pula, bahaya meningkat ketika muncul dalam kondisi kelemahan, ketika pihak yang lemah tidak memungkinkan untuk menghalangi bahaya.
Tentunya sangat berguna untuk membuat analisis perbandingan kekuatan dan bahaya yang ada. Bagaimanapun, kekuatan dapat digunakan dengan buruk dalam mencegah krisis, kekuatan harus dilihat tidak hanya dalam kaitannya dengan peluang yang menguntungkan, tetapi juga dalam kaitannya dengan bahaya.
Dalam studi sistem kontrol, subjek metode ini dapat berupa berbagai masalah pengembangan kontrol. Misalnya, efisiensi, personel, gaya, pembagian fungsi, struktur sistem manajemen, mekanisme manajemen, motivasi, profesionalisme, dukungan informasi, komunikasi dan perilaku organisasi, dll.
Penggunaan tenaga ahli atau konsultan internal yang terlatih dan terpilih secara khusus membuat metode ini lebih efektif.
Metode CERDAS
Ada banyak modifikasi dari metode analisis SWOT. Yang paling menarik di antaranya adalah metode pengembangan dan analisis tujuan.
Diketahui bahwa tujuan manajemen merupakan faktor penentu dalam keberhasilan, efisiensi, strategi dan pengembangan. Tanpa tujuan, tidak mungkin mengembangkan rencana atau program. Tetapi ini tidak hanya menyangkut tujuan manajemen, tetapi juga tujuan penelitian. Lagi pula, tidak mudah untuk merumuskan tujuan ini dengan benar. Program penelitian, penggunaan metode penelitian tergantung pada tujuannya.
Tujuan harus dikembangkan sesuai dengan kriteria achievability, spesificity, evaluability (measurability), dengan memperhatikan Tempat dan Waktu. Kriteria ini mencerminkan kata-kata Inggris-- Spesifik, Measurable, Achievable, Relevan, Timed, disingkat SMART. Itulah yang disebut metode ini.
Metode ini mengasumsikan penilaian tujuan yang konsisten menurut seperangkat kriteria yang disusun dalam bentuk matriks. Berikut adalah seperangkat faktor yang sebanding yang mencerminkan karakteristik tujuan: sulit dicapai - mudah dicapai, biaya tinggi - biaya rendah, memiliki dukungan staf - tidak memiliki dukungan staf, memiliki prioritas - tidak memiliki prioritas, membutuhkan banyak waktu - membutuhkan sedikit waktu, berdampak luas - memiliki pengaruh terbatas, berorientasi teknologi tinggi - berorientasi teknologi rendah (konvensional), terkait dengan organisasi manajemen baru - tidak terhubung dengan organisasi manajemen baru.
Langkah selanjutnya adalah membuat matriks definisi masalah. Untuk mencapai tujuan, sejumlah masalah harus dipecahkan. Tetapi untuk ini mereka harus terlebih dahulu didefinisikan.
Pembagian masalah dilakukan menurut kriteria berikut: situasi yang ada, situasi yang diinginkan, kemungkinan pencapaian tujuan. Kriteria ini mencirikan horizontal matriks. Kriteria berikut dipertimbangkan secara vertikal: definisi masalah, evaluasi masalah (parameter kuantitatif), organisasi solusi (siapa, di mana, kapan), biaya pemecahan masalah.
Matriks ini memungkinkan Anda untuk merencanakan penelitian.
Metode pemeringkatan dan evaluasi.
Menurut metode peringkat, ahli melakukan peringkat (pengurutan) objek yang dipelajari dari sistem organisasi tergantung pada kepentingan relatifnya (preferensi), ketika objek yang paling disukai diberi peringkat 1, dan yang paling tidak disukai adalah peringkat terakhir, sama dalam nilai absolut dengan jumlah objek yang dipesan. Pengurutan yang lebih tepat terjadi dengan jumlah objek studi yang lebih sedikit, dan sebaliknya.
Dengan pengaturan objek keahlian yang disukai (berdasarkan peringkat) oleh seorang ahli, jumlah peringkat harus sama dengan jumlah jumlah seluruh deret alami dari jumlah objek H, dimulai dari satu: H= (H+ 1): 2.
Jajaran yang dihasilkan dari pemeringkatan objek menurut data survei ditentukan sebagai jumlah dari peringkat untuk setiap objek. Dalam hal ini, sebagai hasilnya, peringkat pertama ditugaskan ke objek yang menerima jumlah peringkat terkecil, dan yang terakhir - ke objek dengan jumlah peringkat terbesar, mis. objek yang paling tidak signifikan (contoh penentuan peringkat tiga objek yang dihasilkan oleh tujuh ahli)
Semakin banyak ahli yang terlibat, semakin tinggi objektivitas hasil evaluasi. Namun, keterlibatan sejumlah besar ahli yang memenuhi syarat dan intensitas tenaga kerja yang tinggi dari pekerjaan ahli meningkatkan biaya penilaian kualitas. Oleh karena itu, untuk mengurangi kompleksitas pekerjaan para ahli, digunakan metode peringkat, yang hanya memberikan peringkat indikator, dan bukan penentuan numeriknya oleh para ahli.
Namun demikian, metode ini digunakan dalam praktek belajar SU, meskipun kesederhanaan dan intensitas tenaga kerja yang relatif rendah. Hal ini disebabkan banyaknya jumlah objek penelitian yang diperingkatkan.
Metode penilaian langsung
Ini adalah urutan objek yang diteliti (misalnya, ketika memilih parameter untuk menyusun model parametrik) tergantung pada kepentingannya dengan menetapkan poin untuk masing-masingnya. Dalam hal ini, objek terpenting diberi jumlah poin tertinggi pada skala yang diterima (penilaian diberikan). Rentang skala penilaian yang paling umum adalah dari 0 hingga 1; 0 sampai 5; 0 sampai 10; 0 hingga 100. Dalam kasus yang paling sederhana, skornya bisa 0 atau 1.
Terkadang penilaian dilakukan secara lisan. Misalnya, “sangat penting”, “penting”, “tidak penting”, dll., yang terkadang juga diterjemahkan ke dalam skala poin (masing-masing 3, 2, 1) untuk kemudahan dalam memproses hasil survei.
Penilaian langsung harus digunakan dengan penuh keyakinan pada kesadaran profesional para ahli tentang sifat-sifat objek yang diteliti. Menurut hasil penilaian, ditentukan peringkat dan bobot (kepentingan) setiap objek yang diteliti.
Kesimpulan
Saat ini, berbagai metode penilaian ahli semakin banyak digunakan. Mereka sangat diperlukan dalam memecahkan masalah kompleks dalam mengevaluasi dan memilih objek teknis, termasuk untuk tujuan khusus, dalam menganalisis dan memprediksi situasi dengan sejumlah besar faktor signifikan - di mana pun diperlukan untuk melibatkan pengetahuan, intuisi, dan pengalaman banyak ahli yang berkualifikasi tinggi. .
Metode ahli terus dikembangkan dan ditingkatkan. Arah utama perkembangan ini ditentukan oleh sejumlah faktor, di antaranya dapat menunjukkan keinginan untuk memperluas ruang lingkup, meningkatkan tingkat penggunaan metode matematika dan komputer elektronik, dan juga menemukan cara untuk menghilangkan kekurangan yang muncul.
Terlepas dari kemajuan yang dicapai dalam beberapa tahun terakhir dalam pengembangan dan penggunaan praktis metode penilaian ahli, ada sejumlah masalah dan tugas yang memerlukan penelitian metodologis lebih lanjut dan verifikasi praktis. Perlu perbaikan sistem seleksi pakar, peningkatan reliabilitas karakteristik opini kelompok, pengembangan metode pemeriksaan validitas penilaian, dan mempelajari penyebab tersembunyi yang menurunkan reliabilitas penilaian pakar.
Dasar penilaian ahli properti dan kualitas bisnis kandidat didasarkan pada parameter kuantitatif dan kriteria evaluasi yang diperoleh dari hasil wawancara. Meskipun ada unsur konvensi dan subjektivitas di sini, namun, dengan perkembangan skala penilaian yang baik dan pendekatan para ahli (profesional) yang penuh perhatian, adalah mungkin untuk mengevaluasi subjek dengan tingkat keandalan yang tinggi.
Daftar literatur yang digunakan
1. Grigorov V. M. Pakar dalam sistem manajemen produksi publik // M .: Thought, 1976
2.Demidova A.V. Studi sistem kontrol. - M.: Prior-izdat, 2005. - 96 hal.
3. Ignatieva A.V. Studi sistem kontrol. - M.: UNITI-DANA, 2003. - 157 hal.
4. Kafidov V.V. Studi sistem kontrol. - M.: Proyek Akademik, 2005. - 160 hal.
5. Malin A.S. Studi sistem kontrol. - M.: GU VSHE, 2005. - 399 hal.
6. Reylyan Ya.R. Dasar pengambilan keputusan manajerial // M.: Keuangan dan statistik, 1989
7. Remennikov V.B. Pengembangan solusi manajemen. Prok. uang saku. -- M.: UNITI-DANA, 2000.
8. Smolkin A.M. Manajemen: fondasi organisasi. -- M.: INFRA-M, 1999.
Diselenggarakan di Allbest.ru
Dokumen serupa
Pemecahan masalah, argumentasi dan pembentukan perkiraan kuantitatif hasil dengan metode formal. Komponen metode penilaian ahli. Metode generasi ide kolektif ("brainstorming"). Metode Delphi, fitur metode kelompok fokus, analisis SWOT.
presentasi, ditambahkan 30/03/2014
Esensi dan konten, tahap utama analisis ahli, ruang lingkup dan fitur aplikasi praktisnya, interpretasi hasil. Tingkat keandalan pemeriksaan ini. Penerapan metode penilaian ahli untuk membangun pohon tujuan.
makalah, ditambahkan 25/02/2012
Konsep dan fitur penerapan teknologi pakar sebagai bagian integral dari proses persiapan dan pengambilan keputusan manajemen yang penting. Mempelajari tahapan utama survei ahli. Pemilihan ahli. Metode Delphi, POLA, brainstorming.
abstrak, ditambahkan 10/09/2016
Penggunaan penilaian ahli. Penerapan metode yang berbeda untuk memecahkan satu masalah. Peringkat, perbandingan berpasangan dan ganda, evaluasi langsung, metode Thurstone adalah prosedur pengukuran ahli yang paling umum digunakan. Metode tipe Delphi.
tes, ditambahkan 03/09/2011
Esensi dan jenis penilaian ahli, tujuan penggunaannya. Tahapan utama penelitian ahli. Karakteristik metode kerja kolektif kelompok ahli, serta metode untuk memperoleh pendapat individu. Memproses hasil survei spesialis.
abstrak, ditambahkan 04/03/2012
Karakteristik prosedur ahli: fitur metode dan model heuristik, metode penilaian individu, penilaian ahli kolektif. Spesifik pemeriksaan, isi dan pengolahan hasil. Penilaian ahli tingkat risiko negara.
abstrak, ditambahkan 10/05/2010
Metode untuk mendapatkan penilaian ahli. Masalah pemilihan ahli. Dokumen normatif yang mengatur kegiatan komisi ahli. Pengambilan keputusan di bawah risiko dan ketidakpastian. Tugas untuk pengambilan keputusan di bawah ketidakpastian.
pekerjaan kontrol, ditambahkan 15/07/2010
Esensi dan jenis keputusan dalam proses manajemen produksi. Persyaratan utama untuk kualitas keputusan manajemen. Metode untuk mengoptimalkan keputusan manajerial. Metode untuk mengoptimalkan keputusan dengan metode penilaian ahli.
makalah, ditambahkan 05/08/2002
Kajian metode peramalan pembangunan: metode ekstrapolasi, keseimbangan, normatif dan sasaran program. Studi tentang organisasi pekerjaan seorang ahli, pembentukan kuesioner dan tabel penilaian ahli. Analisis model peramalan matematis dan statistik.
tes, ditambahkan 19/06/2011
Metodologi dan tahapan klasifikasi sistem menurut berbagai fitur. Menyusun kuesioner untuk mendapatkan penilaian ahli, perincian wajib, dan pertanyaan utama. Esensi dan konstruksi pohon tujuan, prinsip-prinsip perinciannya. Metodologi untuk mengevaluasi sistem yang kompleks.
Ide utama dari peramalan berdasarkan perkiraan ahli adalah untuk membangun prosedur rasional pemikiran intuitif-logis seseorang dalam kombinasi dengan metode kuantitatif untuk mengevaluasi dan memproses hasil yang diperoleh.
Inti dari metode penilaian ahli terletak pada kenyataan bahwa perkiraan didasarkan pada pendapat spesialis atau tim spesialis, berdasarkan: pengalaman profesional, ilmiah dan praktis.
Penilaian ahli individu- didasarkan pada penggunaan pendapat para ahli-spesialis dari profil yang relevan.
1. Metode "wawancara" melibatkan percakapan antara seorang peramal dan seorang ahli menurut skema "tanya jawab", di mana peramal, sesuai dengan program yang telah dikembangkan sebelumnya, mengajukan pertanyaan kepada ahli mengenai prospek pengembangan objek yang diprediksi. Keberhasilan penilaian semacam itu sangat bergantung pada kemampuan seorang ahli untuk memberikan pendapat dadakan tentang berbagai masalah.
2. Metode kuesioner terdiri dari fakta bahwa ahli diundang untuk mengisi kuesioner (kuesioner) yang berisi daftar pertanyaan, yang masing-masing secara logis terkait dengan tugas penelitian.
Jenis pertanyaan berikut dapat digunakan dalam kuesioner:
terbuka - jawaban atas pertanyaan-pertanyaan ini dapat dirumuskan dalam bentuk apa pun;
Jenis tertutup - jawaban ditawarkan, salah satunya harus dipilih oleh pakar.
Penggunaan pertanyaan tipe tertutup dalam kuesioner lebih disukai, karena menyederhanakan pemrosesan statistik dari hasil jawaban dan memudahkan pekerjaan ahli saat mengisi kuesioner. Di sisi lain, daftar jawaban atas suatu pertanyaan mungkin tidak memuat pendapat seorang ahli. Oleh karena itu, ketika menyusun daftar jawaban untuk beberapa pertanyaan, ahli harus dapat mengajukan jawabannya sendiri atau menghindari menjawab.
3. Metode analisis(catatan analitik) memberikan gambaran yang menyeluruh kerja mandiri seorang ahli dalam analisis tren, penilaian keadaan dan jalur pengembangan objek yang diprediksi. Seorang ahli dapat menggunakan semua informasi yang dia butuhkan tentang objek ramalan. Dia menulis temuannya dalam bentuk memorandum. Keuntungan utama dari metode ini adalah kemungkinan penggunaan maksimal dari kemampuan individu ahli. Namun, sangat tidak cocok untuk memprediksi sistem yang kompleks dan mengembangkan strategi karena terbatasnya pengetahuan seorang pakar di bidang pengetahuan terkait.
Keuntungan utama dari metode penilaian ahli individu adalah kemungkinan memaksimalkan penggunaan kemampuan individu ahli. Namun, metode ini tidak cocok untuk memprediksi strategi yang paling umum karena terbatasnya pengetahuan seorang ahli tentang perkembangan bidang ilmu dan praktik terkait.
Contoh penggunaan penilaian ahli dalam merencanakan pengembangan sistem sosial ekonomi adalah masalah multikriteria dalam memilih opsi solusi, yang saat ini relevan di banyak bidang aktivitas manusia.
Prosedur seleksi multikriteria mencakup langkah-langkah berikut:
1. Identifikasi indikator (kriteria) yang paling signifikan yang mencirikan objek yang diteliti;
2. Menentukan bagaimana mengukur indikator;
3. Penetapan batas yang dapat diterima untuk mengubah indikator;
4. Pilihan metode pencarian untuk opsi terbaik;
5. Solusi masalah dan analisis hasil.
Konvolusi kriteria aditif paling sering digunakan sebagai fungsi tujuan untuk mengevaluasi opsi solusi:
Atau , (2.18)
di mana adalah koefisien bobot yang mencirikan signifikansi kriteria . Nilai numerik ditentukan oleh para ahli, sementara itu diinginkan untuk mematuhi kondisi berikut:
Jika kriteria memiliki satuan pengukuran yang berbeda, maka kriteria tersebut harus direduksi menjadi skala tak berdimensi tunggal sehingga pertidaksamaan berikut terpenuhi:
Contoh . Menurut para ahli, indikator utama ekonomi dan perkembangan sosial wilayah adalah:
Produk Domestik Bruto (regional);
Tingkat pekerjaan penduduk;
Gaji bulanan rata-rata.
Penilaian ahli tentang signifikansi kriteria pada skala sepuluh poin disajikan pada Tabel. 2.2.
Kepemimpinan daerah ditawarkan empat program yang ditargetkan untuk pembangunan daerah, yang ditujukan untuk pembiayaan prioritas:
1. Kompleks agroindustri;
2. Usaha industri makanan;
3. Cabang-cabang bidang sosial budaya;
4. Pembangunan perumahan.
Nilai-nilai yang diharapkan dari indikator-indikator utama yang diperoleh selama pelaksanaan program-program sasaran yang dipertimbangkan diberikan dalam Tabel. 2.3.
Tabel 2.2
Hasil evaluasi ahli
Tabel 2.3
Nilai yang diharapkan dari indikator sosial ekonomi utama pembangunan wilayah
Untuk itu perlu ditentukan program yang paling tepat untuk pembangunan daerah.
Larutan:
Mari kita tentukan nilai koefisien bobot:
; 
; 
.
Jadi, sebagai hasil dari perkiraan ahli pemrosesan, fungsi tujuan memiliki bentuk berikut:
Mempertimbangkan bahwa target program No. 3 jelas tidak efisien dibandingkan dengan program No. 2 (1500<2000; 80=80; 1000<2000), удалим её из матрицы возможных решений:
Karena nilai indikator memiliki dimensi yang berbeda, mereka harus direduksi menjadi skala tanpa dimensi tunggal. Ini dicapai dengan membagi elemen setiap kolom dengan nilai maksimum dalam kolom:
Pada tahap akhir, kami menentukan nilai fungsi tujuan untuk program yang diusulkan:
Nilai maksimum dari fungsi tujuan sesuai dengan program No. 1. Oleh karena itu, pelaksanaan program ini adalah yang paling tepat.
Yang paling bisa diandalkan adalah penilaian ahli kolektif - melibatkan penentuan tingkat kesepakatan antara pendapat para ahli tentang bidang yang menjanjikan untuk pengembangan objek peramalan, yang dirumuskan oleh spesialis individu.
Untuk menyelenggarakan penilaian ahli, dibentuk kelompok kerja, yang fungsinya meliputi melakukan survei, mengolah bahan, dan menganalisis hasil penilaian ahli secara kolektif. Pokja menunjuk ahli yang memberikan jawaban atas pertanyaan yang diajukan mengenai prospek pengembangan objek ini.
1. esensi metode generasi ide kolektif (brainstorming) terdiri dari penggunaan potensi kreatif para spesialis dalam brainstorming situasi masalah, yang pertama-tama mengimplementasikan generasi ide, dan kemudian penataan, analisis, dan kritik mereka dengan kemajuan tindakan pencegahan dan pengembangan sudut pandang yang konsisten.
Metode generasi ide kolektif melibatkan pelaksanaan langkah-langkah berikut:
1. pembentukan kelompok peserta dalam “brainstorming” untuk memecahkan suatu masalah tertentu. Ukuran kelompok optimal ditemukan secara empiris. Kelompok yang terdiri dari 10-15 orang ini diakui paling produktif.
2. Tim analisis menyusun catatan masalah, yang merumuskan situasi masalah dan berisi deskripsi metode dan situasi masalah.
3. Tahap menghasilkan ide. Setiap peserta berhak tampil berkali-kali. Kritik terhadap pidato sebelumnya dan pernyataan skeptis tidak diperbolehkan. Fasilitator mengoreksi proses, menyambut baik perbaikan atau kombinasi ide, memberikan dukungan, membebaskan peserta dari kendala. Durasi "brainstorming" - tidak kurang dari 20 menit dan tidak lebih dari 1 jam, tergantung aktivitas peserta.
4. Sistematisasi ide-ide yang diekspresikan pada tahap pembangkitan. Daftar ide dibentuk, fitur dibedakan dengan ide mana yang dapat digabungkan, ide digabungkan ke dalam kelompok sesuai dengan fitur yang dipilih.
5. Pada tahap kelima dilakukan pengrusakan (destructuring) terhadap ide-ide yang tersistematisasi. Setiap ide dikritik secara komprehensif oleh sekelompok spesialis berkualifikasi tinggi yang terdiri dari 20-25 orang.
6. Pada langkah keenam, kritik dinilai dan daftar ide praktis disusun.
Metode "635"- salah satu jenis "brainstorming". Angka b, 3, 5 menunjukkan 6 peserta, yang masing-masing harus menuliskan 3 ide dalam waktu 5 menit. Daun itu bergerak. Jadi, dalam waktu setengah jam setiap orang akan menuliskan 18 ide dalam aset mereka, dan semuanya bersama-sama - 108. Struktur ide didefinisikan dengan jelas. Modifikasi metode dimungkinkan. Metode ini banyak digunakan di luar negeri (terutama di Jepang) untuk memilih dari berbagai ide yang paling orisinal dan progresif dalam memecahkan masalah tertentu.
2. Metode "Delphi". Tujuan dari metode ini adalah untuk mengembangkan program survei individu multi-putaran yang berurutan. Survei individu para ahli biasanya dilakukan dalam bentuk kuesioner. Kemudian pemrosesan statistik mereka dilakukan di komputer dan opini kolektif kelompok dibentuk, argumen yang mendukung berbagai penilaian diidentifikasi dan digeneralisasi. Informasi yang diproses komputer dikomunikasikan kepada para ahli, yang dapat memperbaiki perkiraan, menjelaskan alasan ketidaksetujuan mereka dengan penilaian kolektif. Prosedur ini dapat diulang hingga 3-4 kali. Akibatnya, ada penyempitan kisaran perkiraan dan penilaian yang konsisten dibuat mengenai prospek pengembangan objek.
Fitur metode "Delphi":
a) anonimitas para ahli - interaksi anggota kelompok saat mengisi kuesioner sepenuhnya dikecualikan;
b) kemungkinan menggunakan hasil putaran survei sebelumnya;
c) karakteristik statistik pendapat kelompok.
3. Metode "komisi"- berdasarkan pekerjaan komisi khusus. Kelompok ahli di "meja bundar" mendiskusikan masalah tertentu untuk menyepakati sudut pandang dan mengembangkan pendapat umum. Kerugian dari metode ini adalah bahwa kelompok ahli dalam penilaian mereka dipandu terutama oleh logika kompromi.
Metode komisi ahli dapat diatur dalam salah satu bentuk berikut:
Seperti yang telah ditunjukkan oleh praktik, metode "komisi" memiliki kelemahan yang signifikan:
Pengaruh besar dari faktor psikologis seperti pendapat para ahli otoritatif, yang diikuti oleh para ahli lain tanpa mengungkapkan sudut pandang mereka;
Keengganan para ahli untuk secara terbuka melepaskan pendapat mereka yang telah diungkapkan sebelumnya;
Selama bekerja komisi, paling sering terjadi perselisihan antara dua atau tiga ahli yang paling berwibawa, akibatnya ahli lain berpartisipasi dalam diskusi atau tidak menerima atau mempertimbangkan pendapat mereka.
4. Metode pengadilan - berdasarkan organisasi kerja tim ahli dalam bentuk melakukan uji coba. Penggunaan metode ini disarankan di hadapan beberapa kelompok ahli, yang masing-masing mempertahankan sudut pandangnya. Dalam hal ini, objek peramalan bertindak sebagai “tergugat”. Pemimpin kelompok yang mengungkapkan sudut pandang alternatif bertindak sebagai penuntut dan pembela (jaksa, pengacara). Pakar individu memainkan peran sebagai saksi, memberikan informasi yang diperlukan pengadilan untuk membuat keputusan. Peran hakim dimainkan oleh orang yang berkepentingan (sekelompok orang). Jadi, misalnya, dalam program televisi "The Trial", berdasarkan penggunaan metode pengadilan untuk menganalisis dan memprediksi perkembangan berbagai proses sosial ekonomi, peran hakim dimainkan oleh penonton, pemungutan suara dalam proses transmisi melalui panggilan telepon untuk sudut pandang yang mereka dukung.
Metode analisis morfologi melibatkan memilih solusi yang paling tepat untuk masalah dari antara yang mungkin. Dianjurkan untuk menggunakannya ketika meramalkan penelitian fundamental. Metode mencakup sejumlah teknik yang melibatkan pertimbangan sistematis dari karakteristik objek. Studi dilakukan sesuai dengan metode "kotak morfologis", yang dibangun dalam bentuk pohon tujuan atau matriks, di dalam sel-sel yang memasukkan parameter yang sesuai. Koneksi serial dari parameter level pertama dengan salah satu parameter level berikutnya adalah solusi yang mungkin untuk masalah tersebut. Jumlah total solusi yang mungkin sama dengan produk dari jumlah semua parameter yang disajikan dalam "kotak", diambil baris demi baris. Melalui permutasi dan berbagai kombinasi, dimungkinkan untuk mengembangkan karakteristik probabilistik objek.
Metode penulisan naskah- berdasarkan definisi logika proses atau fenomena dalam waktu dalam berbagai kondisi. Ini melibatkan pembentukan urutan peristiwa yang berkembang selama transisi dari situasi saat ini ke keadaan objek di masa depan. Skenario ramalan menentukan strategi pengembangan objek ramalan. Itu harus mencerminkan tujuan umum pengembangan objek, kriteria untuk mengevaluasi tingkat atas "pohon tujuan", prioritas masalah dan sumber daya untuk mencapai tujuan utama. Skenario menampilkan solusi yang konsisten untuk masalah, kemungkinan hambatan. Dalam hal ini, bahan yang diperlukan untuk pengembangan objek peramalan digunakan.
Graf prediktif adalah grafik yang terdiri dari titik-titik yang dihubungkan oleh ruas-ruas. Sebuah "pohon tujuan" adalah grafik pohon yang mengungkapkan hubungan antara node tahap atau masalah pencapaian tujuan. Setiap simpul adalah target untuk semua cabang yang keluar darinya. "Pohon tujuan" melibatkan alokasi beberapa tingkat struktural atau hierarkis.
Membangun "pohon tujuan" membutuhkan pemecahan banyak masalah: memperkirakan perkembangan objek secara keseluruhan; merumuskan skenario tujuan yang diprediksi, menentukan level dan simpul dari "pohon", kriteria dan bobotnya dalam peringkat simpul. Tugas-tugas ini dapat diselesaikan, jika perlu, dengan metode penilaian ahli. Perlu dicatat bahwa tujuan ini sebagai objek ramalan dapat sesuai dengan banyak skenario yang berbeda.
Skenario biasanya memiliki karakter multivariat dan menyoroti tiga garis perilaku: optimis - pengembangan sistem dalam situasi yang paling menguntungkan; pesimis - pengembangan sistem dalam situasi yang paling tidak menguntungkan; bekerja - pengembangan sistem, dengan mempertimbangkan penangkalan terhadap faktor-faktor negatif, yang kemungkinan besar penampilannya. Sebagai bagian dari skenario perkiraan, disarankan untuk menyusun strategi cadangan jika terjadi situasi yang tidak terduga.
Skrip yang sudah selesai harus dianalisis. Berdasarkan analisis informasi yang dianggap cocok untuk ramalan mendatang, tujuan dirumuskan, kriteria ditentukan, dan solusi alternatif dipertimbangkan.