Применение методов экспертных оценок при прогнозировании



Скачать 138.3 Kb.
НазваниеПрименение методов экспертных оценок при прогнозировании
Дата15.04.2013
Размер138.3 Kb.
ТипДокументы
источник
1. /учебные и наглядные пособия/Белова О.В. Общая психодиагностика.doc
2. /учебные и наглядные пособия/ВПИ Куликов/глава 1.doc
3. /учебные и наглядные пособия/ВПИ Куликов/глава 2.doc
4. /учебные и наглядные пособия/ВПИ Куликов/глава 3.doc
5. /учебные и наглядные пособия/ВПИ Куликов/глава 4.doc
6. /учебные и наглядные пособия/ВПИ Куликов/глава 5.doc
7. /учебные и наглядные пособия/ВПИ Куликов/глава 6.doc
8. /учебные и наглядные пособия/ВПИ Куликов/оглавление.doc
9. /учебные и наглядные пособия/ВПИ Куликов/предисловие.doc
10. /учебные и наглядные пособия/ВПИ Куликов/приложения.doc
11. /учебные и наглядные пособия/Гуревич К.М., Борисова Е.М. ''Психологическая диагностика''.doc
12. /учебные и наглядные пособия/Дзуки_ Введ в методологию соц_псих исследования/Дзуки Введ в методологию соц_псих исследования.rtf
13. /учебные и наглядные пособия/Курс лекции и проблемы психодиагностики/ЕЛБ-ДУД.DOC
14. /учебные и наглядные пособия/Курс лекции и проблемы психодиагностики/Курс психодиагностики.doc
15. /учебные и наглядные пособия/Курс лекции и проблемы психодиагностики/Обработка теста-психодиагностика.doc
16. /учебные и наглядные пособия/Курс лекции и проблемы психодиагностики/Общая психодиагностика Белова.doc
17. /учебные и наглядные пособия/Курс лекции и проблемы психодиагностики/Общее представление о психодиагностке.doc
18. /учебные и наглядные пособия/Курс лекции и проблемы психодиагностики/Пол Клайн.doc
19. /учебные и наглядные пособия/Курс лекции и проблемы психодиагностики/Понятие о психометрии.doc
20. /учебные и наглядные пособия/Курс лекции и проблемы психодиагностики/Применение экспертных оценок при прогн..doc
21. /учебные и наглядные пособия/Курс лекции и проблемы психодиагностики/Теоретическое обоснование методики.doc
22. /учебные и наглядные пособия/Курс лекции и проблемы психодиагностики/Учеб. пособие Г.С.Абрамова.doc
23. /учебные и наглядные пособия/Курс лекции и проблемы психодиагностики/беседа-практическое занятие.doc
24. /учебные и наглядные пособия/Курс лекции и проблемы психодиагностики/беседа-рекомендации.doc
25. /учебные и наглядные пособия/Курс лекции и проблемы психодиагностики/биографический метод изучения личности.doc
26. /учебные и наглядные пособия/Курс лекции и проблемы психодиагностики/гипотеза.doc
27. /учебные и наглядные пособия/Курс лекции и проблемы психодиагностики/квалификационные требования к психологу.doc
28. /учебные и наглядные пособия/Курс лекции и проблемы психодиагностики/конструирование тестов (Пол Клайн).doc
29. /учебные и наглядные пособия/Курс лекции и проблемы психодиагностики/лекция-методика проведения.doc
30. /учебные и наглядные пособия/Курс лекции и проблемы психодиагностики/методология межсистемных взаимодействий.doc
31. /учебные и наглядные пособия/Курс лекции и проблемы психодиагностики/методы моделирования.doc
32. /учебные и наглядные пособия/Курс лекции и проблемы психодиагностики/наблюдение и изучение документов.doc
33. /учебные и наглядные пособия/Курс лекции и проблемы психодиагностики/наблюдение.doc
34. /учебные и наглядные пособия/Курс лекции и проблемы психодиагностики/общая характеристика методов.doc
35. /учебные и наглядные пособия/Курс лекции и проблемы психодиагностики/опрос.doc
36. /учебные и наглядные пособия/Курс лекции и проблемы психодиагностики/применение методов экспертных оценок в прогнозировании.doc
37. /учебные и наглядные пособия/Курс лекции и проблемы психодиагностики/псих-экспериментальная-конспект.doc
38. /учебные и наглядные пособия/Курс лекции и проблемы психодиагностики/психодиагностика НГУ.doc
39. /учебные и наглядные пособия/Курс лекции и проблемы психодиагностики/психодиагностика-конспект.doc
40. /учебные и наглядные пособия/Курс лекции и проблемы психодиагностики/психодиагностика-текст.doc
41. /учебные и наглядные пособия/Курс лекции и проблемы психодиагностики/психологическое исследование Куликов.doc
42. /учебные и наглядные пособия/Курс лекции и проблемы психодиагностики/психофизиологические методы.doc
43. /учебные и наглядные пособия/Курс лекции и проблемы психодиагностики/социально-психологическая адаптация.doc
44. /учебные и наглядные пособия/Курс лекции и проблемы психодиагностики/социально-психологическое изучение документов.doc
45. /учебные и наглядные пособия/Курс лекции и проблемы психодиагностики/теоретич обоснование методики (Елбаев-Дударев).doc
46. /учебные и наглядные пособия/Курс лекции и проблемы психодиагностики/тест-психодиагностика.doc
47. /учебные и наглядные пособия/Курс лекции и проблемы психодиагностики/требования к психологу.doc
48. /учебные и наглядные пособия/Курс лекции и проблемы психодиагностики/этапы и программа ВПИ.doc
49. /учебные и наглядные пособия/Лекции по экспер. психологии/Контрольные вопросы по экспер. психологии.doc
50. /учебные и наглядные пособия/Лекции по экспер. психологии/Лекции по эксперементальной психологии.doc
51. /учебные и наглядные пособия/Лекции по экспер. психологии/Лекция-методика проведения.doc
52. /учебные и наглядные пособия/Лекции по экспер. психологии/Псих-практикум.doc
53. /учебные и наглядные пособия/Проблемы экспериментальной психолгии/Баннистер Репертуар. решетки.doc
54. /учебные и наглядные пособия/Проблемы экспериментальной психолгии/ВПИ Дзуки.doc
55. /учебные и наглядные пособия/Проблемы экспериментальной психолгии/Выборки в ВПИ.doc
56. /учебные и наглядные пособия/Проблемы экспериментальной психолгии/Гипотеза исследования.doc
57. /учебные и наглядные пособия/Проблемы экспериментальной психолгии/Задачи и цели прикладного исследования.doc
58. /учебные и наглядные пособия/Проблемы экспериментальной психолгии/Исследование психол. явлений в ВК.doc
59. /учебные и наглядные пособия/Проблемы экспериментальной психолгии/Качественные методы ВПИ.doc
60. /учебные и наглядные пособия/Проблемы экспериментальной психолгии/Методологические проблемы ВПИ.doc
61. /учебные и наглядные пособия/Проблемы экспериментальной психолгии/ПДМ.doc
62. /учебные и наглядные пособия/Проблемы экспериментальной психолгии/Перспекивы компьютерного тестирования.doc
63. /учебные и наглядные пособия/Проблемы экспериментальной психолгии/Писх. принципы исследования в полку.doc
64. /учебные и наглядные пособия/Проблемы экспериментальной психолгии/Понятие методологии научного исслед..doc
65. /учебные и наглядные пособия/Проблемы экспериментальной психолгии/Разраб. теста достижений.doc
66. /учебные и наглядные пособия/Проблемы экспериментальной психолгии/Типы выборок.doc
67. /учебные и наглядные пособия/Проблемы экспериментальной психолгии/Эксперимент Ноотропил.doc
68. /учебные и наглядные пособия/Проблемы экспериментальной психолгии/Эксперимент по изуч. агрессивности.doc
69. /учебные и наглядные пособия/Проблемы экспериментальной психолгии/Этапы и программа ВПИ.doc
70. /учебные и наглядные пособия/Психодиагностика-Кузнецова.doc
71. /учебные и наглядные пособия/Шапарь Практическая психология инструментарий.doc
72. /учебные и наглядные пособия/конструирование тестов (Пол Клайн).doc
73. /учебные и наглядные пособия/эксперименты и квазиэксперименты Кэмпбелл.doc
Методические указания автор-составитель О. В. Белова Новосибирск: Научно-учебный центр психологии нгу, 1996
I. общая схема и этапы психологического исследования 1 Общая схема исследования
2. разработка концепции и планирование исследования концепция исследования
Сбор эмпирических данных
Обработка эмпирических данных первичная обработка данных
Изложение исследования наглядное представление результатов
Указатель литературы по методам исследования
Протокол эксперимента
Методические рекомендации по проведению «наука» Санкт-Петербург 1994 Предисловие
Приложение 1 Значение критерия t для отбраковки выпадающих
Учебное пособие / Под ред. К. М. Гуревича и Е. М. Борисовой. М.: Изд-во урао, 1997. 304 с
Книга представляет собой курс лекций, прочитанный в Новосибирском государственном университете в рамках программы Tempus-Tacis. Рекомендуется студентам, изучающим психологию
Курс: Основы психодиагностики
Регистрационный бланк фамилия И. О. Подраздедение
Методическое пособие по общей психодиагностике адресовано слуша­телям спецфакультетов психологии, а также начинающим психологам
Файл материалов для изучения
Пол Клайн глава создание надежных тестов II: личностные опросники. Разработка заданий
2файл материалов для изучения 2I. Общее понятие о психометрии и области ее применения
Применение методов экспертных оценок при прогнозировании
Абрамова Г. С. А 16 Практическая психология. Издание третье, стереотипное. — Екатеринбург: "Деловая книга", 1998. 368 с
План-схема проведения практического занятия по теме: беседа (интервью)
Важно умение психолога говорить и задавать вопросы на языке, понятном обследуемому, ориентируясь, на его уровень знаний, на интересы, индивидуальные особенности
Биографический метод изучения личности
Гипотеза исследования
1. 1Наименование военной специальности "психология"
Пол Клайн глава создание надежных тестов II: личностные опросники. Разработка заданий
Методика подготовки и проведения учебной лекции по психологии
1995 г. Ю. Я. Голиков, А. Н. Костин
Метод ы моделрования
Наблюдение и изучение документов как методы сбора психологической информации
Особенности метода
Общая характеристика методов
Методы опроса
Применение методов экспертных оценок при прогнозировании
Практикум по психологии. Психологический эксперимент. (Методические указания). М. Мгу 1985. Практикум по экспериментальной и прикладной психологии. Учебное пособие. Л. Лгу 1990
Методическое пособие по общей психодиагностике адресовано слушателям спецфакультетов психологии, а также начинающим психологам
Психодиагностика как наука и как практическая деятельность
Психодиагностика общее представление о психодиагностике
Методические рекомендации по проведению «наука» Санкт-Петербург 1994 Предисловие
Психофизиологические методы
Социально-психологическая адаптация: содержание, типы, механизмы
Социально-психологическое изучение документов
Название этапов
Регистрационный бланк фамилия И. О. Подраздедение
Требования к специалистам, осуществляющим психологическую и психофизиологическую диагностику 2
Этапы и программа военно-психологического исследования
Учебные-и-наглядные-пособия
Практикум по психологии. Психологический эксперимент. (Методические указания). М. Мгу 1985. Практикум по экспериментальной и прикладной психологии. Учебное пособие. Л. Лгу 1990
Методика подготовки и проведения учебной лекции по психологии
Литература: Анцупов Методы изучения политработником социально-психологических явлений в полку (на корабле)
Предисловие теоретические истоки и назначение репертуарных личностных методик
Книга представляет собой курс лекций, прочитанный в Новосибирском государственном университете в рамках программы Tempus-Tacis. Рекомендуется студентам, изучающим психологию
Выборка в социально-психологическим исследовании свойство выбоpки отpажать хаpактеpистики изучаемой совокуп
Гипотеза исследования
Цели и задачи исследоваhия цель исследования ориентирует его на конечный результат
Программа изучения психологических явлений в воинском коллективе
З качественные методы в решении практических социально-психологических задач
В. Н. Помогайбин методологические проблемы военно-психологических исследований москва = ву предлагаемое учебное пособие
Военный университет разработка психодиагностической методики определение организаторских способностей личности для прфессионально-психологического отбора младшего командирского звена (сержантов).
Состояние и перспективы развития компьютерного тестирования
1 методологические приhципы исследоваhия психологических
Поhятие методологии hаучhого исследоваhия. Андpеева Г. М. Социальная психология. М.: Изд-во
Д инамика развития современной России требует адекватного обновления основополагающей системы ценностей, целей методов и критериев в образовании. Очевидно, что для применения определенных знаний на практике
Типы выборок 1 Простая случайная Из однородной совокупности, все эле
Тема: «Влияние активизации сознания на психические познавательные процессы»
Программа эксперимента
Этапы и программа военно-психологического исследования
Одобрено утверждаю
Методические рекомендации по про­ведению социально-психологических тренингов, а также уникальный материал по психографологии
Пол Клайн глава создание надежных тестов II: личностные опросники. Разработка заданий
Эксперименты и квазиэксперименты

ПРИМЕНЕНИЕ МЕТОДОВ ЭКСПЕРТНЫХ ОЦЕНОК ПРИ ПРОГНОЗИРОВАНИИ

Метод экспертных оценок представляет собой научно обоснованный инструмент прогнозирования. Он подкрепляется солидными теоретическими работами, исследующими его методологические (В.М.Григоров,1976), организационные (В.А.Лисичкин,1974;Г.М.Добров,1977), математические (С.Б.Бешелев,Ф.Г.Гурвич,1975) и психологические (К.К.Платонов,1977) аспекты, и значительным количеством проведенных прогнозов, выполненных на его основе (В.В.Кузнецов, А.А.Новиков, Г.П.Семенов,Л.С.Хоменков,В.И.Чудинов,1976;В.А.Плахтиенко,В.С.Соколов,1978, и др.). К настоящему времени экспертный метод уже имеет теоретическую базу, которая позволяет получать достаточно надежные результаты с приемлемой степенью точности (Г.Г.Азгальдов, Э.И.Райхман,1974; В.М.Григоров,1976).


1.Организация проведения экспертизы


Прежде чем приступить к прогнозированию с помощью экспертных оценок, необходимо сформировать рабочую группу специалистов-организаторов, которая должна обеспечить условия для эффективной деятельности экспертов, разработать процедуру экспертизы. В задачи этой группы входят:

1)постановка проблемы, определение целей и задач экспертизы, ее границ, основных этапов;

2)разработка процедуры экспертизы;

3)отбор экспертов, проверка их компетентности и формирование групп экспертов;

4)проведение опроса и согласование оценок;

5)формализация полученной информации, ее обработка, анализ и интерпретация.

Рабочая группа должна состоять не менее чем из 5-7 специалистов.

После определения проблемы организаторы экспертизы должны четко сформулировать ее цели и задачи, от чего существенно повысится надежность прогноза.

Формулирование проблемы, постановка цели и задач прогнозирования должны базироваться на методологии системного анализа.


  1. Разработка процедуры экспертизы


Разработка процедуры экспертизы включает в себя определение методов опроса: индивидуальный или групповой (коллективный), личный (очный) или заочный, устный или письменный. Более подробно на формах работы с экспертами мы остановимся несколько ниже. Здесь же подчеркнем, что формулировка вопросов к экспертам должна быть четкой и ясной, исключающей всякую возможность двусмысленного толкования. Как правило, все вопросы должны быть сконцентрированы в виде анкеты, каждый вопрос логически связан с центральной задачей экспертизы. Все вопросы анкеты в зависимости от их содержания целесообразно подразделить на две группы: данные о самом эксперте (возраст, должность, ста работы, образование, научное или спортивное звание и т.п.) и вопросы по существу изучаемой проблемы прогнозирования.

По форме вопросы могут быть открытыми, закрытыми или полузакрытыми; прямыми и косвенными.

Различают три вида вопросов, по которым дается экспертная оценка: вопросы, ответы на которые содержат количественную оценку; вопросы, требующие содержательного ответа в сжатой и развернутой форме.

Перед тем как распространить анкету среди экспертов, ее целесообразно опробовать в форме личного интервью с «разноплановыми» экспертами (учеными, тренерами, спортсменами). Такая проверка поможет сделать анкету более краткой, ясной, с точными формулировками вопросов, с удачной ее структурой и содержанием.

Только после проверки и уточнения вопросов можно приступить к отбору экспертов.


  1. Отбор экспертов, форма работы с экспертами


В качестве экспертов для прогнозирования целесообразно привлекать опытных специалистов.

При этом необходимо изучать их экспертные качества с помощью четырех групп методов: 1)самооценки; 2)оценки каждого специалиста группой; 3)оценки на основе результатов прошлой деятельности эксперта; 4)методов определения компетентности кандидатов в эксперты.

Метод самооценки предполагает, что эксперт, отвечая на специально разработанные вопросы, должен показать свою эрудицию, способность к анализу, сообразительность, быстроту и неординарность мышления, уровень своих знаний по изучаемой проблеме. Опыт многочисленных экспертиз и у нас, и за рубежом показывает, что группы с высокой самооценкой, как: по степени знания рассматриваемых вопросов проблемы и по степени использования аргументированных источников, служащих эксперту основанием для ответов на вопросы. Степень знания рассматриваемых вопросов правило, ошибаются в своих суждениях при проведении экспертизы меньше других (С.И.Бешелев,Ф.Г.Гурвич,1976). Существует даже зависимость между самооценкой группы и средней групповой ошибкой экспертов: средняя групповая ошибка уменьшается с возрастанием средней самооценки. Самооценка проводится по двум основным направлениям: по степени использования аргументированных источников, служащих эксперту основанием для ответов на вопросы. Степень знания рассматриваемых вопросов проблемы эксперт определяет условным коэффициентом К3 в диапазоне от 0.1 до 1. Пусть в нашем примере эксперт определит свои познания коэффициентом. Равным 0,7; степень использования аргументированных источников - условным коэффициентом К3, который надо находить суммированием соответствующих численных значений по определенной шкале (табл.1).

Допустим, что эксперт, получив подобную шкалу, отметил, что степень влияния теоретического анализа на его мнение - средняя, опыта - высокая и т.п. (см. табл.1).

таблица 1. Шкала источников аргументации (по Г.М.Доброву, 1974)

источник аргументации

степень

влияния

источника




В

(высокая)

С

(средняя)

Н

(низкая)

Произведенный теоретический анализ 0,3 0,2 0,1

Производственный опыт 0,5 0,4 0,2

Обобщение работ отечественных авторов 0,05 0,05 0,05

Обобщение работ зарубежных авторов 0,05 0,05 0,05

Личное знакомство с состоянием дел

за рубежом 0,05 0,05 0,05

Интуиция 0,05 0,05 0,05

Суммарный коэффициент аргументации 1,0 0,8 0,5


Тогда коэффициент аргументации Кс=0,2+0,5+0,05+0,05+0,05+0,05=0,9.

Таким образом, степень влияния источников на мнение эксперта выше средней. С помощью самооценок экспертов, путем суммирования коэффициента знания и коэффициента аргументированности, мы можем сделать заключение об уровне компетентности экспертов (Кк) в рассматриваемой проблеме: в нашем случае Кк=(0,7+0,9):2=0,8.

Оценка каждого специалиста группой также производится по определенной системе, суть которой заключается в коллективной дифференцируемой оценке интеллектуальных, деловых и других качеств экспертов. Мы не останавливаемся более подробно на технике выведения данной оценки, так как она подробно описана в специальной литературе (Г.М.Добров,1977).

Более объективными, чем самооценки и групповые оценки, представляются методы, основанные на использовании результатов прошлой деятельности специалистов. В этом случае определяется степень надежности экспертов, т.е. отношение числа наиболее правильно спрогнозированных случаев экспертом ко всем случаям, когда данный эксперт давал оценку прогнозируемого явления (события). В тех случаях, когда специалист участвует в коллективной экспертизе, необходимо его деятельность сравнивать с деятельностью коллег (С.Д.Бешелев, Ф.Г.Гурвич,1974). Для этого применяется критерий относительной надежности, который определяется как отношение «абсолютной» степени надежности данного эксперта к средней надежности, исчисленной для некоторой группы экспертов.

Более сложные, но в то же время и более строгие и математически обоснованные методы определения компетентности кандидатов в эксперты можно найти в научной литературе.

Проведя отбор экспертов, необходимо определить их оптимальный количественный состав.

В настоящее время минимальная по количеству группа экспертов может быть в составе 5-7 человек, макимальная (при среднегрупповой ошибке в 0,4) - 29 человек. Вопрос о численности группы экспертов - вопрос, безусловно, еще очень спорный.

Остановимся теперь на формах работы с экспертами. Различают индивидуальные и групповые формы работы.

При индивидуальной форме прогноз разрабатывается специалистами физической культуры и спорта независимо от других специалистов (известны индивидуальные прогнозы И.И.Переверзина,1978; В.И.Чудинова,1978; Л.С.Хоменкова, 1978; Г.П.Семенова,1979 и др.). При групповой (коллективной) форме работы прогноз разрабатывается специалистами физической культуры и спорта путем обмена мнениями (устно или письменно, очно или заочно) о прогнозируемом объекте.

При индивидуальных формах работы с экспертами используются оценки типа интервью и аналитические оценки, при групповых - методы «мозговой атаки» (коллективной генерации идей), методы обычной дискуссии и обычного опроса, метод «Дельфы», метод «Паттерн», метод многоступенчатого опроса.

Интервью осуществляется в виде свободной беседы организатора экспертизы с экспертом по специально разработанной программе. Этот метод требует от эксперта глубокого знания предмета исследования, оригинальности и быстроты мышления. Аналитические оценки (например в виде докладной записки) опираются на глубокий, всесторонний теоретический и методически обоснованный анализ состояния проблемы и перспектив ее развития. В таком случае эксперт может тщательно подготовиться к проведению исследования путем изучения соответствующей научной и периодической печати, участия в симпозиумах, беседах с известными деятелями спорта, самостоятельного осмысливания тенденций и перспектив развития спорта в нашей стране и за рубежом.

Групповые (коллективные) формы работы с экспертами выдвинули на первый план наиболее доступные из них - метод «мозговой атаки» и метод «Дельфы».

Метод «мозговой атаки» или метод коллективной генерации идей предполагает собой разовый обмен мнениями между экспертами в условиях личных контактов. С целью большей эффективности данной формы работы ее следует тщательно подготовить. Во-первых, должны быть сформулированы примерные вопросы для обсуждения, во-вторых, подобраны высококвалифицированные и оригинально мыслящие специалисты как широкого, так и узкого профиля деятельности в области физической культуры и спорта и смежных научно-прикладных областей (педагоги, психологи, врачи, генетики, математики, специалисты по системному анализу - методологи и т.п.), в-третьих, подготовлена доброжелательная и заинтересованная атмосфера проведения данной работы. Она всецело зависит от интеллекта и организаторских способностей руководителя. Целесообразно все высказанные идеи застенографировать или записать на магнитную пленку. Подобные «мозговые атаки» приносят несомненную пользу для успешного прогнозирования в спорте.

Метод «мозговой атаки» целесообразно использовать в критических ситуациях дефицита творческих решений, новых идей, свежих концепций в качестве одного из этапов системы прогнозирования в спорте.

Использование «дельфийской техники» предполагает отказ от контактов типа «лицом к лицу». Это проведение опроса в несколько туров, ознакомление экспертов во втором и последующих турах с результатами опроса в предшествующих турах. Данный метод характеризуется следующими чертами:

анонимностью экспертов, достигаемой с помощью специальных вопросников или другими способами индивидуального опроса (например, контактов экспертов с ЭВМ);

регулируемой обратной связью, которая осуществляется за счет проведения нескольких туров лпроса, причем результаты каждого тура сообщаются экспертам;

групповым ответом, который получается с помощью статистических методов и отражает обобщенное мнение участников экспертизы.

Метод «дельфийской техники» имеет как свои преимущества, так и свои недостатки, преимущества заключаются в том, что анонимность экспертизы предполагает свободное, без давления извне, высказывание своих мыслей по прогнозированию в той или иной области. Преимуществом является также то, что существует обратная связь между организаторами после каждого тура опроса, что позволяет более критично отнестись к своим первым и последующим высказываниям по изучаемой проблеме. К недостаткам следует отнести отсутствие непосредственных контактов между экспертами, значительную затрату времени на составление анкет по турам исследования, отсутствие изначальной информации о прогнозируемой проблеме. При всех преимуществах и недостатках данного метода он находит широкое применение в различных областях прогнозирования.


1.2.методика проведения экспертизы


Кроме множества разновидностей существует четыре, основных метода экспертных оценок:

1)метод простой ранжировки (или метод предпочтения);

2)метод задания весовых коэффициентов;

3)метод последовательных сравнений;

4)метод парных сравнений.

Остановимся на преимуществах и недостатках каждого из них1.

Метод простой ранжировки заключается в том, что каждого эксперта просят разложить признаки в порядке предпочтения. Цифрой 1 обозначают наиболее важный признак, цифрой 2 - следующий за ним по важности и т.д. Затем с помощью математической статистики получают обобщенное мнение экспертов, и так определяется средний ранг каждого признака. Преимуществами данного метода являются сравнительная простота процедуры получения оценок и возможность привлечения меньшего числа экспертов по сравнению с другими методами при оценке одного и того же набора признаков. Недостатки заключаются в том, что распределение оценок заведомо считается равномерным и важность признаков предполагается также равномерной, что на практике бывает очень редко.

Метод задания весовых коэффициентов заключается в присвоении признакам весовых коэффициентов. Коэффициенты могут быть проставлены двумя способами:

1)всем признакам назначают весовые коэффициенты так, чтобы сумма коэффициентов была равна какому-то фиксированному числу (например. 1, 10, 100);

2)наиболее важному из всех признаков придают коэффициент, равный какому-то фиксированному числу. А всем остальным - коэффициенты, равные долям этого числа.

Обобщенное мнение экспертов также получается при использовании методов математической статистики путем определения среднестатистического значения каждого признака. Чем больше его величина, тем больше и его важность.

Фактически метод задания весовых коэффициентов является методом сложной ранжировки или ранжировки с пропусками, что не позволяет распространить на него применение критериев, по которым можно определить степень соответствия идеальному распределению экспертных оценок.

Метод последовательных сравнений заключается в следующем: 1) эксперт упорядочивает все признаки в порядке уменьшения их значимости; 2) присваивает первому признаку значение, равное единице, остальным же признакам назначает весовые коэффициенты в долях единицы; 3) сравнивает значение первого признака с суммой всех последующих; 4) сравнивает значение первого признака с суммой всех последующих за вычетом самого последнего признака; 5) процедура повторяется до сравнения первого с суммой второго и третьего признаков, после чего эксперт переходит к уточнению оценки второго признака по той же схеме, что и в случае первого, т.е. сравнивается оценка второго признака с суммой последующих.

Преимущество данного метода в том. Что эксперт в процессе оценивания признаков сам анализирует свои оценки. Вместо назначения коэффициентов возникает творческий процесс создания этих коэффициентов. Недостатки метода - сложность, громоздкость, отсутствие статистически обоснованных способов оценки согласованности мнений экспертов.

Метод парных сравнений предусматривает сравнение всех признаков прогнозируемого явления между собой, для этого заполняется таблица ( в виде шахматной и футбольной), в клетках которой проставляются цифры 1 (в случае преобладания данного признака над попарно сравниваемым) или 0 (в случае проигрыша данного признака), необходимо заметить, что методов заполнения клеток при парном сравнении много. Одни исследователи (Л.Г.Евланов, В.А.Кутузов,1978) предлагают три цифры - 2, 1, 0, другие (В.И.Постников, 1973) - предлагают заносить в клетки результат сравнения в весовых долях единицы первого со вторым и т.п. признаком, очевидно все же, что целесообразно применять систему записей в клетки двух цифр - 1 и 0. Во-первых, это процесс проведения парного сравнения, во-вторых, такая система упрощает процесс математико-статистической обработки данных экспертизы и, в-третьих, повышает ответственность и объективность экспертов при проведении парного (обязательно с определением преобладания) сравнения тех или иных прогнозируемых явлений, признаков, качеств.

Из всех названных методов метод парных сравнений позволяет провести строгий, статистически обоснованный анализ согласованности мнений экспертов, выявить, случайны ли полученные оценки. Как видно, процедура метода парных сравнений сложнее метода простой ранжировки, но проще метода последовательных сравнений. Несомненно, что метод парных сравнений найдет (да уже и находит) широкое применение в прогнозировании.


  1. Методика обработки результатов экспертных оценок


Существенное значение для специалистов по прогнозированию имеет обработка результатов экспертных оценок, так как именно на основании ее результатов и будут сделаны соответствующие выводы и предложения.

Выше уже было отмечено, что существует индивидуальные и групповые формы и методы работы с экспертами. Соответственно и обработка результатов экспертных оценок может быть произведена как для одного эксперта, так и для всей группы экспертов. Что касается статистической обработки результатов экспертных оценок для одного эксперта, то она может быть произведена при методе парных сравнений следующим образом. Вначале вычисляется сумма элементов матрицы по строкам, затем - средняя оценка данного показателя и средняя квадратическая ошибка средней величины. Имея эти данные и задавшись некоторым уровнем значимости (например, 5%), определяем, отличается ли статистически значимо полученное в результате вычислений значение от табличного, т.е. принимаем ли мы гипотезу о согласии оценок показателей у одного эксперта с доверительным интервалом 5% или гипотезу о том, что согласия в его оценках нет.

В принципе этой статистической обработки данных одного эксперта по методу парных сравнений вполне достаточно для того, чтобы сделать определенный вывод о прогнозируемом явлении, событии, качестве и т.п. (с точки зрения данного эксперта).

Подобная процедура при методике парных сравнений повторяется и при обработке групповых экспертных оценок. При этом статистически анализируется оценки групп показателей, ранжируемых одним и тем же набором экспертов, и, если необходимо, определяются весовые коэффициенты всех показателей. То есть статистическая обработка экспертных оценок при методе парных сравнений должна ответить на одни и те же вопросы:

  1. различаются ли статистически значимо средние величины?

  2. имеется ли статистически значимая согласованность рассматриваемых значений?

Чтобы получить ответы на подобные вопросы, прибегают к следующим методам:

проводят факторный и регрессивный анализы;

выполняют частотный анализ, т.е. сравнение эмпирически построенных функций распределения оценок показателей с равномерным и другими распределениями;

осуществляют корреляционный анализ, включающий оценку степени согласия мнений экспертов использование графов для представления и последующей обработки результатов анализа;

проводят таксономический анализ собранных данных.

Кроме того, для той же цели, но с других позиций применяют метод главных компонент.

Важная особенность проводимого статистического анализа состоит в том, что для решения одной и той же проблемы применяются разные методы и подходы, подробно раскрытые в любом пособии по методам математической статистики.

При групповых методах работы с экспертами (метод «Дельфы» и т.п.) для статистической обработки используются такие обобщающие характеристики, как средняя арифметическая, медиана, мода, квартили, среднеквадратические ошибки средних данных, коэффициенты в вариации, коэффициент ранговой корреляции Спирмена и Кэндалла и т.п.


  1. Методика повышения достоверности экспертных оценок


С целью повышения достоверности экспертных оценок целесообразно проанализировать согласованность ответов экспертов, применяя такие общеизвестные методы математической статистики, как коэффициенты вариации, ассоциации, ранговой корреляции Спирмена.

С.Д.Бешелев и Ф.Г.Гурвич (1980) рекомендуют для повышения достоверности экспертных оценок использовать также критерий эффективности деятельности экспертов, степень их надежности, учитывать компетентность экспертов, а также взаимовлияние информации, полученной от экспертов на основе предпосылки о статистической независимости оцениваемых событий и информации, которую могут дать эксперты при установлении ряда ограничивающих связей между этими событиями.



1 Использованы материалы В.И.Постникова (1973) и Г.Дэвида (1978).

Добавить документ в свой блог или на сайт


Похожие:



Если Вам понравился наш сайт, Вы можеть разместить кнопку на своём сайте или блоге:
refdt.ru


©refdt.ru 2000-2013
условием копирования является указание активной ссылки
обратиться к администрации
refdt.ru