В основу принимаемой нами системы оценок отдельного проекта мы положим количественные оценки, относящиеся к избранному для каждого случая, точно определённому и конечному ряду основных показателей проекта (продукта) или состояния рынка. Здесь в понятие рынка мы включаем и сам рынок и внешнее маркетинговое окружение.
Для удобства будем всегда производить нумерацию и проектов (если рассматривается несколько проектов) и принятых к рассмотрению показателей. При наличии нескольких экспертов придадим номера также и самим экспертам.
Пусть маркетинговое исследование касается проектов, общим числом N . Тогда каждый отдельный проект получает номер n ; при этом n = 1, 2, 3,…, N . На первом этапе исследования номера могут присваиваться проектам совершенно произвольно, но могут распределяться и в соответствии с некоторым удобным для данного случая наперёд установленным признаком.
При оценке исследуемого объекта по выбранным S показателям (признакам, позициям) каждому отдельному показателю достаточно произвольно присваивается определённый номер s ; при этом s = 1, 2, 3,…, S . Каждый отдельный эксперт получает свой индивидуальный номер k ; при этом k = 1, 2, 3,…, K .
Система показателей, числа N, S, K , а также распределение номеров n , s и k согласованно устанавливаются самими экспертами перед началом экспертизы. При этом числа N, S и K согласуются также и с заказчиком экспертизы.
По согласованию с заказчиком возможно проведение экспертизы в рамках нескольких сценариев, например: среднего (наиболее ожидаемого), оптимистического и пессимистического. Число сценариев устанавливается заказчиком; эксперты здесь могут выступить только со своими рекомендациями.
Различие в квалификации экспертов может быть учтено путём придания каждому эксперту, по усмотрению заказчика, индивидуального квалификационного веса q .
Каждый отдельный принятый к рассмотрению показатель, относящийся к рассматриваемому проекту, каждый эксперт оценивает (совершенно индивидуально) посредством двух чисел w и c . Для n-го проекта и s-го показателя эти числа, введенные экспертом, выгля
s,k
дят так:
При наличии одного эксперта индекс k опускаем за ненадобностью.
При рассмотрении только одного проекта (продукта) индекс n опускаем за ненадобностью.
Если производится оценка в рамках только одного признака (позиции), опускаем за ненадобностью индекс s .
Число w (weight) является статистическим весом (статвесом) показателя. Оно изменяется в пределах
и показывает, насколько важным считает эксперт данный показатель для рассматриваемого продукта (или проекта). Все статистические веса нормированы на единицу:
Для единственно важного показателя w (n) = 1, для абсолютно несущественного, по мнению данного эксперта, показателя w (n) = 0.
Число c (conformity) является индикатором соответствия данного продукта данному показателю. Оно изменяется в пределах
и показывает, насколько данный продукт (проект) соответствует данному показателю. Если по мнению k-го эксперта оцениваемый продукт в совершенстве соответствует s-му показателю, тогда
(n) = 1 , при полном несоответствии c
Результирующая оценка по показателю (обозначаем её символом е ) вводится следующим образом:
k
Эта величина (estimation) может изменяться в пределах от нуля до единицы. Окончательная оценка n-го продукта k-ым экспертом (обозначаем её символом r (n) ) записывается так:
Данная величина, рейтинг (rating) продукта или проекта, также может изменяться лишь в таких пределах:
Совершенному продукту соответствует рейтинг, равный единице.
Рейтинг совершенно негодного продукта равен нулю.
Сравнение рейтингов различных продуктов (проектов) позволяет упорядочить их по рейтингу, что сильно облегчает принятие конструктивных решений руководством предприятия.
Результирующий рейтинг R(n) теперь можно ввести как арифметическое среднее всех рейтингов, установленных отдельными экспертами:
При учёте различий в квалификации экспертов в оценочные формулы вводятся нормированные индивидуальные квалификационные
k
веса q. Они нормированы условием
Тогда результирующий рейтинг n-го продукта (проекта) задаётся таким выражением:
Результирующий рейтинг, рассчитанный по формуле (В9), в дальнейшем обозначаем символом RR . Если же расчёт вёлся по формуле (В7), тогда используем обозначение AR . Если k = 1, тогда R(n) = r(n) .
Коэффициент солидарности экспертов в отношении n-го проекта (обозначим его символом a(n) ) введём следующим соотношением:
Здесь, и это существенно, величина R(n) задаётся формой (В7). Смысл данного определения станет очевидным в ходе рассмотрения Примера В1. В дальнейшем коэффициент солидарности часто будем также обозначать символом CS .
При К = 2 формула (В10) сильно упрощается:
k
В случае, когда все величины r (n) одинаковы для всех k , то есть эти величины не зависят от индекса k , результирующий рейтинг равен данному полностью согласованному значению:
Для такого случая коэффициент солидарности a(n) = 1.
В научной литературе обычно предлагается считать вполне приемлемым уровнем солидарности коэффициент a(n) = 0,8 и выше. Из приведеных ниже примеров (см., например, Пример В5) видно, что хорошему согласию следует приписать более высокий коэффициент a(n .Пример В1
Рассмотрим здесь случай, когда два эксперта (К = 2) проводят оценку некоторого проекта по одной позиции (S = 1). В этом случае единственной позиции равен единице и рейтинг проекта совпадает с индикатором соответствия (см. формулы (В4) и (В5)). Надобность в индексе и s в данном случае отпадает. Рассмотрим несколько частных случаев.
Пусть оба эксперта дали проекту одинаковые рейтинги r (n) = r
(n) = r (n) . Для такого случая коэффициент солидарности a (n) согласно
Пусть эксперты придерживаются крайних и совершенно противоположных взглядов на данный проект; пусть, для примера, r (n) = 1 и r (n) = 0. Тогда в соответствии с формулами (В7) и (В11) R(n) = 0,5 и a (n) = 0 (отсутствие какой-либо солидарности).
Пусть r (n) > r (n) . Тогда уровень солидарности a (n) і 0,8 при выполнении условия r (n) / r (n) 2 / 3.
Рейтинг проекта может устанавливаться одним экспертом (индивидуальный метод) или группой экспертов (коллективный метод). Каждому методу присущи свои достоинства и недостатки. Преимущество индивидуального метода состоит в возможности наилучшим об- разом использовать индивидуальный профессионализм эксперта, под- креплённый его моральной и материальной заинтересованностью. При этом эксперт не испытывает психологического пресса, связанного с опасением далеко отклониться от средней оценки. Недостаток индивидуального метода связан с отказом от возможностей, которые открывают научные связи и общение с коллегами.
Преимущество коллективной экспертизы состоит в возможности широкого обмена мнениями и взаимоконтроля. Недостатком является подавление мнения менее авторитетных экспертов аргументами более авторитетных коллег. В качестве удачного варианта применения коллективного метода укажем хорошо оправдавший себя метод «Дельфы», разработанный в Калифорнии в 60-х годах прошлого столетия. Основные этапы в рамках этого метода:
разработка руководящей группой экспертов программы анкетного опроса потребителей;
распространение согласованной анкеты среди широкого круга экспертов;
получение ответов на вопросы анкеты;
первичная обработка анкет и уточнение анкетных вопросов;
получение ответов на вопросы анкеты второго поколения;
первичная обработка полученных ответов;
обобщение полученных ответов.
При составлении и обработке анкет следует не забывать, что механистически полученное большинство ответов на отдельные вопросы может быть в большей степени связано не столько с сутью этих вопросов, сколько с формой. Стоит не забывать замечание Декарта о том, что истина не устанавливается путём простого голосования.
Приведём несколько примеров расчёта рейтинга.
Пример В2
Будем считать, что при рассмотрении некоторого проекта три эксперта с одинаковой квалификацией установили ему такие парциальные рейтинги:
Как видим, рейтинг, установленный третьим экспертом, в три раза превышает рейтинг, установленный первым экспертом.
Согласно формуле (В7) результирующий рейтинг проекта R = (1 / 3) (0,3 + 0,6 + 0,9) = 0,6 ,
а коэффициент солидарности экспертов, рассчитанный по формуле (В10),
Это весьма низкий уровень согласия. Поэтому результирующий рейтинг R = 0,6 не внушает доверия. Следует повторить экспертизу или сменить экспертов.
Пример В3
Рассмотрим здесь случай, когда один эксперт (К = 1) проводит оценку двух проектов (N = 2) по двум позициям (S = 2). Этими позициями могут быть, например:
Необходимость общества в данном продукте;
Технические возможности производить данный продукт.
В силу условия К = 1 в этом примере индекс k можно опустить. Данные экспертом оценки статвесов позиций и индикаторов соответствия возможностей фирмы избранным позициям, а также результаты обработки этих оценок приведены ниже в таблице.
n = 1
n = 2
s
w (1)
s
c (1)
s
е (1)
s
s
w (2)
s
c (2)
s
е (2)
s
1
0,7
0,5
0,35
1
0,5
0,6
0,30
2
0,3
0,9
0,27
2
0,5
0,7
0,35
r (1)
0,62
r (2)
0,65
Отсюда видно, что в данном примере по мнению единственного эксперта рейтинг второго проекта выше, чем рейтинг первого. При этом оба рейтинга невелики, заметно меньше единицы. Это означает, что эксперт не очень высокого мнения об обоих проектах.
Обратим внимание, что рейтинги обоих проектов оказались довольно близки друг к другу: 0,62 и 0,65. В данном случае второй проект
1
выглядит несколько более предпочтительным. Но достаточно эксперту незначительно сменить оценку c (1) и положить 0,6 вместо 0,5, как рейтинг первого проекта достигнет величины 0,69, превосходящей рейтинг второго проекта. Отсюда следует, что при близких значениях рейтингов нескольких проектов истинную ценность представляют не сами рейтинги, аранжировка проектов по привлекательности (см. ниже).
Пример В4
Рассмотрим здесь случай, когда два эксперта (К = 2) проводят оценку одного проекта (N = 1) по двум позициям (S = 2). Их оценки статвесов и индикаторов соответствия для этого единственного проекта, а также результаты обработки этих оценок приведены ниже в таблице. В силу условия N = 1 в этом примере нет необходимости удерживать индекс n.
k = 1
k = 2
s
ws,1
cs,1
еs,1
s
ws,2
cs,2
еs,2
1
0,8
0,6
0,48
1
0,9
0,7
0,63
2
0,2
0,8
0,16
2
0,1
0,9
0,09
r1
0,64
r2
0,72
Как видим, оба эксперта считают первую позицию (s = 1) намного более важной, чем вторую (s = 2) . Мнение второго эксперта о проекте заметно выше мнения первого эксперта. А теперь рассчитаем результирующий рейтинг данного проекта.
Будем считать, что квалификационный вес обоих экспертов одинаков:
Тогда в соответствии с формулами (В7) или (В9) результирующий рейтинг проекта
Рассмотрим теперь другой вариант, предполагая рейтинги экспертов существенно различными. Пусть, для примера,
Тогда результирующий рейтинг проекта согласно формуле (В9) имеет такое значение:
Как видим, в данном случае результирующий рейтинг мало зависит от относительной квалификации экспертов. Так получилось потому, что оба эксперта составили примерно одинаковое мнение о проекте.
Пример В5
Рассмотрим здесь случай, когда два эксперта (К = 2) проводят оценку одного проекта (N = 1) по двум позициям (S = 2), причём их оценки важности позиций сильно расходятся. Например, одной позицией является наличие в штате фирмы достаточного количества квалифицированных сотрудников (s = 1), второй – ожидаемая активность конкурентов (s = 2). Один из экспертов считает определяющим моментом квалификацию штата фирмы, второй считает, что решающую роль сыграет активность конкурентов (например, в процессе выведения на рынок новых продуктов). Выполненные экспертами оценки статвесов и индикаторов соответствия для рассматриваемого проекта, а также результаты обработки этих оценок приведены в таблице (индекс n за ненадобностью опущен).
k = 1
k = 2
s
ws,1
cs,1
еs,1
s
ws,2
cs,2
еs,2
1
0,8
0,8
0,64
1
0,3
0,7
0,21
2
0,2
0,7
0,14
2
0,7
0,5
0,35
r1
0,78
r2
0,66
Будем считать, что квалификационный вес обоих экспертов одинаков:
Тогда в соответствии с формулами (В7) или (В9) результирующий рейтинг проекта
Рассчитанный по формуле (В10) коэффициент солидарности экспертов относительно рейтинга данного проекта: a(n) = 0,91. Эта величина оказалась довольно велика, хотя эксперты сильно расходились во мнениях при установке статвесов различных позиций. Однако они сходились в том, что проект лучше удовлетворяет требованиям первой позиции, чем второй.
Предположим теперь, что при оценке другого проекта эксперты, сильно расходясь во мнении относительно статвесов различных позиций, оказались единодушными в вопросе соответствия проекта данным позициям.
Пусть оценки теперь выглядят так, как показано ниже. Здесь
k = 1
k = 2
s
ws,1
cs,1
еs,1
s
ws,2
cs,2
еs,2
1
0,8
0,8
0,64
1
0,3
0,8
0,24
2
0,2
0,4
0,08
2
0,7
0,4
0,28
r1
0,72
r2
0,52
В этом случае результирующий рейтинг проекта (см. формулу (В7))
Рассчитанный по формуле (10) коэффициент солидарности экспертов относительно рейтинга данного проекта: a(n) = 0,84. Результирующий рейтинг оказался ниже.
Пусть теперь при одинаковой оценке статвесов эксперты сильно расходятся в оценке соответствия проекта избранным позициям. Например так, как показано ниже. Здесь
k = 1
k = 2
s
ws,1
cs,1
еs,1
s
ws,2
cs,2
еs,2
1
0,8
0,8
0,64
1
0,8
0,4
0,32
2
0,2
0,4
0,08
2
0,2
0,8
0,16
r1
0,72
r2
0,48
В последнем случае результирующий рейтинг проекта
Рассчитанный по формуле (В10) коэффициент солидарности экспертов относительно рейтинга данного проекта оказался в этом случае ещё меньше:a(n) = 0,8.
