Оценка 360 — читаем результаты и строим план развития

Самое серьёзное возражение против оценки 360 градусов звучит так: оценки больше говорят о тех, кто их ставит, чем о человеке, которого оценивают. Эмпирическую основу этому возражению дало исследование Стивена Скаллена, Майкла Маунта и Мейнарда Гоффа, которые разобрали оценки двух больших выборок руководителей (2 350 и 2 142 человека), причём каждого из них оценивали семь человек. Индивидуальные особенности оценщиков объяснили в этих выборках 62 и 53 % разброса баллов, тогда как результативность самих руководителей объяснила лишь 21 и 25 %.[1] Из этого исследования следует практический вывод: отдельный балл в отчёте 360 почти ничего не сообщает, и полезная информация содержится в совпадениях между независимыми оценщиками, в устойчивых расхождениях между группами и в разбросе ответов внутри группы.

В условном кейсе, на котором построен этот разбор, руководителя группы аналитики Ольгу оценили по пяти компетенциям она сама, её руководитель, четыре коллеги из соседних команд и шесть подчинённых. Средняя оценка окружающих по всему отчёту составила 3,8 из 5, ровно столько же, сколько в среднем поставила себе Ольга. Её руководитель прочитал это совпадение как «самооценка адекватная, всё в порядке», хотя в той же таблице одновременно находятся слепая зона, недооценённая сильная сторона и раскол мнений в команде. Кейс и его участники условные, а числа подобраны так, чтобы показать сочетания, которые регулярно встречаются в отчётах 360.

Почему средний балл 360 нужно читать вместе с разбросом

Джеймс Конуэй и Аллен Хаффкатт собрали в метаанализе исследования, где одного и того же сотрудника оценивали руководители, коллеги, подчинённые и он сам. Средняя согласованность оценок внутри группы оказалась умеренной: 0,50 у руководителей, 0,37 у коллег и 0,30 у подчинённых. Связь между группами была ещё слабее: около 0,22 между подчинёнными и руководителями или коллегами и от 0,14 до 0,22 между самооценкой и оценками других. Самой высокой, 0,34, оказалась связь между руководителями и коллегами, и авторы сделали из этих данных вывод, что разные группы видят работу человека с разных позиций.[2]

Первый вывод из этих чисел для чтения отчёта состоит в том, что расхождение между группами остаётся нормальным свойством метода и само по себе ошибки не показывает: подчинённые видят Ольгу в роли руководителя, а коллеги видят её в роли партнёра по проектам. Второй вывод касается небольших различий в средних, которые при такой согласованности в пределах полубалла по пятибалльной шкале легко объясняются тем, кто именно попал в число оценщиков. Поэтому в разборе кейса значимой считается разница от 0,5 балла при условии, что в группе не меньше трёх человек, и это рабочее правило для чтения отчёта, поскольку конкретного порога исследования не задают.

В formeasure оценка 360 проходит одним циклом для самого сотрудника, руководителя, коллег и подчинённых, в анонимном или открытом режиме, а индивидуальный отчёт о развитии собирается автоматически. Поэтому таблица вроде этой появляется сразу после закрытия цикла, а подробнее о том, как он устроен, рассказано на странице оценки 360 в formeasure.

Самооценка и оценки окружающих: четыре сочетания

Сравнение самооценки со средней оценкой окружающих раскладывает компетенции на четыре группы, и у каждой из них свой смысл для плана развития.

Джеймс Смизер, Мануэль Лондон и Ричард Рейли в обзоре исследований о пользе 360 приводят данные о том, как ведут себя люди из разных групп. После обратной связи от подчинённых руководители, переоценивавшие себя, снижали самооценку, а недооценивавшие себя повышали её, и в двух исследованиях те, кто изначально переоценивал себя, впоследствии улучшили результаты сильнее остальных. В исследовании Аттуотер и Бретт руководители, получившие низкие оценки и согласные с ними, оказались менее мотивированы к изменениям, чем те, кто получил низкие оценки, но оценил себя выше.[3] Для практики это означает, что слепая зона, при всей болезненности разговора о ней, даёт самый понятный материал для изменений. Признанная зона развития, напротив, требует осторожности, потому что человек и без отчёта знает о проблеме и легко теряет веру в то, что её можно решить.

В кейсе Ольги слепая зона приходится на постановку задач: она ставит себе 5, а все десять оценок коллег и подчинённых лежат в диапазоне от 3 до 4, то есть сигнал согласован между двумя независимыми группами. Делегирование устроено зеркально, поскольку сама Ольга оценивает его на 2, а окружающие на 4,27, и этот навык разумнее включить в план развития как опору, на которой можно строить остальные изменения.

Разброс внутри группы: когда команда видит руководителя по-разному

Строка «Обратная связь» показывает, почему одной разницы с самооценкой для анализа недостаточно. Средняя оценка подчинённых составляет 3,0, разница между самооценкой и средним всех окружающих (−0,45) не дотягивает до порога в полбалла, и при беглом чтении эту компетенцию легко пропустить. Однако за средней оценкой 3,0 стоят три оценки «4» и три оценки «2», и такая картина похожа на ситуацию, в которой половина команды получает обратную связь регулярно и считает её полезной, а другая половина почти её не получает. Тот же средний балл дали бы шесть одинаковых оценок «3», хотя такая картина означала бы совсем другую проблему, равномерно умеренную обратную связь для всех.

Раскол внутри группы обычно указывает на то, что руководитель по-разному работает с разными людьми, например чаще разговаривает с теми, кто занят в его проектах, или с более опытными сотрудниками. Отчёт не показывает, кто именно поставил «2», и попытки это вычислить разрушают доверие к процессу, поэтому правильнее обсуждать с командой устройство обратной связи в целом. Распределение ответов стоит показывать только для групп, в которых достаточно людей для анонимности: Комиссия по государственной службе Канады требует минимум три ответа в категориях коллег, подчинённых и других участников.[4] В анонимных кампаниях formeasure результаты групп, не набравших минимального числа ответов, объединяются, чтобы снизить риск узнать автора.

Строка «Работа с другими командами» показывает ещё одну деталь, на которую редко обращают внимание. Подчинённые эту компетенцию не оценивали, потому что не видят, как Ольга работает с соседними командами, и пометка «не оценивали» в их колонке сообщает о том, что это поведение для группы невидимо, что само по себе полезно знать при планировании развития. Разница в 0,8 балла здесь опирается на пять оценщиков с согласованными ответами от 3 до 4, поэтому она заслуживает внимания, хотя и уступает по силе сигналу о постановке задач.

В каком порядке читать отчёт 360

Чтение отчёта начинается с проверки состава оценщиков: сколько человек ответили в каждой группе, какие группы объединены из-за порога анонимности и по каким компетенциям часть людей выбрала вариант «не могу оценить». После этого стоит посмотреть на оценки окружающих без самооценки, отметить самые высокие и самые низкие компетенции и только затем сравнивать их с тем, как человек оценил себя, чтобы собственная самооценка не задавала рамку всему разбору.

Следующий шаг касается разброса внутри групп, потому что согласованная средняя оценка и раскол мнений требуют разных действий. Комментарии лучше читать последними и использовать их как объяснение чисел, отмечая темы, которые повторяют несколько человек, тогда как единичный резкий комментарий говорит скорее об отношениях с конкретным коллегой. Итогом чтения становится список гипотез о поведении, которые затем проверяются в разговоре с руководителем, HR-бизнес-партнёром или командой, и отчёт сам по себе таких выводов не делает.

Что исследования говорят о пользе оценки 360

Смизер, Лондон и Рейли объединили в метаанализе 24 лонгитюдных исследования, в которых оценку 360 проводили как минимум дважды, и обнаружили, что улучшение оценок со стороны подчинённых, коллег и руководителей почти всегда положительное, но очень небольшое. Авторы прямо пишут, что практикам не стоит ожидать масштабных изменений у всех участников, и называют несколько причин. Оценщики плохо различают компетенции из анкеты, и факторный анализ обычно находит в оценках от одного до трёх факторов вместо десятка заявленных. Кроме того, средний балл по всем вопросам плохо отражает изменения, когда человек работал над двумя-тремя конкретными целями.[3]

В том же обзоре перечислены условия, при которых изменения вероятнее: обратная связь показывает, что меняться нужно, человек сам видит эту необходимость, реагирует на отчёт без отторжения, верит, что изменение достижимо, ставит конкретные цели и предпринимает действия. Резко негативная обратная связь, которая задевает самооценку, по данным метаанализа Клугера и ДеНиси снижает эффективность обратной связи. Присутствие фасилитатора при разборе отчёта, по данным метаанализа Смизера, с величиной эффекта значимо не связано.[3]

Самое практичное наблюдение дало пятилетнее исследование Алана Уокера и Джеймса Смизера, в котором 252 руководителя ежегодно получали оценки от подчинённых. Руководители, которые встречались с командой и обсуждали результаты, улучшали оценки сильнее остальных и улучшали их больше в те годы, когда обсуждали результаты предыдущего года, чем в годы без такого обсуждения. Между первым и вторым годом заметного улучшения не было, и оно появилось только между вторым и третьим, а затем между третьим и четвёртым годами.[3][5]

Как построить план развития по результатам 360

Из исследований следует, что план развития должен быть коротким, привязанным к наблюдаемому поведению и снабжённым способом проверки. Удобная структура включает одну согласованную слепую зону, одну сильную сторону, на которую можно опереться, и один открытый вопрос, который нужно прояснить вместе с командой, и для Ольги такой план выглядит следующим образом.

Способ проверки в первой строке взят из практики, которую описывают Смизер и соавторы. Через несколько месяцев после отчёта оценщиков просят оценить, насколько изменилось поведение человека именно по тем целям, которые он себе поставил, по шкале от «стал менее эффективен» через «без изменений» до «стал более эффективен».[3] Такой вопрос точнее повторного общего балла, потому что изменение в двух пунктах почти не сдвигает среднюю оценку по всей анкете. Для быстрой проверки между полными циклами подходят короткие пульс-опросы сотрудников, а общие правила подготовки анкеты, состава оценщиков и анонимности разобраны в обзорной статье об оценке 360 градусов.

Опираясь на исследование Уокера и Смизера, Ольге стоит рассказать команде, какие выводы она сделала из отчёта и что собирается менять, не раскрывая ничьих ответов и не обсуждая отдельные оценки. Такой разговор показывает людям, что их ответы использованы, и одновременно делает план публичным, а повторную оценку разумно планировать примерно через год, поскольку изменения в оценках, судя по тому же исследованию, становятся заметны не сразу.

Ограничения такого разбора

Высокая доля индивидуальных особенностей оценщиков в баллах означает, что абсолютные оценки разных сотрудников, которых оценивали разные люди, сравнивать между собой некорректно, и отчёт 360 подходит для разговора о развитии одного человека значительно лучше, чем для ранжирования. По той же причине результаты 360 не стоит напрямую связывать с премией или повышением: ответы оценщиков становятся осторожнее, а сам процесс теряет доверие, о чём подробнее сказано в обзорной статье.

Четыре сочетания самооценки и оценок окружающих стоит использовать как ориентир для разговора о развитии. Исследования согласия самооценки с оценками других измеряют его разными способами и из-за этого приходят к противоречивым выводам.[6] Порог в полбалла и минимум в три оценщика остаются рабочими правилами этого разбора, и для шкалы другой длины или анкеты с другой структурой их стоит пересмотреть. Кейс Ольги условный, его числа подобраны для иллюстрации, а исследования, на которые опирается разбор, проводились в основном на руководителях, поэтому для специалистов без подчинённых часть выводов стоит переносить с осторожностью.

Разбор результатов 360 в formeasure

В formeasure цикл оценки 360 объединяет самооценку, оценки руководителя, коллег и подчинённых, позволяет настроить модель компетенций под компанию и выбрать анонимный или открытый режим. Индивидуальный отчёт о развитии собирается автоматически после закрытия цикла, а повторный цикл по тем же вопросам через год показывает, сдвинулись ли оценки по выбранным фокусам.

Если в вашей компании сложился свой порядок разбора отчётов 360, напишите нам на странице formeasure в LinkedIn: мы собираем практики HR-команд в отдельный обзор, участники получат его первыми, а их подходы будут упомянуты с их согласия.

Провести оценку 360 в formeasure →

Частые вопросы о результатах оценки 360

Как читать результаты оценки 360?

Сначала стоит проверить, сколько человек ответили в каждой группе, затем посмотреть на оценки окружающих без самооценки, после этого сравнить их с самооценкой, изучить разброс внутри групп и в конце прочитать комментарии как объяснение чисел. Результатом чтения становятся гипотезы о поведении, которые обсуждаются с руководителем или командой.

Какая разница между самооценкой и оценками окружающих считается значимой?

Единого порога исследования не задают, поэтому в разборе этой статьи значимой считается разница от 0,5 балла по пятибалльной шкале при условии, что в группе не меньше трёх оценщиков, потому что оценки внутри групп согласуются умеренно и мелкие различия часто объясняются составом оценщиков.

Что такое слепая зона в оценке 360?

Это компетенция, которую человек оценивает у себя заметно выше, чем окружающие. Слепая зона особенно полезна для плана развития, когда низкие оценки согласованно ставят разные группы, например и коллеги, и подчинённые.

Что делать, если оценки внутри одной группы сильно расходятся?

Расхождение обычно означает, что человек по-разному работает с разными людьми. Вычислять, кто поставил низкую оценку, не нужно; лучше обсудить с командой, как устроена работа в целом, и показывать распределение ответов только для групп, где достаточно людей для анонимности.

Сколько целей включать в план развития после оценки 360?

Удобно ограничиться двумя-тремя фокусами: одной согласованной слепой зоной, одной сильной стороной и одним вопросом, который нужно прояснить с командой. Средний балл по всей анкете почти не меняется, когда человек работает над несколькими пунктами, поэтому проверять стоит именно выбранные цели.

Нужно ли обсуждать результаты 360 с командой?

В пятилетнем исследовании Уокера и Смизера руководители, которые обсуждали результаты с подчинёнными, улучшали оценки сильнее остальных. Обсуждать при этом стоит выводы и планы, не раскрывая ответов конкретных людей.

Через сколько времени повторять оценку 360?

Полный цикл обычно повторяют примерно через год, потому что изменения в оценках становятся заметны не сразу. Между циклами отдельные изменения удобно проверять коротким пульс-опросом или вопросом о том, насколько изменилось поведение по выбранным целям.

Можно ли сравнивать результаты 360 разных сотрудников?

Сравнивать абсолютные баллы людей, которых оценивали разные оценщики, некорректно, поскольку больше половины разброса оценок связано с особенностями самих оценщиков. Отчёт 360 лучше использовать для разговора о развитии конкретного человека.

Источники

1. Scullen S. E., Mount M. K., Goff M. — Understanding the latent structure of job performance ratings // Journal of Applied Psychology. 2000. Vol. 85, № 6. P. 956–970. https://doi.org/10.1037/0021-9010.85.6.956
2. Conway J. M., Huffcutt A. I. — Psychometric properties of multisource performance ratings: A meta-analysis of subordinate, supervisor, peer, and self-ratings // Human Performance. 1997. Vol. 10, № 4. P. 331–360. https://doi.org/10.1207/s15327043hup1004_2
3. Smither J. W., London M., Reilly R. R. — Does performance improve following multisource feedback? A theoretical model, meta-analysis, and review of empirical findings // Personnel Psychology. 2005. Vol. 58, № 1. P. 33–66. https://doi.org/10.1111/j.1744-6570.2005.514_1.x
4. Public Service Commission of Canada — 360° Feedback Services: Frequently Asked Questions. https://www.canada.ca/en/public-service-commission/services/staffing-assessment-tools-resources/human-resources-specialists-hiring-managers/human-resources-toolbox/personnel-psychology-centre/assessment-counselling-services/360-feedback-instruments-services/360-feedback-services-frequently-asked-questions.html
5. Walker A. G., Smither J. W. — A five-year study of upward feedback: What managers do with their results matters // Personnel Psychology. 1999. Vol. 52, № 2. P. 393–423. https://doi.org/10.1111/j.1744-6570.1999.tb00166.x
6. Fleenor J. W., Smither J. W., Atwater L. E., Braddy P. W., Sturm R. E. — Self–other rating agreement in leadership: A review // The Leadership Quarterly. 2010. Vol. 21, № 6. P. 1005–1034. https://doi.org/10.1016/j.leaqua.2010.10.006