В 1982 году исследователи Сакетт и Дрейер (Sackett, Dreher) пришли к удивительному открытию про центры оценки. В статье с заголовком «Тревожащие эмпирические открытия» они написали, что оценка по отдельным упражнениям имеет более высокую валидность, чем оценки по компетенциям. Эта идея непроста и нуждается в пояснении. Поэтому начнем с определений.

Центры оценки (ЦО) — комплексный инструмент прогноза потенциальной успешности сотрудников. Применяется в формировании кадрового резерва и пулов высокопотенциальных сотрудников, рекрутменте, процессах развития и обучения. В основе классического ЦО два компонента. Первый — это упражнения, моделирующие работу сотрудников. В них специально обученные специалисты по оценке (и иногда менеджеры) наблюдают за поведением участников. Второй компонент — критерии, по которым наблюдатели выставляют свои оценки. Самый используемый критерий — компетенции, каждая оценивается в нескольких упражнениях; одного участника оценивает несколько наблюдателей.

Sackett и Dreher открыли, что оценки по разным компетенциям внутри одного упражнения коррелируют друг с другом сильнее, чем оценки по одной компетенций в разных упражнениях. Иными словами, поведение в ЦО специфично ситуации (упражнению), но не универсальным паттернам поведения — компетенциям. Данное явление получило название «эффект упражнения» (англ. exercise effect).

С этого момента началась дискуссия про валидность центров оценки, которая продолжается и сейчас. В ходе обсуждения были предложены способы повышения валидности именно компетенций — калибровочные тренинги, специальные подходы к разработке упражнений, моделирование компетенций на основе данных. Но появилась также радикальная альтернатива традиционному компетентностному подходу, научный обзор которого мы представим в данной статье, — Task-Based Assessment Center.

Принципы Task-Based Assessment Center

Для сравнения приведем основные допущения классического центра оценки, который будем называть Assessment Based in Competencies (ABC) (1):

• Существуют устойчивые паттерны поведения, статистически связанные с успехом в конкретной профессиональной деятельности.

• Эти паттерны поведения схожи в проявлении у различных людей в разных ситуациях.

• Их можно корректно описать языком компетенции.

• Компетенции можно с достаточной точностью оценить в моделирующих упражнениях.

• Можно моделировать компетенции как текущего, так и другого (например, более высокого) уровня должности — и таким образом оценивать потенциал.

• Оценка в моделирующих упражнениях позволяет предсказать частоту и успешность проявления этих же видов поведения в работе; следовательно, и предсказать вероятность успеха в работе в той части, которая зависит от человека, а не от среды и окружения.

Подход ABC используется всеми крупными российскими организациями и, уверены, читатели узнали в нем свои системы оценки. Его популярность объясняется тем, что мы привыкли думать о других людях в терминах качеств. В HR такими качествами являются компетенции. Второе преимущество ABC состоит в его универсальности: компетенции предлагают единые требования для всех сотрудников, которые можно использовать в подборе, адаптации, оценке, развитии, премировании.

Task-Based Assessment Center (TBAC) — это принципиально иной взгляд на то, как должна быть устроена оценка персонала. Данный подход предлагает оценивать человека по уровню его эффективности в решении типовых блоков задач (ТЗ) для каждой должности/группы должностей. Нет необходимости описывать, какие именно деловые и личностные качества нужны, чтобы успешно решать конкретные ТЗ. Систематический успех — это успех. А систематическая неудача — это неудача. Оценивается в первую очередь результат решения задачи. По сути, в TBAC упражнения, пусть в измененном виде, становятся критериями оценки. Это влияет на другие части ЦО — шкалу оценки, фокус обратной связи.

Таблица 1. Сравнение точности различных инструментов в оценке компетенций

Основания для появления TBAC

Исследователи начали проявлять интерес к TBAC в конце 1980-х гг. Основной вопрос, который их интересовал, — какой вклад вносят упражнения и компетенции в оценку наблюдателя. Для ответа было разработано два дизайна (способа) исследования.

В первом дизайне исследователи выделяли компоненты ЦО и проверяли их вклад в оценку наблюдателя. Чем более продвинутые статистические методы использовали исследователи, тем больше компонентов ЦО они смогли выделить и тем, соответственно, более точно оценили вклад каждого компонента. Например, в одном из первых исследований (2000 г.) Артур (Arthur) и его коллеги выделили всего два компонента — упражнения и компетенции, и у последних был намного больший вклад (27% против 6,8%).

В более современном исследовании (2013 г.) Путка и Хоффман (Putka, Hoffman) с помощью методов байесовской статистики выделили 15 компонентов ЦО. В результате они определили, что компетенции имеют вклад в 1,1%, а упражнения — 35,2%.

Мы считаем это исследование наиболее показательным также потому, что Путка и Хоффман не придерживаются какого-либо подхода (TBAC или ABC). Результаты схожих исследований подчеркивают тенденцию: чем современнее исследование, и чем более продвинутые статистические инструменты, тем больше вклад упражнений (см. табл. 2).

Таблица 2. Вклад упражнений и компетенций в валидность центра оценки

Второй дизайн исследований, который указал на правомерность TBAC, более прост, — это корреляции компетенций внутри и между разными упражнениями. В основе ABC допущение, что замеры по одной компетенции имеют высокую связь друг с другом. Но современные исследования показывают обратное: замеры по одной компетенции внутри разных упражнений имеют меньшую связь, чем замеры по разным компетенциям внутри одного упражнения (см. табл. 3).

Таблица 3. Корреляции компетенций внутри и между разными упражнениями

Эти исследования можно интерпретировать так: когда наблюдатели видят конкретного человека, они мыслят о нем в терминах ситуации (насколько он эффективно решает задачу), а не в терминах компетенций.

Вывод, к которому приходят исследователи центра оценки: компетенции имеют намного меньший вклад в оценку наблюдателя, чем упражнения. В центре оценки поведение «собирается» в упражнения, а не в компетенции. Иными словами, человек может быть эффективен в определенной ситуации (совершать действия, которые считаются в ней эффективными), но почему он это делает, за счет каких «внутренних качеств», нам неизвестно.

Во многом это доказывает следующие тезис: компетенции — искусственный конструкт. Мы, представители HR и оценки, придумали его для более удобного нам способа думать о другом человеке. Но на самом деле мы только отдалились от изначальной задачи центра оценки: измерения и прогноза поведения. 

Точность TBAC

Под точностью мы имеем в виду критериальную валидность. Критериальная валидность — связь (корреляция) результата оценки с внешним критерием. В качестве внешнего критерия в большинстве исследований используется результативность, измеренная руководителем. 

Самое наглядное исследование опубликовал Джексон (Jackson) в 2011 году. На выборке в 100 руководителей он показал, что точность TBAC находится на уровне 0,52. Этот показатель немного выше или как минимум сопоставим с точностью ABC.

Метааналитическое исследование Хоффмана (Hoffman, 2015) показало, что TBAС требует специфичного подхода к разработке. Недостаточно взять стандартные упражнения из ABC, провести по ним ЦО и выставить оценки за упражнения. В таком случае точность ЦО будет даже ниже обычного ABC рейтинга, потому что инструмент — упражнения — не соответствует задаче и методике оценки.

Таблица 4. Точность двух форматов ЦО (корреляция с результативностью)

Используются данные исследований: Arthur et al., 2003; Hoffman et al., 2015; Jackson & Englert, 2011.

Преимущества TBAC

Для сравнения назовем основные научно-доказанные недостатки компетентностного подхода (помимо уже описанной проблемы низкой конструктной валидности в поведенческой оценке:

1. Скорость устаревания. Задачи и требования к людям в последнее время быстро и сравнительно непредсказуемо меняются. Срок жизни (годности) моделей компетенций для АВС сократился до 3 лет (Sleezer et al., 2014). Вместе с тем, актуализация модели компетенций — проект длительностью 2–4 месяца.

2. Размытие понятия. В компетенции включаются самые разные явления — навыки и знания, личностные и мотивационные особенности, ценностные установки, интеллектуальные способности. Часть из них — это легко развиваемые паттерны поведения, другая часть — очень трудно развиваемые. Например, компетенция «Адаптивность» развивается в 3,5 раза дольше, чем более конкретная «Планирование и организация» (Gibbons et al., 2006).

3. Слабая применимость в практиках развития. Этот недостаток является следствием предыдущей проблемы: из-за того, что часть компетенций трудно развиваемые, результаты оценки сложно связать с развитием и обучением. Часто получается даже так: оцениваются наиболее универсальные и поэтому сложно развиваемые компетенции, а развиваются, наоборот, более «навыковые». Эта пропасть непреодолима в компетентностном подходе.

4. Низкая степень принятия результатов участниками оценки (Rupp et al., 2008). Нет очевидности, почему оценки такие, если оценщик не приводит конкретные микро-примеры поведения в заданиях (что трудоемко, и как правило оценщиками не делается). Нет «несомненности» результатов оценки.

TBAC решает эти проблемы:

1. Относительная простота разработки. Для оценки достаточно выделить блоки типовых задач (ТЗ) должности, успех решения которых можно оценить посредством наблюдения. ТЗ, как правило, вполне очевидны (например, для эксперта-наблюдателя в АВС есть всего три типовых задачи — наблюдение и оценка в АЦ, написание отчета, обратная связь). При изменении типовых задач можно перейти к оценке новых ТЗ без этапа их разработки.

2. Более цельное содержание. ТЗ состоит из операций, которые можно наблюдать в поведении. Соответственно, все ТЗ находятся на примерно одинаковом уровне «развиваемости».

3. Связь с развитием. Любую ТЗ можно осмыслить как технологию (набор из алгоритма и принципов), которую можно передать в рамках обучения.

4. Большее принятие участниками, поскольку речь идет не об их качествах, а о действиях в определенной ситуации.

Ограничения TBAC

Главное ограничение TBAC — сложность внедрения. Представители HR и руководители привыкли осмысливать и оценивать предпосылки успеха в психологических терминах. TBAC не удовлетворяет психологического любопытства, он бихевиористки рассматривает человека. Поэтому TBAC требует большего времени на внедрение. Особенно это справедливо для организаций, которые давно используют компетентностный подход. Если же в данный момент систематизации нет или есть недовольство компетенциями, TBAC является логичной и понятной альтернативой (для управленцев — успешность в задачах понятнее, чем компетенции). 

Другие особенности TBAC ограничивают область его применения:

• TBAC требует четких ТЗ для оценки, что можно встретить на уровне линейных и средних менеджеров, но практически никогда на уровне топ-менеджеров. Работа менеджеров высшего звена связана с большим количеством неопределенности и поэтому требует скорее компетентностного или психологического подхода (например, индивидуального ассессмента).

• TBAC оценивает потенциал к работе на конкретной (в том числе новой) должности и в меньшей степени потенциал «в целом» (как способность развиваться и обучаться). По исследованиям, оценка по упражнениям не коррелирует с личностными чертами и интеллектом (Hoffman, 2011; Merkulova, 2013; Lance, 2007). В то время как ABC, наоборот, коррелирует. В связи с этим TBAC следует использовать в оценке на конкретные должности, функционал которых понятен, например, при формировании кадрового резерва. ABC, наоборот, более эффективен при формировании пулов высокопотенциальных сотрудников.

Практика TBAC

В настоящий момент TBAC используется преимущественно в Великобритании и Новой Зеландии, но также есть проекты в США и Южной Корее (Heo & Shin, 2008). Согласно исследованиям, представителям восточных культур сложнее описывать свои представления об управленческой деятельности (Yoon, 2009), поэтому подход «от задачи» (а не от компетенций) для них проще в использовании.

В России также недавно был проведен первый крупный проект, в котором использовался TBAC. В финале конкурса «Лидеры России: Политика» оценка происходила по задачам, с которыми сталкиваются политические деятели в своей работе.

Решение об использовании ТВАС было продиктовано несколькими причинами:

1. Некоторые конкурсанты участвовали не только в «Лидеры России: Политика», но и в базовом конкурсе «Лидеры России». Их опыт в оценочных мероприятиях мог дать им незаслуженное преимущество перед теми, кто участвовал впервые.

2. Большая фейс-валидность результатов. Подход ТВАС позволил привлечь к оцениванию не только экспертов-оценщиков, но и самих участников. Например, в одном из заданий моделировалось представление кандидатом своей предвыборной программы. Участники (неконкурировавшие между собой) отдавали свои голоса за конкретного кандидата, опираясь не на заданный список компетенций, а на совокупность значимых для них критериев выбора.

Финал прошел успешно. Эксперты-оценщики и сами участники отметили, что обновленная процедура оценки проходит интереснее и лучше «проявляет человека», чем уже ставшая привычной оценка по компетенциям.

В следующей статье мы опишем наш подход к TBAC — принципы разработки критериев (задач), принципы оценки и предоставления обратной связи.

(1) В англоязычной литературе используется термин «dimension-based assessment center» (DBAC). Это связано тем, что зарубежные оценщики измеряют не только компетенции, но и знания, навыки, ценности. Мы будем использовать термин ABC, потому что в системах оценки большинства российских организаций основным критерием оценки являются компетенции.