Вавилонская башня клиентских метрик

Представьте себе совещание. Директор по клиентскому опыту крупного банка с гордостью докладывает: «Наш NPS 48». CEO кивает и спрашивает: «А у конкурентов?» Директор отвечает: «У них 62, но они считают неправильно». В зале повисает пауза.

Эта сцена не анекдот. Это реальность российского рынка клиентских метрик. Компании оперируют одними и теми же аббревиатурами — NPS, CSI, CSAT, CES — но вкладывают в них настолько разное содержание, что любое сравнение превращается в разговор на разных языках.

Мы в ЭКОПСИ Консалтинг работаем с исследованиями опыта клиентов и сотрудников и видим эту «метрическую энтропию» каждый день. Эта статья - попытка назвать вещи своими именами и предложить рамку, в которой метрики снова начинают работать.

NPS: один показатель, десять способов посчитать

Net Promoter Score — пожалуй, самая популярная и одновременно самая искаженная метрика на российском рынке. Фредерик Райхельд, создавший NPS, задумал его предельно конкретно:

«С какой вероятностью вы порекомендуете компанию друзьям или коллегам?» Шкала от 0 до 10. Один вопрос. Точка.

Что происходит на практике?

Шкала: 0–10 или 1–10?

Казалось бы — всего один ноль. Но этот ноль меняет все.

В оригинальной методологии шкала начинается с нуля. Это 11 делений. Детракторы — те, кто поставил от 0 до 6. Нейтралы — 7 и 8. Промоутеры — 9 и 10.

Когда компания убирает ноль и использует шкалу от 1 до 10, возникает вопрос: куда теперь относить «шестерку»? Она все еще детрактор? Или граница сдвигается? Одни компании механически переносят те же правила, другие — «адаптируют». В результате NPS одной компании и NPS другой — это два разных числа, которые нельзя ни сравнивать, ни бенчмаркировать.

Но проблема глубже, чем арифметика. Убирая ноль, мы убираем психологически значимый якорь — абсолютный минимум. Респондент, выбирающий между «1» и «2» на десятибалльной шкале, ведет себя иначе, чем тот, кто выбирает между «0» и «1» на одиннадцатибалльной. Распределение ответов смещается. Ноль не виноват — он просто делает свою работу.

Один вопрос или средний балл из десяти?

Мы регулярно встречаем компании, которые говорят: «Мы измеряем NPS». При ближайшем рассмотрении выясняется, что они задают 8–12 вопросов по разным аспектам взаимодействия, считают средний балл и применяют к нему формулу NPS.

Это уже не NPS. Это что-то другое — возможно, полезное, но точно не то, что подразумевал Райхельд и что измеряют компании в глобальных бенчмарках. Оригинальный NPS принципиально строится на одном вопросе — вопросе об общей готовности рекомендовать. Его сила — в простоте и сопоставимости. Размывая конструкт, мы теряем оба эти свойства.

Транзакционный или реляционный?

Еще один водораздел, который редко осознается. Одни компании задают вопрос NPS сразу после конкретного взаимодействия (звонок в контакт-центр, визит в офис, доставка заказа). Другие — раз в квартал или раз в год, спрашивая об опыте в целом.

Транзакционный NPS говорит о качестве конкретной точки контакта. Реляционный — об общей силе отношений с брендом. Это разные управленческие вопросы, требующие разных действий. Когда компания смешивает оба подхода в одну цифру или не фиксирует, какой именно NPS она считает, метрика теряет управленческий смысл.

CSAT и CSI: близнецы, которых путают

На глобальном рынке CSAT (Customer Satisfaction Score) — это, как правило, простой вопрос: «Насколько вы удовлетворены [взаимодействием / продуктом / услугой]?» Шкала — чаще пятибалльная. Результат — доля удовлетворенных (поставивших 4 или 5).

CSI (Customer Satisfaction Index) в классическом понимании — это индекс, то есть составной показатель, который агрегирует оценки по нескольким параметрам с учетом их весов (значимости для клиента). Методологически CSI ближе к моделям типа ACSI (American Customer Satisfaction Index) или EPSI (это международная исследовательская группа (EPSI Rating), специализирующаяся на оценке лояльности клиентов, качества клиентского опыта (CX) и вовлеченности персонала)

Что мы видим в российской практике? Тотальную синонимизацию. Подавляющее большинство компаний используют термины CSAT и CSI как взаимозаменяемые. Нередко под «CSI» скрывается простой средний балл удовлетворенности без какого-либо взвешивания. А под «CSAT» — напротив, сложная составная конструкция.

Это не лингвистическая придирка. Когда компания заявляет «наш CSI — 4,2 из 5», невозможно понять: это средний балл по одному вопросу? Взвешенный индекс? По какой шкале? С каким охватом? Без методологической спецификации цифра лишена смысла.

CES: метрика, о которой забывают

Customer Effort Score — показатель усилий клиента — остается «Золушкой» российского CX-ландшафта. Между тем именно CES, по данным ряда исследований, лучше других метрик предсказывает поведенческую лояльность: клиенты уходят не потому, что их не «восхитили», а потому, что им было трудно.

Компании, которые все же используют CES, сталкиваются с теми же проблемами стандартизации: пятибалльные и семибалльные шкалы, разные формулировки вопроса, отсутствие единого порога «высокого» и «низкого» усилия.

Проблема масштаба: измерять все или только главное?

Помимо методологического хаоса существует и стратегический вопрос: что именно и как часто измерять? Мы видим два полярных подхода:

1. «Измеряем все»

Компания ставит опрос в каждую точку контакта. Каждый звонок, каждое письмо, каждый визит заканчивается просьбой «оцените нас». Результат — огромные массивы данных, усталость респондентов (survey fatigue) и, парадоксально, снижение качества данных. Клиенты начинают отвечать «на автомате», процент отклика падает, выборки смещаются в сторону крайних мнений.

2.«Измеряем раз в полгода и только ключевое»

Компания проводит «большое исследование» один-два раза в год. Глубоко, обстоятельно — но к моменту, когда результаты обработаны, согласованы и дошли до операционного уровня, ситуация уже изменилась. Метрики превращаются в «исторический документ», а не в инструмент управления.

Где баланс? Оптимальная архитектура измерений — многоуровневая.

Каждый уровень отвечает на свой вопрос и адресован своему потребителю внутри организации. Стратегический — для совета директоров и CEO. Тактический — для руководителей направлений. Операционный — для линейных менеджеров и команд.

Пять принципов, которые мы рекомендуем

Основываясь на нашем опыте, мы сформулировали принципы, которые помогают выстроить систему клиентских метрик, действительно работающую на бизнес.

1. Методологическая прозрачность.

Каждая метрика должна иметь «паспорт»: точная формулировка вопроса, шкала, метод расчета, целевая аудитория, канал сбора. Без паспорта цифра — не метрика, а число.

2. Верность оригиналу — или осознанное отступление.

Если вы используете NPS — используйте оригинальную методологию. Если адаптируете — фиксируйте отличия и не называйте результат «NPS» в бенчмаркинговых сравнениях. Нет ничего плохого в кастомной метрике — плохо, когда кастомную метрику выдают за стандартную.

3. Иерархия метрик. Не все показатели равны.

Определите одну «северную звезду» (north star metric) для клиентского опыта на уровне компании и выстройте дерево поддерживающих метрик. Это дисциплинирует и фокусирует.

4. Связь с бизнес-результатами.

Метрика без доказанной связи с выручкой, удержанием или долей кошелька — это «витринный» показатель. Регулярно проверяйте, действительно ли рост вашей метрики сопровождается ростом бизнеса. Если нет — меняйте метрику или пересматривайте модель.

5. Уважение к респонденту.

Каждый опрос — это запрос на время и внимание клиента. Спрашивайте только то, на что готовы реагировать. Если вы не планируете менять процесс на основании обратной связи — не спрашивайте о нем.

Так виноват ли ноль?

Ноль — не виноват. Виновата бессистемность.

Российский рынок клиентского опыта достиг зрелости в понимании важности метрик, но пока не достиг зрелости в методологической дисциплине. Компании научились собирать обратную связь, но не всегда умеют правильно считать, корректно сравнивать и действительно использовать ее.

Метрика — это не самоцель и не строка в отчете для совета директоров и CX департаментов. Это инструмент принятия решений. И как любой инструмент, она работает только тогда, когда откалибрована, стандартизирована и применяется по назначению.

Начните с простого: откройте методологию своего NPS и проверьте — сколько у вас делений на шкале.

Возможно, вы удивитесь.