Как измерять результаты Цикловых конференций или что может стать KPI для провайдера? (ROI, NPS и ЗУН)

Когда мы разбирали и анализировали наиболее эффективные проекты, мы сначала не обратили внимание на один очень важный (как потом оказалось) момент. Мы смотрели на технологию, мы смотрели на поведение участников, мы смотрели на поведение бизнес-тренера, но мы не сразу обратили внимание на первые и на последние переговоры, которые проходили с функциональным заказчиком, не HR или T&D-специалист, а именно переговоры с Business Unit Head, которые проходили первыми во время тендерного отбора и переговоры, которые проходили после формальной сдачи проекта, когда подводятся итоги неформальные.

Не буду тянуть, мы обнаружили, что у всех этих переговоров есть один очень похожий вопрос. Вопрос, который для бизнеса самый важный. Вопрос, ответив на который, можно больше ничего не говорить. Этот вопрос прост в формулировке, но чертовски сложен к ответу. Готовы?

Как вы планируете измерять результат? Как мы можем понять, что Цикловая конференция прошла успешно?

Из 271 обучающих конференций, которые мы провели за 13 лет, этот вопрос в разных формулировках задавался в 70% случаев. Так как же на него ответить?

В проектах по обучению и развитию персонала, особенно в проектах массовых, у нас есть достаточно ограниченный инструментарий измерения эффективности. Но он есть! И это 3 параметра, которые можно посчитать в конкретных цифрах – имя у этих параметров: NPS, ЗУН и ROI.

1. Индекс лояльности NPS (англ. Net Promoter Score) — индекс определения приверженности потребителей товару или компании (индекс готовности рекомендовать), используется для оценки готовности к повторным покупкам. Перефразируя для обучающих проектов: это сборный индекс определения лояльности участников обучения к пройденному обучению (формат обучения, подача материала, польза и применимость материала и т.п.), в проектах обучающих конференций используется для оценки мотивационного эффекта от пройденного обучения. Далее мы будем говорить про измерение и применение NPS проектов обучения. Измерение индекса лояльности NPS включает в себя несколько шагов.

Потребителям предлагается ответить на набор вопросов (т.к. NPS в образовательных проектах носит собирательный характер) «Дайте оценку тренингу, отметив цифру, которая наиболее точно отражает Ваше мнение» по 10-балльной шкале, где 0 соответствует ответу «Минимальное значение параметра», а 10 — «Максимальное значение параметра». Набор параметров, выделенных для оценки:

- Содержание (0 – совсем бесполезно, 10 – очень полезно)

- Практичность (0 – сплошная теория, 10 – практики было достаточно)

- Структурированность (0 – всё запутанно, 10 – информация очень хорошо структурирована)

- Тренер (0 – профессионализм тренера на очень низком уровне, 10 – профессионализм тренера на очень высоком уровне).

Почему мы предлагаем делить NPS для образовательных проектов на эти четыре блока? Эмоции участников в тренинге могут относится к разным его составляющим. Участнику может понравится тренер, но он может быть недоволен содержанием программы. В тренинге можно сделать огромное количество практики, но без правильного её осмысления, структура потеряется и весь обучающий процесс будет выглядеть всего лишь набором из упражнений. Четыре фактора, предлагаемые нами – это несколько тысяч анкет обратной связи, которые были обобщены и выделены наиболее значимые факторы из них.

На основе полученных оценок все участники разделяются на 3 группы: 9-10 баллов — Сторонники (promoters) тренинга, 7-8 баллов — Нейтральные потребители, 0-6 баллов — Критики (detractors).

Непосредственно расчёт индекса NPS следующий: NPS = % Сторонников — % Критиков

Для интересующихся темой NPS в образовательных проектах – рекомендую прочитать статью О.А. МАЛЫГИНОЙ, доцента Московского государственного института радиотехники, электроники и автоматики «Использование NPS - технологии для оценки качества обучения» (на примере образования Росатома) – в статье раскрывается материал более подробно.

2. ЗУН - аббревиатура, образованная из первых букв педагогических понятий «знание», «умение», «навыки». Знание в педагогике – понимание, сохранение в памяти и умение воспроизводить основные факты науки и вытекающие из них теоретические обобщения (понятия, правила, законы, выводы и т. д.). Умение – это владение способами (приемами, действиями) применения на практике усваиваемых знаний. Навык – автоматизированное действие, доведенное до высокой степени совершенства (составной элемент умения) – определение взято из Национальной Педагогической Энциклопедии.

Любое обучающее мероприятие, в том числе обучающая цикловая конференция, даже в своем названии говорит о необходимости обучения, т.е. освоении определенных ЗУН. И, естественно, что в этом случае измерение ЗУН должны также стать критерием оценки эффективности обучения. Как это сделать процессуально?

А. Оценка ЗУН на «входе» в обучающий процесс.

Во многих случаях в корпоративном обучении мы упускаем из вида, либо намеренно игнорируем процесс входного тестирования. Иногда это делается из благих побуждений: сэкономить время сотрудников, не доставлять стрессовых переживаний для будущих участников и т.п. Но только представьте себе, как мог бы поменяться учебный процесс, если бы бизнес-тренер во время подготовки обучающей конференции уже знал о дефицитах ЗУН участников, ведь тогда можно было бы сделать больший акцент на конкретные «болевые» точки, а не стрелять «пушкой по воробьям».

Оценка ЗУН на «входе» в обучающий процесс также позволяет понимать стартовые позиции, от которых можно планировать целевые показатели усвоения материала в ходе обучающего процесса – это уже про постановку целей.

Вы хотите сказать, что это сложно организовать? Еще бы лет 10-15 назад я был бы готов с вами согласиться, но не сегодня. Не сегодня, когда доступность digital-инструментов (как платных, так и бесплатных) просто безгранична. Сделав простой опрос для группы участников из 10-15 вопросов на популярных сервисах рассылки или внутренней lms-системе, мы получаем определенный «срез» статистически-значимой информации, от которой можно будет отталкиваться в предстоящем проекте.

Б. Оценка ЗУН по итогам обучения.

Встроить оценку ЗУН (экспертную, тестовую, либо в форме опроса между теоретическими блоками) в обучающий процесс относительно легко. А с учетом возможности применения геймификации в обучающем процессе, то это может стать одним из элементов игры и обучения.

Но такая оценка позволяет получить огромный массив важной информации: об эффективности разных инструментов внутри тренинга, об усваиваемости ЗУН, наконец об обучаемости аудитории и качестве проводимого обучения в общем.

Это может стать первой «вехой» в сравнении: сравнении оценки ЗУН на входе и сейчас – есть ли позитивная динамика, выполняются ли задачи обучающей конференции?

А вот что считать позитивной динамикой в усвоении ЗУН? +10% к освоенным знаниям по технологии продаж – это хорошо или недостаточно? Или, если мы транслируем на обучающей конференции продолжительностью 2 дня всего 5 ключевых сообщений – может быть их должны освоить 99% участников? Вопрос отнюдь не праздный, часто получается так, что Заказчик и Исполнитель на входе по-разному видят результат. А в случаях, когда мы закладываем оценку ЗУН на входе и в процессе – уже сам этот процесс позволяет сблизить позиции и фокусы внимания.

В. Оценка ЗУН на определение «остаточных знаний» - это стоит реализовывать спустя 4-6 недель после проведенного обучения.

За наш более чем 10-летний опыт мы с прискорбием готовы констатировать, что даже самые продвинутые компании, которые разделяют важность оценки на старте проекта и по результатам, не всегда готовы к самому важному шагу, шагу, который раз и навсегда способен остановить столкновение бизнеса и T&D. Бизнес же спрашивает всегда за результат, а результат для него – это не сиюминутная история «сразу после тренинга» - нет, эта история остаточных ЗУН, которые либо пошли в практику, либо так и остались в тренинговой комнате. Когда мы измеряем остаточные ЗУН спустя 4-6 недель и сопоставляем эту динамику с входными данными, данными сразу после обучения, то только в этом случае мы реально можем говорить про эффективность.

Важно отметить, что оценка остаточных ЗУН всегда будет ниже, чем оценка сразу после проведенного обучения, хотя и этот феномен может быть компенсирован при грамотно выстроенной посттренинговой активности, включающей новые ЗУН в операционную деятельность сотрудников.

3. ROI — финансовый коэффициент, иллюстрирующий уровень доходности или убыточности бизнеса, учитывая сумму сделанных в этот бизнес инвестиций. ROI обычно выражается в процентах, реже — в виде дроби.

Этот показатель может также иметь следующие названия: прибыль на инвестированный капитал, прибыль на инвестиции, возврат, доходность инвестированного капитала, норма доходности.

Если перекладывать этот коэффициент на образовательные программы, то стоит отметить, что потребуется определенная переформулировка: ROI – коэффициент, отражающий прибыль/убыток на инвестированный капитал в обучение сотрудников. Важно понимать, что в образовательных проектах важно всегда определять период расчета ROI, т.к. эффект обучения носит долгосрочный кумулятивный характер.

Показатель ROI является отношением суммы прибыли или убытков к сумме инвестиций. Значением прибыли в образовательных проектах может быть процентный доход, прибыль/убытки по управленческому учёту или чистая прибыль/убыток, но не бухгалтерскому учету. Значением суммы инвестиций могут быть активы, капитал, сумма основного долга бизнеса и другие выраженные в деньгах инвестиции – это значит, что ROI образовательных проектов может быть высчитано не только напрямую в финансовых терминах, но и в терминах активов. Тема ROI в образовательных программах очень непроста, т.к. в нашей стране ещё не сложилась культура её расчета и многие данные для достоверных расчетов бизнес просто не готов предоставлять. Далее мы просто сошлемся на документ, который рекомендуем к прочтению всех заинтересовавшихся тематикой расчета ROI в образовательных программах - МЕТОДИКА ОЦЕНКИ ОКУПАЕМОСТИ ИНВЕСТИЦИЙ В ОБРАЗОВАТЕЛЬНЫЕ ПРОГРАММЫ ДЛЯ ПЕРСОНАЛА, Черников Александр Юрьевич, Научно-исследовательский институт труда и социального страхования.

Есть ли прецеденты расчета ROI – есть, но их крайне мало. Всегда ли эти примеры позитивные? Нет. Так в нашей практике измерения были случае, когда ROI равнялся 23, т.е. на каждый вложенный рубль бизнес получил 23 рубля прибыли, а были случаи и падения эффективности до – 5, т.е. был получен в результате убыток. Почему? Это тема отдельной статьи.

Подведем итоги. Обучающие конференции, как и любые другие обучающие программы, должны иметь четкие критерии оценки их эффективности. В противном случае профессия T&D для непосвященной публики будет носить характер шаманизма, как это было на заре становления профессии «Системный администратор», когда про них были составлены сотни и тысячи анекдотов. А далее появились критерии доступности и бесперебойности, соглашение SLA и т.п.

При таком подходе к образовательным проектам, даже краткосрочным, мы сможем не просто обещать, а гарантировать результаты бизнесу. Но до этого момента важно накопить статистику, которая бы подтверждала голые слова. И отталкиваясь от статистики мы точнее сможем говорить об эффективности различных форматов обучения, различных провайдеров обучения и т.п.

Сделаем и мы вклад в свою статистику по Цикловым обучающим конференциям, которая основана на 271 случаях анализа – это около 30.000 обученных человек:

NPS – среднее значение 0,8, при крайних значениях 0,25 и 1 соответственно. Для сравнения: среднерыночное значение в сфере обучения – 0,62.

ЗУН – среднее значение по проектам (оценка усвоения ЗУН, вложенных в программы обучения, а не по описанной методике «вход – выход – остаточные») 0,87, при крайних значениях 0,47 и 1 соответственно. Среднерыночное значение в сфере обучения по разным данным составляет около 0,77.

ROI – среднее значение 4,3, при крайних значениях от – 5 до 23. Среднерыночные значения – нет данных.

Наша технология цикловой конференции «К победе вместе!» имеет не только научно-практическую доказательную базу с точки зрения методологии, но и имеет доказательства своей эффективности в 3-х измеримых параметрах. Мы готовы отвечать за результат

проводимых нами образовательных программ. А готовы ли вы и ваша компания заказывать услуги в привязке к их эффективности? Давайте встретимся и обсудим.