Модель Киркпатрика для оценки эффективности обучения: как её использовать

Оценка эффективности обучения — болевая точка для L&D- и T&D-отделов по всему миру. Исследования показывают, что лишь незначительная доля компаний на деле связывает учебные активности с нужными бизнесу результатами. Кажется, что заговорили об этом не так давно, но на самом деле разговору о связке «обучение — прибыль» уже десятки лет. Одним из первых понятный и простой фреймворк, позволяющий оценить влияние учёбы на бизнес, сформулировал почётный профессор Университета Висконсина и бывший президент Американского общества обучения и развития Дональд Киркпатрик. Его модель, с некоторыми доработками, используют до сих пор.

Разберёмся:

• почему сам Киркпатрик на самом деле не придумывал модель «имени себя» и почему модель называют иногда двойным именем — Киркпатрика — Филлипса;
• из каких уровней состоит модель Киркпатрика и как оценивать обучение на каждом из них;
• почему важно привлекать к оценке руководителей, а к шкалам оценки добавлять поле для комментариев;
• какую ошибку в применении модели на практике допускают чаще всего.

Что такое модель Киркпатрика

Модель Дональда Киркпатрика создана для оценки эффективности обучения. Изначально её автор вовсе не планировал создавать какой-то уникальный теоретический фреймворк. Он всего лишь пытался донести до широкой аудитории накопленные знания по оценке качества учебных программ (об этом мы расскажем ниже) и определил четыре основных фактора, которые нужно при этой оценке учитывать:

• Реакция — оценка обучения (удовлетворения, вовлечения и актуальности) сотрудниками.
• Усвоение — оценка усвоения знаний сотрудниками.
• Поведение — оценка того, сумели ли сотрудники перенести полученные знания в работу.
• Результат — оценка влияния результатов обучения на бизнес-результаты.

Выглядят они как пирамида — все уровни взаимосвязаны, и каждый последующий сложнее предыдущего.

Сегодня эти факторы называют уровнями, однако сам Дональд Киркпатрик не давал им такого названия. Дело в том, что в 1959 году редактор журнала при Американском обществе обучения и развития попросил его написать статью по оценке эффективности учебных программ. Киркпатрик интересовался этой темой и успел защитить по ней диссертацию. Он решил сделать не одну, а четыре статьи — по одной про каждый фактор оценки. И, как говорится, «проснулся знаменитым». А эти факторы читатели статьи стали называть уровнями. Вот как Киркпатрик описывал собственный путь к успеху и создание модели:

Хотя названия «модель» и «уровни» родились как бы сами собой, сегодня принято говорить именно так — и сам Дональд Кирпатрик в дальнейшем использовал именно такие формулировки.

Почему модель Киркпатрика иногда называют моделью Киркпатрика — Филлипса

Модель Киркпатрика пользовалась значительной популярностью в 1970–1980-е. А в 1990-е американский бизнес-консультант Джек Филлипс решил её актуализировать и дополнил пятым уровнем — уровнемоценки финансовых результатов. Для этого существует специальная метрика — коэффициент ROI (return of investments, или «возврат инвестиций»). Иными словами, Филлипс предложил задуматься не только о качестве, но ещё и о деньгах: высчитывать разницу между затратами на программу и полученной благодаря обучению прибылью компании. То есть смотреть, оправданы ли расходы. Этот подход получил название «модель ROI Филлипса».

Две модели порой смешивают в единую «модель Киркпатрика — Филлипса», тем не менее их принято разделять. Дело в том, что Джек Филлипс не только ввёл новый уровень, но и дополнил уже существующие уровни новыми мерами оценки. Так, в уровень «Поведение» он добавил метрики для оценки причин, по которым сотрудники так и не смогли применить новые навыки в работе. А в уровне «Результат» он значительно расширил набор инструментов для его оценивания. То есть говорить, что Филлипс всего лишь дополнил модель Киркпатрика ROI, не совсем верно.

Читайте также:

11 образовательных метрик, чтобы оценить качество и эффективность онлайн-курса

Как оценивать каждый уровень модели Киркпатрика

У каждого уровня в модели Киркпатрика свои цели, задачи и мероприятия. Разберём каждый уровень подробно.

Уровень 1

Реакция

Уровень «Реакция» предполагает оценку мнений и эмоциональной реакции участников курса или программы на обучение. Для этого используют стандартные бизнес-метрики:

• NPS (net promoter score) — индекс потребительской лояльности. Участников курса просят оценить свою готовность порекомендовать курс по шкале от 1 до 10 (от «точно не готов» до «‎с удовольствием порекомендую») Результаты делят на три группы в зависимости от баллов: 1–6 — критики, 7–8 — нейтральные потребители, 9–10 — сторонники. Затем из процента сторонников вычитают процент критиков.
• CSAT (customer satisfaction) — индекс удовлетворённости участников обучения. Для расчёта студентов сначала просят оценить программу или её элемент по определённой шкале (например, от 1 до 5, от «‎совсем недоволен» до «‎очень доволен»)‎, а затем считают процент «4» и «5» от общего количества оценок.

При этом в современном прочтении модели запрашивают не только отметку, но и комментарии к ней. Ведь она зависит не столько от качества обучения, сколько от субъективного взгляда респондентов. Перегруженность работой, непонимание целей обучения, несоответствие уровня сложности или неприятие внешности тренера, личные проблемы — всё это может повлиять на принимаемые в моменте решения. Комментарий позволяет понять логику оценивающего, особенно когда речь идёт о явно критическом отзыве.

Уровень 2

Усвоение

Второй уровень — оценивание знаний, навыков и компетенций, которые участники приобрели в результате прохождения программы. Конечно, чаще всего для этого используют тесты — они наиболее просты в разработке и не требуют значительных вложений. Однако одно только тестирование не даст полной картины освоения программы, поэтому на этом уровне задействуют и другие инструменты: практические задания, кейсы, ролевые игры. В общем, всё, что позволит и лучше запомнить информацию, и применить на практике полученные знания и навыки.

Кстати, оценивать знания в идеале нужно не только после обучения, но и до него — это поможет получить более точные результаты.

Уровень 3

Поведение

Третий уровень измеряет изменения в поведении участников после обучения — иными словами, достигнуты цели курса или нет. Например, если в компании проводили тренинг по вежливому общению с клиентами, нужно проверить, используют ли специалисты новые коммуникативные навыки в работе.

В оценке на этом уровне важны два фактора. Во-первых, результаты должны быть чётко измеримы и прописаны — например, с помощью чек-листов. Так можно отследить, реально ли состоялся перенос знаний в практику. Во-вторых, важно привлекать к оценке руководителей — это позволит посмотреть на изменения системно (они не происходят за день) и получить более полные данные.

Читайте также:

Как сделать корпоративное обучение системным и увязать с бизнес-метриками

Уровень 4

Результат

На уровне «Результат» проводят анализ данных, чтобы определить, какие конкретные изменения есть в производительности, качестве работы или других ключевых показателях. Такая оценка помогает выявить конкретное значение и эффективность программы обучения для компании.

Измерить что-либо без ожидаемых бизнес-результатов предсказуемо будет как минимум сложно. Поэтому ожидания заказчика важно сформулировать ещё до разработки программы, чтобы подобрать релевантные способы их достижения через обучение.

Читайте также:

Как оценить эффективность обучения без цифр: 7 альтернативных метрик

Как внедрить модель Киркпатрика на практике

Перенос модели Киркпатрика в реальную практику, конечно, сопряжён со множеством сложностей. Вот несколько советов, которые помогут избежать большинства из них.

Совет 1

Определите бизнес-цели и цели для уровней оценки

Модель Киркпатрика ставит перед L&D-отделами неочевидную проблему: не все проблемы можно реально решить с помощью обучения сотрудников. Например, заказчик уверен, что специалисты по продажам из-за интенсивности работы быстро выгорают, поэтому часто увольняются и приносят мало выручки. И кажется, будто курс по борьбе с выгоранием и обучению техникам самоподдержки должен помочь. Но если копнуть поглубже, то окажется, что причина текучки, выгорания и, как следствие, низкой выручки — завышенные ожидания начальства, невыполнимые планы и нежелание руководства что-либо менять. Даже самый полезный курс это никак не решит.

Когда вы убедились, что программа или курс действительно могут поправить положение и принести пользу, можно определять целевые значения для каждого уровня оценки в модели Киркпатрика. В таком случае обучение будет привязано к бизнес-процессам и сфокусировано на конкретных показателях.

Таблица ниже иллюстрирует, как это может выглядеть, на примере обучения специалистов по продажам.

Важно помнить, что результаты замеряют для всех уровней модели. Распространённая ошибка — замерять их лишь для первых двух уровней, тогда вы получите однобокую картину, а влияние обучения на бизнес-результат будет обесценено.

Эту ошибку допускают не первый год и даже не первое десятилетие. Вот что говорил об этом Дональд Киркпатрик: «Многие компании всё ещё проводят оценку лишь на уровне один и два, но тренд в том, чтобы люди поднялись на уровень три и четыре, иначе обучение того просто не стоит. Топ-менеджмент, мы их называем „жюри“, не одобрит бюджет, пока вы не докажете, что люди, вернувшиеся к работе, будут использовать то, что они выучили, и достигнут желаемых результатов».

Читайте также:

Как проектировать корпоративные программы обучения: задачи методиста

Совет 2

Продумайте систему и время сбора обратной связи

Лучше всего автоматизировать сбор откликов — это удобнее и для вас, и для тех, кто проходит обучение. Кроме того, желательно отводить на обратную связь время в конце тренинга или вебинара: так вероятность того, что сотрудники не забудут её оставить, значительно больше. В идеале нужно дать возможность сделать это анонимно, чтобы отзывы были честными.

При этом важно помнить, что, хотя уровни модели «надстраиваются» один на другой, между ними нет чёткой зависимости. Так, высокие показатели не гарантируют изменения в поведении — может, это просто тренер харизматичный и на вебинаре было весело. Или, наоборот, оценки CSAT низкие, программа сложная и насыщенная, а изменения появились очень быстро. Чтобы не ломать голову над полученными данными, важно добавить поле для комментариев в форму обратной связи: так вы выявите невалидные оценки.

Проводить же оценку стоит не только после завершения обучения, но и до его начала — это тоже лучше учесть заранее. Если показатели не улучшаются, то это будет поводом провести аудит образовательной программы и доработать её.

Совет 3

Используйте разнообразные методы сбора данных

При оценивании по модели Киркпатрика важно задействовать разные инструменты: опросники, тестирование, интервью, наблюдение. Чем они разнообразнее, тем более объективные и полные данные вы получите. Например, NPS и CSAT можно автоматизировать или собрать с помощью анкет, а затем объединить данные в диаграмме. А бизнес-результаты можно оценить вместе с руководителями: они могут помочь собрать информацию, поделиться своими метриками.

Стоит добавить, что руководителей вообще важно привлекать к процессу оценки — это поможет избежать типичной проблемы с оцениванием изменений в поведении и достижения бизнес-результатов. Но и о сотрудниках забывать не стоит: анализируя свои результаты, они будут принимать на себя ответственность за них и понимать, есть ли после учёбы прогресс.