6 причин, зачем психометрика нужна в EdTech

Что такое психометрика, знает не каждый продакт-менеджер и даже основатель EdTech-компании — а между тем, это наука, которая необходима этой сфере для качественного анализа данных, считает экс-менеджер по продукту в образовательных проектах «Яндекса» Анна Харламова. Знания психометрики помогли ей в работе над продуктами «Яндекс Учебника».

На встрече с абитуриентами магистерской программы «Обучение и оценивание как наука» Института образования НИУ ВШЭ, которую Анна окончила сама, она назвала шесть продуктовых задач, которые в идеале стоит решать с опорой на психометрику.

Образовательные продукты, как и любые другие IT-продукты, можно описать десятками разных метрик. С точки зрения владельцев бизнеса, ключевые из них, конечно, экономические и маркетинговые — то есть бизнес-метрики. Психометрика же обычно занимается измерением характеристик или способности человека — так при чём здесь продукт?

Дело в том, что для бизнеса такие явления тоже важны, хоть измеряются они и не в деньгах. Спикер объясняет это так: тот факт, что у студентов на EdTech-платформе классные задания и оптимальный уровень сложности, влияет на их удовлетворённость. Она, в свою очередь, определяет, как долго они покупают продукт.

Вот некоторые из задач, в которых аналитику в EdTech, по мнению Анны Харламовой, пригодятся знания психометрики.

1. Измерение удовлетворённости, вовлечённости и других пользовательских метрик

Здесь важно правильно спроектировать опросник. Известно, например, что в оценке любого продукта пользователи обычно выбирают средний балл или вообще игнорируют опрос, если у них нет претензий. Чтобы разобраться, как из этих редких оценок получить действительно информативные данные и в каком виде результаты предъявить коллегам, нужны навыки работы со статистикой и психометрикой в целом.

2. Измерение результатов обучения

Это самая понятная история для образовательных продуктов, такие инструменты измерения нужны всем. Чтобы их создавать, нужны навыки разработки тестовых заданий. А ещё — умение забрифовать программистов так, чтобы результаты решения тестов сохранялись в том виде, в котором их можно будет обрабатывать. Для этого надо понимать, какие статистические методы необходимо использовать в обработке с учётом пропусков и других аномалий, которые возникают во время работы с тестами.

Читайте также:

Разработка учебных тестов: инструкция, как это сделать

3. Диагностика качества контента

Как понять, что у нас в системе для какого-то задания сохранён неправильный ключ — то есть неверный ответ в тесте засчитывается как правильный? Для этого нужно постоянно анализировать результаты учащихся. Это помогает убедиться в том, что каждое задание ведёт себя предсказуемо. В норме должно быть так: с простыми заданиями справляется большинство, а самые сложные правильно решают только самые сильные учащиеся. Если результаты какого-то задания выбиваются из такой картины, это повод его перепроверить.

4. Прогноз учебных неудач студентов

Анализировать ответы на тесты и другие промежуточные результаты важно, чтобы вовремя увидеть, кому из учащихся на платформе требуется помощь. Например, если студент долго не справляется с заданиями, можно предоставить ему ментора.

Чтобы ответить на эти вопросы, надо обладать базовыми знаниями статистического анализа, уметь правильно задавать вопросы, переводить их на язык данных и понимать сложные модели факторного анализа.

Читайте также:

6 признаков идеального студента, который дойдёт до конца онлайн-курса

5. Разработка рекомендательных систем

Как и адаптивные алгоритмы, они позволяют автоматически подбирать для каждого учащегося на платформе следующее задание максимально подходящего ему уровня сложности. Например, в Duolingo человеку предлагается оптимальное количество заданий и оптимальный уровень сложности, чтобы его интерес постоянно сохранялся на высоком уровне.

Чтобы такие системы работали, изначально нужно делать много измерений — знать уровень каждого ученика и уровень сложности всего контента на платформе, понимать, каким образом определяется, что человек освоил умение.

6. Продажа продуктов заказчикам

Если EdTech-платформа работает с B2В-клиентами или госзаказчиками, ей нужно показывать потенциальным покупателям, какой эффект бывает от обучения, и доказывать, что продукт работает. Здесь тоже есть место психометрическим задачам.

При этом психометрика чаще всего необходима не начинающему продукту, а там, где нужно работать с возвращаемостью и повторным опытом студентов. Отличие от стартапа в том, что у зрелого продукта уже собраны данные о пользователях, а значит, есть место для вразумительной учебной аналитики.