Опрос показал, как в проектах онлайн-образования оценивают качество обучения

Психометрик и научный консультант «Яндекс Практикума» Дмитрий Аббакумов представил первые итоги своего исследования аналитической и психометрической культуры образовательных проектов «М-Чекап». Дмитрий выступил с докладом на двадцать первой Международной научно-практической конференции «Тенденции развития образования: образовательная политика и качество образования» в Шанинке.

Что это за исследование

«М-Чекап» — это регулярный исследовательский и просветительский проект, впервые запустившийся осенью 2024 года. До 21 марта команды образовательных проектов могут присоединиться к очередной его волне. Для этого нужно заполнить на сайте Дмитрия Аббакумова опросник о том, какие данные об обучении в компании собирают, какие метрики качества и достижения образовательных результатов на их основе оценивают и кто именно этим занимается в компании. По итогам каждой волны исследования проводится презентация результатов, на которой эксперт даёт участникам рекомендации по развитию аналитической и психометрической культуры.

В докладе на конференции «Тенденции развития образования» Дмитрий Аббакумов представил обобщённые результаты первых двух волн «М-Чекапа». Данные для них предоставили 47 проектов из сегментов ДПО, детского EdTech (в том числе подготовки к экзаменам) и высшего образования. Информацию о размере выручки участвовавших в исследовании компаний не собирали, но собирали данные о размерах команд — восемь участников сообщили, что в их компании работают свыше 250 человек, а у 28 представленных проектов — менее 100 сотрудников (то есть в основном участвовали небольшие онлайн-проекты).

Как в онлайн-образовании подходят к оценке качества

Ключевой вывод Дмитрия Аббакумова заключается в том, что представители российского EdTech, как правило, знакомы с аналитическими методами, которые позволяют получать достоверные сведения о результатах обучения и о его качестве, но на деле ориентируются не на них, а на субъективные данные. Эти данные в основном получают из обратной связи от учащихся:

• 35 организаций оценивают качество обучения по обратной связи от пользователей. В большинстве случаев это не единственный источник информации, потому что ещё оценивают активность студентов и измеряют поведенческие и психометрические показатели.
• Почти все участники (40) фиксируют образовательные результаты в тестах, итоговых проектах, экзаменах. Но вместе с ними учитывают, опять же, обратную связь (такой вариант отметили 30 участников) или считают образовательным результатом сам факт завершения курса (25 участников назвали такой вариант).
• То, насколько учебный контент труден для студентов, в 20 организациях оценивают по доле учащихся, которые справились с заданием, но второй по популярности вариант — просто по обратной связи от студентов (16 ответов).
• 35 из 47 проектов оценивают, есть ли какой-то эффект у внесенных в курс улучшений, тоже по обратной связи (21 при этом учитывают ещё и активность студентов). А 10 участников отметили, что вообще не отслеживают эффекты вносимых улучшений.

То есть, согласно данным в докладе, многие команды считают свои образовательные продукты качественными только на том основании, что студентам они нравятся. Но с точки зрения мировой практики обратная связь от учащихся — это всего лишь дополнительный источник данных, куда более достоверны объективные показатели.

Почему пока не распространена более серьёзная аналитика

Проблема ещё и в том, что далеко не все опрошенные располагают данными для оценки объективных метрик. Например, 11 организаций вообще не собирают данные о процессе обучения, а большинство фиксирует только начало и конец онлайн-урока. Что именно студенты делают в процессе и насколько они активны, замеряют крайне редко. Для таких задач у компаний зачастую нет специалистов: практически в половине команд нет сотрудников, занятых исключительно обработкой и анализом данных (во второй половине обычно есть аналитик).

Дмитрий Аббакумов считает, что для развития культуры в области работы с данными компании могли бы готовить себе специалистов с нуля (например, в профильных магистратурах)  доучивать имеющихся аналитиков или методистов на курсах либо привлекать внешних консультантов.

Вероятно, проблема со всеми этими стратегиями в том, что создатели образовательных проектов в принципе не всегда заинтересованы в повышении аналитической культуры. От слушательницы конференции прозвучал очень показательный в этом смысле вопрос, ответить на который Дмитрий не успел: сколько продаж компании принесёт работа аналитика или психометрика? Коммерческие отделы зачастую рассуждают именно так: внедрять нужно только те технологии и подходы, которые принесут рост продаж. А если студенты говорят в опросах и отзывах, что им в образовательных продуктах всё нравится, это значит, что курсы будут продаваться, поэтому уходить в дебри сложной аналитики незачем.

Однако в целом на EdTech-рынке России усиливается запрос на качество образовательных продуктов. Выработку соответствующих стандартов руководители крупнейших компаний обозначили как один из главных трендов наступившего года. Такие стандарты, считают лидеры отрасли, должны стать инструментом саморегулирования отрасли. В 2024-м разработку стандарта качества образовательных продуктов начали Skillbox и НИУ ВШЭ, а также эксперты компании OTUS.