«У нас мало доказательного подхода в ежедневной работе учителя»

Татьяна Хавенсон

Кандидат наук об образовании. Директор департамента образовательных программ Института образования Высшей школы экономики. Научный руководитель магистерской программы «Доказательное развитие образования».

---

Фото: личный архив Татьяны Хавенсон

• Что такое «доказательное образование» и почему исследований по методикам обучения очень мало
• Как доказательный подход используется в образовательной политике и почему нет удачных примеров прямого копирования реформ из страны в страну
• Почему в некоторых странах доказательный подход приживается лучше, чем в других
• Можно ли в образовании хоть что-нибудь доказать окончательно: «Вот этот подход точно работает, а этот нет»
• Какие примеры изменения образования на основе доказательного подхода известны в мире

Доказательное образование — это как?

— Что такое «доказательное образование»? Можно его назвать управленческим или педагогическим подходом — или это общий принцип развития образовательной системы?

— Доказательный подход появился в разных областях, прежде чем добрался до образования. Его суть в том, что предпочтение нужно отдавать решениям, основанным на результатах исследований. Пожалуй, да, это общий принцип развития.

Мы хорошо видим, что медицина стала более доказательной: в ней борьба между ориентацией на опыт и строгим исследовательским обоснованием прошла несколько десятилетий назад. Хотя в России мы ещё сталкиваемся с тем, что тот или иной препарат или метод лечения считается правильным, потому что его рекомендует влиятельный профессор, но в большинстве развитых западных стран такого уже не встретишь: любой профессор, если он практикующий медик, опирается на исследования, и выбор методов лечения гораздо сильнее запротоколирован.

— А когда в образовании появился этот подход?

— Если говорить об истории исследований, они начались примерно после Второй мировой войны. Но проблема в том, что доказательный подход в образовании — совсем не то же, что в медицине или других сферах.

В образовании практически невозможны экспериментальные исследования: мы же не можем случайным образом приписывать детей к разным программам и учителям и смотреть на результаты через значительный промежуток времени. Большинство экспериментов в образовании упираются в этику на первом же шаге.

В целом в образовании преобладают не экспериментальные, а корреляционные исследования. Они не показывают, что такая-то методика является причиной более высоких или более низких результатов, но фиксируют, что есть устойчивая связь. Хороший пример — связь между наличием высшего образования у родителей и более высокими образовательными результатами детей.

Людей с высшим образованием больше в городах, где также больше образовательных возможностей, — и так далее. То есть причины в более конкретных вещах, но напрямую экспериментально они неизмеримы без этических сложностей. Мы можем судить о них только косвенно.

— К чему это ведёт на практике?

— К тому, что исследований по методикам обучения в широком смысле очень мало. Эксперименты есть, но их результаты очень узкие.

Эти валидности входят в противоречие друг с другом. Чтобы провести хорошее с точки зрения внутренней валидности экспериментальное исследование, нужно зафиксировать все параметры ситуации. Но когда мы их фиксируем, исследование становится очень узким: его результаты будут релевантны только ситуациям с аналогичными параметрами.

Например, есть экспериментальные исследования, которые показали вполне чёткий эффект: если родителей вовлекают в учёбу детей через серии СМС-сообщений, успеваемость улучшается. Но результаты этих исследований ничего не говорят о том, будет ли такой же эффект наблюдаться в другой стране, с детьми другого возраста, с родителями из других социальных групп.

Это противоречие между внутренней и внешней валидностью и ограничивает массовую доказательность в образовании, делает её в полной мере невозможной. Хотя большое количество единичных корреляционных исследований суммируется в метаанализы. И их результаты обладают высокой валидностью.

— Как именно доказательный подход используется в образовательной политике?

— Во-первых, для понимания контекста, в котором проводятся любые реформы, хоть большие, хоть маленькие. Новые образовательные практики и подходы плохо копируются из страны в страну, потому что образование очень культурно обусловлено и связано с контекстом. И нужно выявить общие черты, чтобы обосновать, что практика, которая была реализована в одной стране, приживётся и в следующей.

Во-вторых, любой реформе нужны, кроме основной цели, и промежуточные. Нужно простроить путь, как мы из той точки, где сейчас находимся, придём к тому, чего мы хотим. То есть необходимо наметить нужные шаги, оценить их с точки зрения реализуемости и спрогнозировать, к чему они могут привести.

— Получается, доказательный подход помогает убедить педагогов, родителей, учеников в том, что реформы нужны и возможны?

— Часто встречается мнение, что доказательная политика нужна, чтобы быть более убедительными.

Например, представим, что директор школы хочет внедрить какое-то изменение — допустим, открыть профильный класс. Если он просто скажет: «Мы сейчас сделаем так, и всем будет счастье», — это будет опора только на авторитет директора. А если он выступит с обоснованием, расскажет, за счёт каких ресурсов и шагов можно прийти к изменениям, то сможет убедить других людей — стейкхолдеров, учительское школьное сообщество, учеников, родителей или вышестоящие организации.

Когда нужен доказательный подход

— Доказательное образование — это всегда про разработку и проверку инноваций или классические дидактические подходы тоже теперь подвергаются сомнению?

— Если никто никогда не проверял эффективность старого решения, мы его проверяем как новое.

— Абсолютно любое решение нуждается в проверке?

— Конечно, есть решения настолько ежедневные, что не надо задумываться, надо делать — всё уже известно. Бывают и перегибы с доказательностью.

Ещё возможна ситуация, когда неважно, как принимается решение, — если у вас безграничное количество ресурсов и никто не пострадает от того, что вы ошибётесь.

Но если говорить об обычной ситуации, о школе, то можно сказать, что директору необходим доказательный подход, когда перед ним стоит задача защитить стратегию перед стейкхолдерами и получить статус или грант. Но и в том случае, когда нужно открыть дополнительные кружки или профильные классы, он может принять решение не только на основе собственного опыта, а ещё и подтянув дополнительную информацию для обоснования.

— Где ему собрать эту информацию?

— Хорошо бы собрать вместе четыре составляющие.

Первое — научные данные. Необязательно самим проводить эмпирические исследования, по многим темам можно найти публикации. Например, мы хотим внедрить в вузе модель проектного обучения CDIO, которая какое-то время гремела в образовании инженеров на Западе. Надо подумать и посмотреть, кто её уже внедрял, кто уже провёл исследование на эту тему, что об этом публиковали.

В случае разработки крупномасштабных программ на уровне страны часто проводятся собственные научные исследования. Вузы тоже могут себе это позволить, школы — редко. Но они могут смотреть, что уже сделано. На уровне школьного образования это международные сравнительные исследования — просто кладезь информации.

Вторая составляющая — данные, доступные из опыта. Нельзя сбрасывать со счетов, что у любой управленческой команды есть опыт предыдущих изменений и работы.

Третье — ценности и практика организации или стейкхолдеров. Решение принимается не в вакууме и не для вакуума. Любая организация имеет багаж, и даже если есть желание его изменить, не надо полностью игнорировать всё накопленное. Скорее всего, это приведёт к полному краху. Поэтому при принятии решения учитываются ценности и сложившаяся рутина.

Четвёртая составляющая — данные, доступные внутри организации, то, что сейчас любят называть «образовательная аналитика» или «учебная аналитика». В школах очень много данных — это всё полезные данные для принятия решений. На сайтах школ и вузов лежат отчёты, но, к сожалению, они воспринимаются ими как набор цифр, нужный не им, а вышестоящим органам. Они, как правило, сидят на этих данных, но не пользуются ими.

— А в большом масштабе, на уровне целых стран, эти четыре составляющие тоже учитываются?

— Да, это универсальная схема. Если идёт большая реформа, тем более надо посмотреть, что известно из науки, и учесть уже не просто ценности и опыт организации, а страновую специфику.

В истории нет удачных примеров прямого копирования реформ из страны в страну. Есть внутристрановые примеры, когда один регион идёт следом за другим. А между странами слишком различаются культурные особенности. Это разные рынки труда, разная встроенность системы образования в социальную сферу, разная экономика. Но всё равно, когда внедряется реформа, тем более крупная, хорошо бы посмотреть, кто уже так делал.

— Тот факт, что для принятия решения так важны ценности и опыт организации, рутина — особенность образования? Или так во всех сферах?

— Это в той или иной мере важно во всех сферах, где применяется доказательный подход. Когда это касается сугубо медицинских проблем, наверное, люди плюс-минус одинаковы с биологической точки зрения. Хотя в разных странах по-разному строится лечение, и то, что реализуется в одной стране, не всегда копируется в другой.

Так, мы видели на примере эпидемии ковида, что, скорее всего, схемы лечения, разработанные в одной стране, будут работать и в другой. Другое дело, что они будут по-разному внедряться, — например, разным было доверие к вакцинации. Ценности сыграли свою роль.

Как приживается доказательный подход

— Если движение за доказательное образование — сравнительно недавняя тенденция, то на чём, если не на доказательствах, обычно основываются решения в образовании — на традициях?

— У нас чаще всего опора идёт на опыт и на ценности, а другие данные игнорируются. Хотя Россия до недавнего времени была одной из немногих стран, кто регулярно принимал участие почти во всех международных исследованиях. Таких стран в мире единицы.

Есть, конечно, примеры стран с более доказательной образовательной политикой. Прежде всего это англосаксонские страны — Великобритания, США, Канада, Австралия и западноевропейские и Скандинавские страны. Там гораздо больше распространён заказ на исследования со стороны государственных структур, принято анализировать эффективность внедрённых реформ.

— Как вы считаете, почему в некоторых странах доказательный подход приживается лучше?

— В странах, о которых я говорила, потребность в доказательной образовательной политике возникла в связи с большой подотчётностью чиновников и электорату, и начальникам. Каждый шаг, каждый потраченный фунт или доллар нужно обосновать. Это продвигает и научные исследования.

Когда в Институте образования запускалась магистерская программа по психометрике, у нас вёл занятия один американский эксперт в области экзаменов с высокими ставками. Мне очень запомнился его рассказ о том, как психометрику экзаменов, разработку вопросов для их экзаменов SAT и ACT и подходы к измерению сильно подтолкнула в развитии судебная система.

С доказательным подходом то же самое. Чтобы исследования проводились, важна подотчётность, когда ты отвечаешь за свои решения. Например, чтобы доказать, что сейчас надо выделить деньги на разворачивание электронных дневников, нужно иметь данные о том, какие проблемы это решит, какому количеству детей поможет, насколько разгрузит учителя.

Какие исследования можно считать доказательными

— В медицинской журналистике любят повторять иерархию доказательств. В самом низу пирамиды — частные мнения врачей, а на вершине — метаанализы. В исследованиях образования есть аналогичная иерархия?

— В образовании действует та же самая схема, где на верхушке иерархии — метаанализы экспериментальных исследований. Другое дело, что в образовании почти невозможны эксперименты. И метаанализы у нас обобщают результаты корреляционных исследований, которые не подразумевают эксперимента.

Получается, что в образовании шкала доказательств заужена. Было бы здорово, если бы мнение эксперта ценилось у нас меньше, как в развитых медицинских системах.

— Выходит, «обоснованное решение» — многозначный термин?

— Можно обосновывать свои решения с разных точек зрения. Мы тут обсуждали с коллегами пул исследований про дистанционное образование.

Допустим, мы выясним в результате таких исследований, что дистант — лучший выбор для качества образовательного результата. Или что он позволяет получать результат не хуже, чем офлайн, но с меньшими затратами. Выходит, надо внедрять дистант. Но что скажет социальная система регионов, если вузы перевести на дистант и отправить сотрудников на улицу? Она обрушится, и игнорировать это при разработке доказательной политики нельзя.

Обоснованное решение на то и обоснованное, что мы должны показать всю доказательную базу и учесть многие факторы. Это многозначный термин в хорошем смысле.

— Получается, в образовании ничего нельзя доказать окончательно? Любой вывод из научного исследования применяется в конкретном контексте, и некорректно говорить: «Этот подход всегда правильный, это точно работает»?

— Да, в образовании это так, и это не хорошо и не плохо. Сейчас многие надеются, что методы естественных наук, нейронауки скажут про образование что-то новое, что мы сможем найти доказательства в более универсальных биологических процессах. Движение в этом направлении есть, и это хорошая новость.

Если мы имеем на старте двух детей с хорошими музыкальными или математическими способностями, но один будет что-то делать, а другой нет, они не придут к одинаковым образовательным результатам. Более того, если мы генетически менее склонного к музыке, но трудолюбивого ребёнка поставим в такие условия, что он будет очень много заниматься, он обойдёт того, у кого были лучше задатки на старте.

— Какие выводы из этого делает доказательное образование?

— Государствам выгодно бороться с социальным неравенством. Способные дети рождаются во всех семьях. Но детям, которые родились в семьях, где образование ценится и где есть возможности его получать, значительно проще реализовать свой потенциал, чем тем, кто рождён в бедных и необразованных семьях.

Так как государство в целом заинтересовано в максимальной отдаче от человеческого потенциала, ему выгодно так строить образовательную систему, чтобы все дети, входящие в неё, реализовали свой потенциал. Ни одной стране это пока не удалось. Но минимизировать, сократить эту разницу удаётся многим.

— За счёт чего это удаётся? Какие примеры изменения образования на основе доказательного подхода известны в мире?

— Одним из известных толчков в развитии доказательного образования было исследование Джеймса Коулмана в шестидесятых годах в США. Коулмана называют отцом образовательного неравенства — он одним из первых показал, что образовательные результаты ребёнка зависят не от школы, а от семьи. Окончишь ли ты школу и пойдёшь ли в вуз, зависит не от того, что творится в твоей школе, а от того, есть ли высшее образование у твоих родителей.

В своё время это исследование потрясло американцев, и в результате они сильно реформировали всю образовательную систему — более или менее удачно. Одним из больших проектов, например, был No Child Left Behind. Это притча во языцех — формой реализации этого проекта было постоянное тестирование детей на образовательные результаты. Выросло целое поколение школьников, затестированных дальше некуда. Но с другой стороны, это дало понимание происходящего в школах, их подотчётность, обоснованное финансирование и так далее.

PISA — исследование ОЭСР, более раскрученное, чем TIMSS и PIRLS. И в отличие от них, оно с самого начала планировалось не столько для исследовательских целей, сколько в интересах образовательной политики. И с его заданиями у многих возникали проблемы.

Например, наши дети за школьную жизнь привыкают, что в задаче в учебнике нет ничего лишнего. Что тебе дано в условии, то и нужно использовать в решении. Задачи PISA часто сформулированы таким образом, что из них ещё надо отобрать то, что использовать для решения. И многие страны — Финляндия, Эстония, да и Россия — стали менять содержание образования, ориентируясь на те показатели, которые измеряет PISA.

— А есть ли примеры решений, которые были приняты в России с учётом научных исследований в последние годы?

— Можно привести пример интересного проекта социального воздействия в одном из улусов в Якутии, где мы три года реализовывали программу развития и повышения образовательных результатов детей. Сейчас готовится похожий проект, но не по повышению образовательных результатов, а по более осознанному выбору образовательных траекторий, на Камчатке. Тут, по крайней мере, на региональном или муниципальном уровне разрабатывались конкретные решения и были получены конкретные результаты.

— Какие направления и темы исследований образования в России сейчас недоисследованы, отстают?

— Отстаёт вся область, которая у нас традиционно называется педагогикой. У нас мало доказательного подхода в ежедневной работе учителя. Исследований тьма, но они все очень слабые. Мы копируем старые модели без опоры на новую реальность.

Вопрос с образовательным неравенством отчасти недоисследован, потому что до сих пор не осознаётся государством как настолько важный, чтобы предпринимать крупные шаги. Исследования на эту тему накапливаются, и их можно было бы конвертировать в практику, но этого во многом не происходит.

В случае высшего образования — вся история с методикой и с организацией обучения.

Плюс вся повестка про специалитет, магистратуру, бакалавриат — мы около года назад начали линейку исследований магистратуры, этот уровень до сих пор сильно недоизучен.

И в теме с индивидуальными траекториями пока нет серьёзного научного осмысления. Крупномасштабные исследования показывают, что у 80% бакалавров и у 70% магистров никакого выбора нет — мы везде говорим про индивидуализацию, но подавляющее большинство наших студентов в глаза не видели даже курсы по выбору.

Почему доказательности нужно учиться

— Всегда ли поиск доказательности в образовании — благо? Какие проблемы этого подхода и ошибки в его применении можно назвать?

— В Великобритании есть почти анекдот: когда был введён закон, что ни одно решение нельзя принять без эмпирического обоснования, огромные бюджеты стали тратить на одни и те же исследования. То есть в очередном регионе разворачивалась программа по обеспечению детей питанием, и в очередной раз проводили исследование, что, если детей кормить, они будут лучше учиться. Но очевидно, что если соседняя земля реализовала эту реформу и уже провела исследование, скорее всего, на эти результаты можно ориентироваться. Закон в итоге пришлось переформулировать.

Распространённая ошибка — опора на некачественные исследования или подмена исследования экспертным мнением. Другая проблема — что включать в доказательную базу. Ведь ценности тоже могут быть её частью, только на научные результаты ориентироваться нельзя.

Бытовой пример: директор школы решил открыть профильные десятые классы по экономике и медицине, а подрастающий девятый класс хочет журналистику и химбио. То есть интересы школьников игнорируют, и это неправильно, хотя у директора могла быть своя доказательная база для этого решения — например, наличие учителей.

— Как в опыте других стран, которые уже давно внедряют доказательный подход в образовании, борются с ошибками?

— Развитие доказательного образования в западных странах повлекло за собой формирование целой инфраструктуры того, как практики могут пользоваться результатами исследований. Это университетские партнёрства, которые готовят для чиновников выжимки из последних исследований, так называемые дайджесты, и гайды про то, как читать, как заказывать, как оценивать исследования. Этому действительно нужно учиться.

В случае стран, где доказательный подход — уже рутина, на исследования всегда заложен бюджет. Почему во многих странах чиновникам требуется степень PhD? Не для того, чтобы они прошли через это и как-нибудь защитились, а потому что для принятия решений нужны люди с поставленным исследовательским мышлением. Люди, которые органически не смогут принять серьёзное решение, не учитывая, что по этому поводу известно в науке.

— Институт образования ВШЭ видит свою задачу в том, чтобы выстраивать такую инфраструктуру в России?

— Мы сейчас точно один из немногих центров, где накапливается исследовательская база по образованию. Ещё можно назвать Российскую академию образования, ряд вузов. Но Инобр — самый масштабный такой центр, потому что мы в большей степени не образовательная организация, а научно-экспертная.