Что, если предложить студентам взаимно редактировать письменные работы друг друга?

Для студентов формирующая обратная связь, которая выражается не в отметках (баллах), а показывает зоны для роста (над чем следует поработать) и мотивирует совершенствовать свои навыки, — полезный инструмент в обучении. Конечно, он работает только при условии, что фидбэк даётся не по принципу «как получится», а развёрнуто, корректно и вовремя. Но в этом и кроется главная сложность для преподавателя: чтобы уделить внимание каждому студенту и оперативно дать ему качественную обратную связь, нужно много времени, и ситуация затрудняется, если студентов в группе или потоке очень много.

Альтернативным источником обратной связи могут послужить сами студенты, если будут давать фидбэк друг другу. Этот вариант применяется при подходе peer-to-peer, то есть взаимного обучения «равный равному». Но тут кроется та же самая сложность: чтобы это было полезным, обратная связь должна быть действительно содержательной. Проще говоря, нужно уметь её давать. А также — получать.

Как это работает на практике, показали результаты двух исследований, проведённых стажёрами-исследователями Международной лаборатории оценки практик и инноваций в образовании Института образования НИУ ВШЭ Галиной Шульгиной и Чжан Хань. Оба исследования проведены среди магистрантов Корейского института передовых технологий, которые проходили курс академического письма (на разных потоках). Исследование Чжан Хань опубликовано как диссертационное, исследование Галины Шульгиной ещё ждёт публикации, и о его результатах она рассказала на XV Международной конференции исследователей высшего образования (конференции ИВО).

В обоих исследованиях рассматривалось, как обратная связь, полученная от однокурсников, связана с успеваемостью. Конкретно — с качеством академического текста.

Как проходили исследования

Вид обратной связи, который изучали исследователи, называется взаимным редактированием. Оно бывает двух разновидностей: когда студент непосредственно вносит правки в текст однокурсника, добавляя и удаляя слова, и когда студент оставляет на полях свои комментарии с предложениями, как можно улучшить работу. Этот процесс происходил в «Google Документах» — с помощью режима предложения правок (в нём все изменения в тексте выделяются цветом, и автор документа может их принять или отклонить) и функции комментирования.

По словам исследователей, эта практика опирается на теорию социокультурного обучения Льва Выготского — она предполагает, что учащиеся повышают уровень навыка от актуального до желаемого, взаимодействуя с другими людьми, получая их помощь и поддержку. Также взаимное редактирование рассматривается с точки зрения теории совместного обучения с компьютерной поддержкой (англ. computer-supported collaborative learning) — так как студенты давали и получали обратную связь в онлайн-среде, с применением цифрового инструмента.

В эксперименте Галины Шульгиной приняли участие 187 магистрантов, обучавшихся на разных программах в области STEM (электротехника и электроника, искусственный интеллект, биоинженерия и другие), которые проходили курс по академическому письму на английском языке. По итогам этого курса каждый студент должен был подготовить статью по своему научному исследованию. Участниками эксперимента Чжан Хань, которое проходило на том же курсе, но на другом потоке, стали 239 магистрантов, тоже обучавшихся на STEM-программах.

Исследования проходили по схожей методологии. Курс длительностью 12 недель состоял из шести двухнедельных блоков. Первый блок был вводным, после чего каждые две недели студенты посвящали подготовке одного из компонентов научной статьи: введению, методологии, результатам, выводам и аннотации. На первой неделе блока студенты смотрели видеолекции о структуре и особенностях того или иного компонента статьи. После этого они посещали онлайн-занятие, где задавали преподавателю возникшие вопросы и выполняли практические задания, чтобы закрепить материал из видеолекций. В течение этой же недели студенты писали черновик текста, который предварительно оценивал преподаватель.

На второй неделе студенты слушали следующий блок видеолекций — о стилистике научного текста и стандартах, принятых в академическом сообществе. Затем студенты присоединялись к онлайн-семинару, где преподаватель отвечал на вопросы по содержанию видеолекций и написанию черновиков. После этого студентов делили на пары для взаимного редактирования. Каждый брал в работу черновик своего напарника, оставлял комментарии и правки, чтобы помочь автору улучшить статью.

Когда студенты получали от однокурсников отредактированные версии своих текстов, им давали ещё несколько дней, чтобы проанализировать правки и комментарии напарников и, если посчитают нужным, включить их предложения в текст. Затем студенты сдавали финальные версии текстов на проверку преподавателю. Таким образом, закончив, например, с введением, во время следующего двухнедельного блока студенты переходили к описанию методологии — и так до конца курса.

Кроме того, на самой первой неделе курса каждый студент составил проект исследования. Чжан Хань приняла оценки за этот текст как базовые, чтобы сравнить их с оценками за тексты-аннотации (их студенты писали на последней неделе курса) и выяснить, как взаимное редактирование подействовало на успеваемость долгосрочно — на качество текстов, написанных в конце курса.

Таким образом, после пяти циклов взаимного редактирования и преподавательской оценки студенческих работ исследователи получили данные для дальнейшего анализа.

Чжан Хань рассмотрела, как количество полученных студентом комментариев и правок (добавленных и удалённых слов в документах) связано с краткосрочной успеваемостью (оценками за конкретные тексты в течение курса) и долгосрочным улучшением письменных навыков, то есть оценками студентов за финальный текст курса.

Галина Шульгина изучила, как количество и содержание полученных комментариев связаны с качеством текстов (в краткосрочной перспективе). Кроме того, она рассмотрела связь между количеством полученных комментариев и количеством внедрённых в текст изменений, а также — как учёт замечаний от однокурсников связан с качеством текста.

Читайте также:

Как давать формирующую обратную связь в онлайн-курсе: 6 важных принципов

Как взаимное комментирование связано с качеством письменных работ

Выяснилось, что связь между комментариями и качеством текста различается в долгосрочной и краткосрочной перспективе. Кроме того, важным оказалось и то, сколько из полученных от напарника предложений студент внедрил в текст, а также — содержание этих комментариев. Кратко назовём основные результаты, к которым пришли исследователи:

• Количество полученных комментариев практически не связано с качеством текущего черновика — то есть с краткосрочными результатами. Галина Шульгина обнаружила положительную связь, но очень небольшую, Чжан Хань никакого влияния не выявила.
• Большое количество внесённых по комментариям исправлений не повышало, а снижало качество текста. Проще говоря, как выяснила Галина, если студент исправлял в своей работе почти всё, что ему посоветовал напарник, это не приводило к хорошему результату.
• Чем больше студенты получали комментариев, которые указывали на проблемы в тексте (а не просто хвалили автора или содержали другие формулировки его же идей), тем ниже было качество итоговых статей.
• При этом обнаружилось, что именно внедрение комментариев с указанием на проблемы помогает улучшить текст.

Как это объяснить? Похоже, студентам может быть трудно как давать качественную обратную связь по чужому тексту, так и эффективно использовать полученную обратную связь, чтобы улучшить свой текст. Опишем предположения исследователей, в чём это выражалось:

• Не все студенты способны тщательно проанализировать большое количество фидбэка и использовать его как ресурс для улучшения своей статьи.

Для хорошего результата важно внимательно проанализировать каждый комментарий и учесть только действительно полезные исправления. Но если комментариев к одной статье набирается очень много, то студенты, похоже, склонны выбирать наиболее лёгкий путь и вносить только простые правки, не исправляя при этом серьёзные проблемы, например, связанные со структурой текста. Также свою роль могут играть личностные и культурные особенности. Кто-то может считать, что у однокурсников недостаточно знаний и навыков, чтобы критиковать чужие работы, и поэтому к комментариям партнёра относится не так внимательно, как, например, к фидбэку от преподавателя.

• Если текст изначально слабый, то студенты, давая обратную связь его автору, в первую очередь отмечают мелкие недочёты, бросающиеся в глаза.

А вот значительные недостатки текста они при этом могут упускать из виду.

Авторы работ, в свою очередь, исправляют то, на что однокурсники указывают чаще (и, соответственно, что легче исправить). Но всерьёз качество статьи такой подход не улучшает.

• К слабому тексту со множеством ошибок чаще оставляют комментарии именно про проблемы, чем хвалят автора или суммируют/перефразируют написанное.

Получив слишком много критических замечаний, автор текста может отреагировать на это негативно и попросту не захотеть подробно их анализировать, чтобы переработать статью. Неудачная формулировка комментариев может усугублять ситуацию — если рецензент только указал на проблему, но не предложил способ исправления или вообще непонятно, что он имел в виду, то улучшению текста это вряд ли поспособствует.

Также исследование Чжан Хань показало, что, хотя большое количество полученных комментариев не улучшало качество текущего черновика, оно при этом повышало оценку за финальный текст курса. По словам исследователя, это говорит о том, что количество полученных комментариев улучшает навыки студента в долгосрочной перспективе. То есть, даже если студент по каким-то причинам не улучшил текст по комментариям партнёра, он, скорее всего, не допустит те же ошибки в будущих работах. Развивать навык помогает и комментирование работ однокурсников: регулярно оценивая чужие тексты, студенты крепче усваивают академические стандарты, а замеченные недочёты позволяют учиться на чужих ошибках.

Как с качеством текста связано количество внесённых и удалённых слов

С исправлениями, внесёнными непосредственно в текст, динамика противоположная:

• Чем больше правок вносят студенты-редакторы в черновик, тем лучше итоговая версия конкретного текста. Это касается самых разных вмешательств — от исправления орфографических ошибок до реорганизации текста на уровне предложений и абзацев.
• При этом количество полученных правок не улучшает навык написания текста в долгосрочном периоде — напомним, его оценивали, сравнивая отметки за самый первый и за последний тексты курса. По словам Чжан Хань, это может говорить о том, что, хотя благодаря правкам от однокурсников студенты видят слабые места своих текстов, качество следующих работ всё же больше зависит от собственных компетенций студента, от его владения английским языком и академическим стилем.

Любопытно, что из всех правок полезнее всего оказалось удаление слов. Возможно, работает это так: студент-редактор видит фрагмент, в котором сразу несколько ошибок, и предлагает его совсем удалить, от чего текст выигрывает. При этом, как полагает исследовательница, студенты воспринимают удаление однокурсником текстовых фрагментов скорее положительно — как корректировку в соответствии с авторским замыслом.

А вот добавление фрагментов текста, наоборот, зачастую ощущается как вмешательство в замысел, поэтому такие правки студенты принимают с меньшей охотой, даже если они могут улучшить работу. К тому же добавленный новый текст требует от автора черновика больших усилий для анализа, чем удалённый текст. Это тоже снижает вероятность, что правки с добавлением текста будут приняты.

Резюмировать результаты исследований с практикой взаимного редактирования можно так:

• Студентам полезно получать от однокурсников правки и комментарии, а также самим комментировать и править чужие работы. Полученные комментарии помогают развивать навык академического письма, а исправления непосредственно улучшают качество текстов.
• Важно, чтобы студенты, оставляя комментарии, умели формулировать их корректно и чётко, указывая на серьёзные проблемы в тексте (а не только на поверхностные недочёты) и предлагая способы их исправить.
• И конечно, студентам нужно уметь работать с полученной обратной связью. Качественнее всего оказываются работы у тех, кто внимательно анализирует фидбэк и вносит те комментарии и правки, которые действительно улучшают текст.
• Чтобы студенты получили полезный эффект, преподавателю стоит их сначала как следует проинструктировать (лучше — с наглядными примерами) на тему того, как формулировать полезные комментарии, а также — как работать с полученными предложениями и правками.