Что такое COR
COR — одна из самых популярных метрик в онлайн-образовании, которая пришла из маркетинга. COR, или индекс доходимости, показывает, какой процент студентов дошел до финала обучения.
Два самых популярных вопроса в онлайн-обучении: какой COR считать оптимальным? и как повысить доходимость студентов?
Принято считать, что чем выше COR, тем лучше сработал наш курс: больше студентов получают запланированный результат от обучения, оставляют положительные отзывы, становятся адвокатами бренда, совершают повторные покупки. Но на самом деле, на мой взгляд, не все так линейно.
1) COR зависит от того, как мы считаем этот показатель в конкретном курсе. Что должен сделать студент, чтобы попасть в число завершивших обучение?
Здесь возможны вариации на тему минимального количества сданных домашних заданий/ проходного балла по тесту или тестам/наличию финальной работы.
А теперь представьте, что чтобы получить диплом, выпускники должны решить финальный тест. Мы определяем проходной балл по тесту 80 баллов из 100 возможных. И получаем COR 50% — то есть половина выпускников справились с заданием.
Но если мы снизим проходной балл по тесту до 60 баллов, COR «взлетит» уже до 75%. Работает и наоборот.
Некоторое время назад в EdMarket допуск к диплому получали студенты, сдавшие 50% домашних заданий. Но мы увидели, что в этом случае допуск получают совсем слабенькие студенты, что усложняет дальнейшее трудоустройство, да и в целом влияет на репутацию выпускников и проекта. Так минимум сданных заданий вырос до 70%, и это снизило показатель COR.
Вскоре мы ввели кураторов групп (вместо чатов по курсам, общих для нескольких потоков) и стали активно следить за промежуточным COR. Наш показатель вернулся к прежнему значению около 50% (в последние два года он колеблется в промежутке от 48% до 53%).
Это очень грубая температура по больнице, когда вы смотрите на средний показатель доходимости по курсам проекта, где есть линейка учебных программ на разную аудиторию. Но это своего рода компас нормы для конкретного проекта. В 2021 наша норма 52-53% по результатам первого полугодия.
2) COR зависит от того, как вы оцениваете промежуточный прогресс студента
Тут речь о качестве проверки дз и строгости автооценки тестов.
Например, если упростить тестовые задания, промежуточные и финальные (количество вопросов, качество тестовых заданий), то их сдаст бОльшее количество студентов, COR поднимется. Если снизить строгость в критериях оценки домашних заданий, то можно более лояльно отнестись к зачету и «зачесть» работы бОльшему количеству студентов. Работает и наоборот.
3) Не все курсы могут похвастаться высоким COR, потому что не у всякого обучения есть измеримый желаемый результат
Наверняка слышали про MOOC и их доходимость от силы до 15%. Про закулисный и никому (вот по-честному) не известный показатель доходимости в онлайн-школах на уровне оптимистичных 25-35%. Про традиционный желаемый для всех отделов корп обучения показатель 80%.
Означает ли что надо стремиться всем к 80%, а то и к 100%?
Высокий COR не обязательно означает хорошо, а низкий — плохо.
Есть курсы, в которых COR вообще не измеряется потому, что нет цели дойти до финала. Есть другие цели, иногда измеримые, иногда — нет.
Порой люди достигают целей обучения, пройдя часть курса (получил пару инсайтов, которые подтолкнули к действиям, пошел действовать, и вот результат).
Вчера видела отзыв от студента в духе: «Простите, что не могу доучиться сейчас. Прошел первый модуль, и у меня такие классные результаты в работе появились, что пока доучиваться некогда, надо работать:) Но я вернусь, честное слово».
А порой, и дойдя до финала, желаемого результата не получают (формально выполнили задания, даже получили документ о завершении, а ничего не изменилось в поведении, никакого целевого действия не было совершено).
Тут есть много вопросов и о целеполагании, и о разделении ответственности между учеником и учителем, и о других способах измерить качество обучения, кроме показателя COR.
Что еще можно заметить?
- В коротких курсах COR может быть выше, чем в долгих. Работать в мотивацией на длительных дистанциях сложнее. Но тут важно понимать, насколько привлекателен результат обучения. Например, если это сертификация, получение ощутимого преимущества и статуса, то и длительные курсы могут быть с хорошей доходимостью.
- В маленьких учебных группах COR может быть выше, чем в больших. Тут нужно заложить ресурс на сопровождение большого количества студентов.
- В группах, где люди сами выбрали себе обучение, можно ожидать более высокий COR, чем в группах, где этим людям обучение "назначили" (компания, родители).
- COR первого набора может быть достаточно высоким в авторских курсах, когда приходит учиться очень лояльная аудитория и сам автор активно погружается и чуть ли не индивидуально работает с каждым учеником. Со второго набора ситуация может резко измениться.
- COR одного-двух наборов на конкретную программу может отличаться от COR в более долгосрочном периоде, когда у нас появляется больше данных для сравнения.
Например, я обратила внимание, что COR первых десяти наборов нашей специальности «Методист онлайн-курсов» был на уровне 65%. Но когда мы ввели отдельные чаты для специальности и подключили кураторов, он вырос до 85% у последующих потоков.
Ну и в целом нужно осознавать, что могут быть погрешности в метриках онлайн-курсов, в частности, в показатели доходимости.
На текущий момент вывод у меня такой: оптимального COR не существует. В конкретном курсе можно установить некий внутренний стандарт качества. Это тот показатель, который вы будете отслеживать в динамике и сравнивать с другими показателями, чтобы ответить на вопрос «У нас все хорошо, или надо что-то поправить?»
