Методы интеллектуального анализа данных и образовательной аналитики

Благодарности
Статья содержит результаты исследований, проводимых в рамках государственного задания Ханты-Мансийского автономного округа – Югры.

Введение

Актуальность исследования обусловлена тем, что по теме в контексте интеллектуального анализа образовательных данных в настоящее время больше вопросов, чем конкретных ответов: как это делается, для чего и каким образом мы это можем использовать, какие метрики включать в выборку и как строить прогнозы. Несомненно, в ближайшие годы произойдет переход от обсуждений к практическому внедрению учебной аналитики в образовательные процессы.

Предметом исследования является образовательный процесс. Цель исследования - систематизировать методы интеллектуального анализа образовательных данных в контексте отличия учебной аналитики от педагогической диагностики и других способов сбора данных. Результаты исследования позволят выстроить стратегию обучения и совместить цели обучающей программы с эффективностью образовательного процесса и ожидаемыми результатами со стороны обучающихся. В этой связи автором рассмотрены виды учебной аналитики.

Научная новизна исследования заключается в систематизации сфер исследовательских интересов, связанных с интеллектуальным анализом данных в образовании и учебной аналитикой. Обосновано, что учебная аналитика в совокупности с интеллектуальным анализом образовательных данных дает возможность разработать точные модели, характеризующие поведение обучающихся, их свойства, слабые и сильные места контента и взаимодействия с ним, командную и групповую динамику.

В анализе образовательных данных широко используются два набора методов:

- учебная аналитика (Learning Analytics);

- интеллектуальный анализ образовательных данных (Educational Data Mining, EDM).

Аналитика обучения, или образовательная аналитика — измерение, сбор, анализ и представление данных об обучающихся и образовательной среде с целью понимания особенностей обучения и максимальной его оптимизации.

Интеллектуальный анализ образовательных данных (EDM) — это спектр методов исследования данных и поиска в них скрытых закономерностей, используемых с целью принятия решений в сфере образования. Educational Data Mining включает как типичные для любого Data Mining (интеллектуального анализа данных) методы (кластеризацию, классификацию, регрессию, поиск правил), так и специфичные для сферы образования, например, психометрические модели.

Для генерации и проверки гипотез необходимо определиться с подходящими метриками. Кроме этого, необходимо определиться с тем, какие данные понадобятся, откуда они будут поступать и для каких аналитических целей они будут собираться.

Аналитика обучения вместе с EDM помогает выявить взаимосвязи в комплексных данных и скрытые знания, которые при грамотном подходе помогают улучшить процесс обучения. Основное различие между этими двумя наборами метрик состоит в том, что в образовательной аналитике инсайты и находки генерирует прежде всего специалист-аналитик, в то время как в Educational Data Mining многие инсайты становятся «неожиданным» результатом использования автоматизированных алгоритмов.

Результаты исследования позволят выстроить стратегию обучения и совместить цели обучающей программы с эффективностью образовательного процесса и ожидаемыми результатами со стороны обучающихся.

Практическая и теоретическая значимость исследования заключается в том, что рассмотренные методы позволят оценить текущее состояние обучающей системы или программы, прогнозировать желаемые результаты и составить дорожную карту планируемых изменений. Педагогическим дизайнерам и методистам представленные методы станут фундаментом для оптимизации программы. Обучающиеся благодаря представленным методам получают наиболее релевантный, вовлекающий и осмысленный образовательный опыт.

Методология исследования

Эмпирической основой исследования послужили труды Дэвида Ньеми «Learning Analytics in Education» ^[6], Карл Андерсон «Creating a Data-Driven Organization» ^[9], Дирка Ифентала, Даны-Кристин Ма, Джейн Инь-Ким Яу «Utilizing Learning Analytics to Support Study Success» ^[4], а также исследования Университета 20.35 «Интеллектуальный анализ образовательных данных» ^[8].

В 2000-х годах появилась информационно-технологическая инфраструктура и инструменты, позволяющие обрабатывать и анализировать большие массивы данных (Big Data). Очень быстро эта техническая возможность переросла в социально-экономический феномен, серьезно повлиявший на бизнес, здравоохранение, производство, космическую отрасль, биотехнологии, маркетинг и многие другие сферы жизни, в том числе и образование.

Революционную природу Big Data можно объяснить тремя классическими характеристиками, которые приписываются процессам, связанным с большими данными: это не только объем (Volume), но и скорость (Velocity), а также многообразие (Variety). Под скоростью имеется в виду возможность максимально быстро, почти в режиме реального времени обработать поступающие данные, а под многообразием - источники этих данных, разные по качеству и свойствам ^[15,16].

Что означало появление больших данных для сферы образования? Благодаря появлению обучающих информационных систем и технологий Big Data впервые за историю педагогика получила шанс быстро, непрерывно и в полном объеме регистрировать обширный массив наблюдений за процессом обучения, поведением и успеваемостью обучающихся.

Зазор между выявлением проблемы и ее решением многократно уменьшился; значительно расширились возможности для интерпретации и анализа поступивших сведений. Более того, системы учебной аналитики позволили автоматизировать многие рутинные процессы, определять проблемы на ранних стадиях и действовать превентивно.

Можно выделить несколько категорий данных, которые типично используются в целях учебной аналитики. Приведенный ниже список не исчерпывающий, поскольку список источников данных адаптируется под цели и потребности конкретной организации ^[1,10]:

1. Административные данные - информация о преподавателе, методисте, наличии и опциях поддержки, опыте автора, тематике программы или курса и т. д.

2. Предпочитаемые обучающие медиа или жанры - ретроспективные показатели предпочтительных для обучающегося медиа или жанров в тех случаях, когда выбор был возможен, например, длительность видео, дослушиваемость подкаста, дочитываемость лонгрида и т. д.

3. Взаимодействие с образовательными ресурсами - показатели взаимодействия во время обучения, в том числе манера навигации, ответы на упражнения и тесты, количество попыток, типы совершаемых ошибок, временные характеристики, связанные с деятельностью студента во время обучающих мероприятий.

4. Прошлая деятельность - ретроспективные показатели прошлой деятельности обучающегося, раскрывающие усвоение идей, навыков или компетенций на текущий момент.

5. Временная история - показатели ближайшего контекста, представляющие временную историю действий обучающегося, данные о которой доступны в конкретный день.

6. Социальные показатели - показатель взаимодействия учащегося с другими обучающимися и преподавателем в процессе обучения или с записанной речью (со всеми ее разнообразными свойствами, например, семантическим содержанием, просодией и т. д.).

7. Демографическая информация - показатели периферийного контекста: регион, возраст, пол, уровень подготовки и т. д.

8. Социальные связи - показатели ближайшего окружения: количество связей, их сила и активность.

9. Тип мышления - данные из анкеты или самоотчета о том, как учащийся устанавливает связь между своими стратегическими усилиями во время обучения и развитием компетенций, а также о том, как происходит индивидуальный процесс обучения.

10. Эмоциональное состояние - психофизиологические показатели, относящиеся к обучению, например, эмоциональное состояние, качество сна, показатели питания.

Современный процесс обучения предполагает использование множества образовательных технологий и платформ, большая часть которых оборудована собственными средствами сбора статистики и аналитики. Перечислим в общих чертах некоторые источники данных ^[7,11,12]:

- LMS (Learning Management System, система управления обучением), например Moodle, Canvas, iSpring, open EdX и т. д.;

- LXP (Learning Experience Platform, платформа опыта обучения, или агрегаторы образовательных проектов), например Degreed, EdCast;

- TMS (Training Management System, система управления корпоративным обучением), например ТренингСпэйс;

- сервисы видеоконференций, например Zoom, Skype, MS Teams;

- платформы проведения вебинаров, например Webinar.ru;

- сервисы для проведения опросов, например Kahoot!, Quizizz, Slido, StartExam;

- курсы, созданные через конструкторы, например, при помощи Articulate 360, iSpring Suite, Adobe Captivate;

- VR- и AR-платформы, например Uptale, Microsoft Mixed Reality.

Каждый из подобных источников обладает внутренней системой аналитики, что осложняет централизованный сбор данных и их последующий анализ. Частично эту проблему решает LRS — Learning Record Store, хранилище учебных записей. Некоторые системы LRS используют стандарт xAPI для передачи данных из различных источников и их сохранения в едином формате.

xAPI — открытая спецификация, которая описывает формат передачи статистики между провайдером учебной активности (например, курсом, сайтом, мобильным приложением) и базой данных LRS. Здесь важно, чтобы провайдер учебной активности отдавал данные в формате, предусмотренном xAPI.

Существует концепция Total Learning Architecture (TLA), которая развивается в рамках программы ADL Initiative министерства обороны США (авторов стандарта SCORM). TLA включает в себя набор технических спецификаций для создания будущих учебных экосистем. Одной из таких спецификаций является xAPI — стандарт передачи данных о пройденном обучении. Этот стандарт поддерживают многие популярные LMS-системы (WebTutor, Moodle), конструкторы курсов (Articulate Storyline, iSpring) и другие образовательные сервисы.

Базовая единица стандарта xAPI — стейтмент (от англ. statement). Стейтмент — это запись в формате JSON о каком-либо действии вида «Пользователь изучил урок 1». Количество стейтментов может достигать нескольких миллиардов. Чтобы собирать данные в формате xAPI, необходимо специальное хранилище — Learning Record Store (LRS). LRS валидирует поступающие данные на соответствие стандарту, обрабатывает, сортирует и предоставляет для формирования наглядных настраиваемых дашбордов в специализированных системах учебной аналитики или универсальных BI-инструментах (PowerBI, Tableau, Qlik).

Некоторые LRS имеют встроенные средства учебной аналитики, комплектуются дополнительными приложениями (например, для запуска электронных курсов) или являются частью LMS. Популярные LRS-системы зарекомендованы на рынке учебной аналитики.

Внешние платформы учебной аналитики и хранилища учебных записей предоставляют широкие возможности по агрегации данных из разнообразных источников, их анализу и визуализации. Следует учитывать, что при использовании подобных решений требуются выделенные ресурсы для установки, поддержки, а главное, масштабирования.

Наиболее распространенные методы анализа данных в образовании, систематизированные автором на основе обзора отечественных и зарубежных исследований, представлены в таблице 1.

Таблица 1

Наиболее распространенные методы анализа данных в образовании

Современные платформы позволяют собирать данные о множестве пользовательских действий, поэтому в целях учебной аналитики доступна информация буквально о каждом движении мышкой.

Сферы исследовательских интересов, связанных с интеллектуальным анализом данных в образовании и учебной аналитикой, представлены в таблице 2.

Как правило, изменения в обучающей программе производятся в трех взаимодополняющих целях:

1. Для улучшения опыта слушателя (точка зрения обучающегося). Позволяет ли программа достичь поставленной слушателем цели (получить новые навыки, сменить специальность и т. д.)? Подходит ли материал к уровню подготовки слушателя?

2. Для оптимизации учебной программы (точка зрения методиста / педагогического дизайнера). Насколько успешно достигают обучающиеся своих учебных целей? Какие модули нуждаются в доработке?

3. Для повышения эффективности организации (точка зрения заказчика обучения). Окупаются ли в долгосрочной перспективе ресурсы, вложенные в программу?

Выбранная цель (или цели) и определяет релевантные источники данных и показатели, изменения которых будут отслеживаться и оцениваться. Контексты, в которых используются разные метрики, могут пересекаться по целям, поэтому необходимо четко сопоставить метрики с целями.

Метрика — это лишь числовой показатель, и в отрыве от контекста и целей остается лишь цифрой. Во флажок, сигнализирующий о необходимости что-то изменить, подтвердить эффективность или, наоборот, опровергнуть гипотезу, метрика превращается благодаря аналитической работе.

Метрики эффективности обучения помогают оценить качество учебного контента и отдельных его частей, уровень подготовки преподавателей и ведущих, прогресс слушателей.

Примеры метрик учебной эффективности ^[2,3,5]:

1. Индекс лояльности слушателей (NPS, Net Promoter Score). Алгоритм расчета: вы задаете слушателям курса один вопрос: «Оцените от 1 до 10, с какой вероятностью вы порекомендуете наш курс коллегам или знакомым». Метрика рассчитывается как разница между долями сторонников и критиков: от количества людей, выбравших цифры от 9 до 10 (то есть сторонников), вы отнимаете количество людей, выбравших цифры от 1 до 6 (критиков). Нейтрально настроенные к обучению люди, выбравшие пункты 7–8, в расчет не берутся.

2. Индекс удовлетворенности слушателей (CSI, Customer Satisfaction Index). Рекомендуется отслеживать после каждого взаимодействия с целевой аудиторией: после проведенного вебинара, завершенного модуля курса. Этот показатель позволяет понять, какие элементы курса получились лучше всего, а какие следует доработать. Алгоритм расчета: оценка любого взаимодействия пользователя со всей образовательной программой или с отдельными элементами (упражнениями, теоретической частью, работой преподавателя и т. д.). Шкала для оценки может быть разной: от 1 до 10 или просто ответ в формате «да/нет».

3. Уровень доходимости (COR, Completion Rate). Показывает процент завершивших обучение от числа зачисленных/начавших. Алгоритм расчета: необходимо взять число тех слушателей, которые успешно закончили обучение, и поделить его на число тех, кто начал обучение. Получится процент слушателей, которые прошли курс до конца.

4. Показатель оттока (Churn Rate). Демонстрирует, какой процент слушателей отказался от обучения в течение определенного периода времени.

Вопросы, на которые помогают ответить такие метрики:

− Какие компоненты программы вызывают затруднения?

− Какие элементы программы вызывают недовольство?

− Как быстро продвигаются слушатели по программе?

Измерение таких показателей крайне ценно для оптимизации программы, однако подобные данные, как правило, сложно собирать автоматизировано − они поступают от отдела поддержки и сопровождения, центра карьеры, из отчетности преподавателей, анкет обратной связи.

Рассмотрим аналитику лучших практик ^[8,13].

Кейс Университета 20.35 «Как измерить софт скиллз на основе цифрового следа».

В Университете 20.35 часто сталкиваются с необходимостью оценить групповую деятельность − например, результат командной работы над проектом или совместную работу обучающихся в формате «стартап как диплом». При этом необходимо иметь возможность выделять индивидуальный вклад каждого участника из массива данных групповой деятельности. С универсальными компетенциями возникает одна универсальная проблема: не всегда понятно, что именно и как измерять. В отличие от большинства навыков, связанных с конкретным инструментом или выполнением определенной задачи, оценка мягких навыков не так проста. Такие компетенции проявляются только в деятельности совместно с другими навыками. Кроме того, мало какие мягкие навыки настолько четко определены, чтобы все аналитики и методологи единодушно приняли такое определение.

Получать определения экспертным путем, сколь бы профессиональным ни было мнение эксперта, − это не всегда наиболее эффективный подход. Он не позволяет добиться консенсусного решения при большом количестве экспертов. Вместо этого мы используем подход «онтологической близости», который позволяет выявить, что подразумевается под тем или иным мягким навыком в каждом случае.

Собран достаточно большой объем данных из описаний вакансий, мероприятий, резюме, статей. Так, в автоматически обновляемый массив данных вошло 150 млн описаний вакансий по России и миру.

При помощи семантического анализа текстов с применением искусственного интеллекта получено актуализируемое описание профессиональной области, включающее в себя функциональные позиции, трудовые функции, предметные области и навыки, в том числе софт скиллз.

Кейс «Яндекс. Практикума»: метрика когнитивной посильности ^[13,14].

Образовательный продукт «Яндекс. Практикума» имеет иерархическую структуру (см. рис.1):

Рис. 1. Структура образовательного продукта ^[3,13].

У каждого урока есть образовательные цели, достижение которых проверяется с помощью заданий. Низкоуровневые элементы − задания − измеряются несколькими метриками:

− трудностью (долей студентов, выполнивших задание верно, среди тех, кто выполнял это задание);

− дискриминативностью (различиями в решаемости задания среди сильных и слабых обучающихся, или способностью задачи делить слушателей на сильных и слабых);

− индексом попытки (различиями в решаемости задания от попытки к попытке; этот индекс работает только в тренажерах).

Методист видит эти коэффициенты в своем дашборде и оценивает, какие задания нуждаются в переработке. Например, может быть необходимо удалить задания с нулевой решаемостью, упростить крайне трудные задания, улучшить задания с невысокой дискриминативностью и тренажерные задачи с нулевым индексом попытки.

Это хороший, но не наглядный инструмент: методисты загружены и бывает сложно оценить каждое проблемное задание по числовым коэффициентам, поэтому на основе этих коэффициентов введена система наглядных и понятных текстовых маркеров.

Кейс Skypro: метрики для продукта обучения новой профессии ^[13,17].

Образовательные продукты для получения новой профессии (профессиональное обучение) предоставляет множество игроков рынка: вузы, организации среднего профессионального и дополнительного образования, EduTech-компании, онлайн-университеты и т. д. ^[2,5] Какие метрики можно использовать для оценки успешности переподготовки обучающихся, которые еще вчера работали шахтерами, кондитерами или водили трамвай? Простые решения не подходят: например, нельзя брать за основную метрику доходимость, ведь цель слушателя − не дойти до конца курса, а получить новую работу по новой специальности.

Слушателю программы с запросом на смену профессии важен результат − получение работы за понятный срок с понятным доходом. Для измерения и отслеживания подобного результата важны такие показатели, как:

− скорость получения предложения;

− количество предложений;

− стартовая зарплата.

При разработке и сборке программ каждой профессии:

− анализируется рынок вакансий (количество и динамику открытия/закрытия позиций) и данные по стартовым зарплатам сотрудников начальных позиций;

− составляется перечень необходимых компетенций как по анализу открытых позиций, так и по результатам 30–50 интервью с HR и нанимающими менеджерами;

− совместно с экспертами-практиками рынка составляется и валидируется программа.

Это влияет на содержание программы: в ней появились релевантные рынку бизнес-задачи, чтобы погрузить новичков в отрасли в рынок и специфику, а на выходе были добавлены карьерные консультации, тренировочные собеседования, помощь с подготовкой резюме, ретроспективы с выпускниками после первых откликов и интервью. В итоге целесообразно ориентироваться на три набора метрик: внутренние метрики продукта, метрики эффективности образовательной программы и рыночные метрики по трудоустройству и отзыву обучающихся.

Выводы

1. Учебная аналитика в совокупности с интеллектуальным анализом образовательных данных дает возможность разработать точные модели, характеризующие поведение обучающихся, их свойства, слабые и сильные места контента и взаимодействия с ним, командную и групповую динамику. Сбор данных в этих целях осуществляется из множества источников, что требует дополнительных ресурсов по организации хранения и обращения к этим данным, их последующей обработки для аналитических целей. Частично эту проблему решают хранилища учебных записей — LRS, однако без специфических знаний в области инженерии и анализа данных в любом случае не обойтись.

2. В исследовании представлены метрики эффективности образовательного продукта. Эти показатели помогают оценить качество учебного контента и отдельных его частей, уровень подготовки преподавателей и ведущих, прогресс слушателей.

3. Внешние платформы учебной аналитики и хранилища учебных записей предоставляют широкие возможности по агрегации данных из разнообразных источников, их анализу и визуализации. Следует учитывать, что при использовании подобных решений требуются выделенные ресурсы для установки, поддержки, а главное, масштабирования.

4. В стратегии обучения придает уверенности в том, что принимаемые решения будут соответствовать стратегическим целям образовательной организации. Для лиц, ответственных за обучение, учебная аналитика в совокупности с интеллектуальным анализом образовательных данных дает фреймворк для расстановки приоритетов, принятия решения и эффективного распределения ресурсов.

5. Педагогическим дизайнерам и методистам представленные методы станут фундаментом для оптимизации программы. Обучающиеся благодаря представленным методам получают наиболее релевантный, вовлекающий и осмысленный образовательный опыт.