К вопросу об оценке сформированности компетенций обучающихся при проведении промежуточных и итоговой аттестации

Введение. Образовательные организации высшего профессионального образования с сентября 2018 года переходят к обучению по новым редакциям актуализированных федеральных государственных образовательных стандартов (ФГОС3++). Принципиальным отличием стандартов третьего поколения от предшествующих является формулировка компетентностного подхода к результатам освоения образовательной программы. Новая редакция ФГОС3++ актуализирует данный подход применительно к профессиональным стандартам. Таким образом, уровень сформированности определенного набора компетенций у выпускника образовательной организации является главным критерием качества подготовки специалистов. Образовательными организациями уже проведено по два выпуска лиц, освоивших образовательные программы, соответствующие ФГОС третьего поколения. Имеется множество научных публикаций, посвященных оценке компетенций обучающихся, которые можно разделить на несколько групп.

Во-первых, серия работ посвящена разработке оценочных средств и методике оценки уровня сформированности отдельных компетенций ^[1-5]. Ко второй группе можно отнести работы, в которых строятся математические модели оценки сформированности компетенций на основе традиционных результатов текущего контроля и промежуточных и итоговых аттестаций ^[7-11]. При этом ряд авторов ^[1,12,13] отмечают, что адекватная оценка уровня сформированности компетенций требует помещения оцениваемого в реальную среду его профессиональной деятельности. То есть оценки, строящиеся на основе результатов освоения образовательных программ, являются в большей степени оценками потенциальных возможностей выпускника образовательной организации. Признавая обоснованность аргументов этих авторов, отметим, что адекватная оценка потенциальных способностей выпускника несет в себе полезную информацию и для работодателей и для учредителей образовательных организаций.

К сожалению, приходится констатировать, что в настоящее время отсутствуют устоявшиеся общепризнанные методики оценки уровня сформированности компетенций обучающихся. По мнению авторов работы ^[1] одной из причин такого состояния является отсутствие единого взгляда на сущность компетентностного подхода. Соглашаясь с этим утверждением, отметим, что многие, заслуживающие внимания методики оценки уровня сформированности компетенций, являются трудоемкими и не находят широкого применения при существующей системе организации промежуточных и итоговых аттестаций.

Целью настоящей работы был анализ информативности оценок уровня сформированности компетенций и результатов промежуточных аттестаций обучающихся, а также выявления корреляционных связей и возможности использования этих результатов для оценки уровня сформированности компетенций обучающихся в образовательных организациях высшего образования.

Оценка компетенций по результатам промежуточных аттестаций

Большинство методик и алгоритмов оценки сформированности компетенций по результатам промежуточных и итоговой аттестации базируется на использовании матриц компетенций. Простейшая матрица компетенций устанавливает перечень дисциплин, при изучении которых формируется каждая компетенция. Использование же такой матрицы для получения итоговых оценок компетенций может быть различным. Простейшим является усреднение оценок по промежуточным аттестациям предметов, формирующих конкретную компетенцию. Но даже при применении такого тривиального подхода возникает трудность учета результатов освоения дисциплин, изучение которых заканчивается сдачей недифференцированного зачета.

Простое усреднение результатов промежуточных аттестаций неявно предполагает равную значимость знаний, умений и навыков, формируемых при изучении каждого предмета на итоговый уровень сформированности компетенций, что, вероятно, не соответствует действительности. По-видимому, некоторые компетенции в большей мере формируются при изучении некоторого малого набора предметов. Возникает вопрос об оценки роли отдельных предметов при формировании выбранной компетенции ^[7]. В работе ^[8] предложено учитывать роль отдельных предметов с весом, пропорциональным объему дисциплины по учебному плану. Дополнительно предлагается дважды оценивать результаты освоения дисциплины. Первая оценка берется из результатов промежуточной аттестации (семестровые экзамены), а к ней добавляется оценка остаточных знаний по предмету, полученная в конце обучения. Ряд авторов ^[10] предлагают использовать рейтинговые оценки результатов освоения учебных дисциплин в совокупности с матрицами компетенций, что, по их мнению, позволяет более точно учитывать вклад отдельных дисциплин в уровень сформированности компетенций.

Принципиально отличается от традиционных метод, предложенный в работе ^[14]. Первоначальной при построении оценки по предмету является оценка сформированности той или иной способности, определяющей компетенции обучающегося. Для каждой дисциплины формулируются формируемые способности (элементы компетенций). Каждой способности присваивается весовой коэффициент, который определяет вклад способности в итоговую оценку по предмету. На первый взгляд такая методика полностью соответствует компетентностному подходу к оценке результатов образовательного процесса, но остается открытым вопрос об относительном вкладе отдельных предметов.

Без привязки к конкретной специальности можно утверждать, что матрицы компетенций по дисциплинам учебных планов существенно неоднородны. В качестве примера рассмотрим матрицу компетенций основной образовательной программы по специальности 40.05.02 Правоохранительная деятельность, реализованную в Барнаульском юридическом институте МВД России в 2012–2017 годах. Отметим при этом, что рассматриваемая матрица компетенций построена в соответствии с рекомендациями примерных учебных программ дисциплин, что обуславливает её системный характер.

Рассмотрим, например, элементы матрицы компетенций для ОК-12: «способность работать с различными информационными ресурсами и технологиями, применять основные методы, способы и средства получения, хранения, поиска, систематизации, обработки и передачи информации». В упомянутой выше образовательной программе предполагается учитывать для данной компетенции результаты изучения пятнадцати предметов и одной практики. При этом изучение шести предметов заканчивается экзаменом. Если наличие в матрице компетенций для ОК-12 предмета «Информатика и информационные технологии в профессиональной деятельности» не вызывает сомнений, то наличие для данной компетенции предметов: иностранный язык, философия, психология и отсутствие предметов: криминалистика, криминология, делопроизводство и режим секретности, преддипломная практика, учения — по меньшей мере вызывает вопросы к статистической обоснованности итоговой оценки сформированности ОК-12.

Представляется, что в базовой дисциплине изучается инструментарий работы с источниками информации и самими данными, а приемы применения этих инструментов на практике, что отражает соответствующую компетентность специалиста, как раз рассматриваются в таких дисциплинах, как криминология, делопроизводство и режим секретности, криминалистика и т.д. Не лучшим образом обстоят дела и с элементами матрицы для других компетенций.

Количество предметов, влияющих на формирование отдельных компетенций, варьируется от одного (ОК-11 — иностранный язык) до 33–34 (ОПК-1, ПК-2). При этом максимальное количество предметов для одной компетенции, изучение которых заканчивается экзаменом, равняется 12 (ОПК-2, ПК-2, ПК-8). Обратимся к содержанию данных компетенций.

ПК-2: способность принимать решения и совершать юридические действия в точном соответствии с законодательством Российской Федерации, юридически правильно квалифицировать факты, события и обстоятельства;

ПК-8: способность соблюдать и защищать права и свободы человека и гражданина;

ОПК-1: способность использовать знания основных понятий, категорий, институтов, правовых статусов субъектов, правоотношений, применительно к отдельным отраслям юридических наук;

ОПК-2: способность реализовывать нормы материального и процессуального права, законодательство Российской Федерации, общепризнанные принципы и нормы международного права в профессиональной деятельности.

Из формулировок приведенных выше компетенций становится понятным, что соответствующие способности формируются на основе изучения большинства предметов образовательной программы. Но в практической деятельности выпускника, скорее всего, будут востребованы знания из более узкого перечня дисциплин. Представляется целесообразным при ориентации на профессиональные стандарты, что предполагает ФГОС3++, увеличить весовой вклад в оценку уровня сформированности компетенций отдельных дисциплин в зависимости от специализации (профилизации) обучающихся.

Таким образом, представляется, что наиболее адекватные оценки сформированности отдельных компетенций можно получить на основе численных данных таких оценок в каждом предмете и усреднения их с учетом весовых коэффициентов предметов для каждой компетенции и профиля обучающегося. Конечно, введение весовых коэффициентов требует серьезного исследования, включающего сравнение результатов промежуточных аттестаций и оценки начального периода трудовой деятельности выпускника, что при существующей практики организации учебного процесса представляется нереализуемым. Каким же образом следует трактовать получаемые традиционные оценки промежуточной и итоговых аттестаций?

Корреляционный анализ результатов промежуточных и итоговых аттестаций

Во-первых, выясним, насколько изменяются результаты оценки сформированности компетенций при введении весовых коэффициентов, пропорциональных объему часов учебных дисциплин. Первоначально были проведены расчеты по отметкам 103 обучающихся одного курса. Выяснилось, что только 0,4% оценок изменятся более чем на 0,5. Для повышения статистической обеспеченности результата был проведен дополнительный расчет с привлечением оценок 110 обучающихся другого курса. В результате из общего числа 213 обучающихся только 0,5% оценок уровня сформированности компетенций изменились более чем на 0,5. Если оценку уровня освоения компетенций проводить на основе семестровых экзаменов по трёхбалльной шкале (пороговый, базовый, продвинутый), то в результате округления граничных средних (3,5 и 4,5) изменилось 13% оценок. Но при этом следует иметь в виду, что исходные данные трёхбалльной шкалы подвержены субъективному фактору, присутствующему при выставлении экзаменационной оценки. Для уменьшения влияния субъективного фактора ряд авторов предлагают использовать рейтинговые системы промежуточных аттестаций ^[10,14].

Здесь мы не рассматриваем случай, когда работодателю предъявляются данные по компетенциям по каждому предмету. Такой объем данных из полутысячи чисел не пригоден для восприятия без предварительной статистической обработки.

Далее проанализируем связи между результатами текущих и итоговых аттестаций. В таблице ниже приведены расчеты коэффициентов корреляции между средним баллом промежуточных аттестаций, оценкам на ГИА и за ВКР, а также средним баллом по всем курсовым работам.

Таблица 1. Коэффициенты корреляции итогов аттестации

Коэффициент корреляции близкий к единице показывает наличие линейной связи между рассматриваемыми величинами. На основе анализа данных таблицы 1 можно сделать вывод о наличии такой связи между средней оценкой за курсовые работы и средним баллом по семестровым экзаменам. Следующим по уровню линейной связи является пара курсовые работы –ВКР — коэффициент корреляции 0,77. Остальные связи являются слабовыраженными. При этом трудно объяснимой, на первый взгляд, является практически слабая связь между семестровой оценкой по дисциплине административная деятельность полиции и результатами государственной аттестации по данному же предмету. Из 213 аттестуемых только 106 подтвердили свою семестровую оценку, 56 обучающихся получили оценку на балл меньше, 35 — на балл выше, 9 — на два балла ниже, 7 — на два балла выше. Данные результаты показывают, что оценка сформированности компетенций по результатам промежуточной аттестации по конкретному предмету носит условный характер. Слабо коррелируют также результаты защиты ВКР и ГИА, коэффициент корреляции — 0,57.

В то же время наибольшая корреляция результатов ГИА и ВКР наблюдается со средней оценкой по всем семестровым экзаменам. Вероятно, именно усредненная оценка по семестровым экзаменам отражает те знания, умения и способности (компетенции), которые потребовалось продемонстрировать обучающимся при подготовке ВКР. Похожий характер деятельности при написании курсовых работ и ВКР также находит свое отражение в повышенном коэффициенте корреляции этих оценок.

В соответствие с ФГОС у обучаемых в процессе освоения основной образовательной программы формируется более сорока оцениваемых компетенций. Примерно такое же количество оценок они получают за семестровые экзамены. Возникает вопрос: «Какая совокупность данных более информативна?». Процедура получения оценок сформированности компетенций основана на усреднении оценок по предметам. Очевидно, что такие данные будут менее информативны, чем исходные. Сравнение среднеквадратичных отклонений оценок за семестровые экзамены и уровней компетенций показывает, что в среднем разброс оценок компетенций в 1,5 раза меньше, чем разброс оценок по предметам.

Другой величиной, характеризующей степень информативности набора оценок уровней сформированности компетенций, являются коэффициенты корреляции между различными оценками. Для проведения корреляционного анализа были выбраны компетенции, оцениваемые не менее чем по четырем предметам. Из 528 коэффициентов только 23 имеют значения менее 0,75. Значение коэффициента корреляции более 0,85 у 383 пар компетенций. То есть большинство компетенций обучающихся имеют зависимые оценки. В то же время явно выделяется слабая корреляция ОК-2, ОК-10, ОК-12 и ПК-5 с другими компетенциями. При этом ПК-5 определяется способностью квалифицированно трактовать нормативно-правовые акты.

Если сравнить коэффициенты корреляции между оценками по предметам, то мы получим противоположный результат. Только 6 пар предметов имеют коэффициент корреляции оценок более 0,75 и 32 пары имеют коэффициенты корреляции более 0,65. Данный результат свидетельствует о том, что оценки по предметам более информативны, чем построенные на их основе оценки уровней сформированности компетенций, так как они менее зависимы.

Дополнительный анализ оценок выпускников 78 выпускников, обучавшихся по специальности 40.05.01 Правовое обеспечение национальной безопасности, подтверждает сделанный выше вывод.

Следует отметить, что авторами работы ^[5] сделан вывод: «отсутствует корреляционная связь между положительными оценками конкретных профессиональных компетенций и степенью участия всего набора дисциплин в формировании компетенций».

Приведенные выше результаты показывают, что интегральные оценки уровней сформированности компетенций, получаемые на основе итогов промежуточных аттестаций, менее информативны, чем сами итоги промежуточных аттестаций. Для реализации компетентностного подхода более приемлемым представляется использовать усовершенствованный метод взвешенных оценок, предложенный в работе ^[9]. Но его применение потребует изменения все учетной системы промежуточных аттестаций. Более приемлемым представляется проводить оценку уровня сформированности компетенций только по результатам практик, курсовых работ и ВКР. При этом курсовые работы должны носить междисиплинарный характер. Используемые индикаторы при оценке данных видов деятельности обучающихся должны быть увязаны с профессиональными стандартами, как это требуют ФГОС3++.