“Пороговый балл” поможет определить психометрия

 

Измерение – это приписывание чисел объектам или событиям по некоторому правилу.

(Стэнли Смит Стивенсон)

 

На сегодня украинская система образования пребывает в состоянии реформирования. И наиболее существенным является вопрос о так называемом “пороговом балле” внешнего независимого оценивания (ВНО).

 

Ранее в качестве этого пресловутого “порога” принималась цифра в 124 балла. Почему именно этот уровень стал проходным – неизвестно. Более того, 124 балла не давали гарантии, что абитуриент, их набравший, попросту не угадал большую часть ответов.

Именно поэтому сотрудники Украинского центра оценивания качества образования (УЦОКО) посчитали необходимым отказаться от относительного критерия установления “порогового балла”, заменив его абсолютным (“сдал” / “не сдал”).

 

Система образования Украины имеет мощный арсенал методов, который можно применять для определения абсолютного критерия, но особое внимание уделяется подходу, разработанному специалистом в области психометрической теории и практики Уильямом Ангоффом.

Психометрия – дисциплина, изучающая теорию и методику психологических измерений, в том числе измерение знаний, способностей, взглядов и качеств личности. Включает в себя создание инструментов и построение процедур измерения, а также развитие и усовершенствование теоретических подходов к измерению.

 

Сущность метода Ангоффа состоит в следующем.

После окончания тестирования по каждому предмету собирается экспертная группа, которая, анализируя задания теста, определяет вероятность правильного ответа на каждое задание минимально подготовленным абитуриентом. Затем оценки экспертов усредняются, и на основании этих средних оценок определяется уровень “порогового балла”.

 

Организационно это выглядит следующим образом.

I этап – организационный

Формируется группа экспертов-аналитиков количеством не менее десяти. При этом эксперты должны быть разного пола, возраста и сферы деятельности (учителя, преподаватели университетов, ученые).

 

II этап – подготовительный

На этом этапе происходит ознакомление экспертной комиссии с тестом, его структурой и заданиями. Кроме этого, комиссия определяет для себя суть понятий, которые будут использоваться во время работы. Например, “наименее подготовленный абитуриент” – тот, кто владеет наименьшим запасом знаний для выполнения задания.

После завершения обсуждения модератор работы комиссии раздает ее членам бланки оценивания заданий теста и проводит инструктаж насчет оценивания заданий: “Оцените, какое минимальное количество подготовленных абитуриентов из 100 правильно выполнят задание” (при этом количество абитуриентов, указанных экспертом, не должно превышать 95 и не быть ниже 25).

 

III этап – экспертная оценка тестовых заданий

На этом этапе эксперты самостоятельно работают с заданиями теста, заполняя бланк оценивания. Обсуждение экспертами заданий при этом не допускается.

 

IV этап – обобщение экспертных оценок

После того, как каждый эксперт определился со своим решением, модератор группы собирает заполненные бланки, и вводит полученные данные в электронную таблицу (самым простым примером может быть Excel). Если по каким-то определенным заданиям наблюдаются значительные разногласия среди экспертов, то результаты выносятся на обсуждение. При этом каждый из членов комиссии может изменить принятое ранее решение, пока не будет достигнуто единогласие в оценке задания.

 

V этап – определение “порогового балла”

После обсуждения и корректирования экспертами своих оценок, происходит превращение процента вероятного правильного ответа в соответственный коэффициент. Например, 45% = 0,45 и т. д.

Затем модератор вычисляет сумму коэффициентов всех заданий теста по каждому эксперту. Эта сумма является “пороговым баллом”, который установил некоторый эксперт. В конце работы комиссии вычисляется среднее значение “пороговых баллов” всех экспертов (как среднее арифметическое), что и является по своей сути итогом работы комиссии экспертов-аналитиков.

 

Затем происходит стандартная процедура переведения тестовых баллов в оценки по 100-200-балльной шкале.

НО! При этом точкой отсчета будет не “0” тестовых баллов, а значение полученного в результате работы комиссии среднего “порогового балла”.

 

Таким образом, будет устранено существование единого “порогового балла” для всех предметов, и каждая из дисциплин будет оценена специальной экспертной комиссией.

 

Будет ли такая психометрическая методика вычисления “порогового балла” эффективной – покажут ВНО следующих лет. Но то, что методика расчета стала сложнее, сомнений не вызывает.

 

Читайте также: Семь советов по подготовке к ВНО.

Автор: Рямов Сергій Сергійович