— Как производится подсчет баллов на тесте «Обществознание» и на тесте лидерского потенциала? Расскажите, как оцениваются ответы участников.
— Способ расчета одинаков для обоих тестов. В каждой шкале тестов есть правильные и неправильные ответы. Подсчитывалось количество правильных ответов, данных участником по каждой шкале.
Количество правильных ответов переводилось в Т-баллы по специальной формуле расчета. Стандартизированная шкала Т-баллов позволяет точнее суммировать результаты по разным тестам и дифференцировать успешных и неуспешных участников.
Она признана международной комиссией по тестам и используется в таких международных экзаменах, как TOEFL, GMAT, SAT.
В формуле расчета Т-баллов результаты конкретного участника сравниваются с результатами других участников Конкурса — учитывается среднее число верных ответов, данных участниками, и стандартное отклонение (разброс числа верных ответов).
— Каковы механизмы контроля за чистотой процедуры подсчета и суммирования баллов участников?
— Баллы по всем участникам одновременно считают две независимые команды, затем сравнивают результаты друг друга. Внутри каждой команды работает по четыре аналитика, которые также проверяют результаты друг друга. Это обеспечивает отсутствие ошибок в результатах и чистоту процедуры.
Точность суммирования баллов проверяется в статистических процедурах. Во-первых, анализируется, в какой мере итоговые результаты нормально распределены — визуально результаты должны напоминать Гауссов колокол.
Во-вторых, анализируется, в какой мере шкалы связаны друг с другом. Шкалы должны коррелировать на уровне 0,2 и выше — это указывает, что они оценивают примерно одно качество и нет никакой статистической ошибки.
— Участвуют ли Наблюдательный совет и наставники Конкурса в контроле за прозрачностью процедур и чистотой результатов?
— Да, участвуют. Процедуры расчета результатов были согласованы с Наблюдательным советом. В случае возникновения спорных случаев аналитики Конкурса проверяют всю последовательность расчетов и докладывают результаты Наблюдательному совету.
— Как суммируются баллы двух тестов? Ведь «вес» правильного ответа на разных тестах может различаться.
— Баллы суммируются без весов, простым сложением. Это обеспечивает прозрачность и простоту расчета для участников: каждый может проверить корректность суммирования вслед за организаторами.
— На чем чаще всего «срезались» участники на тесте «Обществознание»?
— Как таковых сложных шкал в тесте не было, по всем шкалам средний процент правильных ответов составляет около 70%. При этом у разных участников профиль знаний очень сильно различается: кто-то лучше ориентируется в одной теме, а кто-то в другой.
Можно сказать, что различия есть, но они незначительные — участники чуть лучше отвечали на вопросы о политическом устройстве и правителях России и чуть хуже на вопросы о современном информационном обществе. Но эти различия незначительны.
— Что оказалось самым трудным для участников на тесте лидерского потенциала?
— Само тестирование прошло без эксцессов и внештатных ситуаций. Самыми трудными для участников оказались две шкалы.
Первая — «Построение отношений». Эта шкала показывает, в какой мере участник стремится выстраивать отношения с новыми людьми в своей профессиональной деятельности — ищет контакты, находит подходы, поддерживает общение.
И вторая — «Мотивация к лидерству». Эта шкала показывает, в какой мере участник готов лидировать не из монетарной (денежной мотивации), а из чувства ответственности перед другими людьми, готов нести издержки, с которыми сопряжена лидерская роль.