Особенности национального тестирования

24.08.2018 11:36

Конкурс кадрового резерва «Мой Дагестан» вызвал большой общественный резонанс. Впервые в истории современного Дагестана молодые дагестанцы поверили, что смогут получить работу не по связям. Это «доверие к Васильеву» подкрепилось еще и тем, что многие «выпускники» предыдущего конкурса получили госработу. Было ожидаемо, что часть тех, кто не дойдет до финала, будет обвинять в необъективности форму отбора. Это естественный процесс. Но реакция общественности на результаты второго этапа оказалась неожиданно резкой. Отчасти это связано и с тем, что сами организаторы слишком распиарили этот проект, от чего у участников сложились слишком завышенные ожидания. К продвижению конкурса подключился даже муфтият. Часть участников оценила проект положительно и отнеслась к нему как к очередному эксперименту и реальному шансу трудоустроиться, есть и те, кто свое недоумение на всякий случай не высказывает публично. Адвокат и журналист Расул Кадиев разобрал детально условия конкурса и результаты отбора. Мы предлагаем вниманию читателей позицию Кадиева и ответы руководителя блока оценочных мероприятий Павла Безручко. Напоминаем, что впереди финальная часть конкурса, и можно с уверенностью сказать, что у общественности вопросов по конкурсу будет еще много. «НД» будет следить за развитием ситуации.

Добрые соседи в многоэтажке хоть и хорошо, но не лучшая замена сломанному лифту, и кадровый конкурс «Мой Дагестан» не заменит социальные лифты в виде периодических и легитимных выборов на муниципальном и региональном уровне. Это всего лишь политическое шоу, которое закончится массовым недовольством тех, кто обычно не идет на баррикады — служащих. Прошедшая 22 августа онлайн-презентация итогов дистанционного этапа конкурса «Мой Дагестан» стала очередным этапом шоу, наполненного горькими символами. Сперва на экране появляется экскурсовод, рассказавший, что СССР была самая здоровая держава, которую сломали США, обрушив цены на нефть; потом руководитель Администрации ГиП РД рассказывает о желании привить новую управленческую культуру, а вслед за ним психолог из оценочного блока в качестве примера для эссе приводит речь Ленина и говорит, что тому, кто критикует конкурс, не место на госслужбе. В принципе этим конкурсом, проводимым без объявления торгов странной коммерческой организацией, должен заниматься прокурор. Но, похоже, прокурор не может найти в графике время, чтобы напомнить «организаторам», что их всех в Дагестан пригласили не для проведения парадов, фестивалей, а для восстановления правового поля и доверия людей. Большое количество участников конкурса—заслуга умелого пиара с привлечением государственных и местных СМИ и огромного спроса дагестанцев на перемены в республике. Дагестанцы «клюнули» на призыв Владимира Васильева и выступление Павла Безручко, так как ожидали, что конкурс будет проводится «москвичами».

В чем измеряем

Не обратили внимание участники, что анкеты должны были направляться на электронный адрес правительства Дагестана, что обработка шла с привлечением местных чиновников, что не было примерной тематики будущих тестов, не было данных о количестве полуфиналистов и финалистов. Это все равно,

что на чемпионате по футболу не знать, сколько будут играть команд в 1/8, 1/4 или в финале. Организаторы в нарушение утвержденного постановлением правительства РД Положения о конкурсе самовольно установили количество полуфиналистов «около 200», объявив об этом перед тестированием после сбора документов и эссе. А после тестирования Павел Безручко заявил, что из более, чем 6 тысяч страниц эссе, написанных участниками, прочитали только 300 (5%), чего тоже не было в Положении. Попытка осыпать аборигенов пуговицами в виде электронных сертификатов каждому участнику тестов выглядит абсурдной, так как кто-то просто включил компьютер и выбирал ответы наугад, а кто-то трудился над ответами. Отчеты по тестам не содержат данных об ошибках, без ответов на вопросы, поэтому никто не знает, как надо было отвечать. «Мы — компания с двадцатилетней репутацией,— заявил руководитель оценочного блока,— верьте нам». Организаторы объявили, что все ответы сложили вместе, разделили на количество участников и превратили в проценты, которые назвали процентилями, с неточным значением. Например, 53 процентиля означает, что участник ответил лучше, чем 53% участников. Затем процентили по девяти шкалам сложили в одну сумму, назвали их баллами, которые опять суммировали по всем участникам и определили самый высокий балл. Определив 626 как проходной балл, отделили 223 человека, приближенных к этому значению, назвали их финалистами.

Парадоксы и новые правила

Вы соревнуетесь между собой — объясняли методику организаторы. Но как могут соревноваться между собой те, кто претендуют на руководящие должности в Министерстве сельского хозяйства. и Министерстве здравоохранения? Сваливание в кучу умений быстро решать сложные экономические задачи и выбирать правильную стратегию на свидании в ресторане без кошелька привело к тому, что «лирики» и «физики» оценивались одинаково. Парадоксы были еще в том, что провалились те, кто отказался от рискованных стратегий в вариантах ответа типа «миллион через год или 10 млн через 5 лет». Зачем на госслужбе рискованные аферисты, приводящие девушек в ресторан без копейки денег в кармане? Но больше всего возмутило участников отсутствие профессиональных вопросов о госслужбе или по тому виду деятельности, который выбрал конкурсант. Преданность важнее знаний? Закрытость, требование преданности и принятия всех утверждений на веру больше похожи на признаки секты, чем на научно обоснованную систему. Закончившему на отлично выпускнику экономического факультета МГИМО с опытом работы на муниципальной службе и вошедшему в 1% тех, кто решил сложные задачи по экономике, робот написал в шкале «открытость мышления», что конкурсант слишком «полагается на подходы, доказавшие свою эффективность в прошлом» и поставил 29%, при этом за инициативность наградил 74%, а настойчивость оценил в 5%! Отдельная история со скидками при контрольном тестировании, которое должны пройти все финалисты. С самого начала Павел Безручко на презентации конкурса в присутствии Владимира Васильева заявил, что в отличие от конкурса «Лидеры России» конкурсантам позволено будет набрать не более 30% ошибок от прежнего своего результата. Это значит, что если участник набрал минимальный проходной балл по тестам — 626, то ему дозволялось ухудшить этот результат до 438 баллов. Однако это было явно несправедливо по отношению к тем, кто набрал свыше 450 баллов, но не про шел в финал, тем более те конкурсанты, которые набрали наибольшие баллы по экономическим задачам на время. В итоге можно было заплатить математику, который решил бы за вас сложные задачи, а на контрольном тестировании можно было спокойно довести свой результат по соответствующей шкале вплоть до 0, не превысив 188 баллов потери. Однако организаторы конкурса то ли заранее так решили, то ли прочитали критику в интернете, во время празднования Курбан-байрама, 21 августа, преподнесли подарок, опубликовав правила проведения финала конкурса, которые не соответствуют Положению о проведении конкурса и ранее данным обещаниям. По новым правилам «Участник отстраняется от участия в финале, если его процентильный балл при контрольном тестировании по одной из шкал оказывается более чем на 30 пунктов ниже дистанционного процентильного балла по данной шкале».

В финал пройдут двоечники?

Что такое «на 30 пунктов»— непонятно, так как до этого упоминались проценты, процентили и баллы. Если это все-таки проценты, которые организаторы назвали процентилями, это значит, что нельзя будет доводить показатель по умению решать экономические задачки с 90 до 0%. Однако общая сумма дозволенных падений будет намного больше, чем обещалась ранее, так как 9х30=270. Это значит, что при контрольном тестировании ранее набравший 626 баллов может спокойно упасть до 356 баллов, что еще больше делает несправедливым отказ в участии в финале тем, кто набрал свыше этой суммы. Для наглядности представим, что максимальный показатель в 900 баллов равен школьной пятерке. Тогда 356—это неуд (300:(900:5)). В финал выйдут двоечники? Наконец, новые правила указывают на то, что, скорее всего, экспертами, которые будут оценивать финалистов, будут те же самые дагестанские чиновники, которые «проходят предварительное обучение процедуре оценки в рамках финала Проекта». Это может еще больше подорвать доверие к конкурсу. Слишком много негатива? Его бы не было, если бы организаторы соблюдали те же принципы, которые были на «Лидерах России». Не надо было обещать трудоустройства или зачисления в кадровый резерв. Надо было устроить конкурс управленцев с участием бизнеса. Это позволило бы привлечь намного больше участников и не вызвало бы столько отрицательной реакции от несбыточных надежд и открытого обмана.

Тезисы Кадиева

Ответы Безручко

Оценки конкурса отражают не личные достижения участника, а его уровень в отношении других участников. По мнению автора статьи, организаторы допустили математические неточности определений, отождествив проценты, процентили и баллы. «Чтобы никого не обидеть, организаторы скрыли это и превратили 30 баллов в 100%, так получился показатель — ПРОЦЕНТИЛЬ и провели оценку по каждому из 9 блоков. Смутила математическая неточность определений: 53 процентиля это > = 53%. А насколько больше?». Кроме того, участникам не дают представления о допущенных ошибках. Верно ли это? В отчете есть четкое разделение между этими понятиями: — [Сырые] баллы в отчете не называются и показываются. — Процентили даются в виде определения, в котором соотносятся с процентами. Больше, чем 53% выборки — это больше, чем 53% 5195 участников, прошедших тест в рамках Проекта. Иными словами, если (используя предложенный пример с 30 баллами) 53% участников получили 11 баллов из 30 — у участника с 11 баллами будет 53 процентиль. Участникам не дают представления о допущенных ошибках, т.к. это тест потенциала, а не знаний, в котором необходимо знать «правильные» ответы. Даже если участники будут знать правильные ответы — это не разовьет их потенциал. Наиболее эффективные рекомендации по развитию потенциала описаны в подробном отчете для участника.
«Сперва умные люди говорили, что проверка 12 тысяч страниц эссе 6 тыс допущенных к конкурсу требует колоссальные людских ресурсов. На презентации в Дербенте говорили о привлечении экспертов с 85 субъектов страны». Павел Безручко заявил в ходе телемоста, что организаторы будут проверять только те эссе, авторы которых набрали проходной балл по тестированию. «Это, конечно, издевательство над теми тысячами, кто потратил время». При этом все участники получили дежурную оценку эссе? Для повышения точности принятых решений и детализации обратной связи участникам, мы проверили все эссе. У участников вне ТОП-300 есть все многообразие оценок: и «красные», и «желтые», и «зеленые». Их оценки нельзя назвать «дежурными».
Система оценки тестов устроена так, что одни абсолютно разные по складу ума люди могли набрать одинаковые баллы. «Несправедливость системы очевидна: нельзя складывать в одну кучу умение решать сложные экономические задачки и амбициозность, т.к. в итоге получается типичная «российская» беда: инициативные дураки с большим уровнем упрямства на руководящих постах». Сложение баллов (процентилей) по шкалам — это наиболее точный и прозрачный способ получить итоговый балл. Тест измеряет качества, которые равны по своей важности, — способности, стремления, убеждения. Человек должен быть и способным эффективно работать в новой должности, и стремящимся к этому. Иными словами, это баланс «могу» и «хочу».
«ОНИ ПОМЕНЯЛИ ПРАВИЛА!!! Если первоначально шла речь о скидке в 30% при контрольном тестировании, то ваши баллы делили на 3 и отнимали 1/3. Например, проходной балл был 626, значит можно было на контрольном тестировании снизиться до 626–(30 % х 6,26) = 626–188 = 438 баллов А теперь скидка УВЕЛИЧИЛАСЬ. Если можно скинуть по 30 в каждой из 9 шкал, то получается что максимальная скидка 9х30=270 баллов!!!! Это значит, что проходной балл на контрольном тестировании уже 626– 270=356!!! Оценочный блок не знает, что 30% от 626 и 30 пунктов от каждого из 9 шкал имеют разные значения?» Участник приводит неправильно понятый механизм ретеста. На самом деле ретест проводится так: — На контрольном тестировании будет проходить ретест двух шкал — (1) Скорость мышления; (2) Социальный интеллект. Участники вновь пройдут тестирование этих двух шкал. — Если участник на контрольном тестировании получил результат на 30 и более процентилей ниже, чем на дистанционном — он не допускается до участия в Финале. — Учитываются результаты по обеим шкалам. Участник не будет допущен до Финала, если получит по одной или обеим шкалам результат на 30 процентилей ниже. Таким образом, максимальная «скидка» — 58 процентилей (граничные 29 процентилей в двух шкалах).

 

Знаете больше? Сообщите редакции!
Телефон +7 (8722) 67-03-47
Адрес г. Махачкала, ул. Батырмурзаева, 64
Почта info@ndelo.ru
Мы в соц. сетях:
Смотрите также

Деньги есть, результатов нет

К министру строительства и ЖКХ появились вопросы

10.11.2018 16:27

Попали под ротацию и не только

Раджаб Абдулатипов, Магомед Сулейманов и Муса Мусаев исключены из политсовета ...

10.11.2018 16:25

Кресло мэра — трамплин в СИЗО?

Четвертый руководитель мэрии Махачкалы попал под следствие

10.11.2018 13:21