Как известность фигуристов влияет на оценки судей?
Фигурное катание – один из самых красивых видов спорта. Фигуристы традиционно приносили России большое количество призовых мест как на Олимпиадах, так и на различных чемпионатах. Медали завоевывают как пары, так и мужчины-одиночники, но первенство по завоеванным пьедесталам принадлежит девушкам-одиночницам. В последнее время спортивные новости пестрят статьями и заметками, связанными именно с женским фигурным катанием в России: Александра Трусова становится первой девушкой, чисто выполнившей четверной прыжок на соревновании; Евгения Медведева уходит от звездного тренера Этери Тутберидзе к не менее звездному канадскому тренеру Брайану Орсеру; Евгения Медведева при суммарном проигрыше около 6 баллов по базовой стоимости элементов и падении в произвольной программе побеждает в Кубке России и попадает в заявку на чемпионат мира от России. С последней новостью и будет связана сегодняшняя статья в блоге.
Елизавета Туктамышева и Евгения Медведева на Кубке России в 2019 году
После попадания Евгении Медведевой в заявку на Чемпионат Мира в Японии в сети начались бурные обсуждения на тему справедливости судейства и самого включения девушки в заявку. Аргументов в пользу Евгении и в пользу Елизаветы Туктамышевой, которую Медведева и обошла на Кубке России, множество; и я не буду разбирать их в этой статье, при желании читатели без труда найдут их в сети. Тем более, я не буду заявлять, что одна из фигуристок более достойна этой поездки, чем другая.
Оценивание катания фигуристов, особенно выставление оценок за технику в режиме реального времени – очень сложная задача. Судьи, как и все люди, способны ошибаться или просто уставать. Есть и другие факторы, влияющие на выставление оценок членами жюри. Так, было, например, доказано, что спортсмены, которые выступают в конце соревновательного дня получают за тот же уровень катания более высокие оценки, чем те, кто выступает в начале. Однако в данной статье мне бы хотелось рассказать в том, как громкое имя спортсмена в фигурном катании может влиять на оценки судей на примере исследования Лианны С. Финдли и Дайаны М. Сте-Мари «Смещение оценивания в зависимости от репутации в фигурном катании»(Leanne C. Findlay and Diane M. Ste-Marie “A Reputation Bias in Figure Skating Judging”), опубликованного в 2004 году. В ходе исследования было выяснено, что фигуристы, с достижениями которых знакомы судьи, завоевывают более высокие места и получают более высокие оценки за технику, чем те, чьи имена судьи слышат впервые. На оценки за артистизм, как ни странно, данная закономерность не распространяется. Эксперимент проводился в Канаде. Для него были собраны видеозаписи местных соревнований разных школ фигурного катания: в Восточном Онтарио и в Квебеке. Судьи, принявшие участие в исследовании, работали в тех же секциях.
Одним из основных шагов для подготовки к проведению исследования был выбор выступления фигуристок таким образом, чтобы можно было их разделить на известных и не известных судьям. Для этого по 3 судьи из обеих секций, не принимавших участие в самом эксперименте, оценили известность 71 фигуристки по шкале от 1 до 4. Так, 1 означало: «Фигуристка неизвестна», и 4 означало: «Фигуристка хорошо известна». Спортсменка считалась известной после того, как 2 из 3 судий оценили ее не менее, чем на 3 из 4. В итоге 7 девушек оказались известны судьям в Онтарио, и другие 7 девушек оказались известны в Квебеке. Из их выступлений в случайном порядке и составили итоговую видеоленту. Таким образом, количество известных и неизвестных спортсменок для обеих школ было равно. Для того, чтобы избежать проблемы оценивания «земляков» выше, для судей из каждого города имена девушек из другого города были заменены на фиктивные, более типичные для первого. (Ansorge, C.J., & Scheer, J.K.). Так все судьи были уверены, что смотрят выступление фигуристок из одного региона.
12 судей, 6 из которых были из Восточного Онтарио, и оставшиеся 6 из Квебека, оценивали записанные выступления выбранных ранее 14 фигуристок. Судьям было необходимо провести процедуру, аналогичную оцениванию на настоящий соревнованиях. То есть сначала они заносили в протокол чистоту выполнения элементов, потом определяли вычеты за ошибки. После просмотра каждого выступления судьям было необходимо поставить общие оценки за технику и за артистизм. Пересматривать выступления не разрешалось. Когда все выступления были просмотрены, у судей спросили, знакома ли им каждая спортсменка из 14. Если предположение исследователей об известности девушек для каждого конкретного судьи не совпадало с реальностью, спортсменка не включалась в анализ. Так, в итоговый анализ было включено только 13 спортсменок.
Современный протокол оценивания выступления
(GOE– «чистота выполнения элемента» аналогична вычетам, упоминавшимся в статье)
В исследовании было решено смотреть не только на итоговые оценки, выставленные судьями. Наоборот, исследователи хотели изучить весь этап выставления оценок. Они были уверены, что судьи склонны ставить известным им спортсменам выше оценку за артистизм, в то время как оценка за технику более строгая и меньше поддается факторам, не зависящем от катания самих спортсменок. На случай, если оценки за технику для известных и неизвестных фигуристок различаются, исследователи решили собрать данные еще и по ведению протоколов. Им было важно понять, на какой именно стадии выставления оценки за артистизм (внесения записей в протокол, определения вычетов или оценивания выступления) появляются существенные различия.
Итак, исследователи оценивали, насколько записи в протоколе для определенных элементов, сумма вычетов за них, итоговые оценки за технику и артистизм, и место, на которое судья поставил бы фигуристку в рейтинге, зависит от известности данной фигуристки. Правильность внесения записей в протокол оценивалась группой из трех судей. Если все 3 судьи, посвящённые в цель эксперимента, были согласны в чистоте выполнения элемента фигуристкой, то их оценка и считалась правильной. Если хотя бы один судья из трех не был согласен со своими коллегами, элемент просто не учитывался в итоговом анализе. Все остальные пункты анализа исследователей не нуждались в комиссии, и поэтому влияние известности на них оценивалось только с помощью математических моделей (регрессий), без мнения 3 независимых судей.
В итоге оказалось, что записи в протоколе почти не зависят от известности фигуристки. А вот на стадии начисления вычетов за ошибки появляются существенные различия. Так для неизвестных спортсменов вычеты были в среднем на 0.04 больше (при учете того, что за падание в то время давался вычет 0.4), технические оценки на 0.18 ниже, а суммарное место в среднем ниже примерно на 1.5 позиции. Тем не менее, оценки за артистизм почти не отличались, хотя они сильно скоррелированны с оценками за чистое выполнение элементов (сложно высоко оценивать артистичность спортсменок, если они постоянно ошибаются в технике и так отвлекают судей от своего же проката).
Результаты эксперимента (Findlay, 162)
M - среднее значение баллов, SD - стандартное отклонение или корень из дисперсии.
Получается, что известность спортсмена в годы проведения исследования действительно могла влиять на его оценки и спортивные результаты в будущем. С момента написания статьи некоторые правки были внесены в систему оценивания, например, Международный союз конькобежцев начал отказываться от анонимности судей в протоколах соревнований (сейчас в протоколах танцев на льду, например, видно фамилии судей и их баллы), увеличил штрафы за падения и понизил верхнюю границу баллов за артистизм, если были допущены падения. Однако эти меры не влияют на описанную в статье проблему. Так, возвращаясь к ситуации с отбором на чемпионат мира в этом году, можно утверждать, что Евгения Медведева обладает большей известностью, чем Елизавета Туктамышева. За последнее время Евгения завоевала больше побед на крупных соревнованиях и большую фанатская база. Кажется, что по логике, описанной в статье, судьи ожидали от Евгении хорошего выступления, и могли поставить баллы выше, чем за те же элементы Елизавете Туктамышевой. Было ли в итоге судейство справедливым? Конечно, хочется в это верить. Но само существование этого вопроса, и только что разобранная статья показывают, что на данный момент существуют проблемы в системе судейства фигурного катания. Очень важно достичь судейства, которое всеми будет признано справедливым. Так соревнования станут более честными, что привлечет к ним большее внимание зрителей. И спортсмены не будут страдать ни от несправедливого оценивания, ни от критики со стороны чужих фанатов, ни от сомнений зрителей в справедливости получения медали.
Получается, что известность спортсмена в годы проведения исследования действительно могла влиять на его оценки и спортивные результаты в будущем. С момента написания статьи некоторые правки были внесены в систему оценивания, например, Международный союз конькобежцев начал отказываться от анонимности судей в протоколах соревнований (сейчас в протоколах танцев на льду, например, видно фамилии судей и их баллы), увеличил штрафы за падения и понизил верхнюю границу баллов за артистизм, если были допущены падения. Однако эти меры не влияют на описанную в статье проблему. Так, возвращаясь к ситуации с отбором на чемпионат мира в этом году, можно утверждать, что Евгения Медведева обладает большей известностью, чем Елизавета Туктамышева. За последнее время Евгения завоевала больше побед на крупных соревнованиях и большую фанатская база. Кажется, что по логике, описанной в статье, судьи ожидали от Евгении хорошего выступления, и могли поставить баллы выше, чем за те же элементы Елизавете Туктамышевой. Было ли в итоге судейство справедливым? Конечно, хочется в это верить. Но само существование этого вопроса, и только что разобранная статья показывают, что на данный момент существую проблемы в системе судейства фигурного катания. Очень важно достичь судейства, которое всеми будет признано справедливым. Так соревнования станут более честными, что привлечет к ним большее внимание зрителей. И спортсмены не будут страдать ни от несправедливого оценивания, ни от критики со стороны чужих фанатов, ни от сомнений зрителей в справедливости получения медали.
Источник:
Ansorge, C.J., & Scheer, J.K. (1988). International bias detected in judging gymnastics competition at the 1984 Olympic Games. Research Quarterly, 59, 103-107.
Findlay, Leanne C. and Ste-Marie, Diane M. “A Reputation Bias in Figure Skating Judging ”. Journal of Sport & Exercise Psychology, 2004, 26, 154-166.
