14 мин.

Саберметрика. Часть 6. Базовые принципы. Регрессия. Прогностические системы

60

Прогнозы - дело неблагодарное. Но в бейсбольной жизни без прогнозов никак нельзя. Правильно оценить игрока по тому, что он сделал - очень нужно и очень важно, но нельзя принимать важные бейсбольные решения исключительно исходя из того, что игрок сделал в своей карьере. Необходимо учитывать и то, как игрок, по идее, должен сыграть в следующем (-их) сезоне (-ах), иначе можно серьёзно попасть впросак с многомиллионным контрактом или неудачным трейдом. Большинство факторов, которые влияют на будущую продуктивность игрока, мы уже рассматривали в предыдущих двух частях, но кроме смены лиг и стадионов, возрастных тенденций, защитной ценности, выборки и сплитов нельзя не учитывать и то, что иногда даже такая стандартизированная статистика может быть обманчивой, особенно если показатели игрока без особой причины прыгают, как зубцы ЭКГ (простите, я о своём профессиональном). Об этом и о том, какие прогностические системы существуют в бейсбольном мире, мы и поговорим в этом выпуске.

Часть 1. Введение

Часть 2. Краткая история

Часть 3. Базовые принципы. Run expectancy. Win expectancy. Linear weights

Часть 4. Базовые принципы. Побочные факторы, учитывающиеся при оценке игроков

Часть 5. Базовые принципы. Выборка. Сплиты и платуны

*     *     *     *     *

Несмотря на то, что сезон MLB весьма длинный и в итоге статистические выборки для тех, кто отыграл его почти полностью, получаются вполне достаточными для оценки качества игрока, а большинство статистик успевают стабилизироваться, не всё всегда так просто, как кажется. Именно потому, что сезон MLB весьма длинный, в определённых его точках может случиться так много, на первый взгляд, безобидных вещей, что они серьёзно повлияют на картину всего сезона. Давайте немного пофантазируем и теоретически допустим, что один и тот же игрок, в одном и том же возрасте, в одной и той же команде, сыграл два полностью одинаковых "сезона" в плане выходов на биту. Но не полностью одинаковых в плане исхода противостояний, а только в плане того, как он мяч отбивал.

Итак,

  • в первой игре сезона он оба раза трижды выбивал далёкие флайболы в правый филд, но в первом сезоне эта игра проходила на "Фенуэе" и все три флайбола стали аутами, а во втором сезоне она проходила на "Янки Стэдиум" и он стал героем встречи с тремя хоум-ранами;

  • в 25-й игре сезона он оба раза играл на "Ригли Филд", оба раза выбил два далёких флайбола, но в первом сезоне ветер дул внутрь стадиона и мячи остались в поле, а во втором сезоне ветер дул вовне стадиона и мячи вылетели за его пределы;

  • в 53-й игре сезона он выбил два резких лайнера в левый филд, но в первом сезоне он играл на "Фенуэе" и "Грин Монстр" с хорошей защитой на отскоке Дэниэла Навы превратил их в синглы, тогда как в другом сезоне он играл на "Чэйз Филд" с Джейсоном Кубелом в защите и заработал два дабла;

  • в 87-й игре сезона он выбил три резких граундбола по центру, но в первом сезоне он играл против Рэйс с их шифтами, так что все граундболы стали аутами, а во втором сезоне он играл против Янкиз с Джитером, и все граундболы укатились в центр, превратившись в синглы;

  • в 112-й игре сезона он выбил мяч на шортстопа, который немного неловко принял мяч и не успел выбить его на первой базе, но в первом сезоне скорер записал шортстопу ошибку, а во втором сезоне скорер записал бэттеру хит;

  • в 135-й игре сезона дважды при счёте в доме 3-2 ему бросили питч по самому краю зоны, но в первом сезоне кэтчером за ним был Хосе Молина, который дважды зафрэймил третий страйк, а во втором сезоне кэтчером за ним был Райан Домит, который чуть ли не силой заставил судью дважды назвать питчи четвёртыми болами;

  • в 155-й игре сезона он вышел отбивать при равном счёте, двух аутах и загруженных базах в 7 иннинге, но в первом сезоне он играл против яростно борющихся за выход плей-офф Атлетикс и Даг Мелвин выпустил своего лучшего ситуационного реливера (будь то LOOGY или ROOGY в зависимости от того, левша наш вымышленный бэттер или правша), который выбил его страйками, а во втором сезоне он играл против Филлис, которым уже давно всё по барабану, и Райн Сандберг решил оставить в игре новичка, который допустил эту ситуацию, дабы посмотреть, как он из неё выпутается, и наш хиттер выбил у потеющего и трясущегося от напряжения новичка грэнд-слэм.

Допустим, что всё остальное у нашего хиттера прошло одинаково, а разными выдались только эти 7 игр (хотя на самом деле таких различий за 150-155 игр было бы штук 20 минимум, но я не хотел ещё больше наполнять аналитическую в целом статью фантазиями). Также мы допустим, что наш хиттер оба раза вышел отбивать ровно 600 раз, и его реальный средний уровень как хиттера - .300/.400/.500 с 30 хоум-ранами (ну чтобы просто проще считать было). А теперь, исходя из этого, откорректируем его показатели в 1 и 2 году, исходя из этих 7 игр. В первом сезоне наш хиттер отбивал бы .292/.390/.475 с 27 хоум-ранами, а во втором - .308/.410/.525 с 33 хоум-ранами (опустим то, что при AVG и SLG считаются AB, а при OBP считается PA, тут всё же простой пример). И первый, и второй сезоны - весьма хорошие, но они уже разные. И это только простой фантазийный пример с мизерной разницей в 7 играх, тогда как в жизни происходит намного больше как случайностей, так и неслучайностей вроде "горячих"/"холодных" полос, игр несмотря на небольшие травмы, и т.д. и т.п.

*     *     *     *     *

Многим любителям бейсбола знакомо понятие "карьерный год". Кому не знакомо, то это год, в котором игрок показал результаты, которых ни раньше, ни позже не показывал. Чейз Хэдли, который за свою пока что 7-летнюю карьеру отбивает в среднем .265/.347/.409 с 93 хоум-ранами, в сезоне 2012 года отбивал .286/.376/.498 с 31 хоум-раном. Рич Аурилиа, который за свою 15-летнюю карьеру отбивал .275/.328/.433 с 186 хоум-ранами, в сезоне 2001 года отбивал .324/.369/.572 с 37 хоум-ранами. Трой Глос, который за свою 13-летнюю карьеру отбивал .254/.358/.489 с 320 хоум-ранами, в сезоне 2000 года отбивал .284/.404/.604 с 47 хоум-ранами. Брэйди Андерсон, который за свою 15-летнюю карьеру отбивал .256/.362/.425 с 209 хоум-ранами, в сезоне 1996 года отбивал .297/.396/.637 с 50 хоум-ранами. Билл Миллер, третий бейсмен Сокс в 2004, который за свою 11-летнюю карьеру отбивал .291/.373/.425 с 85 хоум-ранами, в сезоне 2003 года отбивал .326/.398/.540 с 19 хоум-ранами.

Ну и так далее. Само собой, это относится не только к непонятно откуда взявшимся отличным сезонам от не таких хороших игроков. Они просто лучше запоминаются (я бы мог вам с ходу штук 20 таких сезонов вспомнить), но точно так же бывают внезапно отличные сезоны от питчеров (Эстебан Лоайза, который за свою 14-летнюю карьеру имел среднюю ERA 4.65 с 1382 страйкаутами, в сезоне 2003 года имел ERA 2.90 и 207 страйкаутов) и внезапно плохие сезоны (будущий член Зала Славы Адриан Белтре оказался в Сокс в 2010 году только потому, что в сезоне 2009 года отбивал .265/.304/.379 с 8 хоум-ранами, но за свою пока что 17-летнюю карьеру отбивает .285/.337/.479 с 395 хоум-ранами).

И ладно бы в бейсбольной истории было куча таких примеров и ни одного примера того, как после внезапного прорыва игрок начинает играть на абсолютно новом уровне, тогда бы мы со спокойной душой могли выбрасывать такие сезоны из рассмотрения. Но таких примеров тоже более чем достаточно. Чтобы не ходить далеко, достаточно посмотреть на Хосе Баутисту, который с 2004 по 2009 сменил 5 организаций и отбивал .238/.329/.400 с 59 хоум-ранами в 2038 выходах на биту, после чего с 2010 по 2014 отбивает .272/.393/.559 c 187 хоум-ранами в 2938 выходах на биту. Ну или возьмите Мелки Кабреру - с 2005 по 2010 отбивал .267/.328/.379 в 2381 выходах на биту, а с 2011 по 2014 отбивал .309/.351/.458 в 2029 выходах на биту (и это с учётом ужасного 2013 года, когда он страдал из-за опухоли в спине). Джош Дональдсон, чей OPS в трёх сезонах в АА и ААА не поднимался выше .812, и чей OPS в двух полных сезонах в MLB составляет .840. Эдвин Энкарнасьон. Дэвид Ортис. Клифф Ли. И так далее.

*     *     *     *     *

Как же предсказывать будущее после таких сезонов? Сразу скажу, что будущих Баутист и Дональдсонов находить практически нереально, но на то они и одиночные случаи. А в целом после более удачных или более слабых сезонов для прогнозирования будущего необходимо учитывать статистический феномен "регрессия" (англ. "regression towards the mean"). Попытаюсь очень грубо объяснить этот феномен по отношению к бейсболу. Любой перфоманс игрока зависит не только от качества игрока, а и от колебаний удачи, которые выражаются в самых различных факторах, учесть которые просто нереально (как в примере в первом абзаце). Поэтому при прогнозах нужно учитывать, что из-за колебаний этих факторов каждый показатель игрока будет стремиться к карьерным нормам. Не "возвращаться", а "стремиться" - т.е., если, например, хиттер в каждом из своих первых 5 сезонов отбивал .250/.325/.400, а в шестом отбивал .300/.400/.500, то прогноз на его седьмой сезон будет куда ближе к .250/.325/.400, чем к .300/.400/.500, но всё же выше. Ведь каким бы странным не получался шестой сезон, он всё же случился, и выкидывать его из рассмотрения нельзя.

Нужно также отметить, что "регрессия" как статистическое понятие отличается от более привычного нам понимания слова "регрессия". В статистике "регрессия" значит не только планируемое ухудшение показателей, а и увеличение, т.е., работает в обе стороны. Также если применять его относительно к бейсболу, то ни в коем случае не нужно путать понятие статистической регрессии и более привычное для нас понятие слова "регрессия" (т.е., обратное значение слова "прогресс". Например, "регрессия игрока как защитника после травмы", "игрок регрессирует как хиттер" и т.д.). Это совершенно разные и взаимонеисключающие понятия - к игроку может быть применимы и то, и другое значение одновременно.

*     *     *     *     *

Без сомнения, регрессия наряду с карьерной статистикой является одним из важнейших компонентов любого прогноза игрока, но это далеко не всё, что нужно учитывать при прогнозах на будущее (те же самые побочные факторы, о которых я уже говорил и которые зачастую меняются, некоторые прогностические системы учитывают и историю травм, и даже изменение скорости фастбола для питчеров), да и даже обычную регрессию с учётом даже трёхгодичной карьеры игрока никто из обычных болельщиков не рассчитает, поэтому на свете существуют прогностические системы, которые объединяет одна нелёгкая задача - как можно более точно спрогнозировать будущее каждого игрока.

Сейчас я познакомлю вас с наиболее часто использующимися на бейсбольных сайтах прогностическими системами. Вообще в мире прогностических систем куча (например, в каждом клубе MLB есть как минимум одна неизвестная нам прогностическая система, которая в разы сложнее, чем те, которыми пользуемся мы. Впрочем, на то они и клубы MLB, тратящие миллионы, а нам для "фана" хватит и более простых), но в целом они намного ближе одна к другой, чем можно было бы подумать. Опять же - потому, что основные константы в виде карьерной статистики игрока и регрессии одинаковые, а то, каким образом ими крутят и что добавляют, не всегда серьёзно влияет на исход.

  • Marcel. Самая простая и грубая прогностическая система, разработанная Томом Танго. Последние три сезона статистики, из которых тот сезон, который ближе к нынешнему дню, ценится больше предыдущего, плюс регрессия, плюс возраст. Всё. Можно увидеть на Fangraphs незадолго до начала и по ходу сезона.

  • Steamer. Разработанная в 2008 году студентами Питером Розенблумом и Дэшем Дэвидсоном, а также их школьным преподавателем статистики Джаредом Кроссом, Steamer является самой популярной системой на данный момент, так как прогнозы на следующий сезон появляются практически сразу же после окончания последнего сезона и меняются с каждой транзакцией, так что их можно смотреть на Fangraphs по ходу всего межсезонья. Рассчитывается она исходя из стандартного времени на поле для всех игроков, а уже на самом сайте количество выходов на биту и отбросанных иннингов корректируется работниками Fangraphs.

  • PECOTA. Детище Нэйта Силвера, известного статистика из Baseball Prospectus, является, наверное, самым сложным и развёрнутым механизмом для прогноза будущего. Кроме стандартного прогноза, PECOTA (официально расшифровывается как Player Empirical Comparison and Optimization Test Algorithm - "тестовый алгоритм для эмпирического сравнения и оптимизации игроков", но изначально название было выбрано по фамилии "идеально среднего" игрока Билла Пекоты (см. фото)) выдаёт также так называемые "перцентили" (на страничке игрока выглядит так. 50-я перцентиль равна стандартному и самому вероятному прогнозу, 90-я перцентиль равна максимально разумному перфомансу, 10-я перцентиль равна минимально разумному перфомансу. То есть, это возможный разброс статистики на четыре среднеквадратических отклонения в каждую сторону), прогноз на 10 лет вперёд (на страничке игрока выглядит так), различные вероятности улучшения/ухудшения игры и потери игрового времени в процентах, и самых похожих на рассматриваемого игроков в аналогичный момент карьеры. Единственная и достаточно серьёзная проблема PECOTA - доступ к ней, как и к большинству контента Baseball Prospectus, имеется только у подписчиков сайта.

  • ZiPS. Ещё одна прогностическая система, доступная на сайте Fangraphs. Разработана она была Дэном Симборски и получила своё название от имени создателя (расшифровывается как sZymborskI Projection System). Появляется она по ходу межсезонья, сначала отдельно по каждой команде (по 2-3 команды в неделю), а после полного выхода появляется и на страницах игроков. Ничего сильно особенного в ней нет, но лично я ZiPS доверяю больше, чем остальным широкодоступным системам. Разве что подход к прогнозируемому игровому времени мне не по душе - Симборски исходит из игрового времени прошлых сезонов.

  • Oliver. Разработанная Брайаном Картрайтом, аналитиком сайта The Hardball Times, одного из "дочерних" сайтов Fangraphs, система Oliver является одной из самых близких к простейшему Marcel. Её "фишка" в том, что Картрайт в своё время нашёл очень эффективный метод прогноза молодёжи, которая только-только приходит из майноров, и для прогноза которой есть только (или по большей части) статистика в майнор лиг. Картрайт впихнул этот метод в Oliver, и в итоге, несмотря на упрощённый расчёт прогноза для ветеранов MLB, система является ценной в том плане, что более точно прогнозирует перфоманс молодёжи. Прогнозы Oliver тоже появляются на Fangraphs ближе к началу сезона.

  • Bill James. Включил в список только из уважения к Биллу Джеймсу, который, как вы поняли, её создал. Самая оптимистичная прогностическая система, результаты которой можно увидеть в ежегоднике "Bill James Handbook". Принципы её создания тоже не особо известны, так как Билл Джеймс не распространяется.

*     *     *     *

Конечно же, большинство читателей (особенно скептиков) задаётся вопросом "а стоит ли верить прогностическим системам?" Вопрос, без сомнения, легитимный, и ответить на него я призываю соавтора книги "The Book" Митчела Лихтмана, который по ходу прошлого сезона в своём блоге подробно разобрал этот вопрос в двух статьях - о хиттерах и о питчерах. Лихтман взял базу данных с 2007 по 2013 год, и, пользуясь своей собственной прогностической системой, разбил сезоны на месяцы, получив прогноз на сезон не только для начала сезона, а и после каждого месяца, используя как статистику прошлых сезонов игрока, так и прошедших месяцев текущего сезона (прогнозы, само собой, в wOBA, статистике, которая своей шкалой мимикрирует OBP, но учитывает все действия с помощью linear weights). После этого он взял сэмплы игроков, которые являются "горячими" и "холодными" после трёх точек в сезоне (после 1 месяца, после 3 месяцев и после 5 месяцев), и сравнил их прогнозы с тем, как эти игроки на самом деле играли до окончания сезона. Я действительно рекомендую вам полностью прочитать эти статьи, но если вам лень, я сделал выжимку из статьи по хиттерам в виде неказистой таблички (по питчерам итоги те же, но там Лихтман ещё и разбил их на "хороших" и "плохих", так что я решил не делать громоздкую таблицу. Тем более, что в отличии от статьи по хиттерам, во второй статье Лихтман вынес цифры в отдельные абзацы, так что просто промотав статью, цифры и так отлично видны).

Сокращения в таблице:

  • "Количество" - количество игроков из сэмпла,

  • "PA" - среднее количество выходов на биту игроков, цифры обозначают месяцы "от и до"

  • "Прогноз" - средний прогноз для игроков из сэмпла (в wOBA)

  • "Реал." - средние реальные показатели игроков из сэмпла (в wOBA), цифры обозначают месяцы "от и до"

Результаты говорят сами за себя, не находите? Какими бы "горячими" или "холодными" ни были игроки, будь то через месяц после начала сезона, посередине сезона или даже за месяц до конца сезона, всё равно их показатели до окончания сезона будут практически идентичными их прогнозам и намного отличаться от показателей, которые игроки уже показали в этом сезоне до рассматриваемой точки. Вот поэтому, друзья, в первую очередь нужно доверять прогностическим системам, а не перфомансу игроков (как, исходя из этой же таблицы, делают менеджеры MLB - у "горячих" хиттеров из сэмплов Лихтмана больше выходов на биту до конца сезона, чем у "холодных"). Да, иной раз, как чёртик из табакерки, выпрыгнет новый Хосе Баутиста или Клифф Ли, но это не более чем исключение, подтверждающее общее правило.

*     *     *     *     *

P.S. В ближайшее время планирую на время возобновить рубрику "Вопрос-ответ", так что присылайте свои вопросы - как новые, так и те, которые я уже видел, но о которых мог забыть. Не могу сказать, сколько, но несколько дней у вас ещё есть!

саберметрика