Спецпроект
6 мин.

Сначала компьютер победил человека в шахматы и го, потом пришел за покером. Да, искусственный интеллект умеет блефовать

Покер – одна из самых сложных игр для искусственного интеллекта. В отличие от шахмат или шашек, это игра с неполной информацией – компьютер не может точно знать, какие карты на руках у оппонента, он может только догадываться. Кроме того, в покере часто блефуют, что сложно поддается математическому анализу. Наконец, в покер играет, как правило, несколько человек с разными стратегиями – чтобы выигрывать, надо быть успешным против каждой. 

Искусственный интеллект уже год как справился с этой задачей. Впрочем, сомнений в том, что это произойдет, не было по крайней мере с 2015 года, когда AI только начал свой путь к покорению покера. Это не повод для грусти – да, покер стал «решенной» игрой, но зато, как и в шахматах, изучение компьютерных стратегий обогатит игру и, возможно, приведет к пересмотру даже тех вещей, которые считаются аксиоматическими. 

Расскажем обо всем по порядку, но сначала напомним, что играть в покер с живыми людьми лучше всего в покер-руме ПокерОК. Сейчас там идет мини-WSOP – серия турниров Good Game Series Of Poker для микролимитчиков, полностью повторяющая WSOP, только с небольшими бай-инами и высокими призовыми.

Первая победа: Cepheus

Сконструировать такой искусственный интеллект, который бы устойчиво обыгрывал людей в их любимые игры – одна из самых сложных задач современности, поэтому неудивительно, что ей занимаются в основном ученые. Программу Cepheus, названную то ли в честь персонажа греческой мифологии Кефея, то ли в честь созвездия (а скорее всего – в честь обоих), разработали еще в 2014 году эксперты из университета в Альберте.  

Результаты их работы были опубликованы в Science: через 70 дней обучения Cepheus стал настолько хорошо играть в хедз-ап (=один на один) пот-лимит (=с фиксированными ставками) покер, что мог обыгрывать любого профессионала. Более того, он выбирал такие ходы, которые исключали, что человек, даже если будет играть с Cepheus всю жизнь, сможет достичь уровня компьютера. «Мы не говорим, что он будет выигрывать деньги каждую раздачу. Но на дистанции компьютер не может проиграть – будет ничья или победа AI», – радовался один из разработчиков Cepheus Майкл Боулинг. 

Тогда казалось, что это еще не конец. В конце концов, покер с лимитированными ставками не настолько популярен, как безлимитный, к тому же понятно, что вариантов применить блеф там намного меньше. Поэтому победа Cepheus не оказала большого влияния на покерный мир, а ученые начали создавать такой компьютер, который бы умел играть в безлимитные игры. 

И снова человек потерпел поражение: Libratus отомстил за Claudico 

В 2016-м произошло важное событие не из мира покера, после которого стало понятно, что победа в безлимитной игре – вопрос времени. В 2016-м компьютер AlphaGo победил в го лучшего игрока планеты Ли Седоля.

Особенность той победы в том, что компьютер не перебирал комбинации, а учился «думать». Позднее в усовершенствованные AI системы AlphaGo вообще перестали загружать партии с людьми – искусственный интеллект учился только на партиях с самим собой (последняя версия AlphaGo обыграла ту, против которой сражался Ли Седоль, со счетом 100:0). 

Одновременно с этим происходила работа над «решением» покера. Наиболее значительных результатов добились в Университете Карнеги Меллон. Сначала там создали Claudico, который в 2015 году сразился с четырьмя профессионалами в хедз-ап покер и проиграл – три из четырех профессионалов обыграли искусственный интеллект на дистанции в 80 тысяч раздач, на время подтвердив, что компьютеру не дается блеф. 

За Claudico отомстил Libratus, разработка того же университета. В 2017 году он сразился также против четырех профессионалов, на этот раз количество раздач было увеличено до 120 тысяч, это заняло 20 дней. Уже в начале стало понятно, что профи соревнуются не с Libratus, а между собой – кто проиграет меньше всех. Компьютер легко обыграл всех четверых, зарабатывая по 14,7 больших блайнда за 100 раздач. 

Теперь ученым предстояло самое сложное: допустить компьютер до покера, в котором играет больше двух человек. AI должен был не только научиться держать в голове несколько стратегий разных оппонентов, но и разыгрывать мультипоты – когда до вскрытия могут дойти сразу несколько человек. 

И тут пришел Pluribus

Новую разработку университет Карнеги Меллон делал вместе с Facebook. В 2019 году Pluribus сыграл два матча: в одном он сражался с пятью профессионалами, в другом – профессионалы сражались с пятью копиями AI, которые не передавали информацию друг другу. Иными словами, Pluribus решил победить самый популярный тип покера. 

За 12 дней компьютер сыграл 10 тысяч раздач и оказался успешен в обеих дисциплинах – покерные игроки не могли подобрать ключ к искусственному интеллекту ни в одиночку, ни когда все были за столом. Pluribus постоянно менял стратегии, не давая возможности различить паттерны в его действиях. Кроме того, он делал шаги, которые в покере считаются минусовыми и ассоциируются с действиями новичков. В частности, обсуждались его частые «донк-беты»: компьютер играл пассивно, а когда на столе появлялась следующая карта, вдруг ставил в оппонента, который до этого был агрессором (как правило, такие ставки считаются показателем блефа и легко раскусываются даже непрофессиональными игроками). 

Из комментариев профессиональных игроков мы знаем, что все AI играют не только непредсказуемо, но и очень агрессивно: чтобы проверять их блефы или полублефы, игрокам надо жертвовать значительным количеством фишек. Кроме того, в его модель было заложено, чтобы Pluribus в основном сосредотачивался на следующих двух-трех шагах, а не на долгосрочной стратегии – и это дало неожиданно хорошие результаты. 

«Можно с уверенностью сказать, что он играет на сверхчеловеческом уровне. И это уже не поменяется», – уверен один из разработчиков Pluribus Ноам Браун. 

***

Теоретически еще остались виды покера, в которых искусственному интеллекту предстоит доказать свою состоятельность – например, в больших турнирах, где стратегию необходимо адаптировать к постоянному увеличению обязательных ставок. Тем не менее, уже сейчас можно сказать, что покер стал «решенной» игрой.  

Разработчики Pluribus не планируют зарабатывать на покере: их модель перестала обновляться, и можно надеяться, что по крайней мере какое-то время такие AI не выйдут из стен научных лабораторий и не убьют онлайн-покер. Сами ученые считают, что похожие на Pluribus системы пригодятся в кибербезопасности, в финансовых переговорах, для предотвращения преступлений или будут помогать компьютерам в беспилотных автомобилях – в общем, везде, где приходится сталкиваться с решением задач с неполной информацией.

Ну а игрокам в покер остается только изучать раздачи Pluribus и других AI и подмечать в них что-то, что сделает их похожим на суперкомпьютер. А также соревноваться в онлайн и офлайн-турнирах по типу WSOP, Мировой серии покера для живых людей (искусственному интеллекту вход запрещен), которая в этом году проходила в покер-руме GGпокерок. За время серии общий призовой фонд превысил несколько десятков миллионов долларов.

Фото: poker.srv.ualberta.ca; youtube.com/Engadget ; qz.com

Здесь проходит WSOP
50 комментариев
Ответ Serghi991 S
Странно, думал покер для компа намного проще шахмат
в шахматах всё понятно, весь расклад перед глазами. А в покере 2 карты у каждого оппонента скрыты. В этом вся соль.
+17
0
+17
Ответ Че Рёжа
Шахматы это просто комбинаторика. А держать в памяти комбинации лучше может компьютер, это очевидно.
Вы, наверное, это не знаете, но шахматисты долгое время не верили, что компьютер обыграет человека в шахматы. При чем очень долго не верили, вплоть до конца 80-х годов, когда уже появились программы,игравшие в силу крепкого первого разряда. При чем не только рядовые любители, но и такие гроссмейстеры, как Таль, например. Вот что писал Михаил Таль в 1988 году: "Машина действительно научилась играть - на уровне хорошего первого разряда Значит, следующий этап - уровень мастера, а затем...
Мое субъективное мнение: следующего этапа не будет. Почему? Сошлюсь на пример из собственной практики. Вот уже несколько лет за рубежом в сеансах одновременной игры одна доска обязательно отдается шахматному компьютеру. Скажу сразу: играть с этим партнером для меня одно удовольствие.
Дело в том что шахматный компьютер хорошо просчитывает варианты на заранее известное число ходов, но то, что находится за пределами этих ходов, для него тайна за семью печатями. Кроме того, у компьютера-перворазрядника феноменальный аппетит: если ему не грозит непосредственно мат, он съедает все, что ему предлагают.
Поэтому так называемые интуитивные жертвы, то есть не поддающиеся точному расчету, во встречах с компьютерами приносят практически стопроцентный результат".
Надо ли говорить о том, насколько наивными сейчас кажутся эти слова? Но в те годы игроки всерьез считали, что человеческая интуиция сильнее машинного расчета. Время показало, что это совсем не так.
Компьютерные программы сейчас также пишут стихи, музыку, рисуют картины и т.д. Но, в отличие от шахмат, до человеческого уровня компьютеру здесь очень далеко. Это говорит о том, что живопись, музыка, литература - несравненно более высокие в интеллектуальном плане занятия, чем шахматы.
+19
-5
+14
Прикольно. Покеррум оплачивает статью о том, что не надо онлайн играть в покер, искусственный интеллект тебя рано или поздно обыграет
+13
-1
+12
Ответ Levais
Нет там никакой соли. Либо правильная карта у оппонента, либо нет. Либо тебе придёт правильная карта, либо нет. А в шахматах думать надо. Собственно это и есть те самые "игры с не полной информацией".
шахматы сложнее для человека, но проще для компа, который считает несколько миллионов вариантов в секунду. Прога на моём телефоне уничтожит Карлсена с сухими счётом даже в 100 партий.

Покер гораздо сложнее для машины, хотоя проще для человека, там надо уметь в психологию, вовремя сдавать слабые карты, понимать, что твоя рука не тянет (даже если два туза), или наоборот, видеть, что у соперника походу нет фуллхауса, хотя судя по флопу он может быть, и убедить всех в том, что у тебя - лучшая комбинация. Хотя по сути у тебя мусор.

Покер - конечно, спорт, потому что основной критерий спорта - мастерство и соревновательный элемент. Если бы покер был как рулетка, тупо на удачу, то не было бы стабильно выигрывающих игроков.

Хотя в покере, конечно, элемент удачи есть. Разумеется, из 100 партий (не раздач, а именно партий), вполне возможно, что одну ты сможешь выиграть у мастера. В шахматах сложнее, ты даже вничью не сможешь свести с гроссмейстером.
+12
-3
+9
Ответ podkop09
Главное чтобы такие проги не пришли в онлайн покер, надо бороться румам как с любым другим запрещенным софтом, а то смысл покер онлайн потеряет, когда там будут AI читаки
то смысл покер онлайн потеряет, когда там будут AI читаки
-------------------------------------------------------
Онлайн покер давно потерял смысл, с изменением расчета рейка и огромным количеством ботов от самого рума.
+7
-1
+6
Ответ заблокированному пользователю
Плюсую. Сам раньше немного играл на старсах, понял что онлайн ерунда полная. На одном столе можешь поймать винстрик, когда соперник с тобой ничего сделать не может. Сядешь на другой стол - минут 30 сидишь, ничего не выпадает, никаких шансов вообще на победу. Переезжают как будто запрограммирована вероятность победы. В общем офлайн поиграть ради удовольствия может быть интересно, но онлайн - выкачка денег у игроков.
Играя хорошо онлайн, ты просто уничтожаешь оффлайн. Я первый раз пришел в казино в 2009. И был там дедушка с погонялом Дедушка. Так вот все говорили что он про , и против него нет шансов. А оказалось что он просто сраный геперагресивный лудоман. Без шансов тот дедушка просрал мне все деньги.
+5
0
+5
Ответ podkop09
Главное чтобы такие проги не пришли в онлайн покер, надо бороться румам как с любым другим запрещенным софтом, а то смысл покер онлайн потеряет, когда там будут AI читаки
Скорее всего, они уже давно туда пришли.
+5
-1
+4
Вы, наверное, это не знаете, но шахматисты долгое время не верили, что компьютер обыграет человека в шахматы. При чем очень долго не верили, вплоть до конца 80-х годов, когда уже появились программы,игравшие в силу крепкого первого разряда. При чем не только рядовые любители, но и такие гроссмейстеры, как Таль, например. Вот что писал Михаил Таль в 1988 году: "Машина действительно научилась играть - на уровне хорошего первого разряда Значит, следующий этап - уровень мастера, а затем... Мое субъективное мнение: следующего этапа не будет. Почему? Сошлюсь на пример из собственной практики. Вот уже несколько лет за рубежом в сеансах одновременной игры одна доска обязательно отдается шахматному компьютеру. Скажу сразу: играть с этим партнером для меня одно удовольствие. Дело в том что шахматный компьютер хорошо просчитывает варианты на заранее известное число ходов, но то, что находится за пределами этих ходов, для него тайна за семью печатями. Кроме того, у компьютера-перворазрядника феноменальный аппетит: если ему не грозит непосредственно мат, он съедает все, что ему предлагают. Поэтому так называемые интуитивные жертвы, то есть не поддающиеся точному расчету, во встречах с компьютерами приносят практически стопроцентный результат". Надо ли говорить о том, насколько наивными сейчас кажутся эти слова? Но в те годы игроки всерьез считали, что человеческая интуиция сильнее машинного расчета. Время показало, что это совсем не так. Компьютерные программы сейчас также пишут стихи, музыку, рисуют картины и т.д. Но, в отличие от шахмат, до человеческого уровня компьютеру здесь очень далеко. Это говорит о том, что живопись, музыка, литература - несравненно более высокие в интеллектуальном плане занятия, чем шахматы.
>Это говорит о том, что живопись, музыка, литература - несравненно более высокие в интеллектуальном плане занятия, чем шахматы.

Ерунда. То, что компьютер может просчитать шахматы до конца партии, не говорит о том, что это проще, чем музыка или живопись. Это говорит лишь о том, что это можно просчитать и все.
+4
0
+4
ооо теории заговоров подъехали. А расскажи на какиих лимитах играешь? Где же ты ботов увидел? Обычно такие умозаключения делают отбитые неумехи. Я например играю в покер 10+ лет. И только раз встретил ботов, но за встречу с ними мне рум вернул бабки.
я закончил с этим примерно через год после закрытия FULL TILT, это значит 2012м. как раз когда вы начинали. А начал примерно в 2001м с пати покер, если не ошибаюсь. Как по мне, сейчас не покер, а рейкомесиво. Надо замостить весь монитор, а то и два монитора столами, убить в конец глаза, катая по 8 часов в день, чтоб что-то заработать. Гори оно огнем, здоровье дороже.
+4
0
+4
ИИ уже умеет блефовать? Судный день не за горами....
+2
0
+2
Укажите причину бана
  • Оскорбление
  • Мат
  • Спам
  • Расизм
  • Провокации
  • Угрозы
  • Систематический оффтоп
  • Мульти-аккаунтинг
  • Прочее
Пожаловаться
  • Спам
  • Оскорбления
  • Расизм
  • Мат
  • Угрозы
  • Прочее
  • Мультиаккаунтинг
  • Систематический оффтоп
  • Провокации
Комментарий отправлен, но без доната
При попытке оплаты произошла ошибка
  • Повторить попытку оплаты
  • Оставить комментарий без доната
  • Изменить комментарий
  • Удалить комментарий