Poker-Software schlägt gleichzeitig mehrere Poker-Profis

2017 hatte der Pokerspiel-Bot Libratus für Aufsehen gesorgt, da er das Spiel im Einzel gegen einen echten Pokerspieler gewinnen konnte. Nun wurde die KI weiterentwickelt und der Nachfolger Pluribus trat gegen verschiedene Pokerspieler gleichzeitig an – überraschenderweise konnte die Maschine die Pokerspieler schlagen.

Im Bereich Poker hat man 2017 eine KI entwickelt, die es mit echten Poker-Profis aufnehmen sollte. Tuomas Sandholm, Informatikprofessor an der US-Universität Carnegie Mellon, und sein Mitarbeiter Noam Brown machten vor 2 Jahren Schlagzeilen, da ihr Computerprogramm Libratus echte Pokerspieler im einzelnen Kampf geschlagen hat. Jetzt hat man das Programm weiterentwickelt, sodass die neue KI mit Namen Pluribus gegen mehrere Pokerspieler gleichzeitig antreten kann.

Kampf Mensch gegen Maschine – ein alter Hut und doch anders

Der Kampf Mensch gegen Maschine wurde nicht nur von diversen Hollywood-Filmen aufgegriffen. Der Schachweltmeister Garri Kimowitsch Kasparow hatte gegen den Computer Deep Blue 1996 und 1997 gespielt, das 2. Turnier im Jahr 1997 hatte er gegen den Rechner von IBM verloren. Es handelte sich damals um den ersten Computer, der gegen einen amtierenden Schachweltmeister gewinnen konnte. Seitdem wurde kein neues Match ausgetragen, Kasparow hatte damals unter der Niederlage aber sichtlich gelitten.

Google Deep Mind hatte 2015 ein Computerprogramm für das Brettspiel Go entwickelt. Es trat unter den Pseudonymen Master(P) und Magister(P) auf, ist aber mittlerweile als Alpha GO bekannt. 2015 trat es gegen den Europameister Fan Hui im Go an, 2016 gegen den Südkoreaner Lee Sedol, der immer noch als bester Go-Spieler gilt. Beide Partien hat er für sich entschieden.

Vor diesem Hintergrund wurden Libratus und ebenfalls Pluribus entwickelt. Dabei traten die Computerprogramme gegen Profi-Spieler im Texas Hold’em ohne Limits an. Von der Komplexität des Spiels ist Poker etwas anders als Schach und Go. Bei den beiden Brettspielen hat man alle Daten, die man braucht, um eine eigene Strategie für sein Spiel zu entwickeln.

Beim Poker sind die Daten, die zur Berechnung von Spielzügen vorhanden sind, unvollständig. Man kennt nur die eigenen Karten und die Karten auf dem Tisch. Das Blatt des Gegners ist unbekannt. Durch diesen unvollständigen Spielstand fallen verlässliche Entscheidungen für einen Computer schwer. Spieler nutzen ihre Intuition oder die Einschätzung der anderen Spieler beispielsweise anhand der Körpersprache. Diese Möglichkeiten hat das Computerprogramm nicht.

Die Anfänge waren mit Libratus

Anders als Alpha Go setzte man bei Libratus nicht auf neuronale Netze, sondern auf klassisches Reinforcement-Learning (bestärkendes Lernen). Ein Entscheidungsbaum mit den möglichen Spielzügen wird systematisch auf die besten Züge eingeschränkt. Der Abgleich mit den Wahrscheinlichkeiten für den Gewinn wird durch die KI vorgenommen.

In den Einzelspielen gegen die 4 Profi-Spieler konnte Libratus am Anfang keine klare Strategie verfolgen, daher witterten die Kontrahenten eine Chance zum Sieg. Vor Beginn der Spiele hatte der Computer 15 Millionen CPU-Stunden gegen sich selbst gespielt. Nach den Runden hat Sandholm mit seinem Team das Programm mit dem Supercomputer „Bridges“ mit weiteren insgesamt 4 Millionen CPU-Stunden trainiert. Die Spieler mussten sich am nächsten Tag an eine KI gewöhnen, die nicht mehr die Schwächen des Vortages hatte. Dong Kim, Jimmy Chou, Daniel McAulay und Jason Les traten Mitte Januar 2017 im Wettstreit "Brains vs. Artificial Intelligence" an. Ausgetragen wurden die Games am Rivers Casino in Pittsburgh jeweils vor eigenen Monitoren und Computern mit dem Programm Libratus. Diese Situation ist also eher mit dem Online Poker vergleichbar.

Stephan Kalhamer, Diplom-Mathematiker und Präsident des Deutschen Poker Sportbunds, hatte das Turnier einmal wie folgt kommentiert:

Da gibt es so einen Moment, wo sie praktisch durch ihre Kreativität den Computer auf dem falschen Fuß erwischen. Danach bricht dann auch das menschliche System komplett ein, also ab Tag sieben geht's dann 13 Tage lang wirklich enorm runter; und die Niederlage ist schon krass.

Gespielt wurden 20 Tage lang knapp 120.000 Pokerblätter. Von Tag 4 bis Tag 6 schienen die Profis die Maschine im Griff zu haben, dann folgten jedoch Verluste und Niederlagen. Der Entwickler Sandholm beschrieb einmal das Vorgehen des Poker-Bots wie folgt:

Wir versuchen dabei nicht, Löcher in der Strategie des Gegners zu finden und die dann besser auszunutzen. Stattdessen schauen wir uns an: Welche Löcher hat der Gegner in unserer Strategie gefunden und mit dem meisten Erfolg ausgenutzt?

Was ist beim neuen Pluribus anders?

Pluribus ist bei mehr als 10.000 Pokerhänden gegen 5 andere Profi-Spieler im No Limit Texas Hold'em angetreten. Durch die verschiedenen Spieler ist die Situation noch einmal deutlich komplexer beim Poker. Sie sollen aus diesem Grund einen Algorithmus entwickelt haben, der die Komplexität der einzelnen Spielsituation reduziert, aber dennoch eine Strategieveränderung erkennt, wenn diese mehr Erfolg versprechen würde.

Zunächst wurde das Programm mit Kopien von sich selbst trainiert. Danach trat Pluribus zunächst gegen 5 echte Pokerspieler gleichzeitig an. Später spielten fünf KI-Versionen gegen einen Poker-Profi. In allen Turnieren setzte sich die Software dabei signifikant durch. Unter anderem wurde Darren Elias als Rekord-Spieler bei der European Poker Tour und Chris Ferguson, der sechsfache Turniersieger der World Series of Poker, geschlagen.

Die Entwickler haben die ganze Situation um Pluribus wie folgt analysiert:

Eine Partie mit sechs statt mit zwei Spielern zu spielen, erfordert grundlegende Veränderungen darin, wie die künstliche Intelligenz ihre Spielstrategie entwickelt. Von der Performance des Programms sind wir begeistert und wir denken, dass einige der Spielstrategien von "Pluribus" sogar das Spielverhalten der Profis ändern werden.

Neue KI ein Meilenstein?

Die Entwickler bezeichnen Pluribus als Meilenstein und überirdisch. Andere Forscher erkennen zwar die technische Arbeit der Entwickler an, sehen die Ergebnisse dennoch als irdisch. Marcus Liwicki, Leiter der MindGarage an der TU Kaiserslautern, hält zwar die Art und Weise des Tests für geeignet und sehr gut. Er wünscht sich aber weitere Tests von einem unabhängigen Evaluationsteam mit anderen Spielerpaarungen, um alle Vorurteile auszuschließen.

Der Begriff des „Übermenschlichen“, der sich bereits aus dem Titel der Publikation "Superhuman AI for multiplayer poker" ableitet, sollte aber eher vermieden werden. Immerhin rechne ein Taschenrechner besser als die meisten Menschen und Autos sind schneller als Menschen. Allerdings sollte man es dennoch anerkennen, wenn eine KI in unbekannten Situationen schneller lernt und bessere Entscheidungen trifft als ein Mensch. Dennoch sehen die meisten Experten im Sieg von Deep Blue oder Alpha Go deutlich größere Meilensteine.