Künstliche Intelligenz Libratus schlägt Poker-Profis – Meilenstein in der IT?

In der Challenge „Brains vs Artificial Intelligence“ besiegte die Software namens Libratus vier Profi-Spieler im Eins-gegen-eins. In einem über 20 Tage andauernden Poker-Marathon im Rivers Casino in Pittsburgh wurden insgesamt 120 000 Hände am Computer gegen die Künstliche Intelligenz gespielt. Im Verlauf der Challenge konnte Libratus seine Gegner regelrecht ausnehmen. Wie wichtig ist dieser Erfolg für die Entwicklung künstlicher Intelligenz?

Die Profis gehören zur Top-Ten der Heads-up-No-Limit-Spieler

An der Challenge teilgenommen haben mit Dong Kim, Jason Les, Jimmy Chou und Daniel McAulay Spieler, die bekannt sind für ihre Erfolge im Heads-up-Poker. Sie gehören zu den besten der Welt und bei allen lautet das Kerngebiet Heads-up No Limit Texas Holdem‘. Die vier Teilnehmer haben in ihrer Karriere bereits hochdotierte Online- und/oder Offlineturniere gewonnen und sich über Jahre hinweg in der Weltspitze etabliert. Es wartete somit kein leichter Gegner auf die Konkurrenz.

Der Gegner kommt frisch von der Universität

Die Konkurrenz in Form der Künstlichen Intelligenz Libratus wurde an der Carnegie Mellon University’s School of Computer Science entwickelt. Dafür verantwortlich sind Prof. Tuomas Sandholm und sein Doktorand Noam Brown. Mitgegeben haben sie ihrem Schützling die Pokerregeln, aber keine Strategie auf der Basis von bekannten Vorgehensweisen von menschlichen Poker-Profis.

Der Algorithmus analysiert die Regeln mit der Unterstützung einer riesigen Datenbank am Pittsburgh Supercomputing Center (PSC) und bildet dadurch seine eigene Strategie. Somit lernt Libratus selbstständig und verbessert sein Spiel immer weiter. Auch während der Challenge hat die Künstliche Intelligenz Libratus seine Taktik weiter verfeinert und Schwachstellen ausgemerzt. Die dafür nötigen Berechnungen waren dank der direkten Unterstützung von PSC’s Bridges möglich.

Glücksspielkomponente wurde beseitigt

Um ein aussagekräftiges Ergebnis zu haben, musste der Faktor Glück während der Challenge minimiert werden. Dazu wurde die große Anzahl von 120 000 Händen, die eine ausreichend große „Samplesize“ darstellen, zwischen den „Brains“ und der „AI“ ausgespielt.

Zusätzlich wurde der Varianz ein Schnippchen geschlagen, indem die vier menschlichen Spieler in zwei Gruppen aufgeteilt wurden. Die Gruppen erhielten zwar die gleichen Karten, nur mit vertauschten Plätzen. Die erste Gruppe erhielt die Karten, mit denen die AI gegen die zweite Gruppe spielte und umgekehrt. Dadurch wurde sichergestellt, dass keine Partei mehr Glück als der Gegner hatte.

Software erkennt eigene Schwächen

Über ein wenig mehr Fortune hätten sich die menschlichen Spieler aber bestimmt nicht beschwert. Nach einem schwachen Start an den ersten drei Tagen konnten die Poker-Profis an Tag vier zwar einige ihrer Verluste wiedergutmachen, die gute Laune hielt aber nicht lange an.

Nachdem Libratus die Schwächen in seinem Spiel, die die Profis erkannten und kurzfristig ausnutzen konnten, beseitigt hatte, ging es mit den Verlusten weiter. Für die Profis waren die täglich zehn Stunden Poker harte Arbeit und stetiges Verlieren geht natürlich ebenfalls an die Substanz. Auch das Entwickeln neuer Strategien gegen die KI in den freien Zeiten brachte keinen Erfolg. Die KI hingegen unterliegt keinen Müdigkeitserscheinungen oder Emotionen und hat dadurch selbstredend einen erheblichen Vorteil.

Somit stand am Ende ein klares Ergebnis für die Poker-Software zu Buche. Libratus dominierte alle vier Gegner und konnte den Profis über 1,7 Mio. $ an virtuellem Geld abknöpfen. Die Profis mussten aber wenigstens keine reellen Verluste hinnehmen. Die Niederlage war also erträglich, kommt doch noch ein „Schmerzensgeld“ in Höhe von 200 000 US-$ hinzu, dass unter den Spielern je nach Abschneiden gegen die Poker-Software aufgeteilt wurde. Dong Kim dürfte sich also über den größten Teil des Preisgeldes freuen:

Das Re-Match geht somit an den Computer. In der ersten Runde der „Brains vs. AI“-Challenge im Jahr 2015 konnte der Vorgänger von Libratus, getauft auf den Namen „Claudico“, den damaligen vier Spielern nicht das Poker-Wasser reichen. Darunter waren auch damals Dong Kim und Jason Les sowie Bjorn Li und Doug Polk.

Die Profis gewannen die erste Challenge mit 732 713 $ auf 80 000 Hände bzw. mit 9,16 BigBlinds/100 Hände. Das war ein sehr gutes Ergebnis, das aufgrund der Schwächen des damaligen Algorithmus entstand. Insgesamt war das Spiel von Claudico zu passiv und zu „tight“, d.h. es wurden zu viele Karten weggelegt.

Im Gegensatz dazu spielte Libratus sehr aggressiv und machte auch in kleinen Pots große Einsätze, so dass es dieses Jahr deutlich schwieriger wurde für die menschlichen Spieler. Die Entwicklung der Künstlichen Intelligenz ist in den letzten Jahren stark vorangeschritten und die Carnegie Mellon University hat daran einen erheblichen Anteil.

In den 90er Jahren war die CMU beteiligt an der Entwicklung von DeepBlue, einem Computer von IBM, dem es 1996 als erstes gelang, den Schachweltmeister Garri Kasparow zu besiegen. Ebenfalls beteiligt waren Personen der CMU am Projekt Watson, das bei der Quizshow Jeopardy im Jahr 2011 abräumte:

Nächster Meilenstein in der Forschung der künstlichen Intelligenz

Prof. Sandholm liefert also den nächsten Höhepunkt hinsichtlich Künstlicher Intelligenz. Nicht nur in den Spielen Schach und Go scheinen uns die Maschinen überlegen zu sein. Sogar die Pokervariante Heads-up Limit Texas Hold’em wurde vor einigen Jahren von der University of Alberta „gelöst“. Das Computerprogramm Cepheus ist quasi in der Lage, perfekt zu spielen.

Nun hat zum ersten Mal ein Computer auch im deutlich komplexeren No Limit die Oberhand behalten. Im Vergleich zu No Limit basiert Limit Poker deutlich mehr auf mathematischen Grundsätzen und ist in der Setzstruktur durch die festen Einsatzhöhen simpler. Des Weiteren spielt das „Bluffen“ in der No-Limit-Variante eine sehr viel wichtigere Rolle.

Mathematisch ausgedrückt hat Limit Hold’em etwa 10¹⁴ mögliche Spielkonstellationen, bei No Limit sind es jedoch 10¹⁶⁰ Konstellationen. Für die KI ist die Entscheidungsfindung daher schwerer zu bewerkstelligen und benötigt mehr Rechenleistung.

Online-Poker-Spieler brauchen also keine Angst zu haben, in naher Zukunft nur noch gegen Bots zu spielen. Während der „Brains vs. AI“-Challenge nutzte Libratus fast die gesamte Rechenleistung von PCS’s Bridges. Die Geschwindigkeit von Bridges beträgt 1,35 Petaflops, was der Leistung von etwa 7000 High-End-Rechnern entspricht. Eine adäquate Nutzung für zu Hause scheidet ob des Fehlens eines Supercomputers somit vorerst aus.

Möglichkeiten der KI gehen weit über Geschicklichkeitsspiele hinaus

Sowieso ist das Gebiet Poker nur dazu da, die Leistungsfähigkeit der KI zu messen. Ziel ist es, die Fähigkeiten des Algorithmus auch in der „realen“ Welt anzuwenden. Laut Sandholm hat die KI ein breites Spektrum an möglichen Aufgabengebieten. In Geschäftsverhandlungen von Unternehmen, Militäroperationen oder in der Cybersicherheit könnte ein auf Libratus basierender Algorithmus weiterhelfen.

In all diesen Feldern müssen Entscheidungsträger ähnlich wie beim Poker mit unvollständigen Informationen arbeiten. Dass die KI in solchen Situationen in Zukunft überlegen sein wird, ist wohl unbestritten. Mit dem Sieg der Künstlichen Intelligenz gegen vier der besten Pokerspieler der Welt wurde daher ein weiterer Meilenstein erreicht, der uns staunend aber auch etwas beängstigt in die Zukunft blicken lässt.