Bots und Rollouts - der Weisheit letzter Schluss?

[HH-Dirk]

Hi,

mich interessiert die Frage, wie rollouts der bots genau funktionieren und wie verlässlich die Ergebnisse tatsächlich sind.

Als Anfänger hatte ich den Tenor aufgeschnappt, dass die gängigen bots auf Weltklasse-Niveau spielen und letzte Zweifel bei den für bots schwierigen Spielsituationen durch rollouts beseitigt würden bzw. dadurch ein einwandfreies Ergebnis geliefert würde.

Das scheint jedoch zumindest bei den cube rollouts ganz so einfach nicht zu sein, hier stoßen anscheinend auch die bots an ihre Grenzen.

Da ich zu dem Thema nichts finden konnte, hier meine Fragen:

1)Wie arbeiten die bots bei rollouts, was genau passiert da, wenn man z. B. auf 2-ply mit den Standardeinstellungen ausrollen lässt?

2)Wie verlässlich ist das Ergebnis bei RO`s bzw Cube-RO`s?

3)Gibt es irgendwelche greifbaren Indikatoren dafür, bei welchen Stellungen die bots auch bei RO´s Probleme haben, ohne dass ich erst jeweils verschiedene bots ausrollen lassen muss und die Schwierigkeiten erst anhand der Ergebnisunterschiede sichtbar werden?

Gruß
Dirk

[wintom]

Leider muss ich gestehen, dass ich kein Rollout Experte bin. Sprich, ich habe mir bisher nicht die Mühe gemacht, die Auswirkungen von Truncated, Cubefull usw. genauer zu studieren. Fakt ist, dass Rollouts i.d.R. sehr genau sind. Allerdings gibt es Positionen, in denen man darauf achten muss, hohe Plies zu benutzen (z.B. Backgames) und natürlich wird ein Rollout genauer, je länger es ausfällt. Eröffnungszüge werden teilweise mit 15000 Trials ausgerollt. Die 108 Trials Mini Rollouts von Snowie sind in manchen Positionen kaum aussagekräftiger als die 3-ply Analyse. Auch bei Rollouts können die Ergebnisse der Bots differieren, da jeder Bot natürlich sein eigenes Neuronales Netz benutzt. Und wenn zwei Bots einen Antwortzug unterschiedlich spielen, ergeben sich verschiedene Ergebnisse. Besonders krass sind die Unterschiede im Matchplay, da Snowie im Rollout seine Züge nicht am Score orientiert. Bei Match Situationen sollte man also lieber GnuBG vertrauen. Bei sehr abstrusen Positionen lohnt es sich, mal durchzuchecken, wie die Software in den nächsten zwei drei Zügen ziehen würde, um eventuell festzustellen, dass die Analyse blundert. Bei Gnu kann man das z.B. mithilfe des Rollout Logs machen (vgl. hier). Kurzgefasst:

1) Der Bot spielt eine gewisse Anzahl von Spielen (Trials) von der auszurollenden Position ausgehend gegen sich selbst, hält die Ergebnisse fest und errechnet daraus die Equity der Position bzw. der einzelnen Züge.

2) Das Ergebnis ist umso verlässlicher je höher die Analysestufe, je länger das Rollout und je simpler die Position. Beim Rollout wird auch immer die Standardabweichung angegeben, die allerdings davon ausgeht, dass das Neuronale Netz perfekt ist. Allgemein lässt sich sagen, dass Rollouts schon sehr genaue Werte liefern.

3) Wenn ein Bot in einer Position mit seiner Analyse Schwierigkeiten hat, z.B. bei unterschiedlichen Ply Stufen völlig unterschiedliche Ergebnisse herauskommen, dann ist auch ein Rollout mit größerer Vorsicht zu genießen. Oft hilft dann nur Crosschecking, sprich der Vergleich von Rollouts verschiedener Bots. Wer viel Erfahrung mit Bots hat (ich nicht ), weiss eventuell welcher Bot in welcher Spielsituation besser spielt.

Thomas

[Maik]

mich interessiert die Frage, wie rollouts der bots genau funktionieren und wie verlässlich die Ergebnisse tatsächlich sind.

Ich klaue mal Thomas' Antwort und präzisiere noch ein bißchen:

Der Bot spielt eine gewisse Anzahl von Spielen (Trials) von der auszurollenden Position ausgehend gegen sich selbst bis zum Ende der Partie*, hält die Ergebnisse fest und errechnet daraus die Equity der Position bzw. der einzelnen Züge, indem er das arithmetische Mittel der Ergebnisse bildet, also die Summer der Ergebnisse durch die Anzahl der Trials teilt.**

*: Es gibt auch die truncated Rollouts, bei denen der Bot die Position nur eine i.d.R. kleine, wählbare Anzahl von Zügen weiter spielt. Hier im Forum sind truncated Rollouts aber ziemlich unüblich. Üblich dagegen ist es, einen Rollout-Trial abzubrechen, wenn eine Stellung erreicht ist, die in den Endspieldatenbanken verzeichnet ist. In diesem Fall geht man davon aus, dass der Bot in der Abbruchposition sehr genau weiß, wie groß die theoretische Equity ist.

**: Die Ergebnisse, die gemittelt werden, sind bei Moneygame einfach die Spielwerte am Ende des Spiels und bei Matchplay die Einträge der Match-Equity-Tabelle für den neu erreichten Spielstand. Für truncated Rollouts werden stattdessen die bestmöglichen Schätzungen des Bots angesetzt. Außerdem sind fast alle Rollouts variance reduced, was bedeutet, dass alles in Wahrheit viel komplizierter ist, aber: ein sehr langer (viele Trials) variance-reduced Rollout kommt (also konvergiert) zum exakt gleichen Ergebnis wie ein sehr langer nicht-variance-reduced Rollout.

und wie verlässlich die Ergebnisse tatsächlich sind.

Ein ausreichend langer nicht-truncated Rollout (also einer mit genügend Trials) beantwortet exakt die Frage: "Welche Entscheidung wäre jetzt am besten, wenn direkt nach der Entscheidung beide Seiten genau so weiterspielen würden, wie es der Bot tut, der den Rollout vornimmt?"

Das ist natürlich normalerweise nicht die Frage, die einen eigentlich interessiert, denn das wäre ja wahlweise "Welche Entscheidung wäre jetzt am besten, wenn direkt nach der Entscheidung beide Seiten perfekt weiterspielen würden?" oder "Welche Entscheidung wäre jetzt am besten, wenn beide Seiten ganz normal menschlich entsprechend ihrer speziellen Fähig- und Unfähigkeiten weiterspielen würden?"

Die Hoffnung, dass die eigentlich beantwortete Frage ungefähr die gleiche Antwort hat wie die interessanten Fragen, ist theoretisch erst mal genau das: eine Hoffnung. Zumindest in Bezug auf die erste der interessante Frage haben wir keine Möglichkeit zu überprüfen, ob unsere Hoffnung berechtigt ist.

Andererseits sind Rollouts natürlich momentan mit Abstand das Beste, was wir haben, um hoffen zu können, perfektes Spiel zu sehen. Schon die Bewertungsstufen der Bots sind in der Analyse besser als die besten Menschen, und Rollouts setzen da noch einmal erhebliche Qualität oben drauf.