Puissance 4
Le seul jeu de l'arène entièrement résolu : on connaît le coup parfait dans chaque position. Chaque méthode est donc notée contre la vérité, et pas seulement sur ses victoires.
Dans « les jeux des pandas », les IA apprennent toutes de la même façon : par neuroévolution. Ici, on change de question. On prend cinq jeux, et pour chacun on fait concourir plusieurs familles de méthodes dans des conditions identiques, pour voir laquelle apprend le mieux, le plus vite, et à quel prix.
Le but n'est pas de désigner un vainqueur, mais de montrer que la réponse dépend du jeu, et qu'une méthode célèbre n'est pas toujours la meilleure.
Le seul jeu de l'arène entièrement résolu : on connaît le coup parfait dans chaque position. Chaque méthode est donc notée contre la vérité, et pas seulement sur ses victoires.
Des pandas pilotes apprennent à tenir la trajectoire sur des circuits générés au hasard, puis sont jugés sur des circuits qu'ils n'ont jamais vus.
Le serpent qui grandit : facile au début, étouffant à la fin. On y compare l'apprentissage à une solution parfaite écrite à la main.
Un jeu où le hasard s'en mêle à chaque coup. L'approche gagnante y est inhabituelle : une table de motifs apprise, plutôt qu'un réseau.
Commande continue : il faut doser la poussée. On y compare l'apprentissage à un correcteur classique, du genre qui pilote vraiment les fusées.
| Famille | Comment elle apprend | Dans l'arène |
|---|---|---|
| Neuroévolution | Une population de réseaux ; les meilleurs se reproduisent avec des mutations. Aucun gradient. | NEAT |
| Stratégies d'évolution | On tâtonne autour des poids actuels et on garde la direction qui améliore le résultat. Sans gradient non plus, mais la forme du réseau est fixée. | CMA-ES, ARS |
| Méthodes à gradient | On calcule dans quel sens corriger chaque poids pour mieux jouer, et on applique la correction. | DQN, PPO, SAC |
| Différence temporelle | On apprend à noter une position en la comparant à la suivante, de proche en proche. | TD(lambda), réseau n-tuple |
| Recherche arborescente | Aucun apprentissage : on explore les coups possibles au moment de jouer. | Alpha-bêta, expectimax, MCTS |
| Les deux à la fois | Un réseau appris guide la recherche, et la recherche produit les exemples qui entraînent le réseau. | AlphaZero-lite |
| Sans apprentissage | Un algorithme écrit à la main. C'est la référence qu'il faut battre pour que l'apprentissage se justifie. | Pilote de trajectoire, cycle hamiltonien, glouton, PID |
Chaque méthode qui apprend reçoit le même nombre de coups joués pour s'entraîner. Sinon, comparer n'a aucun sens. Ses réglages sont choisis avec le même effort que ceux des autres, et la page de chaque jeu dit comment : une méthode réglée plus longuement pourrait faire mieux.
L'évaluation finale se fait sur des positions, des circuits ou des adversaires nouveaux. Une IA qui a appris par cœur se trahit à ce moment-là.
Quand une méthode ne bat pas un joueur au hasard, c'est écrit. Plusieurs graines sont lancées pour chaque méthode, et l'écart entre elles est affiché.