ChatGPT peut impressionner par la qualité de ses réponses à certaines requêtes mais, lorsqu’il s’agit de disputer une partie d’échecs, l’intelligence artificielle d’OpenAI perd pied. La preuve, ChatGPT a perdu contre l’Atari 2600, une machine sortie en 1977, et ce, au niveau débutant. Comment cela est-il possible ? Robert Jr. Caruso, un ingénieur et architecte d’infrastructure chez Citrix, a mené une petite expérience. Il a opposé ChatGPT (modèle GPT-4o) à l’Atari 2600 dans le cadre d’une partie de Video Chess (via l’émulateur Stella). De prime abord, tout le monde pourrait penser que le modèle évolué d’OpenAI ne pourrait faire qu’une bouchée d’un logiciel assez rigide incorporé à une machine ayant pratiquement 48 ans. Pourtant, malgré un processeur de 8 bits cadencé à 1,19 Mhz et aucun modèle de langage incorporé, la machine d’Atari a triomphé au niveau débutant. En effet, ChatGPT a eu des difficultés à reconnaître les pièces, confondant notamment la tour et le fou. L’IA a également manqué des fourchettes (coups qui permettent de s’attaquer à au moins deux pièces adverses) et régulièrement perdu la trace des pièces. ChatGPT s’est défendu en pointant du doigt la matérialisation trop abstraite des pièces. Pourtant, lorsque Robert Jr. Caruso lui a fourni un plateau avec les positions de base pour bien identifier chaque pièce, le résultat n’a guère était plus satisfaisant. Les erreurs se sont multipliées, à tel point que l’ingénieur a dû intervenir pour empêcher ChatGPT de faire “des mouvements horribles”. Cela permet de mettre en avant les limites de certains grands modèles de langage (LLM). En effet, ces derniers se basent sur des probabilités statistiques pour construire leurs réponses aux requêtes. En l’occurrence, l’IA en question n’est pas calibrée pour comprendre le jeu et enchaîner des situations cohérentes avec le cours de la partie… Alors que l’Atari 2600 a simplement appliqué de manière implacable des règles strictes, avec un calcul des probabilités pour jouer le meilleur coup possible en fonction de la situation, grâce notamment à une maîtrise des positions des pièces. Comme quoi, un vieux programme bien calibré peut s’avérer bien plus efficace qu’un modèle non spécialisé.