Accrochez-vous bien à vos manettes car Google DeepMind vient de dévoiler un truc de dingue qui devrait intéresser le gamers que vous êtes !

Leur nouveau programme d’IA baptisé SIMA (Scalable Instructable Multiworld Agent) est capable d’apprendre à réaliser des tâches dans une multitude de jeux vidéo, juste en suivant des instructions en langage naturel.

Nvidia avait déjà fait fort l’année dernière en annonçant une techno pour créer des PNJ dotés d’une IA générative capable de discuter en temps réel avec les joueurs. Mais SIMA pousse le concept encore plus loin en acquérant carrément des compétences de joueur humain. Voilà qui promet des parties multijoueurs d’un nouveau genre !

Pour entraîner leur agent, les chercheurs de DeepMind ont collaboré avec huit studios de développement, dont des pointures comme Hello Games (No Man’s Sky) ou Coffee Stain (Valheim). Ils ont ainsi pu plugger SIMA dans des jeux aussi variés que la sandbox spatiale No Man’s Sky, le jeu de destruction créative Teardown ou même le totalement barré Goat Simulator 3 que mes enfants adorent (bêêê !). De quoi lui faire découvrir un max d’environnements interactifs et lui apprendre tout un tas de skills, de la simple navigation dans les menus jusqu’au pilotage de vaisseau ou au craft d’équipements.

Le plus fort, c’est que SIMA n’a pas besoin d’accéder au code source des jeux ni à des API spécifiques. Il lui suffit de deux inputs : le flux d’images à l’écran et des instructions basiques en langage naturel fournies par l’utilisateur. Avec ça, il est capable de prendre le contrôle du personnage principal via des commandes clavier/souris pour réaliser les actions demandées.

Autrement dit, SIMA interagit avec les jeux exactement comme un joueur humain ! C’est fou !

Pour l’instant, l’agent IA maîtrise environ 600 compétences de base : tourner à gauche, grimper à une échelle, ouvrir la carte… Mais il n’est pas encore capable de réaliser des tâches plus stratégiques nécessitant de la planification, comme trouver des ressources pour construire un camp de base. Mais les chercheurs de DeepMind comptent bien l’entraîner pour y parvenir. L’idée, c’est de combiner la puissance des grands modèles de langage (LLM), qui excellent pour générer des connaissances et des plans, avec un agent capable de passer à l’action de manière autonome.

Les tests réalisés montrent d’ailleurs que SIMA est bien plus performant quand il a été entraîné sur un ensemble de jeux que sur un seul. Mieux, un agent formé sur 8 jeux mais pas sur le 9ème se débrouillera presque aussi bien sur le 9ème, qu’il n’a jamais vu, qu’un agent IA spécialisé.

SIMA est donc capable de développer des capacités de généralisation au-delà de son entraînement initial. C’est hyper prometteur même s’il va encore falloir bosser pour qu’il atteigne le niveau des vrais joueurs. Vos streamers Twitch préférés ne sont pas encore tous au chômage, je vous rassure !

Les résultats de SIMA ouvrent en tout cas la voie vers une nouvelle génération d’agents IA généralistes et pilotés par le langage. En les exposant à un maximum d’environnements et en les dotant de modèles toujours plus avancés, DeepMind espère les rendre plus polyvalents et capables de réaliser des tâches de plus en plus complexes, aussi bien dans les univers virtuels que dans le monde réel.

Imaginez un peu les possibilités : un agent IA qui pourrait vous servir de bon pôte dans vos jeux préférés mais aussi vous assister dans plein de tâches du quotidien, juste en lui parlant ! J’imagine également que l’armée américaine s’en frotte déjà les mains…. gloups !

En attendant de pouvoir tester tout ça, je vous recommande de garder un œil sur les travaux de DeepMind, qui sont en train de repousser les limites de ce qui est possible avec l’IA. Et si vous avez envie de vous essayer à la création de PNJ “intelligents”, jetez aussi un œil au projet “ACE for Games” de Nvidia, c’est assez bluffant !

Quoiqu’il en soit, ça promet en tout cas de sacrées parties multijoueurs dans les années à venir, avec des bots toujours plus crédibles pour peupler les mondes virtuels et interagir avec nous. Mais n’ayez crainte, même si ces IA font des progrès fulgurants, je pense qu’on est encore loin du jour où elles pourront nous botter les fesses sur nos jeux préférés. Enfin, vu comme je suis une quiche en jeu, mes fesses c’est possible mais pour les autres, vous restez les meilleurs quand il s’agit de faire preuve de créativité et de sens tactique.

Source