Le « sandbox engine » utilise des agents génératifs pour peupler l’environnement de vingt-cinq agents interactifs avec lesquels on peut communiquer en utilisant le langage naturel.
Westworld – une série de HBO basée sur un parc d’attractions à thème occidental peuplé de robots – est un concept qui a donné envie à beaucoup d’en faire l’expérience. La série montrait des automates vivant dans des colonies, où ils interagissaient les uns avec les autres en langage naturel et accomplissaient des tâches telles que l’agriculture, le maintien de l’ordre, le pillage, etc. tout comme les humains.
En octobre 2016, lors de sa sortie, Westworld était une série qui semblait relever de la science-fiction. Cependant, les frontières entre la vérité et la fiction s’estompent plus vite que prévu et, sept ans plus tard, un tel monde n’est plus seulement un fragment de l’imagination de quelqu’un à la télévision.
Aujourd’hui, des chercheurs ont réussi à créer un environnement dans lequel des agents génératifs créent une simulation crédible du comportement humain. Ils ont mis au point un nouvel environnement de type « bac à sable » inspiré du jeu populaire « Les Sims », qui, selon nous, pourrait ouvrir la voie à des simulations plus avancées du comportement humain, à l’instar de Westworld.
Le « sandbox engine » utilise des agents génératifs pour peupler l’environnement de vingt-cinq agents interactifs avec lesquels il est possible de communiquer en utilisant le langage naturel. Ces « agents » sont capables d’interagir entre eux et avec le monde par le biais de leurs actions, en générant à chaque étape des déclarations en langage naturel pour décrire ce qu’ils font.
Les chercheurs ont évalué les agents génératifs et ont constaté qu’ils produisaient des comportements individuels et sociaux réalistes. Par exemple, à partir d’une simple notion spécifiée par l’utilisateur, à savoir qu’un agent souhaite organiser une fête pour la Saint-Valentin, les agents diffusent de manière autonome des invitations à la fête, font de nouvelles connaissances, se demandent des rendez-vous et coordonnent leur heure d’arrivée. Les chercheurs ont démontré que les composantes de l’architecture de l’agent – l’observation, la planification et la réflexion – jouaient chacune un rôle essentiel dans la crédibilité du comportement de l’agent.
Les mouvements des agents dans la simulation sont contrôlés à la fois par l’architecture générative de l’agent et par le moteur de jeu du bac à sable. Lorsque le modèle indique qu’un agent doit se rendre à un endroit particulier, le système calcule un chemin de marche vers la destination dans l’environnement de Smallville et l’agent commence à se déplacer en conséquence.
Tout comme dans Westworld, les utilisateurs peuvent entrer dans le bac à sable de Smallville en tant qu’agents et y opérer. L’agent contrôlé par l’utilisateur peut être soit un personnage existant à Smallville, soit un nouveau visiteur sans antécédents. Les habitants de Smallville perçoivent l’agent contrôlé par l’utilisateur et interagissent avec lui comme avec n’importe quel autre agent de la simulation. Ils reconnaissent sa présence, initient des interactions et se forgent une opinion sur son comportement en fonction de ses actions antérieures.
Westworld est plus proche que vous ne le pensez
Malgré les similitudes théoriques entre le modèle susmentionné et Westworld, nous n’avons pas encore atteint le niveau de sophistication de la robotique tel qu’il est décrit dans la série. Cependant, il existe un domaine dans lequel nous pouvons potentiellement reproduire l’essence de Westworld : le Metaverse. Dans ce domaine, les sociétés de jeux développent déjà des modèles capables de générer des rendus 3D d’avatars humains en temps réel. Les utilisateurs peuvent interagir avec ces agents virtuels, offrant ainsi un niveau d’immersion inimaginable jusqu’à présent.
INSTA est l’un de ces modèles de pointe, capable de reconstruire un avatar de tête neuronale 3D animable, très détaillé et photoréaliste, en seulement 10 minutes. La technologie est rendue possible par l’utilisation d’une seule caméra RVB pour enregistrer une courte vidéo monoculaire, qui est ensuite utilisée pour optimiser instantanément un champ de radiance neuronal déformable. Ce champ de radiance est intégré dans une grille multirésolution, basée sur un modèle de visage en 3D qui guide les déformations.
L’avatar qui en résulte est incroyablement réaliste, avec la possibilité d’être vu à partir d’une variété de perspectives nouvelles et d’être animé en temps réel. L’efficacité et la précision de l’INSTA représentent une avancée significative dans la technologie de création d’avatars, offrant un niveau de détail et d’interactivité que l’on pensait impossible auparavant.
Des entreprises comme Meta ont déjà réalisé des progrès considérables dans le domaine de la RV et, aujourd’hui, il s’agit d’un produit « prêt » sur le marché, même s’il est plus coûteux. En outre, il est aujourd’hui plus facile que jamais de « sentir » les gens dans la réalité virtuelle, grâce au retour haptique, une technologie qui fournit un retour physique simulé, comme la vibration du clavier d’un smartphone. Utilisé avec des dispositifs de réalité virtuelle, le retour haptique permet à l’utilisateur de toucher et de sentir des choses dans l’environnement virtuel qui ne sont évidemment pas présentes dans le monde réel.
Danny Parks, vice-président de la technologie chez Trigger XR, déclare : « Il existe plusieurs systèmes qui génèrent des champs ultrasoniques pour simuler le toucher, et d’autres qui utilisent des gants ou des vestes vibrantes pour fournir un retour d’information mécanique. Il faudra probablement attendre un certain temps avant de voir quelque chose qui change fondamentalement la façon dont nous ressentons les choses dans les environnements virtuels. »
Aujourd’hui, il existe plusieurs produits disponibles sur le marché qui peuvent vous entraîner entièrement dans le métavers. Il existe par exemple une combinaison intégrale, connue sous le nom de Teslasuit, qui simule les forces qui s’exercent sur votre corps. De plus, il existe maintenant des accessoires VR qui peuvent émettre des odeurs, de l’eau, de la chaleur, etc.
Pincer les poches
Cependant, si tous ces développements sont passionnants, la question de l’accessibilité financière reste d’actualité. L’Oculus VR, par exemple, coûte environ 300 dollars, tandis que les gants à retour haptique peuvent coûter environ 5400 dollars la paire, ce qui dépasse le pouvoir d’achat de la plupart des habitants des pays en développement. La Teslasuit, qui est une combinaison indispensable pour que Westworld puisse fonctionner dans le métavers, coûte la somme astronomique de 12 000 dollars.
Ainsi, bien que le développement dans ce domaine soit une étape bienvenue vers la construction de notre propre Westworld, le problème du coût menace de presque stopper le développement. Avec des entreprises comme Meta qui licencient leur équipe VR, il est fort probable que le domaine ne soit pas rentable pour les entreprises, et nous ne verrons peut-être pas de sitôt un Westworld abordable.
