Si nous avons appris quelque chose en matière de technologie au cours des dernières décennies, c’est que nous ne nous préparons pas aux inconvénients jusqu’à ce que les problèmes soient si graves que nous ne pouvons plus les ignorer. Les médias sociaux en sont l’exemple type : salués comme une utopie à leur arrivée, ils sont aujourd’hui largement considérés comme une force destructrice et déstabilisatrice pour la société. Il a fallu plus d’une décennie pour que ce phénomène s’installe, mais aujourd’hui, une grande majorité d’Américains pensent que les médias sociaux ont un effet essentiellement négatif sur notre monde.
Les raisons invoquées sont la propagation de la désinformation, de la haine, du harcèlement, de la polarisation et de la partisanerie. Bien sûr, ce n’est pas la technologie elle-même qui crée ces problèmes. Ce sont les modèles économiques qui sous-tendent les médias sociaux qui ont poussé les plateformes à médiatiser le flux d’informations dans la société, en filtrant et en amplifiant le contenu de manière à déformer notre pensée. C’est une forme de contrôle de l’esprit, et c’est sur le point d’empirer. Je parle des métavers.
Les métavers et le contrôle par rétroaction
S’il n’est pas régulé, le métavers pourrait devenir l’outil de persuasion le plus dangereux jamais créé. Je ne fais pas cet avertissement à la légère. Je suis technologue dans ce domaine depuis plus de 30 ans, j’ai commencé comme chercheur à Stanford, à la NASA et à l’armée de l’air américaine, puis j’ai fondé un certain nombre de sociétés dans ce domaine. Je crois sincèrement que les métavers peuvent être une force positive pour l’humanité, mais si nous attendons que les problèmes deviennent flagrants, comme c’est le cas avec les médias sociaux, il sera trop tard pour réparer les dégâts.
Pour sensibiliser le public à ces questions, j’ai écrit de nombreux articles sur les dangers des métavers et la nécessité de protéger les droits de l’homme, mais je n’ai pas expliqué d’un point de vue technique pourquoi les technologies immersives sont tellement plus dangereuses que les médias sociaux traditionnels. Pour ce faire, j’aimerais introduire un concept d’ingénierie de base appelé contrôle par rétroaction.
Il provient d’une discipline technique appelée théorie du contrôle, qui est la méthode utilisée par les ingénieurs pour contrôler les comportements d’un système. Pensez au thermostat de votre maison. Vous fixez un objectif de température et si votre maison descend en dessous de cet objectif, le chauffage s’allume. Si votre maison devient trop chaude, il s’éteint. Lorsqu’il fonctionne correctement, le thermostat maintient votre maison proche de l’objectif que vous avez fixé. C’est le contrôle par rétroaction.
Bien sûr, les ingénieurs aiment rendre les choses plus complexes qu’elles ne le doivent, aussi le concept simple ci-dessus est-il généralement représenté dans un format standard appelé diagramme de système de contrôle, comme suit :
Dans l’exemple du chauffage, votre maison serait le système, un thermomètre serait le capteur et le thermostat serait le contrôleur. Un signal d’entrée appelé référence correspond à la température que vous avez fixée comme objectif. L’objectif est comparé à la température réelle de votre maison (c’est-à-dire la sortie mesurée). La différence entre la température de consigne et la température mesurée est transmise au thermostat qui détermine ce que le chauffage doit faire. Si la maison est trop froide, son chauffage se met en marche. Si elle est trop chaude, le chauffage s’éteint. C’est un système de contrôle classique.
Bien sûr, les systèmes de contrôle peuvent être très sophistiqués, permettant aux avions de voler en pilotage automatique et aux voitures de se conduire toutes seules, voire même aux robots d’atterrir sur Mars. Ces systèmes ont besoin de capteurs sophistiqués pour détecter les conditions de conduite ou de vol ou tout autre élément approprié à la tâche. Ils ont également besoin de contrôleurs puissants pour traiter les données des capteurs et influencer le comportement du système de manière subtile. De nos jours, les contrôleurs utilisent de plus en plus des algorithmes d’IA.
Sur cette toile de fond, replongeons dans les métavers.
Si l’on se réfère au schéma standard ci-dessus, on constate que seuls quelques éléments sont nécessaires pour contrôler efficacement un système, qu’il s’agisse d’un simple thermostat ou d’un robot sophistiqué. Les deux éléments les plus importants sont un capteur qui détecte les comportements en temps réel du système et un contrôleur qui peut influencer ces comportements. Les seuls autres éléments nécessaires sont les boucles de rétroaction qui détectent continuellement les comportements et exercent des influences, guidant le système vers les objectifs souhaités.
L’humain dans la boucle
Comme vous l’avez peut-être deviné, lorsque l’on considère le danger des métavers, le système contrôlé est vous – l’humain dans la boucle. Après tout, lorsque vous mettez un casque et que vous vous enfoncez dans le métavers, vous vous immergez dans un environnement qui a le potentiel d’agir sur vous plus que vous n’agissez sur lui. En d’autres termes, vous devenez l’habitant d’un monde artificiel dirigé par un tiers qui peut surveiller et influencer vos comportements en temps réel. C’est une situation très dangereuse.
Dans l’illustration ci-dessus, les entrées du système pour l’utilisateur humain sont les images immersives, les sons et les sensations tactiles qui sont transmis à vos yeux, vos oreilles, vos mains et votre corps. Il s’agit d’un apport considérable, probablement le plus étendu et le plus intime que l’on puisse imaginer, à part l’utilisation d’implants cérébraux chirurgicaux. Cela signifie que la capacité d’influencer le système (c’est-à-dire vous) est tout aussi étendue et intime. De l’autre côté de l’utilisateur dans le diagramme ci-dessus se trouve la sortie du système – c’est-à-dire vos actions et réactions.
Cela nous amène à la boîte de capteurs dans le diagramme ci-dessus. Dans le métavers, les capteurs suivront tout ce que vous faites en temps réel – les mouvements physiques de votre tête, de vos mains et de votre corps. Cela inclut la direction dans laquelle vous regardez, la durée de votre regard, le faible mouvement de vos yeux, la dilatation de vos pupilles, les changements de votre posture et de votre démarche – même vos signes vitaux sont susceptibles d’être suivis dans le métavers, y compris votre rythme cardiaque, votre fréquence respiratoire et votre pression sanguine.
En outre, le métavers surveillera vos expressions faciales et vos inflexions vocales pour suivre vos émotions en temps réel. Cela va au-delà de la détection des expressions que les autres personnes remarquent ; cela inclut également les expressions subconscientes qui sont trop subtiles pour que les humains les reconnaissent. Connues sous le nom de « micro-expressions », ces manifestations peuvent révéler des émotions que les utilisateurs n’ont pas l’intention de transmettre. Les utilisateurs peuvent même ne pas être conscients de ressentir ces émotions, ce qui permet aux plateformes métavers de connaître vos sentiments intérieurs mieux que vous.
Cela signifie que lorsque vous vous immergez dans le métavers, les capteurs vont suivre presque tout ce que vous faites et savoir exactement ce que vous ressentez en le faisant. Nous pouvons représenter cela dans le diagramme en remplaçant la boîte du capteur par le métavers (suivi comportemental et émotionnel en temps réel) comme indiqué :
Bien sûr, dans un métavers non réglementé, les données comportementales et émotionnelles ne seront pas seulement suivies, elles seront stockées au fil du temps, créant une base de données qui reflète la façon dont les individus sont susceptibles de réagir à un large éventail de stimuli au cours de leur vie quotidienne. Traitées par des algorithmes d’IA, ces nombreuses données pourraient être transformées en modèles comportementaux et émotionnels permettant aux plateformes de prédire avec précision la réaction des utilisateurs lorsqu’un contrôleur leur présente des stimuli cibles (c’est-à-dire des entrées système). Et comme le métavers n’est pas seulement une réalité virtuelle mais aussi une réalité augmentée, le suivi et le profilage des utilisateurs ne se feront pas seulement dans des mondes entièrement simulés mais aussi dans le monde réel agrémenté de contenu virtuel. En d’autres termes, les plateformes métavers seront en mesure de suivre et de profiler les comportements et les émotions tout au long de notre vie quotidienne, du moment où nous nous réveillons au moment où nous nous couchons.
Bien sûr, le danger n’est pas que les plateformes puissent nous suivre et nous profiler, mais ce qu’elles peuvent faire avec ces données. Cela nous amène à la boîte du contrôleur dans le diagramme ci-dessus. Le contrôleur reçoit une erreur mesurée, qui est la différence entre un objectif de référence (le comportement souhaité) et la sortie mesurée (un comportement détecté). Si les plateformes de métavers sont autorisées à adopter des modèles économiques similaires à ceux des médias sociaux, l’objectif de référence sera l’agenda de tiers qui cherchent à influencer les utilisateurs (voir le schéma ci-dessous). Le tiers pourrait être un sponsor payant qui souhaite persuader un utilisateur d’acheter un produit ou un service ou de croire un élément de propagande, d’idéologie ou de désinformation.
Bien sûr, la publicité et la propagande existent depuis toujours et peuvent être très efficaces grâce aux techniques de marketing traditionnelles. Ce qui est unique dans les métavers, c’est la possibilité de créer des boucles de rétroaction à grande vitesse dans lesquelles les comportements et les émotions des utilisateurs sont continuellement transmis à un contrôleur qui peut adapter son influence en temps réel pour optimiser la persuasion. Ce processus peut facilement franchir la limite entre le marketing et la manipulation. Pour comprendre les risques, examinons le contrôleur.
À la base, le contrôleur vise à « réduire l’erreur » entre le comportement souhaité d’un système et le comportement mesuré du système. Pour ce faire, il transmet les données d’entrée du système, représentées sur le schéma ci-dessus par une flèche d’apparence innocente. Dans le métavers, cette flèche représente la capacité des plateformes à modifier l’environnement virtuel ou augmenté dans lequel l’utilisateur est immergé.
En d’autres termes, dans un métavers non réglementé, le contrôleur peut altérer le monde qui entoure l’utilisateur, modifier ce qu’il voit, entend et ressent afin de le conduire vers l’objectif souhaité. Et comme le contrôleur peut surveiller la réaction de l’utilisateur en temps réel, il sera en mesure d’ajuster continuellement ses tactiques, optimisant l’impact persuasif, instant après instant, tout comme un thermostat optimise la température d’une maison.
Immergé dans le danger
Pour que cela soit clair, voici quelques exemples
Imaginez un utilisateur assis dans un café du métavers (virtuel ou augmenté). Un sponsor tiers veut inciter cet utilisateur à acheter un produit ou un service particulier ou à croire un message, une propagande ou une désinformation. Dans le métavers, la publicité ne se présentera pas sous la forme de fenêtres contextuelles ou de vidéos, comme c’est le cas aujourd’hui, mais sous la forme d’expériences immersives qui s’intègrent parfaitement à notre environnement. Dans cet exemple particulier, le contrôleur crée un couple virtuel assis à la table voisine. Ce couple virtuel sera l’entrée du système qui sera utilisée pour influencer l’utilisateur.
Tout d’abord, le contrôleur va concevoir le couple virtuel pour un impact maximal. Cela signifie que l’âge, le sexe, l’origine ethnique, le style vestimentaire, le style d’élocution, les manières et d’autres qualités du couple seront sélectionnés par des algorithmes d’IA afin d’être le plus persuasif possible pour l’utilisateur cible sur la base de son profil historique. Ensuite, le couple engagera une conversation contrôlée par l’IA entre eux, à portée de voix de l’utilisateur cible. Cette conversation pourrait porter sur une voiture que l’utilisateur cible envisage d’acheter et pourrait être encadrée par le couple virtuel discutant de la satisfaction qu’il éprouve à l’égard de son récent achat.
Lorsque la conversation commence, le contrôleur surveille l’utilisateur en temps réel, évaluant les micro-expressions, le langage corporel, les mouvements des yeux, la dilatation de la pupille et la pression sanguine pour détecter le moment où l’utilisateur commence à prêter attention. Cela peut être aussi simple que de détecter un changement physiologique subtil chez l’utilisateur en corrélation avec les commentaires du couple virtuel. Une fois que l’utilisateur cible est engagé, le contrôleur modifie les éléments conversationnels pour augmenter l’engagement. Par exemple, si l’attention de l’utilisateur augmente lorsque le couple parle de la puissance de la voiture, la conversation s’adaptera en temps réel pour se concentrer sur les performances.
Au fur et à mesure que la conversation se poursuit, l’utilisateur peut ignorer qu’il est devenu un participant silencieux, réagissant par des micro-expressions subconscientes, une posture corporelle et des changements dans les signes vitaux. Le contrôleur IA mettra en évidence les éléments du produit auxquels l’utilisateur cible réagit le plus positivement et fournira des contre-arguments conversationnels lorsque les réactions de l’utilisateur sont négatives. Et comme l’utilisateur n’exprime pas ouvertement ses objections, les contre-arguments pourraient avoir une grande influence. Après tout, le couple virtuel pourrait répondre verbalement à des préoccupations émergentes avant que celles-ci ne fassent pleinement surface dans l’esprit de l’utilisateur cible. Ce n’est pas du marketing, c’est de la manipulation.
Et dans un métavers non réglementé, l’utilisateur cible pourrait croire que le couple virtuel est un avatar contrôlé par d’autres clients. En d’autres termes, l’utilisateur cible pourrait facilement croire qu’il entend une conversation authentique entre utilisateurs et ne pas réaliser qu’il s’agit d’une expérience altérée par la promotion qui lui est spécifiquement destinée, injectée dans son environnement pour atteindre un objectif particulier.
Et ce ne sont pas seulement les adultes qui seront visés de cette manière, mais aussi les enfants, qui ont déjà du mal à distinguer le contenu authentique du matériel promotionnel. Roblox, fournisseur d’un métavers utilisé par 50 millions d’enfants, a déjà annoncé son intention de déployer des « publicités immersives » dans un avenir proche. Quelle chance a un enfant s’il est approché par un ours en peluche géant et adorable qui le suit pendant qu’il joue avec une certaine marque de jouets ou mange une certaine marque de céréales ?
Et il s’agit là d’un exemple relativement bénin. Au lieu de mettre en avant les caractéristiques d’une nouvelle voiture ou d’un nouveau jouet, l’objectif du tiers pourrait être d’influencer l’utilisateur cible au sujet d’une idéologie politique, d’une propagande extrémiste ou d’une désinformation pure et simple. En outre, les exemples ci-dessus ciblent l’utilisateur en tant qu’observateur passif d’une expérience promotionnelle dans son environnement métavers. Dans des exemples plus agressifs, le contrôleur engage activement l’utilisateur dans des expériences promotionnelles ciblées.
Par exemple, considérez la situation dans laquelle un avatar contrôlé par l’IA qui ressemble et sonne comme n’importe quel autre utilisateur dans un environnement engage l’utilisateur cible dans une conversation promotionnelle guidée par un agenda. Dans un métavers non réglementé, l’utilisateur peut ignorer totalement qu’il a été approché par une publicité ciblée et croire qu’il est en train de discuter avec un autre utilisateur. La conversation pourrait commencer de manière très décontractée, mais pourrait se diriger vers un ordre du jour précis.
En outre, le contrôleur aura probablement accès à une multitude de données sur l’utilisateur cible, notamment ses intérêts, ses valeurs, ses loisirs, son éducation, son affiliation politique, etc. et s’en servira pour élaborer un dialogue qui optimise l’engagement. En outre, le contrôleur aura accès à des informations en temps réel sur l’utilisateur, notamment les expressions faciales, les inflexions vocales, la posture du corps, les mouvements des yeux, la dilatation de la pupille, les motifs sanguins du visage, et potentiellement la pression artérielle, le rythme cardiaque et la fréquence respiratoire. Le contrôleur ajustera ses tactiques de conversation en temps réel sur la base des réponses verbales manifestes de l’utilisateur cible en combinaison avec des micro-expressions et des signes vitaux subtils et potentiellement subconscients.
Il est bien connu que les systèmes d’IA peuvent surpasser les meilleurs concurrents humains aux échecs, au go, au poker et à une multitude d’autres jeux de stratégie. De ce point de vue, quelles sont les chances d’un consommateur moyen lorsqu’il est engagé dans une conversation promotionnelle avec un agent d’IA qui a accès aux antécédents et aux intérêts personnels de cet utilisateur, et qui peut adapter sa tactique de conversation en temps réel sur la base de changements subtils dans la dilatation des pupilles ou la pression sanguine ? Le potentiel de violation de la liberté cognitive d’un utilisateur par ce type de contrôle par rétroaction dans les métavers est si important qu’il frise le contrôle mental pur et simple.
Pour compléter le schéma du contrôle par rétroaction basé sur les métavers, nous pouvons remplacer le mot générique « contrôleur » par un logiciel basé sur l’IA qui modifie l’environnement ou injecte des avatars conversationnels qui exercent une influence optimisée sur les utilisateurs cibles. Ceci est exprimé par l’expression « agents IA » ci-dessous.
Comme indiqué dans les paragraphes précédents, le public doit savoir que les grandes plateformes de métavers pourraient être utilisées pour créer des systèmes de contrôle en retour qui surveillent leurs comportements et leurs émotions en temps réel et emploient des agents d’IA pour modifier leurs expériences immersives afin de maximiser la persuasion. Cela signifie que de grandes et puissantes plateformes pourraient suivre des milliards de personnes et exercer une influence sur chacune d’entre elles en modifiant le monde qui les entoure de manière ciblée et adaptée.
Ce scénario est effrayant mais pas farfelu.
En fait, il pourrait être la chose la plus proche de « jouer à Dieu » qu’une technologie grand public ait jamais réalisée. Pour se prémunir contre ce scénario, les chefs d’entreprise, les responsables politiques et les décideurs doivent agir, en mettant en place des garde-fous réglementaires, en promouvant des normes industrielles et en garantissant des droits immersifs aux consommateurs avant que les plateformes n’adoptent des modèles commerciaux dangereux pour le public. Si de tels garde-fous avaient été mis en place dès le début de l’évolution des médias sociaux, le monde serait peut-être plus sûr.
