Que l’on soit prêt ou non, le métavers arrive, apportant une vision du futur dans laquelle nous passons une partie importante de notre vie dans des mondes virtuels et augmentés. Bien que cela ressemble à de la science-fiction pour certains, une étude récente de McKinsey a révélé que de nombreux consommateurs s’attendent à passer plus de quatre heures par jour dans le métavers au cours des cinq prochaines années.
Personnellement, je pense qu’il s’agit d’un dangereux point d’inflexion dans l’histoire de l’humanité. Les métavers peuvent être un moyen de création qui élargit le sens de l’être humain. Ou bien il pourrait devenir une technologie profondément oppressive qui donne aux entreprises (et aux acteurs étatiques) un contrôle sans précédent sur la société. Je ne fais pas cette déclaration à la légère. Je suis un défenseur des mondes virtuels et augmentés depuis plus de 30 ans, d’abord en tant que chercheur à Stanford, à la NASA et dans l’armée de l’air américaine, puis en tant que fondateur de plusieurs entreprises de RV et de RA. Après avoir traversé de multiples cycles de hype, suivis d’hivers froids, je crois que nous y sommes enfin : Les métavers auront bientôt un impact majeur sur la société. Malheureusement, l’absence de protections réglementaires m’inquiète profondément.
Mais d’abord, qu’est-ce que les métavers ?
En éliminant les nombreuses technologies tangentielles qui détournent l’attention du concept de base, nous pouvons ramener l’essence à une définition claire et simple :
Le « métavers » représente le vaste changement sociétal dans la façon dont nous utilisons le contenu numérique, passant de médias plats vus à la troisième personne à des expériences immersives vécues à la première personne.
Le métavers aura deux saveurs principales : le virtuel et l’augmenté, qui se chevaucheront mais évolueront à des rythmes différents, impliqueront des acteurs différents et adopteront probablement des modèles économiques différents. Le « métavers virtuel » évoluera à partir des jeux et des médias sociaux, nous apportant des mondes purement virtuels pour le divertissement, la socialisation, le shopping et d’autres activités à durée limitée. Le « métavers augmenté », issu de l’industrie de la téléphonie mobile, embellira le monde réel avec des superpositions virtuelles immersives qui apporteront des contenus artistiques et informatifs dans nos expériences quotidiennes à la maison, au travail et dans les lieux publics.
Un danger important nous guette
Qu’elle soit virtuelle ou augmentée, cette évolution des médias plats vers des expériences immersives donnera aux plateformes de métavers un pouvoir sans précédent pour suivre, profiler et influencer les utilisateurs à des niveaux dépassant de loin tout ce que nous avons connu jusqu’à présent. En fait, comme je l’ai dit à POLITICO cette semaine, un métavers non réglementé pourrait devenir l’outil de persuasion le plus dangereux que l’humanité ait jamais créé.
En effet, les plateformes de métavers ne se contenteront pas de suivre les clics des utilisateurs, mais surveilleront également leurs déplacements, leurs activités, les personnes avec lesquelles ils sont en contact et ce qu’ils regardent. Les plates-formes suivront également la posture et la démarche des utilisateurs, évaluant quand ils ralentissent pour naviguer ou accélèrent pour passer devant des endroits qui ne les intéressent pas. Les plateformes sauront même quels produits vous prenez dans les rayons pour les regarder dans les magasins (virtuels ou augmentés), combien de temps vous étudiez l’emballage, et même comment vos pupilles se dilatent pour indiquer le niveau d’engagement.
Dans les métavers augmentés, la capacité de suivre le regard, le portail et la posture soulève des préoccupations particulières, car le matériel sera porté tout au long de la vie quotidienne. Pendant que les utilisateurs se promènent dans des rues réelles, les plateformes sauront quelles vitrines de magasins ils regardent, pendant combien de temps, et même quelles parties de l’affichage attirent leur attention. Le suivi de la démarche peut également être utilisé pour identifier des conditions médicales et psychologiques, de la détection de la dépression à la prédiction de la démence.
Les plateformes métavers suivront également les expressions faciales, les inflexions vocales et les signes vitaux, tandis que les algorithmes d’IA évalueront les émotions des utilisateurs. Les fournisseurs de plateformes s’en serviront pour rendre les avatars plus naturels, avec des réactions faciales authentiques. Si ces fonctionnalités sont précieuses et humanisantes, sans réglementation, les mêmes données pourraient être utilisées pour créer des profils émotionnels qui documentent la façon dont les individus réagissent à toute une série de situations et de stimuli dans leur vie quotidienne.
La surveillance invasive est une préoccupation évidente en matière de protection de la vie privée, mais les dangers augmentent lorsque l’on considère que les profils comportementaux et émotionnels peuvent être utilisés à des fins de persuasion ciblée. En effet, la publicité dans les métavers passera des médias plats aux expériences immersives. Il est probable qu’il y aura deux formes uniques de métavers marketing : les placements virtuels de produits (VPP) et les porte-parole virtuels (VSP) :
Les placements virtuels de produits (VPP) sont des produits, services ou activités simulés injectés dans un monde immersif (virtuel ou augmenté) pour le compte d’un sponsor payant, de sorte qu’ils apparaissent à l’utilisateur comme des éléments naturels de l’environnement ambiant.
Les porte-parole virtuels (VSP) sont des personnes simulées ou d’autres personnages injectés dans des environnements immersifs (virtuels ou augmentés) qui transmettent verbalement un contenu promotionnel au nom d’un sponsor payant, engageant souvent les utilisateurs dans une conversation promotionnelle modérée par l’IA.
Pour apprécier l’impact de ces méthodes de marketing, imaginons que des placements virtuels de produits soient déployés dans une ville virtuelle ou augmentée. Alors qu’il se promène dans une rue animée, un consommateur dont le profil est celui d’un athlète occasionnel d’un certain âge pourrait voir quelqu’un passer devant lui en buvant une marque spécifique de boisson sportive ou en portant une marque spécifique de vêtements d’entraînement. Comme il s’agit d’un PPV ciblé, les autres personnes autour de lui ne verront pas le même contenu. Un adolescent pourrait voir des personnes portant des vêtements à la mode ou mangeant un certain fast-food, tandis qu’un jeune enfant pourrait voir une figurine surdimensionnée lui faire signe de passer.
Alors que les placements de produits sont passifs, les porte-parole virtuels peuvent être actifs et engager les utilisateurs dans des conversations promotionnelles pour le compte de sponsors payants. Alors que de telles capacités semblaient hors de portée il y a seulement quelques années, les récentes percées dans le domaine des modèles de langage à grande échelle (LLM) rendent ces capacités viables à court terme. L’échange verbal pourrait être si authentique que les consommateurs pourraient ne pas se rendre compte qu’ils parlent à un agent conversationnel piloté par l’IA avec un programme de persuasion prédéfini. Cela ouvre la porte à un large éventail de pratiques prédatrices allant de la publicité traditionnelle à la manipulation pure et simple.
Le suivi et le profilage des utilisateurs n’est pas un problème nouveau – les plateformes de médias sociaux et autres services technologiques le font déjà. Dans les métavers, cependant, l’ampleur et l’intimité de la surveillance des utilisateurs vont considérablement augmenter. De même, la publicité et la propagande prédatrices ne sont pas des problèmes nouveaux. Mais dans les métavers, les utilisateurs pourraient avoir du mal à distinguer les expériences authentiques des contenus promotionnels ciblés injectés pour le compte de sponsors payants. Les plateformes métavers pourraient ainsi facilement manipuler les expériences des utilisateurs pour le compte de sponsors payants, à leur insu et sans leur consentement.
Les arguments en faveur des droits immersifs
Le passage de la publicité traditionnelle à des expériences modifiées par la promotion soulève de nouvelles préoccupations pour les consommateurs, d’où l’importance pour les décideurs politiques d’envisager des réglementations qui garantissent les droits immersifs fondamentaux. Bien que de nombreuses protections soient nécessaires, je propose quelques catégories essentielles.
1. Le droit à l’authenticité expérientielle
La publicité est omniprésente dans le monde physique et numérique, qu’il s’agisse de marketing produit ou de messages politiques, mais la plupart des adultes peuvent facilement identifier le contenu promotionnel. Cela permet aux individus de considérer les publicités dans le bon contexte : comme un message payant diffusé par une partie qui tente de les influencer. Ce contexte permet aux consommateurs de faire preuve d’un scepticisme et d’un esprit critique sains lorsqu’ils examinent des produits, des services, des idées politiques et d’autres messages auxquels ils sont exposés.
Dans le métavers, les annonceurs pourraient subvertir notre capacité à contextualiser le contenu promotionnel en brouillant les frontières entre les expériences authentiques rencontrées par hasard et les expériences promotionnelles ciblées injectées pour le compte de sponsors payants. Cela pourrait facilement passer du marketing à la tromperie et devenir une pratique prédatrice.
Imaginez que vous vous promenez dans la rue dans un monde virtuel ou augmenté réaliste. Vous remarquez une voiture garée que vous n’avez jamais vue auparavant. En passant devant, vous entendez le propriétaire dire à un ami à quel point il aime cette voiture. Vous continuez à marcher, inconsciemment influencé par ce que vous croyez être une expérience authentique. Ce que vous ne réalisez pas, c’est que cette rencontre était promotionnelle, placée là pour que vous voyiez la voiture et entendiez l’échange. Elle était également ciblée – vous seul avez vu l’échange, qui a été choisi en fonction de votre profil et personnalisé pour un impact maximal, de la couleur de la voiture au sexe, à la voix et aux vêtements des porte-parole virtuels utilisés.
Si ce type de publicité clandestine peut sembler anodin, se contentant d’influencer les opinions sur une nouvelle voiture, les mêmes outils et techniques pourraient être utilisés pour modifier de manière promotionnelle des expériences qui alimentent la propagande politique, la désinformation et les mensonges purs et simples. Pour protéger les consommateurs, les tactiques immersives telles que les placements virtuels de produits et les porte-parole virtuels devraient être réglementées.
Au minimum, les réglementations devraient protéger le droit fondamental à des expériences authentiques. Pour ce faire, il faudrait exiger que les artefacts promotionnels et les personnages promotionnels soient visuellement et auditivement distincts de manière évidente, afin que les utilisateurs puissent les percevoir dans le contexte approprié. Cela éviterait aux consommateurs de confondre des expériences modifiées par la promotion avec des rencontres authentiques.
2. Le droit à la vie privée émotionnelle
Nous, les humains, avons développé la capacité d’exprimer nos émotions par notre visage, notre voix, notre posture et nos gestes. Nous avons également développé la capacité de lire ces traits chez les autres. Il s’agit d’une forme fondamentale de communication humaine qui fonctionne en parallèle avec le langage verbal. Ces dernières années, les technologies de détection combinées à l’apprentissage automatique ont permis aux logiciels d’identifier les émotions humaines en temps réel à partir des visages, des voix, des postures et des gestes, ainsi que des signes vitaux tels que la fréquence respiratoire, le rythme cardiaque, les mouvements des yeux, la dilatation des pupilles et la pression sanguine. Même les schémas de circulation sanguine du visage détectés par des caméras peuvent être utilisés pour interpréter les émotions.
Bien que beaucoup considèrent que cela permet aux ordinateurs de s’engager dans un langage non verbal avec les humains, cela peut facilement déboucher sur des violations intrusives et exploitantes de la vie privée. Il y a deux raisons à cela : la sensibilité et le profilage. En termes de sensibilité, les systèmes informatiques sont déjà capables de détecter des émotions à partir d’indices qui ne sont pas perceptibles par les humains. Par exemple, un observateur humain ne peut pas facilement détecter le rythme cardiaque, la fréquence respiratoire et la pression sanguine, ce qui signifie que ces signaux peuvent révéler des émotions que l’observateur ne peut pas détecter.
Au minimum, les consommateurs devraient avoir le droit de ne pas être évalués sur le plan émotionnel à des vitesses et en utilisant une détection des traits qui dépassent les capacités humaines naturelles. Cela signifie ne pas autoriser l’utilisation des signes vitaux et des micro-expressions dans la détection des émotions. En outre, le danger pour les consommateurs est amplifié par la capacité des plateformes à collecter des données émotionnelles au fil du temps et à créer des profils qui pourraient permettre aux systèmes d’IA de prédire les réactions des consommateurs à un large éventail de stimuli. Le profilage émotionnel devrait soit être interdit, soit nécessiter un consentement explicite, application par application. Cela est particulièrement important dans le métavers augmenté, où les consommateurs passeront une grande partie de leur vie quotidienne à être suivis et analysés par des dispositifs portables.
Même avec le consentement éclairé, les régulateurs devraient envisager une interdiction pure et simple de l’utilisation de l’analyse émotionnelle à des fins promotionnelles. Comme mentionné ci-dessus, les consommateurs seront probablement ciblés par des porte-parole virtuels pilotés par l’IA qui les engageront dans des conversations promotionnelles. Ces agents conversationnels axés sur l’agenda auront probablement accès aux expressions faciales, aux inflexions vocales et aux signes vitaux en temps réel. Sans réglementation, ces agents conversationnels pourraient être conçus pour ajuster leurs tactiques promotionnelles à mi-conversation en fonction des émotions détectées des utilisateurs cibles, y compris des indices émotionnels subtils qu’aucun représentant humain ne pourrait détecter.
Par exemple, un agent conversationnel piloté par l’IA et doté d’un programme promotionnel prédéfini pourrait adapter sa tactique en fonction de la pression artérielle, de la fréquence cardiaque, de la fréquence respiratoire et des traits du visage détectés chez le consommateur cible. Combiné aux données du profil de l’utilisateur qui reflètent les antécédents, les intérêts et les inclinations de la cible, cela pourrait constituer un moyen extrêmement persuasif qui dépasse toute forme antérieure de publicité. Il pourrait être si persuasif, en fait, qu’il franchirait la limite entre la publicité passive et la manipulation active.
3. Le droit à la confidentialité des données comportementales
Les consommateurs sont généralement conscients que les grandes entreprises technologiques suivent et profilent leurs comportements en fonction des sites web qu’ils visitent, des publicités sur lesquelles ils cliquent et des relations qu’ils entretiennent via les médias sociaux. Dans un métavers non réglementé, les grandes plateformes seront en mesure de suivre non seulement les clics des utilisateurs, mais aussi leurs déplacements, ce qu’ils font, avec qui ils sont, comment ils se déplacent et ce qu’ils regardent. En outre, les réactions émotionnelles peuvent être évaluées et corrélées à toutes ces actions, en suivant non seulement ce que les utilisateurs font, mais aussi ce qu’ils ressentent en le faisant.
Dans les mondes virtuels et augmentés, de nombreuses données comportementales sont nécessaires pour que les plateformes puissent offrir des expériences immersives en temps réel. Cela dit, les données ne sont nécessaires qu’au moment où ces expériences sont simulées. Il n’y a aucun besoin inhérent de stocker ces données dans le temps. Ceci est important car le stockage des données comportementales peut être utilisé pour créer des profils invasifs qui documentent les actions quotidiennes des utilisateurs individuels avec une granularité extrême.
Ces données pourraient facilement être traitées par des systèmes d’apprentissage automatique pour prédire comment les utilisateurs individuels vont agir, réagir et interagir dans un large éventail de circonstances au cours de leur vie quotidienne. La perspective que les plateformes de métavers puissent prédire avec précision ce que les utilisateurs feront avant qu’ils ne prennent une décision pourrait devenir une pratique courante dans un métavers non réglementé. Et comme les plateformes auront la capacité de modifier les environnements à des fins de persuasion, les profils pourraient être utilisés pour manipuler de manière préventive les comportements avec des résultats précis.
Pour ces raisons, les régulateurs et les décideurs politiques devraient envisager d’interdire aux plateformes de métavers de stocker des données comportementales dans le temps, empêchant ainsi les plateformes de générer des profils détaillés de leurs utilisateurs. En outre, les plateformes métavers ne devraient pas être autorisées à corréler les données émotionnelles avec les données comportementales, car cette corrélation leur permettrait de proposer des expériences modifiées à des fins promotionnelles qui ne se contentent pas de manipuler ce que les utilisateurs font dans les mondes immersifs, mais influencent également de manière prédictive ce qu’ils sont susceptibles de ressentir en le faisant.
Les droits immersifs sont nécessaires et urgents
Les métavers auront un impact majeur sur notre société. Si de nombreux effets seront positifs, nous devons protéger les consommateurs contre les dangers potentiels. Les dangers les plus insidieux sont probablement ceux qui impliquent des expériences modifiées par la promotion, car ces tactiques pourraient donner aux plateformes métavers des pouvoirs prédateurs pour influencer leurs utilisateurs.
Il y a trente ans, alors que j’étais un jeune chercheur, j’ai étudié pour la première fois le potentiel de la réalité augmentée, en menant des expériences pour démontrer la valeur de « l’embellissement de la réalité perceptuelle de l’utilisateur ». À l’époque, je croyais fermement que la RA serait une force du bien, améliorant tout, des procédures chirurgicales aux expériences éducatives. Je crois toujours à ce potentiel. Mais la capacité d’embellir la réalité par la RA ou de la modifier par la RV est un pouvoir profond qui peut également être utilisé pour manipuler les populations.
Pour faire face à ces risques, les responsables politiques doivent envisager des restrictions sur les plateformes métavers qui garantissent les droits fondamentaux dans les mondes immersifs. Au minimum, chaque individu devrait avoir le droit de mener sa vie quotidienne sans faire l’objet d’un profilage émotionnel ou comportemental. Chaque individu devrait également avoir le droit de faire confiance à l’authenticité de ses expériences sans craindre que des tiers injectent secrètement du contenu promotionnel ciblé dans son environnement. Ces droits sont nécessaires et urgents, sinon le métavers ne sera plus un lieu de confiance pour personne.
