Lorsque Ravi Yekkanti enfile son casque pour aller travailler, il ne sait jamais ce que lui réserve cette journée passée dans la réalité virtuelle. Qui pourrait-il rencontrer ? La voix d’un enfant l’accostera-t-elle avec une remarque raciste ? Un dessin animé tentera-t-il de lui attraper les parties génitales ? Assis à son bureau d’Hyderabad, en Inde, il ajuste les lunettes à l’aspect extraterrestre qui lui auréolent la tête et se prépare à s’immerger dans un « bureau » peuplé d’avatars animés. Le travail de Yekkanti, tel qu’il le conçoit, consiste à s’assurer que tout le monde dans les métavers est en sécurité et passe un bon moment, et il en tire une grande fierté.
Yekkanti est à l’avant-garde d’un nouveau domaine, la modération de contenu VR et métavers. La sécurité numérique dans le métavers a connu des débuts difficiles, avec des cas d’agressions sexuelles, de harcèlement et de manipulation d’enfants. Cette question devient de plus en plus urgente depuis que Meta a annoncé la semaine dernière qu’elle abaissait l’âge minimum pour sa plateforme Horizon Worlds de 18 à 13 ans. L’annonce mentionnait également une série de fonctionnalités et de règles destinées à protéger les jeunes utilisateurs. Cependant, quelqu’un doit faire respecter ces règles et s’assurer que les utilisateurs ne contournent pas les mesures de protection.
Meta ne dira pas combien de modérateurs de contenu elle emploie ou sous-traite à Horizon Worlds, ni si la société a l’intention d’augmenter ce nombre avec la nouvelle politique d’âge. Mais ce changement met en lumière les personnes chargées de faire respecter la loi dans ces nouveaux espaces en ligne, comme Yekkanti, et la manière dont elles s’acquittent de leur tâche.
M. Yekkanti travaille comme modérateur et responsable de la formation en réalité virtuelle depuis 2020, après avoir effectué un travail de modération traditionnel sur des textes et des images. Il est employé par WebPurify, une entreprise qui fournit des services de modération de contenu à des sociétés Internet telles que Microsoft et Play Lab, et travaille avec une équipe basée en Inde. Il travaille principalement sur des plates-formes grand public, y compris celles appartenant à Meta, mais WebPurify a refusé de confirmer lesquelles en invoquant des accords de confidentialité avec ses clients. Kate McLaughlin, porte-parole de Meta, affirme que Meta Quest ne travaille pas directement avec WebPurify.
Passionné d’Internet depuis longtemps, Yekkanti dit qu’il adore mettre un casque de RV, rencontrer des gens du monde entier et donner des conseils aux créateurs de métavers sur la façon d’améliorer leurs jeux et leurs « mondes ».
Il fait partie d’une nouvelle classe de travailleurs qui protègent la sécurité dans les métavers en tant qu’agents de sécurité privés, interagissant avec les avatars de personnes bien réelles pour démasquer les mauvais comportements en réalité virtuelle. Il ne divulgue pas publiquement son statut de modérateur. Au lieu de cela, il travaille plus ou moins sous couverture, se présentant comme un utilisateur moyen pour mieux témoigner des violations.
Les outils de modération traditionnels, tels que les filtres activés par l’IA sur certains mots, ne s’adaptent pas bien aux environnements immersifs en temps réel. Les modérateurs comme Yekkanti sont donc le principal moyen d’assurer la sécurité dans le monde numérique, et leur travail devient de plus en plus important chaque jour.
Le problème de la sécurité dans les métavers
Le problème de la sécurité dans les métavers est complexe et opaque. Des journalistes ont rapporté des cas de commentaires abusifs, d’escroquerie, d’agressions sexuelles et même d’un enlèvement orchestré par l’intermédiaire de l’Oculus de Meta. Les plus grandes plateformes immersives, comme Roblox et Horizon Worlds de Meta, gardent leurs statistiques sur les mauvais comportements très secrètes, mais Yekkanti dit qu’il rencontre des transgressions à signaler tous les jours.
Meta a refusé de faire des commentaires, mais a envoyé une liste d’outils et de politiques qu’elle a mis en place, et a indiqué qu’elle a formé des spécialistes de la sécurité au sein d’Horizon Worlds. Un porte-parole de Roblox a déclaré que l’entreprise disposait d’une « équipe de milliers de modérateurs qui surveillent les contenus inappropriés 24 heures sur 24 et 7 jours sur 7 et enquêtent sur les rapports soumis par notre communauté » et qu’elle utilisait également l’apprentissage automatique pour examiner les textes, les images et les sons.
Pour faire face aux problèmes de sécurité, les entreprises technologiques se sont tournées vers des bénévoles et des employés tels que les guides communautaires de Meta, des modérateurs sous couverture comme Yekkanti et, de plus en plus, des fonctions de plateforme qui permettent aux utilisateurs de gérer leur propre sécurité, comme une ligne de démarcation personnelle qui empêche les autres utilisateurs de s’approcher de trop près.
« Les médias sociaux sont la pierre angulaire du métavers, et nous devons considérer le métavers comme une évolution, comme la prochaine étape des médias sociaux, et non comme quelque chose de totalement détaché de ceux-ci », déclare Juan Londoño, analyste politique à l’Information Technology and Innovation Foundation, un groupe de réflexion situé à Washington, DC.
Mais compte tenu de la nature immersive du métavers, de nombreux outils conçus pour gérer les milliards de mots et d’images potentiellement dangereux du web bidimensionnel ne fonctionnent pas bien dans la RV. Les modérateurs de contenu humains s’avèrent être l’une des solutions les plus essentielles.
Le « grooming », où des adultes aux intentions prédatrices tentent d’établir des relations de confiance avec des mineurs, constitue également un véritable défi. Lorsque les entreprises ne filtrent pas et ne préviennent pas ces abus de manière proactive, les utilisateurs sont chargés de signaler et de repérer les mauvais comportements.
« Si une entreprise compte sur les utilisateurs pour signaler des événements potentiellement traumatisants qui leur sont arrivés ou des situations potentiellement dangereuses, il semble presque trop tard », déclare Delara Derakhshani, avocate spécialisée dans la protection de la vie privée qui a travaillé aux Reality Labs de Meta jusqu’en octobre 2022. « Il ne devrait pas incomber aux enfants de signaler ces faits avant qu’un traumatisme ou un dommage potentiel ne se soit produit.
La première ligne de la modération de contenu
La nature immersive du métavers signifie que les comportements violant les règles sont littéralement multidimensionnels et doivent généralement être pris en temps réel. Seule une fraction des problèmes est signalée par les utilisateurs, et tout ce qui se passe dans l’environnement en temps réel n’est pas capturé et sauvegardé. Meta indique qu’elle capture les interactions sur une base continue, par exemple, selon un porte-parole de l’entreprise.
WebPurify, qui se concentrait auparavant sur la modération de textes et d’images en ligne, propose des services aux entreprises métavers depuis le début de l’année dernière et a récemment recruté l’ancien responsable des opérations de confiance et de sécurité de Twitter, Alex Popken, pour l’aider à diriger l’effort.
« Nous cherchons à savoir comment contrôler la RV et la RA, ce qui est en quelque sorte un nouveau territoire parce que nous nous intéressons vraiment au comportement humain », explique M. Popken.
Les employés de WebPurify sont en première ligne dans ces nouveaux espaces, et les commentaires raciaux et sexuels sont fréquents. M. Yekkanti raconte qu’une modératrice de son équipe a interagi avec un utilisateur qui a compris qu’elle était indienne et lui a proposé de l’épouser en échange d’une vache.
D’autres incidents sont plus graves. Une autre modératrice de l’équipe de M. Yekkanti a été confrontée à un utilisateur qui a fait des remarques très sexualisées et offensantes à propos de son vagin. Une fois, un utilisateur s’est approché d’un modérateur et lui a apparemment attrapé les parties génitales. (L’utilisateur a prétendu qu’il voulait lui faire un high five).
Les modérateurs apprennent les politiques de sécurité détaillées de l’entreprise qui expliquent comment repérer et signaler les transgressions. L’un des jeux sur lesquels travaille Yekkanti comporte une politique qui précise les catégories de personnes protégées, définies par des caractéristiques telles que la race, l’appartenance ethnique, le sexe, l’affiliation politique, la religion, l’orientation sexuelle et le statut de réfugié. Yekkanti précise que « toute forme de commentaire négatif à l’égard de ce groupe protégé serait considérée comme haineuse ». Les modérateurs sont formés pour réagir de manière proportionnelle, en se basant sur leur propre jugement. Il peut s’agir de mettre en sourdine les utilisateurs qui enfreignent les règles, de les retirer d’un jeu ou de les signaler à l’entreprise.
WebPurify offre à ses modérateurs un accès 24 heures sur 24 et 7 jours sur 7 à des services de conseil en santé mentale, entre autres ressources.
Les modérateurs doivent faire face à des défis nuancés en matière de sécurité, et il faut parfois faire preuve de beaucoup de discernement et d’intelligence émotionnelle pour déterminer si quelque chose est approprié. Les attentes en matière d’espace interpersonnel et de salutations physiques, par exemple, varient selon les cultures et les utilisateurs, et les différents espaces du métavers ont des directives communautaires différentes.
Tout cela se fait sous couverture, de sorte que les utilisateurs ne modifient pas leur comportement parce qu’ils savent qu’ils sont en train d’interagir avec un modérateur. « Il est plus gratifiant d’attraper les méchants que de les contrarier », explique M. Yekkanti.
La modération implique également de défier les attentes en matière de protection de la vie privée des utilisateurs.
Une partie essentielle du travail consiste à « tout suivre », explique Yekkanti. Les modérateurs enregistrent tout ce qui se passe dans le jeu, du moment où ils le rejoignent au moment où ils le quittent, y compris les conversations entre joueurs. Cela signifie qu’ils écoutent souvent les conversations, même lorsque les joueurs ne savent pas qu’ils sont surveillés, bien qu’ils affirment qu’ils n’écoutent pas les conversations privées en tête-à-tête.
« Si nous voulons que les plateformes jouent un rôle très actif en matière de sécurité des utilisateurs, cela risque d’entraîner des transgressions de la vie privée que les utilisateurs n’apprécieront peut-être pas », explique M. Londoño.
Entre-temps, certains membres du gouvernement ont exprimé leur scepticisme à l’égard des politiques de Meta. Les sénateurs démocrates Ed Markey (Massachusetts) et Richard Blumenthal (Connecticut) ont écrit une lettre publique à Mark Zuckerberg pour lui demander de reconsidérer l’abaissement des restrictions d’âge et souligner « les lacunes dans la compréhension de la sécurité des utilisateurs par l’entreprise ».
Derakhshani, l’ancien avocat de Meta, affirme que nous avons besoin de plus de transparence sur la façon dont les entreprises s’attaquent à la sécurité dans les métavers.
« Cette volonté d’attirer un public plus jeune vise-t-elle à permettre aux jeunes adolescents de vivre les meilleures expériences possibles ? S’agit-il d’attirer de nouveaux publics à mesure que les plus âgés vieillissent ? Une chose est sûre : quel que soit le raisonnement, le public et les régulateurs ont vraiment besoin d’avoir l’assurance que ces entreprises sont préparées et qu’elles ont bien réfléchi à la question », dit-elle. « Je ne suis pas sûre que nous y soyons tout à fait parvenus.
En attendant, M. Yekkanti souhaite que les gens comprennent que son travail, même s’il peut être très amusant, est vraiment important. « Nous essayons de créer, en tant que modérateurs, une meilleure expérience pour tout le monde afin d’éviter les traumatismes », explique-t-il. « En tant que modérateurs, nous sommes prêts à encaisser les coups et nous sommes là pour protéger les autres. Nous pouvons être la première ligne de défense.
