Le roman de Neal Stephenson de 1992, Snow Crash, est le livre qui a lancé des milliers de startups. C’est le premier livre à utiliser le terme hindou « avatar » pour décrire une représentation virtuelle d’une personne, il a inventé le terme « métavers », et c’était l’un des ouvrages de lecture obligatoire de Mark Zuckerberg pour les nouveaux dirigeants de Facebook une décennie avant qu’il ne change l’orientation de toute l’entreprise pour tenter de construire le monde fictif de Stephenson dans la réalité.
L’intrigue tourne autour d’une image qui, lorsqu’elle est visionnée dans le métavers, pirate le cerveau du spectateur, le mutilant ou le tuant. Dans la fiction du monde, l’image fait planter le cerveau, lui présentant une information qui ne peut tout simplement pas être traitée correctement.
C’est une idée récurrente dans la science-fiction. Le premier exemple clair est peut-être venu quatre ans plus tôt, dans la nouvelle de l’écrivain britannique de science-fiction David Langford, BLIT, qui imagine une attaque terroriste utilisant un « basilic », des images qui contiennent des « programmes implicites que l’équipement humain ne peut pas exécuter sans danger ». Dans une suite de cette histoire, publiée dans Nature en 1999, Langford établit des parallèles antérieurs, citant même Monty Python’s Flying Circus, « avec son célèbre sketch sur la blague la plus drôle du monde qui fait mourir de rire tous ceux qui l’entendent ».
Le projet de fiction collective SCP a inventé le nom de telles idées : un cognitohazard. Une idée, dont la simple pensée peut être nuisible.
Et une question qui mérite d’être prise de plus en plus au sérieux est la suivante : les cognitohazards sont-ils réels ?
Ce que vous savez peut vous blesser
J’ai commencé à réfléchir à cette question cette semaine, dans le cadre de notre reportage sur les efforts visant à identifier automatiquement les deepfakes à l’approche d’une année d’élections dans le monde entier. Depuis 2017, lorsque j’ai entendu ce terme pour la première fois dans le contexte du porno à visage échangé, il a été possible d’identifier les images générées par l’IA par examen. Mais cette tâche est devenue de plus en plus difficile, et nous sommes maintenant sur le point d’être dépassés même par les experts du domaine. C’est donc une course contre la montre pour construire des systèmes capables de repérer et d’étiqueter automatiquement ce type de matériel avant qu’il ne franchisse ce seuil.
Mais que se passe-t-il si l’étiquetage ne suffit pas ? Extrait de mon article :
Selon Henry Parker, responsable des affaires gouvernementales du groupe de fact-checking Logically, voir un filigrane n’a pas forcément l’effet escompté. L’entreprise utilise des méthodes manuelles et automatiques pour vérifier le contenu, explique M. Parker, mais l’étiquetage ne peut aller bien loin. « Si vous dites à quelqu’un qu’il regarde un deepfake avant même qu’il ne le regarde, la psychologie sociale du visionnage de cette vidéo est si puissante qu’il la citera toujours comme un fait. La seule chose que vous puissiez faire est donc de vous demander comment réduire le temps de circulation de ce contenu ».
Peut-on qualifier une telle vidéo de cognitohazard ? Quelque chose de si convaincant et réaliste que vous le considérez involontairement comme la réalité, même si on vous dit le contraire, semble correspondre à la définition.
Bien sûr, cela décrit aussi une grande partie de la fiction. Une histoire d’horreur qui vous hante et vous empêche de dormir, ou une scène de violence graphique visuellement désagréable qui vous fait vous sentir mal physiquement, pourrait être un cognitohazard si la définition est étendue jusque-là.
L’effet domino
Voir l’image en plein écran Pong wars, un « jeu » de Breakout généré automatiquement auquel vous jouerez bien plus longtemps que raisonnable. Photographie : Koen van Gilst
Les techniques qui détournent, non pas nos émotions, mais notre attention, se rapprochent peut-être davantage des exemples de fiction. Après tout, les émotions sont rarement sous notre contrôle, même dans le meilleur des cas ; ressentir quelque chose que l’on ne veut pas ressentir est presque la définition même d’une émotion négative.
L’attention est censée être différente. C’est quelque chose sur quoi nous avons un contrôle conscient. On parle parfois d’être « distrait », mais des crises d’attention plus graves justifient un langage de plus en plus médicalisé : « obsession », « compulsion », « addiction ».
L’idée que la technologie s’attaque à notre attention n’est pas nouvelle, et tout un concept d’ « économie de l’attention » sous-tend ce barrage. Dans un monde de médias financés par la publicité, où les entreprises se disputent de plus en plus non pas directement notre argent mais notre temps, intrinsèquement limité à 24 heures par jour, il existe une énorme motivation commerciale à capter et à retenir l’attention. Certains des outils du commerce qui ont été développés pour atteindre cet objectif semblent certainement exploiter quelque chose de primordial. Les points rouges clignotants des nouvelles notifications, la sensation tactile d’un fil d’actualité à actualiser par un geste de balayage, et la poussée constante de la gamification ont tous fait l’objet de discussions approfondies.
Et certains, je pense, ont franchi la ligne pour devenir de véritables cognitohazards. Bien qu’ils ne soient peut-être dangereux que pour ceux qui sont susceptibles de se faire détourner leur attention, la compulsion semble réelle.
Un type de jeu en est un exemple : les « clickers » ou les jeux « oisifs », comme le très acclamé Universal Paperclips, condensent les mécanismes de récompense d’un jeu à leurs structures les plus simples. Appelés ainsi parce qu’ils se jouent presque littéralement tout seuls, les jeux oisifs présentent un éventail éblouissant de minuteries, de comptes à rebours et de mises à niveau, et offrent constamment une percée, une amélioration ou une efficacité à quelques secondes seulement. J’y ai perdu des journées entières de productivité, comme beaucoup d’autres.
Un autre type de contenu, ce que j’ai commencé à appeler les « vidéos domino », est l’équivalent non interactif d’un jeu oisif. Une vidéo d’un processus qui se déroule de manière ordonnée, mais pas tout à fait prévisible, vous attire et vous entraîne dans une compulsion inexorable à regarder jusqu’à la fin. Parfois, c’est littéralement un domino ; d’autres fois, il peut s’agir de quelqu’un qui nettoie méthodiquement un tapis ou qui épile un pull. Parfois, le processus peut même ne jamais se terminer ; « Pong wars » est un « jeu » de Breakout généré automatiquement, avec deux balles menaçant chacune d’envahir l’espace de l’autre. Il ne se termine jamais, mais vous le regarderez plus longtemps qu’il n’en vaut la peine.
Il est possible que ce soit le pire. Il se peut qu’il y ait quelque chose d’intrinsèquement rebutant dans les véritables capteurs d’attention, ce qui signifie que l’envie de les fixer alors que le processus se déroule sera toujours contrecarrée par la honte ou le dégoût d’avoir perdu son temps.
Mais qu’en est-il si ce n’est pas le cas ? À quoi ressemblerait la situation si l’IA générative était lâchée sur les médias sociaux pour capter véritablement l’attention à une échelle industrielle ? Si le conseil que les parents donnent aux jeunes enfants n’était pas seulement de faire attention à qui ils parlent sur internet, mais aussi à ce qu’ils regardent ?
Tout est science-fiction jusqu’à ce que ce soit la réalité.
