Dans le clip de leur dernier single « DTDTGMGN », les membres du groupe sud-coréen Eternity dansent en parfaite synchronisation sur un rythme bubblegum pop dans une pièce rose fluo décorée d’uniformes d’écoliers et de posters de célébrités. Les mouvements de caméra vertigineux et les changements de scène rapides sont typiques du genre K-pop qui est devenu un phénomène mondial ces dernières années.
« Tenez-moi bien, appuyez-vous sur mon épaule », chante l’un des membres.
Mais les fans du groupe ne peuvent faire ni l’un ni l’autre, physiquement parlant, car aucun des 11 membres d’Eternity n’est réel.
Construit à l’aide de la technologie de l’IA, Eternity est l’un des derniers groupes sud-coréens à repousser la frontière entre le divertissement réel et virtuel. Le créateur du groupe et sa société de gestion, Pulse9, estiment que les stars générées par ordinateur ont une longueur d’avance sur leurs homologues réels.
Comme la plupart des groupes populaires de K-pop, Eternity se compose d’un leader, de chanteurs, de rappeurs et de danseurs. Mais un membre en particulier, Zae-in, peut tout faire. « Zae-in possède (une combinaison) de caractéristiques que la plupart des artistes humains auraient du mal à obtenir », explique Park Ji-eun, PDG de l’entreprise. « Elle peut chanter très bien, rapper très bien et être créative en tant que styliste. Et c’est une actrice née ».
Grâce à une technologie d’échange de visages en temps réel et à une voix générée par l’IA, Zae-in est incarnée par 10 personnes différentes, dont des acteurs, des chanteurs et des danseurs, qui prêtent leurs talents à son avatar en fonction des besoins. Dans une vidéo publiée sur le compte Instagram de Zae-in, par exemple, elle chevauche habilement un longboard le long de la rivière Han à Séoul. Pour la vidéo, ses créateurs ont filmé la cascade avec une doublure dont le visage a ensuite été remplacé par celui de Zae-in.
« Il y a la Zae-in de la musique pop, l’actrice Zae-in, la journaliste Zae-in », a déclaré la star virtuelle à CNN lors d’une interview Zoom, au cours de laquelle elle a été jouée par un acteur (bien que Pulse9 ait déclaré que son logiciel d’IA peut recréer la voix de Zae-in et générer des discours sans intervention humaine). « Il existe plusieurs Zae-in, donc notre avantage unique est que nous pouvons faire ce qu’une seule personne ne peut pas faire.
« La seule chose que nous ne pouvons pas faire, c’est signer un autographe », ajoute-t-elle, les yeux souriants.
L’échange de visages en temps réel et les premières formes de technologie « deepfake » existent depuis près de dix ans. Au cours de cette période, des influenceurs virtuels tels que Lil Miquela et le Sud-Coréen Rozy ont acquis une grande popularité en ligne dans les domaines de la mode et de la musique.
Mais les dernières avancées en matière de vidéo et d’audio générés par l’IA permettent à des entreprises comme Pulse9 de créer plus facilement des personnages virtuels convaincants, tandis que les progrès des programmes d’IA générative comme ChatGPT éliminent la nécessité pour des stars comme Zae-in d’être « jouées » par qui que ce soit.
Comment ils ont été créés
L’équipe de Pulse9 a commencé à donner vie à l’éternité en concevant l’apparence de ses membres. L’équipe de Park a créé 101 visages numériques uniques, inspirés de célébrités coréennes existantes, avant de les diviser en quatre catégories – baptisées « sexy », « mignon », « intelligent » et « innocent » – et de réduire la sélection à 11 par le biais d’un sondage en ligne.
À l’aide de la technologie deepfake et de la capture de mouvements, Pulse9 a ensuite produit le premier clip vidéo du groupe (pour accompagner le titre ironique « I’m Real ») en 2021. Les réactions à la vidéo ont été mitigées. De nombreux utilisateurs de réseaux sociaux ont estimé que les expressions faciales des membres du groupe manquaient de naturel et étaient dissociées de leur corps, tandis que d’autres ont évoqué l’effet de la « vallée de l’étrange », selon lequel les spectateurs sont gênés par des objets qui ressemblent à des êtres humains mais n’en sont pas.
Mais cinq mois plus tard, lorsque Pulse9 a publié le clip suivant d’Eternity, « No Filter », les internautes ont remarqué que le groupe était presque impossible à distinguer de la réalité. « Je suis surpris de voir à quel point leur son est réaliste, et les images semblent plus réalistes que la première chanson », peut-on lire dans le commentaire le plus apprécié sur YouTube.
« DTDTGMGN », qui est sorti en octobre dernier, a représenté un autre bond en avant en termes de qualité. « Jusqu’à l’année dernière, le visage était la seule partie virtuelle de l’interprète, mais aujourd’hui, nous pouvons créer des images du corps entier grâce à la technologie de l’IA », a déclaré Mme Park, ajoutant que « No Filter » avait également été composé à l’aide de l’IA (bien que des humains aient ensuite édité la chanson et écrit les paroles).
SM Entertainment, l’agence à l’origine des mégastars de la K-pop comme Super Junior, Girls’ Generation et Exo, entre autres, a également expérimenté l’IA. En 2020, la société a lancé Aespa, un groupe composé de quatre artistes humains et de leurs homologues virtuels. Après le lancement du groupe, le fondateur de SM, Lee Soo-man, a déclaré que l’avenir du divertissement était « la célébrité et le robot ».
Par ailleurs, la société de gestion de BTS, Hybe, a utilisé l’IA pour améliorer la prononciation et le ton de l’un de ses chanteurs, avant de publier l’une de ses chansons en six langues : coréen, anglais, espagnol, chinois, japonais et vietnamien.
Au début de l’année, Metaverse Entertainment, une agence formée par l’éditeur de jeux vidéo Netmarble et la société mère de SM Entertainment, Kakao Entertainment, a présenté un groupe de filles virtuelles, MAVE. Contrairement à Eternity, qui repose sur de simples échanges de visages, les quatre membres de MAVE ont été créés de toutes pièces à l’aide d’images de synthèse.
Métavers Entertainment a utilisé une technologie d’IA pour générer des visages, en fusionnant les traits et les coiffures jugés les plus désirables en quatre personnages finaux. L’entreprise a utilisé la technologie de capture de mouvements pour enregistrer des performances K-pop réelles qu’un programme d’apprentissage profond a ensuite utilisé pour animer les vidéos musicales. Les voix du groupe sont en partie humaines et en partie générées par l’IA, a déclaré le directeur technique de Métavers Entertainment, Kang Sung-ku.
« Notre objectif est de créer des humains virtuels entièrement pilotés par l’IA (qui soient) vraiment crédibles », a-t-il déclaré à CNN.
Le clip du premier single de MAVE, « Pandora », a déjà été visionné 25 millions de fois sur YouTube depuis sa sortie en janvier.
L’avenir de la K-pop ?
Les popstars virtuelles pourraient bénéficier d’un avantage sur les popstars humaines lorsqu’il s’agit d’entrer en contact avec leurs fans. Les progrès des programmes de langage de l’IA pourraient permettre aux fans de « parler » avec leurs idoles, et même d’établir une relation personnelle avec elles, a déclaré M. Kang.
« Ils se souviendront de ce dont nous avons parlé hier et pourront continuer à évoquer les sujets abordés lors des conversations précédentes », a-t-il déclaré, établissant une comparaison entre les créations d’IA de son entreprise et l’assistant virtuel de l’iPhone, Siri. « Ils se souviendront de vous et vous connaîtront – et ils parleront (avec vous) sur la base de ces informations.
Métavers Entertainment expérimente déjà cette idée via des applications qui permettent aux utilisateurs d’interagir directement avec MAVE. Les membres du groupe parlent actuellement le coréen, l’anglais, le français et l’indonésien – ce qui correspond à des bases de fans et à des marchés cibles clés – mais ils pourraient théoriquement parler n’importe quel nombre de langues.
« Il y a des choses que je ne peux pas dire (même à mes meilleurs amis), mais je pourrais peut-être les dire à une IA personnalisée, qui pourrait me réconforter et se soucier de moi », a déclaré Kang. « Je pense que ce sera bon pour tout le monde.
Cette évolution pourrait certainement être bénéfique pour des entreprises comme celle de Kang. L’industrie de la K-pop repose sur un système de formation laborieux, dans lequel les jeunes espoirs sont formés dès leur plus jeune âge, passant souvent par des années de cours de danse et de musique coûteux avant de faire leurs débuts. (Selon le Wall Street Journal, SM Entertainment a dépensé environ 3 millions de dollars pour lancer Girls Generation sur le marché en 2007). Les agences doivent investir dans des cours, des studios, des services de stylisme et parfois même des soins esthétiques pour les membres potentiels d’un groupe – des coûts qui ne sont pas nécessaires pour les talents virtuels.
En outre, les stars de la pop générées par ordinateur ne tomberont jamais malades, ne vieilliront jamais et ne seront jamais mêlées à des litiges contractuels ou à des scandales dans les tabloïds. Mais il y a peu de chances que les grandes agences remplacent leurs groupes réels de sitôt, a déclaré M. Kang, reconnaissant que certains groupes de K-pop ont mal réagi aux groupes d’IA.
« Les critiques portaient sur le remplacement des idoles actuelles par des idoles virtuelles – ils pensaient que les idoles actuelles risquaient de perdre leur emploi », a déclaré Kang, ajoutant que certains fans préféreront toujours les artistes humains.
Le créateur d’Eternity, Park, est d’accord, comparant l’émergence de l’IA à l’invention de la photographie au XIXe siècle : « De nombreux peintres avaient peur de la (nouvelle) technologie, mais aujourd’hui, nous avons encore des peintres. Je pense que BTS n’aura jamais peur des idoles virtuelles – elles ne sont que du nouveau contenu.
