Le langage et le format de description universelle des scènes (USD) sont rapidement adoptés comme pierre de Rosette pour traduire les données entre les outils 3D, les moteurs de jeux, les jumeaux numériques et les offres de commerce électronique. Il reste encore du chemin à parcourir, mais c’est le meilleur espoir de l’industrie pour unifier les flux de travail et les expériences des utilisateurs dans le métavers. Lors de la conférence Nvidia GTC, des experts se sont penchés sur l’histoire de l’USD, les cas d’utilisation actuels, les inconvénients et la possibilité qu’il devienne le HTML du Web 3D.
Lorsque le HTML a été introduit pour la première fois en 1993, ce n’était pas une grande chose. Mais c’était le premier effort sérieux pour unifier le texte, les graphiques et les hyperliens dans une interface, un langage de programmation et une plate-forme cohérents. Il a surpassé les approches par défaut de l’époque, comme Gopher et les services propriétaires de babillard électronique, avec des polices de caractères bizarres et des mises en page médiocres. Et il était extensible sur tous les serveurs.
USD est dans la même position aujourd’hui. Il n’est pas excellent dans tous les domaines, mais il est le meilleur parmi des dizaines d’autres solutions pour partager des ressources 3D entre outils, services et plates-formes de manière ouverte et extensible. USD aide déjà des entreprises telles qu’Ubisoft et Ikea à simplifier certains flux de travail 3D et à s’imposer dans des moteurs de rendu comme Unity et Unreal. Cela dit, il présente encore quelques limites en matière de rendu, de découpage et de collage de modèles entre mondes, de matériaux, de physique et de flux de travail plus sophistiqués.
Né chez Pixar
Il est utile de revenir à la naissance d’USD pour comprendre pourquoi il est apparu et comment les premières décisions de conception ont façonné son état actuel. Steve May, vice-président et directeur technique de Pixar, a vu les prédécesseurs d’USD lorsque la société commençait à réaliser Toy Story. Ils étaient confrontés à des problèmes de description de scènes, d’éclairage, de caméras et d’autres actifs nécessaires pour simplifier les flux de travail au sein de grandes équipes d’artistes et de techniciens.
À la fin des années 1990, ils ont expérimenté des concepts comme le référencement, les couches et les hiérarchies, qui constituent la base de la mise à l’échelle de la production. Au milieu des années 2000, Pixar a commencé à intégrer ces techniques dans un nouvel outil d’animation appelé Presto. Brave a été le premier film à utiliser Presto.
Ils ont découvert que le langage de description dans Presto était expressif, mais que la performance n’était pas au rendez-vous pour l’artiste. « Brave était assez complexe, et le chargement des scènes dans Presto était déjà un défi », explique May.
Pixar a créé une autre forme de description de scène optimisée pour les performances, et ils ont décidé de les combiner. C’est ainsi qu’est né USD, tel qu’il est devenu aujourd’hui. « Au fond, il s’agit de décrire des scènes et des mondes complexes et de permettre à de nombreuses personnes de collaborer », explique May.
USD décrit les éléments essentiels d’un environnement, d’un décor, d’un monde ou d’un accessoire. Il aide les concepteurs à caractériser chaque accessoire, forme, matériau, lumière et vue de caméra utilisés pour décrire la scène. Lors de la construction de grands mondes complexes, il est difficile de décomposer le problème en éléments pouvant être représentés en couches. Cela permet à plusieurs artistes de travailler sur la même scène sans rien gâcher. Avec les couches, un artiste peut poser un personnage tandis qu’un décorateur peut déplacer des objets dans la scène afin d’obtenir une meilleure composition pour l’arrière-plan simultanément. Puis, à la fin, ils peuvent combiner ces couches pour voir le résultat.
Guido Quaroni, directeur principal de l’ingénierie de la 3D et de l’immersif chez Adobe, qui a également travaillé chez Pixar à l’époque, a déclaré qu’ils avaient décidé d’ouvrir USD pour des raisons stratégiques. Ils voulaient créer un effet de traction parmi les différents outils utilisés par Pixar afin de réduire le risque de devoir réorganiser le pipeline de Pixar pour prendre en charge de nouvelles alternatives open-source comme Alembic à l’avenir. Le fait qu’il ait décollé signifie également qu’ils n’ont pas eu besoin d’investir des ressources internes pour écrire des plugins d’intégration pour les outils DCC comme Maya, Katana et Houdini.
Ubisoft entre dans les détails
L’USD commence à gagner du terrain pour les entreprises d’autres secteurs. Par exemple, Ubisoft commence à utiliser USD pour simplifier l’échange de ressources 3D et l’intégration entre outils. Adeline Aubame, directrice des opérations technologiques chez Ubisoft, a déclaré : « Nous étions intéressés par la représentation des données 3D dans un vaste écosystème tout en restant performants. »
À ce premier stade, USD simplifie l’import/export entre les outils DCC et les moteurs de rendu. Cela permet à Ubisoft d’engager des artistes talentueux qui ne sont pas forcément des experts des outils existants d’Ubisoft.
Cependant, son équipe se heurte déjà à des endroits où USD manque de certaines fonctionnalités dont ils ont besoin pour créer des jeux vidéo. Par exemple, le niveau de détail est une technique de rendu populaire qui améliore sélectivement la résolution de certaines parties de la scène. Cela permet de concentrer la puissance de calcul là où elle est importante pour le gameplay. Il est également essentiel de trouver des moyens pour que le niveau de détail s’améliore progressivement plutôt que d’apparaître rapidement.
Aubame espère que la communauté des développeurs de jeux pourra trouver des moyens d’ajouter la prise en charge du LOD aux flux de travail de l’USD.
« Ce qu’il y a de bien dans un format ouvert, c’est que la puissance de beaucoup pourrait aider à résoudre ces problèmes », a-t-elle déclaré.
Le défi d’Ikea
Martin Enthed, responsable de l’innovation chez Ikea, a été le fer de lance des efforts visant à réaliser de la 3D hors ligne pour remplacer la photographie pour divers supports marketing. Il est tombé amoureux d’USD lorsqu’il l’a vu pour la première fois en 2016. Des fonctionnalités telles que les références externes, les surcharges et la superposition sont toutes parfaites pour le pipeline de production d’Ikea.
« Mais le problème que nous avons est qu’il n’a pas été adopté par les outils que nous utilisons », a déclaré Enthed.
Ils ont, bien sûr, fait des expériences et testé la manière de stocker des éléments dans une base de données 3D, puis de les repousser vers l’extérieur. Son intérêt s’est aiguisé l’année dernière lorsque USD a pris de l’ampleur chez les fournisseurs d’outils de contenu.
Aujourd’hui, il se concentre toujours sur les cas d’utilisation de rendu hors ligne, où ils génèrent du contenu pour un catalogue ou un carrousel d’images sur une page Web. Il aimerait explorer davantage de cas d’utilisation en temps réel et en métavers. Mais le principal problème est que l’USD ne passe pas bien d’un moteur de rendu à l’autre. « Notre principal problème à l’heure actuelle est l’interopérabilité entre les moteurs de rendu », a-t-il déclaré.
Les variations des outils de description des matériaux ou des surfaces d’un fournisseur à l’autre constituent un défi de taille. Lorsqu’Ikea génère du contenu 3D pour un objet tel qu’une bibliothèque ou une table basse, il doit s’assurer que la surface a l’air réaliste et similaire, que quelqu’un la regarde sur une PlayStation, un PC, un téléphone portable ou un casque Qwest, et ce dans différents moteurs de rendu.
Enthed hésite à investir trop de ressources dans la numérisation de l’ensemble de son contenu, car la plupart des produits Ikea ont une longue durée de vie. Certains produits actuels datent de 1978. « J’ai besoin de créer aujourd’hui un actif 3D qui pourra, je l’espère, être chargé dans 10 ans », explique Enthed. « Si nous parlons de HTML pour les mondes 3D, il doit être possible de le charger dans n’importe quel moteur de navigateur 3D et avoir le même aspect. »
Planter des graines pour le creatorverse
Unity Editor a été l’un des premiers outils de CCN à prendre en charge l’USD en 2017. Cela a aidé les productions virtuelles du Roi Lion à échanger du contenu entre Maya et Unity pour générer des clips d’animation 3D. Dernièrement, Unity s’est concentré sur l’amélioration des performances de rendu USD, a déclaré Natalya Tatarchuk, distinguished technical fellow et chief architect, professional artistry & graphics innovation chez Unity.
L’un des grands défis consiste à améliorer la prise en charge du rendu sur des appareils aussi variés que les PlayStation, les PC et les appareils mobiles. Son équipe explore également différentes manières de normaliser les formats de matériaux de surface qui ont une bonne apparence sur tous les appareils.
Selon Mme Tatarchuk, « nous devons permettre aux gens de créer une seule fois, mais de faire en sorte que les données circulent durablement et de manière évolutive entre les divers backends de rendu divergents. » Son équipe travaille avec des partenaires comme Pixar, Nvidia et Adobe pour relever ces défis.
Elle étend également la prise en charge d’USD à d’autres outils comme SpeedTree pour le rendu organique et Ziva pour les visages. Les impasses du flux de travail sont une grande frustration, car USD fonctionne pour certaines phases du cycle de vie du développement 3D, mais doit être corrigé manuellement pour d’autres. Ces lacunes sont communes à tous les principaux DCC tels que Maya, Blender, Houdini, et aux moteurs d’expérience tels que Unity et Unreal. Tous les principaux fournisseurs devront travailler ensemble sur le projet USD pour combler ces lacunes. Dans certains cas, cela peut nécessiter un acte de foi. « Sans cet acte de foi, nous serons toujours en train d’attendre », a-t-elle déclaré.
En fin de compte, elle espère que cela pourrait aider à positionner l’industrie pour ce qu’elle appelle le « creatorverse » 3D. Ce dernier reflétera le type de partage en 2D et l’explosion du nombre d’utilisateurs d’applications telles que YouTube, Snapchat, Instagram et Tiktok.
Ces outils permettent de saisir facilement une image ou une vidéo, de la transformer, puis de la partager avec ses amis. « Cela est impossible à faire dans le creatorverse de la 3D en temps réel », a-t-elle déclaré.
Une autre limite est l’absence de normes pour décrire l’interactivité. Par exemple, comment un créateur de contenu peut-il décrire l’interaction avec le contenu et son évolution dans le temps ? L’industrie doit également développer des normes pour décrire les procédures caractérisant des éléments comme le rigging et les courbes d’animation standardisées.
« C’est super important, mais personne n’est prêt à faire de compromis », a-t-elle déclaré. « Tout le monde doit se rassembler et trouver un terrain d’entente pour certains de ces aspects compliqués. Nous pouvons trouver des choix qui peuvent être imparfaits dans certains contextes. Un certain terrain est cédé, et un certain terrain est gagné parce que nous devons être en mesure de résoudre les pièces manquantes. »
Aujourd’hui, il n’est pas possible de couper et de coller un caractère 3D d’une application à l’autre. L’industrie devra se mettre d’accord sur des normes pour les procédures, les composants du moteur, les caméras virtuelles, les lumières et le contrôle du gameplay et du comportement.
Marc Petit, directeur général d’Unreal Engine chez Epic Games, voit de l’espoir dans de nouvelles normes comme glTF, qui est une bonne solution pour créer et transporter du contenu 3D. Il estime également qu’il est essentiel de pouvoir faire glisser des objets 3D d’un monde à l’autre, par exemple pour permettre aux joueurs de conduire des voitures de Minecraft à Fornite.
Dans le cadre de ses fonctions chez Adobe, M. Quaroni souhaite faciliter le partage du contenu 3D entre les différents outils et services Adobe. « Dans l’idéal, il faudrait pouvoir copier et coller entre eux, mais ce n’est pas facile car, d’un point de vue architectural, ils représentent les données de différentes manières », a-t-il déclaré.
Dans un premier temps, il s’efforce d’améliorer l’interopérabilité sans perte. Dans un deuxième temps, Quaroni étudie la manière dont USD pourrait être utilisé pour changer la manière dont les gens envisagent la gestion des documents et des fichiers. Il étudie également comment cette approche pourrait améliorer l’interopérabilité entre les outils 3D.
Quaroni explique : « Nous sommes dans l’espace du creatorverse, nous créons des actifs pour le metaverse. Nous devons partir du principe qu’il ne s’agit pas uniquement des outils d’Adobe. Commençons à penser de cette manière plutôt que d’essayer de faire en sorte que tout le monde utilise uniquement nos outils. En fin de compte, le cercle reviendra pour soutenir nos outils dans ce modèle. »
Vers des jumeaux numériques
Nvidia a catalysé l’intérêt récent pour l’USD lorsqu’elle a commencé à normaliser la prise en charge de l’ensemble de sa chaîne d’outils. Frank DeLise, vice-président de Nvidia, a déclaré qu’USD a commencé comme un problème interne visant à améliorer la collaboration entre les humains, les outils et l’IA pour permettre de nouveaux cas d’utilisation de jumeaux numériques tels que la simulation de routes et d’usines. « Nous avons réalisé que nous avions besoin d’une norme ouverte pour construire ces mondes », a-t-il déclaré.
Aucun des outils destinés aux nouveaux cas d’utilisation, tels que les véhicules autonomes, les robots et les grands mondes virtuels, ne pouvait communiquer entre eux. Il était essentiel de permettre à quiconque de contribuer à ces mondes et de déplacer des ressources entre différentes vues, qu’elles soient rendues dans Unreal, Unity ou des vues Web.
Le format USD est de plus en plus utilisé pour l’échange de données, mais il manque encore le côté « runtime » USD de l’équation. Nvidia travaille avec d’autres leaders pour trouver comment construire une version d’exécution d’USD pour améliorer les performances. « À court terme, bon nombre de ces moteurs et visionneurs auront leurs propres représentations », a déclaré M. DeLise.
Avec la bonne architecture et la collaboration de l’industrie, USD pourrait susciter la même croissance dans le métavers que le HTML a initié pour le web. Par exemple, Nvidia explore progressivement les moyens d’ajouter des fonctionnalités par le biais de microservices et de connexions à d’autres outils. Nvidia a commencé à mettre en libre accès divers schémas USD tels que PhysX pour le rendu physique et le langage de définition des matériaux (MDL) pour décrire le rendu des surfaces.
Cela permet également de repenser la manière de développer des connexions avec d’autres outils. Par exemple, Nvidia peut intégrer des outils d’IA par le biais de connexions de microservices USD. M. DeLise estime que l’industrie graphique 3D n’en est qu’au début de la connexion de tous les outils qui prennent en charge les fonctionnalités devenues courantes sur le web.
« Je pense que USD sera un excellent moyen de commencer à décrire ce monde, mais il y aura beaucoup de travail à accomplir pour réaliser ces comportements, microservices et connexions pour atteindre ce niveau », a déclaré M. DeLise.
