La puce peut également consommer 26 400 fois moins d’énergie et 180 fois moins de VRAM, et peut être intégrée dans un appareil portable pas plus grand qu’un smartphone. Elle est conçue pour simplifier la conversion de matériel 2D en modèles 3D modifiables pour les métavers.
Une équipe de chercheurs sud-coréens dirigée par le professeur Yoo Hoi-Jun et travaillant au Korea Advanced Institute of Science & Technology a récemment achevé le développement d’une puce alimentée par l’IA qui peut transformer des images 2D en modèles 3D entièrement modifiables avec une très faible consommation d’énergie et une vitesse de traitement exponentiellement supérieure à celle des solutions existantes de Nvidia. DigiTimes rapporte que le nouveau processeur de rendu neuronal est connu sous le nom de MetaVRain et qu’il peut facilement être intégré dans un appareil portable de la taille d’un smartphone. Il vise essentiellement à simplifier les processus de transformation des objets et des personnes du monde réel en avatars 3D pour les métavers.
Grâce à cette simplification, les coûts de production des rendus 3D peuvent être considérablement réduits, car la formation automatisée de l’IA supprime l’édition 3D manuelle fastidieuse à l’aide de suites spécialisées telles que Blender. Les besoins en VRAM peuvent également être réduits jusqu’à 180 fois. Les processus de capture et de rendu deviennent ainsi aussi simples que de prendre quelques photos et de les télécharger dans une application intelligente. Après avoir transformé le matériau 2D en un modèle 3D facilement modifiable, l’application intelligente peut alors appliquer des textures pré-formées à partir de certains styles artistiques comme ceux de Picasso ou de Van Gogh.
Afin de remédier aux inefficacités initiales des processus de rendu assistés par l’IA, l’équipe de chercheurs a mis en œuvre un algorithme qui émule la cognition visuelle humaine. À l’instar des humains qui perçoivent d’abord les contours d’un objet avant de composer la forme dans son ensemble, la puce MetaVRain délimite d’abord les formes à l’aide de voxels à faible résolution, puis applique des structures rendues précédemment afin d’augmenter la vitesse de calcul.
La capture d’images se fait par l’intermédiaire d’un capteur CMOS très avancé et le processus de rendu est au moins 911 fois plus rapide que les GPU grand public actuels. Une vidéo de démonstration montre que MetaVRain peut rendre un modèle à 32,8 fps, alors qu’un GPU RTX 2080 ne rend que moins de 3 % d’une image en une seconde. Les vitesses supérieures réduisent encore les besoins en énergie pour une seule image rendue de 26 400 fois (133 mW) par rapport aux GPU grand public. Ces caractéristiques permettent un rendu en temps réel pour les applications VR/AR à l’aide d’un simple smartphone.
Alors que les développements de l’IA éclipsent aujourd’hui tout ce qui concerne le métavers, le professeur Yoo Hoi-Jun et son équipe pensent que les puces basées sur l’IA comme le MetaVRain peuvent en fin de compte accélérer l’avènement du métavers.
