L’entreprise considère sa nouvelle puce d’IA, son centre de données et son supercalculateur comme des moyens de développer une base solide pour ce qu’elle appelle une expérience métavers immersive.
Le géant des médias sociaux et de la technologie Meta a l’intention de construire ce qu’il considère comme une infrastructure matérielle et logicielle solide pour réussir à long terme à mesure qu’il pousse plus loin dans l’IA et le métavers.
Au cours des deux dernières semaines, Meta et sa division Meta AI ont dévoilé une série de plans pour leurs produits et leur infrastructure interne, notamment leur superordinateur d’IA, leur centre de données et leur plateforme d’assistant de codage d’IA.
La société mère de Facebook a également révélé pour la première fois qu’elle avait créé une puce d’IA : le Meta Training and Inference Accelerator (MTIA).
Un pivot
L’accent mis par Meta sur son infrastructure est un bon signe pour la croissance et la longévité de l’entreprise, a déclaré Ray « R » Wang, fondateur et analyste chez Constellation Research.
« Meta est aujourd’hui au bon endroit », a-t-il déclaré.
L’investissement permet à l’entreprise de pivoter davantage vers l’IA et de s’éloigner de sa focalisation intense de ces dernières années sur le monde métavers des applications de réalité virtuelle et augmentée, a déclaré Wang.
Ce changement de direction intervient après que Meta a dépensé quelque 36 milliards de dollars pour construire le métavers en injectant cet argent dans sa division Reality Labs. Mais, malgré l’importance de la somme dépensée pour cette division, Meta n’a obtenu que peu de retours sur investissement.
Toutefois, la réorientation de Meta vers la technologie de l’IA n’est pas entièrement nouvelle, puisque l’entreprise utilise des systèmes de recommandation et d’autres systèmes d’IA depuis près de vingt ans.
Par exemple, le fil d’actualité de Facebook, depuis longtemps alimenté par l’IA, a été lancé en 2005. En 2016, Meta a également mis en open source PyTorch, un cadre d’apprentissage automatique pour les réseaux neuronaux profonds et la recherche sur l’apprentissage profond qui sous-tend toutes les charges de travail d’IA de Facebook. En décembre dernier, Meta a publié PyTorch 2.0.
« Il s’agit vraiment d’une évolution pour nous », a déclaré Aparna Ramani, vice-présidente de l’ingénierie de Meta, lors d’une table ronde diffusée en continu à la conférence @Scale de Meta le 18 mai. « Ce qui change aujourd’hui, c’est que le rythme de l’innovation s’accélère vraiment.
La voie actuelle de Meta, qui consiste à utiliser l’automatisation et l’IA pour créer des gains d’efficacité, est « intelligente pour son avenir », a déclaré M. Wang.
Même les récents licenciements de Meta ont été une bonne décision pour l’avenir de l’entreprise, a déclaré M. Wang, ajoutant que l’entreprise était quelque peu surchargée en termes de talents et qu’elle peut maintenant se concentrer davantage sur l’attraction des bons talents.
Le PDG Mark Zuckerberg a déclaré en mars que l’entreprise prévoyait de supprimer environ 11 000 emplois d’ici au mois de mai. Certains de ces postes ont été supprimés en avril. D’autres licenciements interviendront la semaine prochaine.
« Maintenant, ils doivent donner la priorité à ce qu’ils veulent faire de leur réseau », a déclaré M. Wang.
Ainsi, tout en se concentrant sur la construction d’une infrastructure solide pouvant servir à la fois les initiatives d’IA et de métavers, les métavers peuvent continuer à travailler discrètement sur le métavers, loin des regards du public.
« Ils peuvent faire les deux à la fois, car l’IA est à la base des métavers », a déclaré Wang. « Ils doivent renforcer l’infrastructure pour les métavers ».
Une puce d’IA personnalisée
La première étape de la construction de ces fondations est la création d’une puce en silicium.
MTIA est la puce accélératrice personnalisée de Meta. Cette puce permettra au géant de la technologie d’améliorer les performances et l’efficacité de chaque charge de travail à l’aide des GPU.
Avec MTIA, Meta vise à améliorer l’expérience de l’utilisateur dans ses applications Facebook, Instagram et WhatsApp.
L’accélérateur permettra de fournir des prédictions plus précises et plus intéressantes, d’augmenter le temps de visionnage et d’améliorer le taux de clics, selon Meta.
MTIA répond à un besoin pour les charges de travail des développeurs que ni les CPU ni les GPU ne peuvent satisfaire, a déclaré Meta. En outre, sa pile logicielle est intégrée à Pytorch.
MTIA est un moyen pour Meta de passer à une nouvelle ère de spécialisation, a déclaré Chirag Dekate, analyste chez Gartner.
Bien que les GPU soient flexibles, il faut toujours plus de puissance de calcul pour alimenter les dernières techniques d’IA générative et les grands modèles de langage. C’est pourquoi les géants de la technologie tels que Meta et Google, avec son TPU, ont commencé à concevoir de nouvelles techniques pour traiter ces modèles beaucoup plus volumineux.
« Ils prennent certains de ces réseaux neuronaux et identifient les points communs entre leurs différentes charges de travail et créent des cas spécifiques », a ajouté M. Dekate.
La nouvelle puce en silicium pour l’IA de Meta a également pour but d’être plus native en matière d’IA, a-t-il déclaré.
« Il ne s’agit pas d’une technologie d’hier », a poursuivi M. Dekate. « Il s’agit d’innover dans les plateformes, les produits et l’écosystème de modèles de demain.
Par exemple, la stratégie métavers de Meta implique une expérience et un écosystème hautement immersifs. Cela impliquera probablement non seulement des casques VR/AR, mais aussi des mondes avec des avatars dotés d’options linguistiques plus nombreuses et de meilleure qualité, ainsi que de mouvements plus réalistes. Cependant, il sera difficile d’ajouter des plateformes publicitaires dans un écosystème métavers avec son infrastructure actuelle.
Par conséquent, Meta fera probablement évoluer sa stratégie matérielle pour développer différentes familles de puces qui permettent l’entraînement et l’accélération de l’inférence des modèles d’IA générative et de l’IA multimodale qui aideront Meta à créer une meilleure expérience métavers, a déclaré Dekate.
« Ces expériences nécessitent l’assemblage de modèles de vision, de modèles de parole et de techniques de compréhension du langage naturel (NLP) », a-t-il déclaré.
« Il ne s’agit pas seulement de résoudre des techniques d’IA générative », a ajouté M. Dekate. » Il s’agit d’utiliser un grand nombre de ces techniques comme blocs de construction et de bâtir des écosystèmes natifs d’IA plus vastes dans lesquels Meta se spécialise, en particulier dans sa vision vers les métavers « , a-t-il déclaré.
Viser l’avenir
Cependant, la construction de puces personnalisées est une entreprise coûteuse que seuls des acteurs tels que Meta, Google et AWS peuvent entreprendre en raison de leurs ressources financières.
« L’échelle de l’IA dans leur organisation est si grande et, plus important encore, ils ont une compréhension précise des problèmes qu’ils doivent résoudre non seulement aujourd’hui, mais aussi dans leur avenir où l’IA occupe une place prépondérante », a déclaré M. Dekate.
Ces problèmes incluent la recherche sur la manière d’optimiser les modèles linguistiques et les plateformes de Meta – y compris Facebook, Instagram et WhatsApp – avec des publicités ciblées. En tant qu’entreprise technologique ayant une portée sociale aussi importante, Meta doit s’assurer que ses modèles linguistiques sont capables de s’étendre à de nombreuses langues du monde, en utilisant la vidéo, l’audio et les images pour déployer les bonnes publicités auprès des bonnes populations.
Meta utilise ce qu’elle apprend de ces plateformes pour créer de futures plateformes immersives à grande échelle (y compris pour les métavers), a déclaré M. Dekate.
Le centre de données de la prochaine génération fait partie de cette stratégie. Selon Meta, le nouveau centre de données sera optimisé pour l’IA et prendra en charge le matériel d’IA refroidi par liquide et un réseau d’IA à haute performance.
Meta a également révélé qu’elle avait achevé la deuxième phase de construction de son supercalculateur d’IA, le Research SuperCluster (RSC). Cela a permis à l’entreprise technologique d’entraîner de grands modèles d’IA, tels que son grand modèle de langage, LLaMA, sur le supercalculateur.
Au début de l’année, Meta a mis LLaMA à disposition en tant que modèle open source, prenant ainsi une direction que Microsoft, Google et OpenAI, le créateur de ChatGPT, ont évitée, citant les risques associés à une mauvaise utilisation des modèles.
« En mettant LlaMA en open source, Meta espère accélérer l’innovation », a déclaré Karl Freund, analyste chez Cambrian AI.
Malgré les critiques concernant son choix de rendre la technologie open source, le choix de Meta avec LLaMA montre comment il espère se hisser au sommet de l’industrie de l’IA.
« Meta veut utiliser l’IA dans tous ses produits et être un leader dans la création de nouveaux LLM », a déclaré Karl Freund, ajoutant qu’au-delà de ses nombreux produits à usage interne, Meta prévoit de développer des modèles d’IA massifs et de les publier en open source pour permettre une large adoption de la technologie Meta dans l’ensemble de l’industrie.
« Nous construisons une infrastructure avancée pour l’IA depuis des années maintenant, et ce travail reflète des efforts à long terme qui permettront encore plus d’avancées et une meilleure utilisation de cette technologie dans tout ce que nous faisons », a déclaré Zuckerberg dans un communiqué fourni aux médias.
