L\u2019intelligence artificielle sait aujourd\u2019hui g\u00e9n\u00e9rer du texte, cr\u00e9er des images, produire des vid\u00e9os et m\u00eame \u00e9crire du code. Pourtant, une limite demeure : la compr\u00e9hension du monde physique. Un mod\u00e8le peut d\u00e9crire une voiture, reconna\u00eetre un pi\u00e9ton ou identifier un obstacle, mais comprendre comment les objets interagissent dans l\u2019espace et anticiper leurs mouvements reste un d\u00e9fi majeur. C\u2019est pr\u00e9cis\u00e9ment ce probl\u00e8me que NVIDIA cherche \u00e0 r\u00e9soudre avec Cosmos 3.<\/p>\n\n\n\n
Pr\u00e9sent\u00e9 lors du GTC Taipei 2026, en parall\u00e8le du robot humano\u00efde Isaac GROOT, Cosmos 3 marque une nouvelle \u00e9tape dans le d\u00e9veloppement de ce que NVIDIA appelle l\u2019\u00ab IA physique \u00bb. Contrairement aux mod\u00e8les g\u00e9n\u00e9ratifs traditionnels, cette technologie ne vise pas seulement \u00e0 comprendre des contenus num\u00e9riques. Son objectif est d\u2019aider les robots, v\u00e9hicules autonomes et syst\u00e8mes intelligents \u00e0 mieux interpr\u00e9ter, anticiper et interagir avec le monde r\u00e9el.<\/p>\n\n\n\n
Pour NVIDIA, cette capacit\u00e9 pourrait acc\u00e9l\u00e9rer consid\u00e9rablement le d\u00e9veloppement de la robotique, des v\u00e9hicules autonomes et des futurs agents physiques aliment\u00e9s par l\u2019intelligence artificielle.<\/p>\n\n\n\n
Depuis plusieurs ann\u00e9es, les progr\u00e8s de l\u2019IA reposent essentiellement sur la compr\u00e9hension du langage, des images et des donn\u00e9es num\u00e9riques. Pourtant, les machines continuent de rencontrer des difficult\u00e9s lorsqu\u2019il s\u2019agit d\u2019interagir avec des environnements r\u00e9els.<\/p>\n\n\n\n
Un robot qui doit saisir un objet, \u00e9viter un obstacle ou se d\u00e9placer dans un espace complexe doit comprendre bien davantage que l\u2019apparence d\u2019une sc\u00e8ne. Il doit \u00eatre capable d\u2019anticiper les cons\u00e9quences de ses actions, d\u2019\u00e9valuer les mouvements possibles et de raisonner sur les interactions physiques.<\/p>\n\n\n\n
Cette probl\u00e9matique devient particuli\u00e8rement importante alors que les investissements mondiaux dans la robotique devraient d\u00e9passer 260 milliards de dollars d\u2019ici 20301<\/sup>.<\/a> Les industriels recherchent d\u00e9sormais des mod\u00e8les capables de faire le lien entre perception num\u00e9rique et compr\u00e9hension physique.<\/p>\n\n\n\n C\u2019est dans ce contexte que Cosmos 3 a \u00e9t\u00e9 con\u00e7u.<\/p>\n\n\n\n NVIDIA pr\u00e9sente Cosmos 3 comme le premier \u00ab omnimod\u00e8le \u00bb enti\u00e8rement ouvert d\u00e9di\u00e9 \u00e0 l\u2019IA physique. Le syst\u00e8me a \u00e9t\u00e9 d\u00e9velopp\u00e9 pour servir de fondation \u00e0 une nouvelle g\u00e9n\u00e9ration de machines intelligentes capables d\u2019interagir avec leur environnement.<\/p>\n\n\n\n L\u2019entreprise propose d\u00e9j\u00e0 deux versions du mod\u00e8le. La version Super vise les applications n\u00e9cessitant une pr\u00e9cision physique \u00e9lev\u00e9e, notamment dans la robotique industrielle et la conduite autonome. Une version Nano est \u00e9galement disponible pour des usages n\u00e9cessitant des temps de r\u00e9ponse plus rapides et des co\u00fbts de calcul r\u00e9duits.<\/p>\n\n\n\n NVIDIA a \u00e9galement annonc\u00e9 l\u2019arriv\u00e9e prochaine d\u2019une version Edge destin\u00e9e \u00e0 fonctionner directement sur des appareils locaux. Cette approche r\u00e9pond \u00e0 un enjeu majeur du secteur : permettre aux syst\u00e8mes autonomes de prendre des d\u00e9cisions sans d\u00e9pendre syst\u00e9matiquement d\u2019une connexion cloud.<\/p>\n\n\n\n Cette strat\u00e9gie montre que NVIDIA ne cherche pas seulement \u00e0 d\u00e9velopper un mod\u00e8le performant, mais \u00e0 construire un v\u00e9ritable \u00e9cosyst\u00e8me d\u2019IA physique capable de s\u2019adapter \u00e0 diff\u00e9rents niveaux d\u2019infrastructure.<\/p>\n\n\n\n L\u2019un des aspects les plus impressionnants de Cosmos 3 concerne les donn\u00e9es utilis\u00e9es pour son entra\u00eenement.<\/p>\n\n\n\n Selon NVIDIA, le mod\u00e8le a \u00e9t\u00e9 entra\u00een\u00e9 sur pr\u00e8s de 20 000 milliards de tokens2<\/a><\/sup>. Cette base comprend :<\/p>\n\n\n\n Cette diversit\u00e9 permet au mod\u00e8le d\u2019apprendre non seulement \u00e0 reconna\u00eetre des objets ou des situations, mais aussi \u00e0 comprendre les actions associ\u00e9es \u00e0 ces environnements.<\/p>\n\n\n\n Contrairement \u00e0 un g\u00e9n\u00e9rateur vid\u00e9o classique qui observe essentiellement l\u2019apparence visuelle d\u2019une sc\u00e8ne, Cosmos 3 cherche \u00e0 mod\u00e9liser ce qui se produit r\u00e9ellement dans le monde physique.<\/p>\n\n\n\n Selon Ming-Yu Liu, vice-pr\u00e9sident du Cosmos Lab chez NVIDIA, l\u2019objectif consiste \u00e0 apprendre les mouvements, les interactions et les comportements qui caract\u00e9risent les environnements r\u00e9els2<\/a><\/sup>.<\/p>\n\n\n\n La v\u00e9ritable innovation de Cosmos 3 r\u00e9side dans sa capacit\u00e9 \u00e0 int\u00e9grer la notion d\u2019action.<\/p>\n\n\n\n Pour un humain, observer une personne qui ouvre une porte, d\u00e9place un objet ou monte un escalier para\u00eet naturel. Pour une machine, ces op\u00e9rations repr\u00e9sentent une combinaison complexe de mouvements, de contraintes physiques et de d\u00e9cisions s\u00e9quentielles.<\/p>\n\n\n\n Cosmos 3 tente pr\u00e9cis\u00e9ment de capturer cette dimension.<\/p>\n\n\n\n Le mod\u00e8le peut g\u00e9n\u00e9rer des donn\u00e9es d\u2019action extr\u00eamement d\u00e9taill\u00e9es, notamment :<\/p>\n\n\n\n Ces informations sont essentielles pour entra\u00eener des robots capables d\u2019interagir efficacement avec leur environnement.<\/p>\n\n\n\n Cette approche rapproche progressivement les syst\u00e8mes d\u2019intelligence artificielle du raisonnement physique humain, une capacit\u00e9 consid\u00e9r\u00e9e comme essentielle pour l\u2019\u00e9mergence de v\u00e9ritables agents autonomes.<\/p>\n\n\n\n L\u2019un des cas d\u2019usage les plus prometteurs concerne la g\u00e9n\u00e9ration de sc\u00e9narios rares ou dangereux.<\/p>\n\n\n\n Dans le monde r\u00e9el, il est souvent difficile, co\u00fbteux ou risqu\u00e9 de reproduire certaines situations n\u00e9cessaires \u00e0 l\u2019entra\u00eenement des syst\u00e8mes autonomes. Les collisions de v\u00e9hicules, les accidents industriels ou les d\u00e9faillances m\u00e9caniques constituent des \u00e9v\u00e9nements peu fr\u00e9quents mais essentiels pour d\u00e9velopper des syst\u00e8mes robustes.<\/p>\n\n\n\n Cosmos 3 permet de g\u00e9n\u00e9rer virtuellement ce type de sc\u00e9narios afin d\u2019enrichir les donn\u00e9es d\u2019entra\u00eenement.<\/p>\n\n\n\n Cette approche offre plusieurs avantages :<\/p>\n\n\n\n NVIDIA affirme m\u00eame que certaines phases d\u2019entra\u00eenement pouvant n\u00e9cessiter plusieurs mois pourraient d\u00e9sormais \u00eatre r\u00e9alis\u00e9es en quelques jours seulement2<\/a><\/sup>.<\/p>\n\n\n\nUn mod\u00e8le pens\u00e9 pour les robots et les v\u00e9hicules autonomes<\/h2>\n\n\n\n
Une base de donn\u00e9es gigantesque pour apprendre la r\u00e9alit\u00e9<\/h2>\n\n\n\n
\n
De la perception \u00e0 l\u2019action<\/h2>\n\n\n\n
\n
Simuler l\u2019impossible pour mieux entra\u00eener les machines<\/h2>\n\n\n\n
\n