Les ambitions de Runway s’étendent au-delà d’Hollywood avec la famille GWM-1 des « world models » innovants

Runway, une entreprise spécialisée dans l’intelligence artificielle, a récemment annoncé la sortie de son premier modèle mondial, le GWM-1. Ce développement marque une étape importante pour l’entreprise, qui s’est surtout fait connaître pour la génération vidéo. Alors que les modèles de langage et d’image atteignent une phase de raffinement, le GWM-1 s’inscrit dans une nouvelle vague de modèles prometteurs. Composé de trois modèles d’autorégression, chacun bâti sur le modèle de génération de texte en vidéo Gen-4.5 de Runway, le GWM-1 est post-entraîné avec des données spécifiques à différents domaines d’application. Cette innovation pourrait transformer divers secteurs grâce à ses capacités de simulation avancées.

Les mondes GWM

Les mondes GWM offrent une interface permettant l’exploration d’environnements numériques avec une entrée utilisateur en temps réel. Cette interaction influence la génération des images suivantes, garantissant une cohérence à travers de longues séquences de mouvement. Les utilisateurs peuvent définir la nature et l’apparence du monde, ainsi que des règles comme celles de la physique. Il est également possible de simuler des actions ou des changements en temps réel, tels que des mouvements de caméra ou des modifications d’environnement. Bien que ces mondes ne soient pas des simulations complètes, ils sont suffisamment fiables pour être utilisés comme tels.

Les applications potentielles incluent la prévisualisation pour le développement de jeux, la génération d’environnements de réalité virtuelle, ou encore l’exploration éducative d’espaces historiques. En dehors du domaine habituel de Runway, ces modèles peuvent servir à former des agents d’intelligence artificielle, y compris des robots.

« La Chine construit des camps d’entraînement pour robots » : des humanoïdes de nouvelle génération testés comme des athlètes

GWM Robotics

Le modèle GWM Robotics est conçu pour générer des données de formation synthétiques augmentant les ensembles de données robotiques existants. Il peut intégrer de nouveaux objets, instructions et variations environnementales. Cela est particulièrement utile pour les scénarios de formation difficiles à reproduire dans le monde réel, comme des conditions météorologiques variées. De plus, ce modèle permet l’évaluation de politiques de contrôle dans un monde simulé avant des tests réels, offrant ainsi des solutions plus sûres et économiques.

Runway propose un SDK Python pour l’API du modèle de monde robotique, actuellement disponible sur demande. Cette offre souligne l’engagement de Runway à étendre ses capacités au-delà de la génération vidéo.

« Comment un Hoverboard fonctionne sans magnétisme » : une innovation futuriste bouleverse la physique inspirée de Retour vers le futur

GWM Avatars

Le modèle GWM Avatars combine vidéo générative et discours pour créer des avatars humains capables d’émotions et de mouvements naturels en parlant ou écoutant. Runway affirme que ces avatars peuvent maintenir des conversations prolongées sans perte de qualité, une prouesse ambitieuse. Cette fonctionnalité sera bientôt disponible sur l’application web et l’API de Runway.

Ces avatars pourraient révolutionner les interactions humaines numériques, ouvrant de nouvelles perspectives dans des domaines tels que le service client virtuel et l’éducation en ligne.

« Couvrez-vous de 5 étoiles sur Google Maps » : le service ultra-puissant d’Acheter-des-Fans.com pour booster votre crédibilité et dominer Google en un temps record

Un terrain concurrentiel

Avec GWM-1, Runway pénètre un espace concurrentiel où ses avantages distinctifs sont moins évidents que dans la génération vidéo. Bien que l’entreprise ait réussi à s’imposer dans les industries créatives grâce à ses racines et ses outils adaptés, le domaine des modèles mondiaux est déjà investi par de grands groupes technologiques. Ces derniers disposent de ressources considérables que Runway devra affronter.

Malgré cela, les avancées de GWM-1 restent impressionnantes, surtout si les affirmations de Runway concernant la cohérence et la continuité sur de longues durées se vérifient. L’annonce de nouvelles capacités de génération vidéo Gen 4.5, ainsi que l’accord avec CoreWeave pour utiliser des infrastructures cloud, renforcent la position de Runway dans ce secteur.

Alors que Runway continue d’innover avec ses modèles mondiaux, une question demeure : comment l’entreprise parviendra-t-elle à conserver son avantage concurrentiel face à des géants technologiques bien établis dans le domaine des modèles de simulation ?