Alors que l'application de l'IA générative continue de se développer, le laboratoire d'informatique et d'intelligence artificielle (CSAIL) du Massachusetts Institute of Technology (MIT) et le Toyota Research Institute ont récemment développé conjointement un nouvel outil d'IA : «Génération de scènes guidées" (génération de scènes orientables) permet à l'IA de créer et d'ajuster de manière indépendante des scénarios de formation virtuelle, améliorant encore l'efficacité de l'apprentissage et de la simulation des robots.
Le cœur de cette technologie est de permettre à l'IA d'aller au-delà de la simple génération d'images ou de modèles 3D et de construire dynamiquement des environnements basés sur des objectifs spécifiques, tels que des cuisines, des salons et des salles à manger, afin de tester la manière dont les robots gèrent diverses tâches en situation réelle. Le système est entraîné sur plus de 4400 millions de données de pièces 3D et intègre une stratégie de recherche arborescente de Monte-Carlo (MCTS), permettant à l'IA de faire des choix stratégiques lors de la génération de scènes pour obtenir des résultats plus adaptés aux besoins.
Nicholas Pfaff, doctorant au MIT et chercheur au Laboratoire d'informatique et d'intelligence artificielle, a déclaré qu'il s'agissait de la première application de la recherche arborescente de Monte-Carlo à la conception générative de scénarios, rapprochant ainsi le processus décisionnel de l'IA de la pensée humaine. « Nous considérons la génération de scénarios comme une tâche décisionnelle continue, où l'IA ajuste et reconstruit en permanence la structure locale de la scène, créant ainsi un environnement simulé plus idéal et plus réaliste. » Il a souligné que les scénarios ainsi générés sont bien plus complexes et détaillés que ceux générés par les modèles de diffusion traditionnels.
Cette recherche recèle un potentiel considérable pour la robotique. L'industrie s'accorde généralement à dire que la rareté des données d'entraînement de haute qualité constitue un obstacle à l'apprentissage des robots. Jeremy Binagia, scientifique appliqué chez Amazon Robotics, a déclaré : « Cette technologie de génération de scènes guidées peut rendre l'entraînement virtuel plus réaliste, tout en créant des scénarios plus stimulants et plus variés, contribuant ainsi à un processus d'apprentissage robotique plus complet. »
L'équipe de recherche a déclaré que ce système permet aux ingénieurs de créer divers environnements de formation adaptés aux exigences des tâches, simulant tout, du simple placement d'objets aux scénarios d'interaction complexes. Nicholas Pfaff a ajouté : « Notre approche guidée génère des scénarios réalistes, riches et pertinents pour la tâche, ce qui est essentiel pour entraîner les robots à comprendre et à réagir à diverses situations. »
La plateforme d'IA est encore en phase de validation de principe, mais le MIT et le Toyota Research Institute prévoient d'étendre encore l'échelle et la diversité des données. L'objectif ultime est de permettre à l'IA de créer automatiquement de nouveaux actifs et environnements, au lieu de s'appuyer sur une bibliothèque de matériaux fixe.
Si ces recherches continuent de progresser, elles pourraient être appliquées non seulement à la formation des robots, mais aussi à la simulation de voitures autonomes, à la conception d'environnements interactifs AR/VR, et même à la construction de villes jumelles numériques. Alors que l'IA générative accède progressivement à des phases décisionnelles et créatives de plus haut niveau, cette collaboration entre le MIT et Toyota ouvre sans aucun doute de nouvelles perspectives pour l'apprentissage et le raisonnement de l'IA dans le monde physique virtuel.
