LeRobot et ROS 2 : la chaîne ouverte qui relie simulation et robot réel

Pourquoi cette annonce compte pour les développeurs

Les équipes d’IA robotique assemblent souvent cinq projets : pilote matériel, enregistreur, format de données, entraînement et moteur d’inférence. Chaque raccord implique des versions, conventions et conversions. Quand une caméra change de fréquence ou qu’un axe est inversé, le modèle peut apprendre un comportement incohérent sans message d’erreur évident.

Une démonstration intégrée fournit un point de départ commun. Les développeurs peuvent remplacer une brique tout en conservant les contrats autour. Un chercheur teste une autre politique ; un fabricant ajoute un pilote ; un spécialiste de simulation améliore la scène. La comparaison devient plus honnête car le reste de la chaîne demeure stable.

L’ouverture du code facilite aussi l’audit. Les messages, transformations et paramètres sont lisibles. Cela n’élimine pas les bugs, mais permet de reproduire une expérience et de discuter d’une modification précise. Pour une technologie jeune, cette capacité collective est un accélérateur.

Une référence partagée transforme les problèmes locaux en contributions réutilisables. Visuel généré par IA.

La collecte de données, nouveau cœur de l’ingénierie

Dans un système appris, le comportement dépend autant des données que du code. Une démonstration mal cadrée, trop homogène ou comportant des corrections tardives peut enseigner une stratégie fragile. Il faut donc documenter l’opérateur, la scène, la caméra, la calibration et le résultat de chaque épisode.

La quantité n’est pas le seul critère. Cinquante épisodes couvrant des positions différentes peuvent valoir davantage que cinq cents répétitions identiques. Les échecs sont utiles s’ils sont étiquetés et compris ; mélangés silencieusement aux réussites, ils brouillent l’objectif.

ROS possède déjà rosbag pour enregistrer les flux. Le défi est de transformer ces messages en exemples utilisables par LeRobot sans perdre horodatages, types ou métadonnées. Rosetta joue ce rôle de pont. Une convention partagée permet ensuite de comparer des jeux de données issus de plusieurs matériels.

La gouvernance compte. Un jeu de données peut contenir des visages, un intérieur ou des procédés industriels. Avant de pousser vers un Hub public, il faut vérifier droits, confidentialité et secrets. Le pipeline technique doit intégrer une étape de revue et de nettoyage.

La caméra, les états articulaires et les commandes doivent être synchronisés au niveau de chaque épisode. Visuel généré par IA.

Le choix de la téléopération

Le bras leader reproduit les mouvements avec une correspondance intuitive. Il fournit des trajectoires proches de la mécanique cible mais demande un second appareil. RViz permet de déplacer un marqueur dans l’espace ; l’inverse cinématique convertit la pose en articulations. Un téléphone via WebXR démocratise l’entrée mais ajoute réseau et estimation de pose.

Chaque interface induit un style. Un expert au bras leader peut produire des gestes fluides ; un débutant au téléphone crée des hésitations. La politique apprend ces différences. Comparer les sources de téléopération devrait donc faire partie de l’évaluation.

La force et le toucher manquent souvent aux systèmes abordables. Une démonstration visuelle montre où déplacer le bras, pas nécessairement combien serrer. Pour des objets fragiles ou déformables, capteurs de courant, force ou tactile deviennent importants.

Le dépôt accueille plusieurs entrées parce qu’aucune n’est universelle. Cette modularité est saine si les métadonnées indiquent clairement comment chaque épisode a été produit.

Gazebo ou MuJoCo : éviter le faux duel

Gazebo apporte mondes, capteurs et intégration ROS. MuJoCo offre une simulation dynamique efficace largement utilisée en apprentissage. Les opposer masque la question utile : la politique dépend-elle d’un moteur particulier ? Pouvoir lancer la même scène dans les deux crée un test de robustesse.

Les conversions SDF vers MJCF ont des limites. Les matériaux, joints, contacts et plugins ne se traduisent pas toujours exactement. Le dépôt adopte une source de vérité commune pour la scène, ce qui réduit les doubles modifications, mais chaque moteur doit encore être validé.

Un protocole simple consiste à mesurer positions, vitesses et contacts sur une trajectoire identique. Les écarts déterminent les paramètres à ajuster. Après calibration, la politique peut être testée avec plusieurs niveaux de bruit et de friction.

La simulation est surtout un instrument de sécurité et d’itération. Elle permet de casser virtuellement des milliers de scénarios. Elle ne doit pas devenir une preuve commerciale de fonctionnement réel.

Deux moteurs de simulation mettent en évidence les hypothèses trop dépendantes d’une physique particulière. Visuel généré par IA.

Déployer sans transformer la politique en boîte noire

Une politique reçoit une observation et produit une action, mais le système autour doit limiter cette action. Vitesse, accélération, espace de travail et effort doivent être bornés indépendamment du réseau neuronal. Un arrêt d’urgence ne dépend jamais de la confiance du modèle.

Les journaux doivent relier chaque commande à l’observation utilisée, au modèle, à sa version et au temps d’inférence. Sans cette traçabilité, un incident est difficile à reproduire. ROS 2 fournit des outils de logging et de visualisation ; la pile doit les conserver lors du passage à l’apprentissage.

La latence est une contrainte physique. Un modèle trop lourd peut fournir une bonne action trop tard. Le déploiement doit mesurer fréquence réelle, gigue et surcharge. Les tests en accéléré ne remplacent pas un chronométrage sur le calcul embarqué.

Enfin, le modèle doit échouer proprement. Une faible confiance, une image manquante ou un objet hors distribution doit déclencher un arrêt ou une reprise connue plutôt qu’un mouvement improvisé.

Ce que le SIG Physical AI veut standardiser

Le groupe est organisé autour de cinq axes : interfaces et messages, collecte, entraînement et exécution, plateforme de référence, et agents incarnés. Cette structure reconnaît que l’IA physique n’est pas un seul modèle. Elle dépend d’une pile qui va du capteur à la composition de compétences.

Les interfaces déclaratives doivent décrire un robot et ses capacités sans coder chaque intégration. Les pipelines de données cherchent des formats et métadonnées communs. L’exécution vise le déploiement reproductible. La plateforme de référence fournit un terrain concret. Le volet agentique étudie comment un modèle de raisonnement combine des compétences.

La gouvernance ouverte est essentielle parce que plusieurs entreprises concurrentes utilisent ROS. Un standard dominé par un seul fournisseur risquerait d’enfermer données et matériels. L’OSRA offre un espace préconcurrentiel, mais sa légitimité dépendra de contributions diverses et de décisions transparentes.

Le succès se mesurera à l’adoption : nombre de robots compatibles, jeux de données interopérables et politiques réellement transférables. Le dépôt actuel est un démonstrateur, pas encore la preuve d’un standard universel.

Ce que la France peut en faire

Les laboratoires français utilisent déjà ROS, mais les prototypes restent souvent enfermés dans des environnements locaux. Une référence LeRobot-ROS peut faciliter le partage de jeux de données entre écoles, centres techniques et PME. Le bras abordable permet de former sans mobiliser une cellule industrielle coûteuse.

Les écoles d’ingénieurs peuvent construire un cursus complet : téléopération, enregistrement, entraînement, simulation, sûreté et déploiement. Les étudiants découvrent alors les interfaces entre disciplines plutôt qu’un algorithme isolé. Une même tâche reproduite dans plusieurs établissements offrirait un benchmark pédagogique.

Pour l’industrie, la valeur est un prototype rapide. Une PME peut tester une manipulation en simulation avant d’acheter un robot. Elle doit cependant travailler avec un intégrateur pour la sécurité et la robustesse. Le dépôt n’est pas une certification.

France 2030 et les centres de transfert pourraient soutenir des contributions amont plutôt que des forks privés. Financer un pilote tout en exigeant que les interfaces génériques soient reversées au projet commun augmente l’effet de levier public.

Feuille de route pour tester sans matériel

Commencer par cloner le dépôt, installer Pixi et construire l’environnement. Lancer le routeur Zenoh, puis la scène Gazebo. Vérifier les sujets ROS 2, la caméra et les limites articulaires avant de charger une politique.

Utiliser ensuite la politique préentraînée fournie. L’objectif n’est pas d’évaluer sa précision, mais de confirmer que les observations arrivent, que l’inférence produit des actions et que le simulateur répond. Enregistrer les versions exactes et les messages d’erreur.

Passer à MuJoCo avec la même scène et comparer le comportement. Une divergence importante doit être comprise avant tout entraînement. Modifier ensuite une variable simple — position du cube ou éclairage — pour tester la généralisation.

Enfin, enregistrer quelques épisodes personnalisés, entraîner un petit modèle et documenter le taux de réussite. Sans robot, ce parcours enseigne déjà la structure de la chaîne. Le matériel vient ensuite, avec calibration, zone sûre et supervision.

Conclusion : l’IA physique a besoin de plomberie ouverte

Les modèles attirent l’attention, mais un robot apprend seulement si données, capteurs, simulateurs et actionneurs restent cohérents. Le dépôt du SIG Physical AI rend cette plomberie visible et exécutable. Sa valeur est moins spectaculaire qu’un humanoïde, mais plus immédiatement utile aux développeurs.

LeRobot apporte l’apprentissage et les formats. ROS 2 apporte l’écosystème matériel et l’exploitation. Gazebo et MuJoCo apportent deux environnements de test. Rosetta relie les données. Le SO‑ARM101 offre un objet concret. L’ensemble forme une référence que la communauté peut critiquer et améliorer.

Il reste beaucoup à prouver : performance, sécurité, transfert entre robots et maintien des versions. Mais le projet déplace le débat de « quel modèle est le meilleur ? » vers « peut-on reproduire tout le parcours ? ». C’est probablement l’une des questions les plus importantes de la robotique en 2026.