Muse Gadgets : Meta transforme les ESP32 et Raspberry Pi en corps pour son agent IA

Après les chatbots, voici l’IA avec des GPIO

Meta présente Muse Gadgets, son nouveau terrain de jeu pour makers comme un projet destiné à connecter Muse à « des écrans, boutons, capteurs, actionneurs et tout ce qui traîne sur votre établi ». L’entreprise fournit deux briques principales : un ESP32 Device SDK destiné aux microcontrôleurs Espressif et un Linux Device SDK qui peut transformer un Raspberry Pi ou un ordinateur Linux en périphérique Muse. Le code publié sur GitHub est placé sous licence Apache 2.0, à l’exception de quelques composants tiers et de l’avatar utilisé par le projet. On est donc bien face à du véritable code ouvert côté appareil, pas seulement à trois exemples Arduino cachant une bibliothèque propriétaire de 400 Mo.

Sur ESP32, l’idée consiste à ajouter ce dont on a besoin autour du microcontrôleur : écran couleur ou e-ink, micro, haut-parleur, bouton, LED ou capteur. Meta montre déjà plusieurs configurations basées sur des cartes du commerce, notamment des modules M5Stack, des écrans Waveshare ou des terminaux Seeed. Le Raspberry Pi pousse le concept plus loin : il peut devenir une passerelle entre Muse et un environnement Linux complet, avec la possibilité d’ajouter ses propres commandes et de relier l’agent à une installation domotique. Meta cite explicitement Home Assistant parmi les usages possibles. Voilà une phrase qui devrait statistiquement faire apparaître un fer à souder sur le bureau de la moitié de nos lecteurs.

L’e-ink sur le frigo est probablement seulement le début

Les exemples proposés donnent une bonne idée de la philosophie. Un écran e-ink peut afficher le briefing du matin, les rappels ou une liste de courses. Un petit module à écran couleur peut montrer ce que Muse est en train de faire. Un autre projet ajoute micro, haut-parleur et bouton afin de discuter directement avec l’agent. Meta évoque même un stick HDMI permettant d’afficher Muse sur un téléviseur. L’approche ressemble donc moins à « voici notre nouveau gadget IA à 699 € » qu’à « voici le protocole, fabriquez le vôtre ».

C’est assez rafraîchissant après plusieurs années de gadgets IA cherchant désespérément le bon format physique. Badge, pendentif, lapin avec caméra, mini-smartphone sans applications, lunettes, broche… l’industrie semble toujours hésiter sur la meilleure forme à donner à un assistant personnel. Muse Gadgets externalise presque la question vers la communauté. Si 20 000 personnes commencent soudainement à construire des assistants avec un écran rond de 1,28 pouce et un énorme bouton rouge, Meta disposera d’une étude de marché particulièrement efficace et dont le département R&D aura essentiellement été financé par AliExpress.

Le Raspberry Pi reçoit quelque chose de beaucoup plus puissant qu’un joli écran

La partie Linux mérite cependant davantage d’attention. Le SDK ne transforme pas seulement un Raspberry Pi en écran déporté pour afficher des réponses. Une fois associé à Muse, le service expose notamment des fonctions permettant de lancer des commandes système, lire des fichiers, écrire des fichiers et consulter l’état de la machine. Une analyse indépendante du SDK a vérifié que system.run exécute effectivement les commandes via un shell, tandis que file.read et file.write permettent à l’agent de manipuler des fichiers dans les limites du compte utilisé.

Et Meta ne cache pas vraiment la conséquence : Muse possède les mêmes droits que le compte sous lequel le gadget est installé. Si ce compte peut utiliser sudo, l’agent peut potentiellement utiliser les mêmes privilèges. Le programme d’installation permet heureusement de choisir un autre utilisateur avec --run-as, et c’est probablement le réglage le plus important de tout le projet. Brancher une IA agentique capable d’exécuter des commandes sur son serveur Home Assistant administrateur possède certes un excellent potentiel de démonstration YouTube, mais peut-être légèrement moins de potentiel pour passer une nuit tranquille.

Cette puissance rend malgré tout le projet extrêmement intéressant. Un vieux Raspberry Pi pourrait devenir une interface vocale devant laquelle on demande « combien d’espace reste-t-il sur le NAS ? », « redémarre le service Plex », « affiche la température du serveur » ou « éteins les lumières du bureau », à condition d’avoir soigneusement limité ce que le compte système utilisé peut réellement faire. Ici, on sort clairement du chatbot qui répond à une question : l’IA devient une interface naturelle vers de vrais outils.

Open source, oui. Indépendant de Meta, beaucoup moins

C’est là qu’il faut apporter une nuance importante. Les SDK et le firmware sont open source, mais l’écosystème complet ne l’est pas pour autant. Avant d’associer un gadget, il faut récupérer un SDK token auprès de Muse et activer le mode développeur dans l’application mobile. Chaque appareil doit ensuite être appairé avec le service. Le dépôt officiel précise clairement cette dépendance au token.

Les conditions d’utilisation des tokens Muse Gadgets ajoutent une autre limite intéressante : ils sont prévus pour un usage personnel et non commercial. Un token peut être intégré à un nombre limité d’appareils partagés, mais il ne peut pas servir à commercialiser librement un produit sans accord supplémentaire de Meta. Autrement dit, vous pouvez reprendre le SDK Apache 2.0 et bricoler son code, mais la connexion au véritable agent Muse reste une porte dont Meta conserve la clé. C’est une distinction importante entre logiciel open source et service ouvert.

On pourrait parfaitement imaginer qu’une communauté réutilise demain le SDK pour connecter le même matériel à un autre agent, mais ce ne serait plus l’écosystème Muse tel que Meta le fournit. L’entreprise ouvre donc largement la partie périphérique tout en conservant le contrôle du cerveau distant, des comptes et de l’authentification. C’est nettement plus ouvert qu’un gadget totalement propriétaire, sans devenir pour autant l’équivalent matériel d’un serveur Ollama installé hors ligne.

Meta a quand même fabriqué son propre dongle

Pour montrer où cette idée peut mener, Meta a construit Muse Home Link, un petit appareil USB basé sur un ESP32-C5. Son rôle est simple : rejoindre le Wi-Fi domestique et devenir une passerelle permettant à Muse de communiquer avec des équipements présents sur le réseau local. Le Muse Home Link officiel embarque un ESP32-C5 RISC-V à 240 MHz, 8 Mo de PSRAM, 8 Mo de flash, du Wi-Fi 6 en 2,4 et 5 GHz, du Bluetooth LE pour la configuration et une alimentation USB-C ou USB-A. Meta a produit 5 000 exemplaires, proposés gratuitement aux abonnés Muse aux États-Unis dans la limite des stocks.

Le Home Link peut ensuite utiliser des « skills » communautaires pour discuter avec Philips Hue, Sonos, Apple TV, certaines TV Samsung, des enceintes Google Nest ou encore différentes installations domotiques. Meta précise toutefois qu’il ne faut pas s’appuyer sur ces intégrations communautaires pour des usages critiques tels que la sécurité, les urgences ou la santé. Une bonne manière de rappeler que « Muse, ferme le garage » et « Muse, assure-toi que la maison ne brûle pas » ne devraient peut-être pas partager le même SLA.

Détail amusant : le firmware du SDK ESP32 est ouvert, mais le Home Link vendu par Meta ne peut pas être reflashé avec un firmware personnalisé. Meta explique que son firmware est basé sur le SDK open source et que vous pouvez fabriquer votre propre équivalent sur une carte ESP32, mais son dongle officiel reste verrouillé sur le firmware Meta. Open source, certes ; tournevis propriétaire autour de l’exemplaire maison.

La sécurité va rapidement devenir le vrai sujet

Relier une IA à des boutons et des écrans est amusant. Lui donner accès à un shell Linux ou à tout un réseau domestique est beaucoup plus sérieux. Le SDK lui-même avertit que certains modes d’appairage communautaires ne disposent pas d’une vérification fabricant capable d’empêcher complètement une attaque active de type man-in-the-middle et recommande d’effectuer la configuration sur un réseau de confiance. La documentation recommande également le chiffrement NVS sur ESP32 afin de mieux protéger les credentials stockés en flash.

Pour les utilisateurs Linux, la règle devrait être encore plus simple : créer un compte spécialement destiné à Muse, sans sudo, sans accès aux répertoires sensibles et avec uniquement les permissions indispensables. Le projet devient alors beaucoup plus intéressant : l’agent peut exécuter les quelques opérations dont vous avez réellement besoin, sans recevoir simultanément les clés du NAS, du gestionnaire de mots de passe et du dossier contenant vos déclarations fiscales depuis 2011.

La sécurité des agents risque de devenir l’équivalent moderne du principe Unix du moindre privilège. Plus on donne de bras et de jambes numériques à un modèle, moins il paraît raisonnable de compter sur une phrase dans le prompt pour empêcher une action dangereuse.

Meta essaie peut-être surtout de découvrir ce que doit être un « appareil IA »

Muse Gadgets est aussi une manière élégante d’éviter l’un des gros paris du moment : décider soi-même quel sera le prochain form factor de l’IA. Meta possède déjà un avantage avec les lunettes connectées, mais rien ne garantit qu’un assistant généraliste doive forcément vivre sur le visage de son utilisateur. Un écran e-ink posé sur le bureau, une télécommande vocale, un boîtier HDMI, une enceinte miniature ou un module domotique peuvent répondre à des usages très différents.

En ouvrant les SDK, Meta permet à quelques milliers de développeurs et makers d’effectuer simultanément ces expérimentations. TechCrunch voit justement Muse Gadgets comme une extension de la stratégie de Meta autour de son agent : Muse ne serait plus uniquement une application, mais un service capable de se projeter dans différents objets physiques.

C’est sans doute là que le projet devient plus intéressant que le énième « AI gadget ». Meta ne vous demande pas d’acheter son idée de ce que devrait être un appareil IA. Il fournit la plomberie et attend de voir quelles idées les geeks produiront eux-mêmes.

Le Raspberry Pi revient encore sauver une catégorie de gadgets

Il y a enfin quelque chose d’assez amusant à voir toute l’industrie investir des milliards dans des agents IA capables de réserver des voyages, manipuler des navigateurs et raisonner pendant plusieurs minutes… pour finalement redécouvrir le plaisir de brancher un Raspberry Pi sur un bouton.

Muse Gadgets pourrait rester un petit projet expérimental dont tout le monde parlera pendant deux semaines avant de retourner jouer avec Home Assistant. Mais il peut aussi annoncer quelque chose de plus important : les agents deviennent suffisamment génériques pour que leur interface physique ne soit plus décidée par leur éditeur. On pourrait acheter ou construire le périphérique correspondant exactement à une tâche, puis connecter le même cerveau logiciel derrière.

Pour les bidouilleurs, le projet possède déjà tout ce qu’il faut pour devenir dangereux au meilleur sens du terme : firmware ouvert, ESP32, Raspberry Pi, GPIO, audio, e-ink, Linux, domotique et un agent capable de lancer des commandes.

Il ne manque plus qu’un carton rempli de modules à 8 euros et un week-end sans obligations.

Et probablement un compte Linux sans sudo.