📝 Cette note est une synthèse de l'article publié sur le site web de la Société des arts technologiques (SAT) en mars 2025.
L'article original a été rédigé par Charles Bicari, intégrateur·ice-développeur·ice à la SAT.
👥 La création de cette note est une collaboration entre humain·es et IA.
🚀 Optimisation des modèles pour les systèmes embarqués
Dans son article, Charles Bicari présente sommairement des alternatives aux grands modèles d'intelligence artificielle. Son analyse permet d'illustrer que l'IA ne se limite pas à des ordinateurs puissants et ouvrent les horizons sur d'autres solutions à faible consommation énergétique.
Ses réflexions entre en dialogue avec les thèmes et questions suivantes :
- Qu'est-ce qui rend un modèle miniature?
- Quelles sont les possibilités pratiques des modèles miniatures?
- Les modèles agnostiques du matériel
- Les microprossesseurs avec accélération matérielle pour l'IA
✒️ Synthèse
Les possibilités créatives offertes par l'IA suscitent un vif intérêt chez les artistes, mais les contraintes financières et techniques constituent souvent des obstacles majeurs. Ces difficultés, combinées aux préoccupations écologiques liées à l'empreinte carbone des technologies d'IA, risquent de décourager progressivement les artistes tenté·es par ces outils innovants.
Cependant, les modèles miniatures se distinguent par leur capacité à fonctionner dans des environnements limités en ressources computationnelles et énergétiques, comme les téléphones intelligents ou les casques VR.
Leur taille dépend principalement du nombre de paramètres, de leur architecture, et des opérations nécessaires pour chaque inférence. Par exemple, MobileNetV2, avec ses 3,4 millions de paramètres, contraste avec les modèles massifs comme Stable Diffusion et ses 860 millions de paramètres.
La quantification joue également un rôle clé en simplifiant les calculs pour les rendre plus rapides et moins gourmands en mémoire, bien qu’au détriment de la précision. Les unités de traitement neuronal (NPU) mesurent ces capacités en TOPS (Téra Opérations Par Seconde), ce qui permet d’évaluer si un système embarqué peut supporter un modèle donné. Par exemple, un NPU de 4 TOPS peut traiter 4 trillions d’opérations par seconde, une performance nécessaire pour des applications en temps réel comme le traitement vidéo à 30 images par seconde.
Les applications pratiques de ces modèles incluent la reconnaissance d’images, la transcription vocale ou la détection de mouvements, avec des outils comme Edge Impulse pour les débutant·es ou Weka pour une approche plus avancée. L’interopérabilité est quant à elle facilitée par le format ONNX (Open Neural Network Exchange), qui permet d’exécuter des modèles sur différentes plateformes matérielles sans dépendre d’un fournisseur spécifique.
L’IA embarquée démontre que l’innovation ne repose pas uniquement sur des supercalculateurs, mais aussi sur des solutions optimisées, accessibles et adaptées à des projets créatifs ou techniques aux ressources limitées.
----------------------------------------------------------------------------------------------------------
📝 This note is a summary of the article published on the Society for arts and technology (SAT)'s website in March 2025.
The original article was written by Charles Bicari, an integrator-developer at SAT
👥 The creation of this note is a collaboration between humans and AI.
🚀 Optimizing Models for Embedded Systems
In their article, Charles Bicari briefly presents alternatives to large artificial intelligence models. These reflections illustrate that AI is not limited to powerful computers and open up new possibilities for low-energy solutions.
Their thoughts engage with the following themes and questions:
- What makes a model miniature?
- What are the practical possibilities of miniature models?
- Hardware-agnostic models
- Microprocessors with hardware acceleration for AI
✒️ Summary
The creative possibilities offered by AI spark strong interest among artists, but financial and technical constraints often pose major obstacles. These difficulties, combined with ecological concerns about the carbon footprint of AI technologies, risk gradually discouraging artists drawn to these innovative tools.
However, miniature models stand out for their ability to function in environments with limited computational and energy resources, such as smartphones or VR headsets.
Their size mainly depends on the number of parameters, their architecture, and the operations required for each inference. For example, MobileNetV2, with its 3.4 million parameters, contrasts with massive models like Stable Diffusion and its 860 million parameters.
Quantization also plays a key role by simplifying calculations to make them faster and less memory-intensive, though at the expense of precision. Neural Processing Units (NPUs) measure these capabilities in TOPS (Tera Operations Per Second), which helps determine whether an embedded system can support a given model. For instance, a 4 TOPS NPU can process 4 trillion operations per second—a performance necessary for real-time applications like video processing at 30 frames per second.
Practical applications of these models include image recognition, voice transcription, and motion detection, with tools like Edge Impulse for beginners and Weka for more advanced approaches. Interoperability is facilitated by the ONNX (Open Neural Network Exchange) format, allowing models to run on different hardware platforms without depending on a specific vendor.
Embedded AI demonstrates that innovation does not rely solely on supercomputers but also on optimized, accessible solutions tailored to creative or technical projects with limited resources.
