Le MIT CSAIL a récemment développé un nouveau type de modèle de Deep Learning appelé “réseaux de neurones liquides”. Cette invention promet de révolutionner le domaine de l’IA, en particulier dans les domaines de la robotique et des véhicules autonomes.
Suite au succès de ChatGPT, de nombreuses entreprises et laboratoires d’IA se sont lancés dans une course pour créer des réseaux de neurones de plus en plus grands. Cependant, les modèles de Deep Learning les plus massifs nécessitent une puissance de calcul et une mémoire qui ne sont pas toujours accessibles pour certaines applications.
C’est pourquoi de nombreux chercheurs cherchent des alternatives. Le laboratoire d’IA du MIT a ainsi inventé une nouvelle architecture de deep learning très prometteuse : les réseaux de neurones liquides.
Cette innovation offre une solution compacte, adaptable et efficace à plusieurs problèmes de l’IA, en surmontant les limites des modèles d’apprentissage profond traditionnels.
Grâce à ces nouveaux réseaux de neurones, une nouvelle vague d’innovation va déferler sur le secteur de l’IA. Cette invention pourrait révolutionner les domaines de la robotique et des véhicules autonomes.
Qu’est-ce qu’un réseau de neurones liquide ?
Selon Daniel Rus, directrice du CSAIL du MIT, l’idée derrière les réseaux de neurones liquides était de réfléchir aux approches existantes du Machine Learning et de les adapter aux systèmes de sécurité que les robots et les appareils edge offrent.
Par exemple, il n’est pas possible d’exécuter un large modèle de langage sur un robot, car cela nécessite une puissance de calcul et un espace de stockage qui ne sont pas disponibles. C’est pourquoi Rus et son équipe ont voulu créer des réseaux de neurones précis et efficaces qui pourraient être exécutés sur les ordinateurs d’un robot sans avoir besoin d’être connectés au cloud.
Ils se sont également inspirés de la recherche sur les neurones biologiques de petits organismes tels que le ver C. Elegans, qui peut effectuer des tâches complexes avec seulement 302 neurones.
Après de nombreux mois de travail, le CSAIL a créé les réseaux de neurones liquides. Ces réseaux sont très différents des modèles de deep learning traditionnels, car ils utilisent une formule mathématique moins gourmande en puissance de calcul et qui stabilise les neurones pendant l’entraînement.
Le secret de leur efficacité réside dans l’utilisation d’équations différentielles ajustables dynamiquement. Cela leur permet de s’adapter à de nouvelles situations après l’entraînement, une capacité absente des réseaux neuronaux classiques.
Selon Rus, pour simplifier, les réseaux de neurones liquides augmentent la capacité d’apprentissage d’un neurone de deux insights par rapport aux modèles existants. Le premier insight est un “modèle d’espace d’états” qui augmente la stabilité des neurones pendant l’apprentissage. Ensuite, des non-linéarités sont introduites sur les entrées synaptiques pour augmenter l’expressivité du modèle pendant la formation et l’inférence.
De plus, les réseaux de neurones liquides utilisent une architecture de câblage différente des réseaux traditionnels, permettant les connexions latérales et récurrentes au sein de la même couche.
Les équations mathématiques sous-jacentes et la nouvelle architecture câblée permettent aux réseaux de neurones liquides d’apprendre des modèles en temps continu capables d’ajuster leur comportement de manière dynamique.
Quels sont les avantages ?
L’un des principaux avantages des réseaux de neurones liquides est leur compacité. Par exemple, un réseau profond classique nécessite environ 100 000 paramètres par neurone, tandis qu’un réseau de neurones liquides n’en nécessite que quelques centaines.
Cette compacité permet aux réseaux de neurones liquides d’être exécutés sur des appareils avec des ressources limitées, tels que des robots ou des véhicules autonomes. Cela ouvre de nouvelles possibilités pour l’IA dans ces domaines, où la puissance de calcul et l’espace de stockage sont souvent restreints.
De plus, les réseaux de neurones liquides sont capables de s’adapter dynamiquement après leur entraînement en fonction des inputs qu’ils perçoivent. Cela leur confère une plus grande flexibilité et adaptabilité, ce qui est essentiel dans des environnements changeants tels que la robotique et les véhicules autonomes.
En conclusion, les réseaux de neurones liquides sont une innovation prometteuse dans le domaine de l’IA. Leur compacité, leur adaptabilité et leur efficacité en font une solution idéale pour les applications nécessitant des ressources limitées. Cette invention pourrait ouvrir de nouvelles perspectives dans des domaines tels que la robotique et les véhicules autonomes, où l’IA joue un rôle de plus en plus important.Des chercheurs du CSAIL (Computer Science and Artificial Intelligence Laboratory) du MIT ont réalisé une avancée majeure dans le domaine de l’intelligence artificielle (IA). Ils ont réussi à entraîner un réseau de neurones liquide (LNN) à effectuer des tâches complexes avec seulement 19 neurones, contre des centaines de milliers voire des millions de neurones pour les modèles traditionnels de deep learning.
Cette réduction significative de la taille du réseau présente plusieurs avantages importants. Tout d’abord, elle permet au modèle de fonctionner sur des ordinateurs de petite taille, tels que ceux utilisés dans les robots et autres appareils edge. De plus, avec moins de neurones, le réseau devient beaucoup plus interprétable, ce qui est l’un des grands défis de l’IA. Jusqu’à présent, il était difficile de comprendre comment un modèle de deep learning prenait une décision spécifique. Cependant, avec seulement 19 neurones, il est possible d’extraire l’arbre de décision correspondant aux patterns et aux flux de prise de décision.
Une autre avancée majeure des LNN est leur capacité à mieux comprendre les relations causales. Contrairement aux modèles traditionnels de deep learning, qui ont du mal à comprendre ces relations, les LNN semblent mieux les appréhender, ce qui leur permet de généraliser à des situations inédites.
Pour tester les performances des LNN, les chercheurs du CSAIL les ont entraînés à détecter des objets dans des vidéos capturées en pleine nature. Les résultats ont été impressionnants : même lorsque les LNN ont été testés dans des situations différentes, comme des paysages d’automne ou d’hiver, ils ont conservé une précision élevée. En revanche, les autres types de réseaux de neurones ont connu une chute significative de leurs performances. Les LNN se concentrent sur la tâche à accomplir, plutôt que sur le contexte, contrairement aux autres modèles qui analysent excessivement le contexte du test.
Les chercheurs ont également constaté que les LNN accordent une plus grande importance à l’élément principal de la tâche, comme la route pour les tâches de conduite ou les objets pour les tâches de détection d’objets. Cela explique leur capacité à s’adapter à des changements de contexte, contrairement aux autres modèles qui dispersent leur attention sur des parties non pertinentes de l’input.
Cette avancée dans le domaine des LNN pourrait révolutionner la robotique et les véhicules autonomes. En effet, ces réseaux sont particulièrement adaptés aux flux de données continus, tels que les vidéos en streaming, l’audio ou les séquences de mesures de température. Ils sont également adaptés aux applications exigeantes en puissance de calcul ou nécessitant une sécurité robuste, comme la robotique ou les véhicules autonomes.
L’équipe du MIT a déjà testé les LNN sur des configurations avec un seul robot, et les résultats sont prometteurs. À l’avenir, ils prévoient d’étendre leurs tests à des systèmes multi-robots et d’autres types de données afin d’explorer davantage les capacités et les limites de ces réseaux novateurs.
1 comment
Cela semble être une avancée technologique passionnante qui ouvre de nouvelles possibilités dans différents domaines.