Les images de la rangée du bas ont été recréées à partir des scanners cérébraux d’une personne regardant celles de la rangée du haut
Yu Takagi et Shinji Nishimoto/Université d’Osaka, Japon
Une modification d’une intelligence artificielle génératrice de texte en image populaire lui permet de transformer les signaux cérébraux directement en images. Cependant, le système nécessite une formation approfondie à l’aide d’un équipement d’imagerie volumineux et coûteux, de sorte que la lecture quotidienne des pensées est loin de la réalité.
Plusieurs groupes de recherche ont déjà généré des images à partir de signaux cérébraux à l’aide de modèles d’IA énergivores qui nécessitent un réglage fin de millions à des milliards de paramètres.
Maintenant, Shinji Nishimoto et Yu Takagi à l’Université d’Osaka au Japon ont développé une approche beaucoup plus simple en utilisant Stable Diffusion, un générateur de texte en image publié par Stability AI en août 2022. Leur nouvelle méthode implique des milliers, plutôt que des millions, de paramètres.
Lorsqu’il est utilisé normalement, Stable Diffusion transforme une invite de texte en une image en commençant par un bruit visuel aléatoire et en l’ajustant pour produire des images qui ressemblent à celles de ses données d’entraînement qui ont des légendes de texte similaires.
Nishimoto et Takagi ont construit deux modèles complémentaires pour faire fonctionner l’IA avec les signaux cérébraux. La paire a utilisé les données de quatre personnes qui ont participé à une étude précédente qui utilisait l’imagerie par résonance magnétique fonctionnelle (IRMf) pour scanner leur cerveau alors qu’elles regardaient 10 000 images distinctes de paysages, d’objets et de personnes.
En utilisant environ 90% des données d’imagerie cérébrale, la paire a formé un modèle pour établir des liens entre les données d’IRMf d’une région du cerveau qui traite les signaux visuels, appelée cortex visuel précoce, et les images que les gens regardaient.
Ils ont utilisé le même ensemble de données pour former un deuxième modèle afin de former des liens entre les descriptions textuelles des images – faites par cinq annotateurs dans l’étude précédente – et les données IRMf d’une région du cerveau qui traite la signification des images, appelée cortex visuel ventral.
Après entraînement, ces deux modèles – qui devaient être personnalisés pour chaque individu – pouvaient traduire les données d’imagerie cérébrale sous des formes qui alimentaient directement le modèle de diffusion stable. Il pourrait alors reconstruire environ 1000 des images que les gens ont vues avec une précision d’environ 80 %, sans avoir été formé sur les images originales. Ce niveau de précision est similaire à celui précédemment atteint dans un étude qui a analysé les mêmes données en utilisant une approche beaucoup plus fastidieuse.
« Je n’en croyais pas mes yeux, je suis allé aux toilettes et j’ai regardé dans le miroir, puis je suis retourné à mon bureau pour y jeter un nouveau coup d’œil », raconte Takagi.
Cependant, l’étude n’a testé l’approche que sur quatre personnes et les IA de lecture de pensées fonctionnent mieux sur certaines personnes que sur d’autres, explique Nishimoto.
De plus, comme les modèles doivent être adaptés au cerveau de chaque individu, cette approche nécessite de longues séances d’imagerie cérébrale et d’énormes appareils d’IRMf, explique Sikun-Lin à l’Université de Californie. “Ce n’est pas du tout pratique pour un usage quotidien”, dit-elle.
À l’avenir, des versions plus pratiques de l’approche pourraient permettre aux gens de faire de l’art ou de modifier des images avec leur imagination, ou d’ajouter de nouveaux éléments au gameplay, explique Lin.
Les sujets:
