- Traj-MAE : auto-encodeurs masqués pour la prédiction de trajectoire (arXiv)
Auteur : Hao Chen, Jiaze Wang, Kun Shao, Furui Liu, Jianye Hao, Chenyong Guan, Guangyong Chen, Feng-Ann Heng
Résumé : La prédiction de trajectoire a été une tâche cruciale dans la construction d’un système de conduite autonome fiable en anticipant les dangers possibles. Un problème clé est de générer des prédictions de trajectoire cohérentes sans collision. Pour relever le défi, nous proposons un auto-encodeur masqué efficace pour la prédiction de trajectoire (Traj-MAE) qui représente mieux les comportements compliqués des agents dans l’environnement de conduite. Plus précisément, notre Traj-MAE utilise diverses stratégies de masquage pour pré-entraîner l’encodeur de trajectoire et l’encodeur de carte, permettant la capture d’informations sociales et temporelles entre les agents tout en tirant parti de l’effet de l’environnement à partir de plusieurs granularités. Pour résoudre le problème d’oubli catastrophique qui survient lors de la pré-formation du réseau avec plusieurs stratégies de masquage, nous introduisons un cadre de pré-formation continue, qui peut aider Traj-MAE à apprendre efficacement des informations précieuses et diverses à partir de diverses stratégies. Nos résultats expérimentaux dans des environnements multi-agents et mono-agents démontrent que Traj-MAE obtient des résultats compétitifs avec des méthodes de pointe et surpasse considérablement notre mode de base
2. Améliorer les auto-encodeurs masqués en apprenant où masquer (arXiv)
Auteur : Haijian Chen, Wendong Zhang, Yunbo Wang, Xiaokang Yang
Résumé : La modélisation d’images masquées est une méthode prometteuse d’apprentissage auto-supervisé de données visuelles. Il est généralement construit sur des patchs d’image avec des masques aléatoires, qui ignorent largement la variation de densité d’informations entre eux. La question est : existe-t-il une meilleure stratégie de masquage que l’échantillonnage aléatoire et comment pouvons-nous l’apprendre ? Nous étudions empiriquement ce problème et constatons initialement que l’introduction d’a priori centrés sur l’objet dans l’échantillonnage par masque peut améliorer considérablement les représentations apprises. Inspirés par cette observation, nous présentons AutoMAE, un cadre entièrement différentiable qui utilise Gumbel-Softmax pour relier un générateur de masque formé de manière contradictoire et un processus de modélisation d’image guidé par masque. De cette façon, notre approche peut trouver de manière adaptative des patchs avec une densité d’informations plus élevée pour différentes images, et en outre trouver un équilibre entre le gain d’informations obtenu à partir de la reconstruction d’image et sa difficulté de formation pratique. Dans nos expériences, il a été démontré qu’AutoMAE fournit des modèles de pré-formation efficaces sur des référentiels auto-supervisés standard et des tâches en aval.
