Vision et apprentissage dans le contexte des rovers exploratoires

Les réseaux antagonistes génératifs (GAN) ont eu d'énormes applications dans la vision par ordinateur. Pourtant, dans le contexte des sciences spatiales et de l'exploration planétaire, la porte est ouverte à des avancées majeures. Nous introduisons des outils pour gérer les données planétaires de la mission Chang'E-4 et présentons un cadre pour le transfert de style neuronal utilisant la cohérence cyclique à partir d'images rendues. Nous introduisons également un nouveau pipeline en temps réel pour la localisation et la cartographie simultanées (SLAM) et l'odométrie inertielle visuelle (VIO) dans le contexte des rovers planétaires. Nous tirons parti des informations préalables sur l'emplacement de l'atterrisseur pour proposer une approche SLAM au niveau de l'objet qui optimise la pose et la forme de l'atterrisseur ainsi que les trajectoires de caméra du rover. Comme étape de raffinement supplémentaire, nous proposons d'utiliser des techniques d'interpolation entre échantillons temporels adjacents ; videlicet synthétisant des images inexistantes pour améliorer la précision globale du système. Les expériences sont menées dans le cadre de l'Iris Lunar Rover, un nano-rover qui sera déployé sur le terrain lunaire en 2021 en tant que vaisseau amiral de Carnegie Mellon, étant le premier rover sans pilote d'Amérique à être sur la Lune.