• Sujet de stage :

Développement et évaluation de modèles de Deep Learning exploitant des embeddings géospatiaux pour différentes tâches d’analyse d’images satellite.

• Contexte :

Les modèles de fondation appliqués à l’observation de la Terre permettent de produire des représentations numériques de la surface terrestre, appelées embeddings géospatiaux. Des modèles comme AlphaEarth Foundations, Clay et TESSERA proposent ainsi des données annuelles à l’échelle mondiale, calculées à partir de séries d’images satellite.

Ces embeddings regroupent dans un nombre limité de variables des informations sur les caractéristiques spectrales, spatiales et temporelles d’un territoire. Ils peuvent être utilisés comme une nouvelle couche de données géographiques, plus compacte et plus simple à manipuler que les séries d’images satellite ayant servi à leur production.

Un premier travail mené par GEOFIT a permis d’étudier l’utilisation de ces embeddings pour la détection de changements forestiers. Les méthodes évaluées reposaient principalement sur des mesures mathématiques entre les embeddings de deux années, comme la distance, le produit scalaire ou l’angle entre deux vecteurs, ainsi que sur un modèle de type Random Forest.

Ce stage vise à poursuivre ces travaux en étudiant la capacité de modèles de Deep Learning à apprendre directement à partir des embeddings. Contrairement à une mesure de distance fixée à l’avance, un modèle entraîné peut apprendre quelles composantes et quelles relations sont utiles pour une tâche donnée.

Les applications possibles sont nombreuses : classification de l’occupation du sol, détection de changements, suivi de l’urbanisation, estimation de variables continues, cartographie de phénomènes environnementaux ou recherche de zones similaires. Les tâches étudiées pendant le stage seront sélectionnées selon leur intérêt pour GEOFIT et la disponibilité de jeux de données de référence.

• Objectif du stage :

L’objectif de ce stage est d’évaluer dans quelle mesure des embeddings géospatiaux issus de modèles de fondation peuvent servir de données d’entrée pour des modèles de Deep Learning appliqués à différentes tâches d’observation de la Terre.

Le stagiaire développera une méthode générique permettant d’entraîner et d’évaluer plusieurs architectures à partir d’embeddings correspondant à une ou plusieurs dates. Il étudiera leur capacité à produire des résultats précis, à fonctionner avec peu de données annotées et à se généraliser à de nouvelles zones géographiques.

Une extension du travail pourra consister à combiner les embeddings avec des images Sentinel-2, Landsat ou d’autres données géospatiales. Les embeddings fourniraient alors une information générale sur le territoire, tandis que les données brutes

permettraient d’affiner l’analyse pour une date ou une zone particulière. Une autre extension pourrait être de générer directement des embeddings personnalisés sur une zone d’intérêt définie, puis de les utiliser avec les méthodes développées précédemment.

• Missions :

  • Réaliser une étude de l’état de l’art sur l’utilisation des embeddings géospatiaux pour les tâches d’observation de la Terre.

  • Analyser les caractéristiques et les limites des embeddings disponibles, notamment ceux produits par AlphaEarth, Clay et TESSERA.

  • Identifier plusieurs tâches et jeux de données permettant d’évaluer leur intérêt.

  • Mettre en place une chaîne de préparation, d’entraînement et d’évaluation commune aux différentes expériences.

  • Développer et comparer plusieurs modèles de Deep Learning adaptés aux embeddings : réseaux entièrement connectés, architectures siamoises, réseaux convolutifs ou modèles temporels.

  • Étudier l’exploitation conjointe d’embeddings correspondant à plusieurs années.

  • Évaluer l’intérêt de méthodes de réduction de dimension, telles que l’analyse en composantes principales, et les comparer à des projections apprises par les modèles.

  • Mesurer les performances selon la quantité de données annotées disponible et la zone géographique étudiée.

  • Étudier, selon l’avancement du stage, la combinaison des embeddings avec des images satellite ou d’autres données géospatiales et/ou la génération d’embeddings personnalisés sur une zone d’intérêt.

  • Formuler des recommandations sur les tâches pour lesquelles les embeddings présentent un intérêt opérationnel.

• Environnement de travail :

Accès à des embeddings géospatiaux annuels et à différentes sources d’images satellite.

Accès à des jeux de données géographiques publics et internes.

Déploiement et expérimentation sur les serveurs GPU internes de l’entreprise.

Utilisation d’outils open-source : Python, PyTorch, scikit-learn, NumPy, Rasterio et GeoPandas.

Collaboration avec une équipe spécialisée en traitement d’images géospatiales et en intelligence artificielle.