Ordinateur, zoom s'il te plaît!
Team AI for Good Team AI for Good
3 juillet 12 min

Ordinateur, zoom s'il te plaît!

De la compétition “super-résolution” organisée par l’Agence Spatiale Européenne, à la protection des droits de la personne et de l'environnement, en passant par l'espace.


par Alfredo Kalaitzis, Michel Deudon, Buffy Price et Julien Cornebise


Nous pensons que la technologie de super-résolution peut répondre à des problèmes concrets et urgents, pour la société et l’environnement.

Trouver des villages détruits au Darfour (Amnesty International), cartographier l'empiétement des plantations d’huile de palme (Greenpeace) et les écoles dans les contrées lointaines (Unicef), identifier la présence de civils dans des zones de conflit (UNHCR), prévoir des risques d'inondations (National Geographic). Ces efforts des ONG bénéficient d’une technologie commune: l’imagerie par satellite.

Combinées aux dernières avancées en intelligence artificielle et vision par ordinateur, cette technologie peut aider les expert·e·s à veiller sur les droits de la personne, l'environnement et à contribuer aux objectifs de développement durable des Nations Unies, depuis l’espace.

C'est possible. Les algorithmes sont là. Les satellites sont là.


Les images satellite basse résolution sont peu coûteuses, pour certaines gratuites, et fréquemment mises à jour. Cependant, elles ne contiennent pas assez de détails pour identifier des traces du changement climatique ou des violations des droits de la personne. Seules les images satellite hautes résolution présentent une telle finesse. Toutefois, le coût aberrant des images satellite haute résolution constitue un obstacle majeur pour les ONG.

C’est ce que la technologie de super-résolution peut aider à surmonter.

Chez Element AI (“AI for Good”, London) et à l'Institut des Algorithmes d'Apprentissage de Montréal (Mila, Montréal), nous travaillons conjointement sur de nouvelles techniques dites de super-résolution : combiner plusieurs images floues, de basse résolution, en des images de résolution supérieure. Notre équipe, baptisée “Rarefin”, s’est récemment classée en tête du classement du compétition de super-résolution de l’Agence Spatiale Européenne (ASE).

Le diable se cache dans les détails

Si le concept de la super-résolution vous est familier, vous pensez peut être à cette scène dans Blade Runner (ou à chaque saison de NCIS), où une seule image peut être agrandie et améliorée à l’infini.

Il s’agit bien de science-fiction. En réalité, la super-résolution avec une image (Single Image Super Resolution - SISR en anglais) ne peut qu’améliorer la qualité esthétique d’une image en ajoutant des détails fictifs. Comme le montre l’exemple ci-dessous, les ornements originaux du chapeau et le collier du personnage ont été remplacés par de fausses textures dans l’image du milieu.

Amélioration d'une seule image basse résolution, avec une technique “SISR” de pointe. A droite, l’original en haute résolution pour comparaison. Source: SRGAN - Ledig, et al. CVPR 2017

La qualité de l'image “améliorée”, au milieu, est esthétiquement agréable à l'œil nu, mais le diable se cache dans les détails. Avec l'ajout de faux détails, toute analyse en aval ne serait plus uniquement fondée sur des preuves réelles.

Pour les ONG, l'esthétique n’est pas une priorité. En revanche, la fidélité des images est vitale pour que celles-ci soient admises en tant que preuves devant un tribunal, ou dans un rapport de recherche.

Si un cliché est pris en basse résolution, une partie des détails est définitivement perdue et ne peut pas être retrouvée à partir d’une seule image en basse résolution. NCIS vous a menti.

Super-résolution avec plusieurs images

Lorsque plusieurs clichés de la même vue sont pris depuis des positions légèrement différentes, peut-être aussi à des moments différents, ils contiennent collectivement plus d'informations que chaque image individuellement. Avec la bonne technique pour les assembler, l'image composite peut révéler certains détails qui n'auraient pas été accessibles autrement.

De gauche à droite: basse, super et haute résolution. L’image améliorée par notre technique de super-résolution (au centre) révèle des détails cachés dans plusieurs images basse résolution telles que les contours et fleurissement des champs. Ces détails sont essentiels pour surveiller la santé des cultures, estimer leur rendement et maintenir la sécurité alimentaire. source: imgset0285 - kelvins.esa.int/proba-v-super-resolution/data/

Cette idée, connue sous le nom de MFSR (Multi-Frame Super Resolution en anglais), constitue un domaine actif de recherche en vision par ordinateur depuis 1984. En 2019, les caméras des derniers téléphones intelligents et téléviseurs utilisent déjà des variantes de MFSR pour améliorer les images.

La compétition

Le but de la compétition organisée par l’équipe des concepts avancés de l’ASE cette année était d’améliorer la vision du satellite PROBA-V grâce à la super-résolution. Les participant·e·s ont été mis au défi de développer une technique permettant de fusionner plusieurs images - prises au dessus de 78 emplacements sur Terre - en une seule.

Et bien que ces techniques puissent être intéressantes, l’aspect humain de ces défis est tout aussi fascinant. Vingt-cinq équipes ont participé, unies par le même défi pendant six mois.

Nous avons fait équipe avec Mila pour créer l’équipe “Rarefin”, car nous partageons des valeurs communes sur le rôle de l’IA dans la société. Nous pensons que le développement de l’intelligence artificielle devrait profiter à l'humanité et à l'environnement. C'était un partenariat international. Sur plusieurs continents, au Canada, au Royaume-Uni et en Inde, un concours pour la planète entière!

Veiller sur les droits de la personne et sur l'environnement

Regardons de plus près quelques exemples de notre modèle, “HighRes-net”, sur des images du satellite PROBA-V, dont la mission est de surveiller la croissance de la végétation sur Terre, les ressources en eau et l’agriculture.

Les détails révélés pourraient soutenir le travail des ONG qui oeuvrent pour la protection de l’environnement et des droits de la personne.

Veiller sur les cultures

Notre modèle, HighRes-net, combine plusieurs images basse résolution (300 m / pixel) en une seule image de résolution supérieure (mieux que 300 m / pixel). Le même site en haute résolution (100 m / pixel) est également présenté pour comparaison. La sécurité alimentaire est l'un des plus grands défis auxquels l'humanité est confrontée au XXIe siècle. Des modèles de MFSR, comme HighRes-net, peuvent aider à veiller sur la santé des cultures agricoles et à estimer leurs rendements en révélant les fins détails de l’état d’un champ. Ces images composites peuvent aussi aider les éleveurs de bétail en Afrique à identifier de bonnes zones de pâturage afin de prévenir les pertes d’élevage, assurant ainsi la sécurité alimentaire et une stabilité politique. source: imgset1087 - kelvins.esa.int/proba-v-super-resolution/data/

Cartographier les fermes et routes isolées

HighRes-net révèle les limites de fermes et routes isolées. Souvent, les cartes ne recensent pas de tels réseaux, avec pour conséquence des populations isolées et des chaînes d'approvisionnement inefficaces. source: imgset0666 -- kelvins.esa.int/proba-v-super-resolution/data/

Alerter des déforestations illégales

La déforestation de l’Amazonie menace l’environnement et les cultures indigènes, avec pour conséquences, une extinction de la biodiversité, une dégradation des ressources d’eau douce et une vulnérabilité des écosystèmes face au dérèglement climatique. Les images satellite en basse résolution et les algorithmes de MFSR peuvent aider à surveiller les altérations du débit des rivières, les cimes des arbres et traces d’érosion. Ces observations peuvent indiquer des activités illégales et non durables. source: imgset0667 - kelvins.esa.int/proba-v-super-resolution/data/

Veiller sur les droits de la personne

Quantifier les violations des droits de la personne a été un thème majeur de notre soutien aux ONG. Avant de rejoindre Element AI, Julien Cornebise travaillait avec des chercheurs d'Amnesty International et de University College London pour quantifier l'ampleur du génocide en cours au Darfour, dans l'ouest du Soudan. Leur travail montre le potentiel de l’intelligence artificielle pour détecter des huttes incendiées, à l'échelle d’un pays.

Vues au sol et par satellite de villages et huttes pillées. Source: Cornebise, et al. AI for Social Good NeurIPS Workshop 2018

Des modèles de super-résolution, tels que HighRes-net, peuvent également contribuer à la protection des droits de la personne. Dans le cas du Darfour, de telles techniques peuvent aider à protéger des populations vulnérables et fournir des preuves, en justice, concernant les crimes de guerre et les crimes contre l’humanité.

Top des classements

Ensemble, en tant queéquipe Rarefin, nous avons conçu HighRes-net, un réseau de neurones pour la super-résolution avec plusieurs images. Nous avons obtenu d'excellentes performances dans les classements public et final de la compétition - 0,003 derrière le principal concurrent, SuperPip.

ESA public and private leaderboards. Source: https://kelvins.esa.int/proba-v-super-resolution Le classement final inclut des exemples non évalués jusqu'à la fin de la compétition. Il s’agit d’une précaution classique et nécessaire afin de décourager les participant·e·s de développer des solutions trop spécifiques au classement public et sans utilité au-delà de la portée de la compétition.

Peu après la dernière nuit blanche, les trois équipes en tête ont révélé leur identité sur le forum de discussion en ligne. Nous sommes impatient·e·s de les rencontrer personnellement en septembre, au siège de l’ESA aux Pays-Bas.

Prochaines étapes

Nous souhaitons partager notre travail sur HighRes-net, dans un article scientifique et - selon notre évaluation des risques éthiques - un code source pour reproduire notre travail. Nous évaluons l’impact du partage de ce code, sachant que ces techniques sont faciles à mettre en œuvre et que des ingénieur·e·s et des concurrent·e·s tout aussi compétent·e·s pourraient publier leurs propres versions.

Gagner le concours de l'ESA sur la super-résolution n'est qu'un jalon dans la réalisation de notre objectif à long terme, à savoir créer une plateforme pour veiller sur les droits de la personne et l'environnement pour les ONG. Nous pensons qu'une telle plateforme peut être bénéfique pour la société en abordant des défis mondiaux de justice sociale et de développement durable. Pour repousser efficacement les limites en matière d’innovations sociales et environnementales, des partenariats solides et mondiaux, avec des ONG, des citoyen·ne·s et les parties prenantes sont essentiels pour garantir des usages éthiques de ces technologies et nous assurer qu’elles profitent à la société dans son ensemble.

Les co-fondateurs d'Element AI, dont le directeur scientifique de Mila, Yoshua Bengio, se sont engagé·e·s dans cette vision en créant notre équipe AI for Good. Depuis sa création, notre équipe s’est tenue à cette vision au travers de partenariats durables avec des acteurs mondiaux, notamment Amnesty International et Human Rights Watch.

C’est tout pour aujourd’hui! Merci d’avoir lu ce post jusqu’au bout. Pour les lecteurs et lectrices plus averti·e·s en matière d’IA, nous sommes impatient·e·s de partager avec vous le cœur de HighRes-net dans la seconde partie de ce post.

Remerciements

HighRes-net est basé sur le travail de l’équipe Rarefin, un partenariat entre le laboratoire AI for Good de Londres (Michel Deudon, Zhichao Lin, Alfredo Kalaitzis et Julien Cornebise) et Mila à Montréal (Israël Goytom, Md Rifat Arefin, Samira E. Kahou, Kris Sankaran et Vincent Michalski). Soutien supplémentaire de Laure Delisle à Element AI et Yoshua Bengio au Mila.

Merci à Laure Delisle, Grace Kiser, Kris Sankaran, Alexandre Lacoste et Yoshua Bengio pour leurs commentaires sur cet article. Peter Henderson pour avoir édité ce post. Manon Gruaz, Morgan Guegan, Santiago Salcido et Alfredo Kalaitzis pour la conception et les illustrations.


Nous adressons nos chaleureuses félicitations au groupe de Vision par Ordinateur de Politecnico di Torino (aka l'équipe SuperPip) pour avoir terminé en tête du classement final - la dernière nuit blanche était inoubliable! Enfin, nous voudrions remercier l’équipe des concepts avancés de l’ASE (Marcus Märtens, Dario Izzo, Andrej Krzic et Daniel Cox) d’avoir organisé cette compétition et les équipes participantes d’avoir poussé les limites de la super-résolution.

Références

  1. R. Y. Tsai and T. S. Huang, “Multiple frame image restoration and registration,” in Advances in Computer Vision and Image Processing, pp. 317–339, JAI Press, Greenwich, Conn, USA, 1984.
  2. Ledig, C., Theis, L., Huszár, F., Caballero, J., Cunningham, A., Acosta, A., Aitken, A., Tejani, A., Totz, J., Wang, Z. and Shi, W., 2017. Photo-realistic single image super-resolution using a generative adversarial network. In Proceedings of the IEEE conference on computer vision and pattern recognition (pp. 4681-4690).
  3. Cornebise, Julien, Daniel Worrall, Micah Farfour, and Milena Marin. Witnessing atrocities: Quantifying villages destruction in Darfur with crowdsourcing and transfer learning. In AI for Social Good NeurIPS Workshop, Montréal, Canada. 2018.
  4. Marcus Märtens, Dario Izzo, Andrej Krzic, and Daniël Cox, Super-Resolution of PROBA-V Images Using Convolutional Neural Networks, arXiv preprint - to appear in Astrodynamics