Générer les images de paysage initiales à l’aide de réseaux neuronaux (ou d’apprentissage automatique).

Au cours des premières étapes de notre projet, nous avons travaillé avec deux algorithmes d’apprentissage machine^[1]: CLIP^[2] and VQ-GAN.^[3]

VQ-GAN est un « générateur d’image »^[4]

utilisant le réseau neuronal traditionnel de vision par ordinateur. Il est pré-formé sur des ensembles de données étiquetés à la main (comme ImageNet et COCO).

CLIP est un modèle permettant de déterminer quelle légende convient le mieux à une image.

Utilisés ensemble, CLIP et VQ-GAN utilisent du texte comme entrée pour générer des images que les algorithmes d’apprentissage automatique prédisent comme ressemblant le plus au texte.

La clé de notre recherche est la capacité de Clip à connecter divers langages naturels et à produire des images qui ne font pas partie de son ensemble de données apprises. Contrairement aux modèles de vision par ordinateur traditionnels qui génèrent des images proches de leurs ensembles de données ou de leurs réseaux pré-formés. Avec cette capacité, CLIP est capable de faire le saut dans le développement d’images entièrement nouvelles et diversifiées qu’il détermine être les meilleures représentations du texte donné.

Par exemple, bien que CLIP n’aurait jamais été formé sur une image décrite comme suit, la saisie de la phrase « une forêt mécanique dans les profondeurs de l’océan où les plantes pourpres marchent sur pilotis » produirait une image pertinente.

Une autre couche de complexité ajoutée à ce projet est que CLIP n’est pas formé à la méthode traditionnelle des images étiquetées manuellement pour créer un ensemble de données, mais est formé sur 400 millions d’images étiquetées à partir d’Internet^[5]. La prise en compte de cela nous oblige à considérer la nature des images et l’effet rhizomatique qui vient avec Internet, par opposition aux images étiquetées et choisies manuellement.