Des chercheurs de Google ont développé un nouvel outil d'intelligence artificielle appelé Chimera Painter qui transforme vos griffonnages malhabiles en créatures fantastiques. Cet outil utilise l'apprentissage automatique pour créer une représentation 3D basée sur les croquis approximatifs de l'utilisateur.
L'équipe de recherche a cherché à créer un "pinceau" qui fonctionne plus comme un assistant qu'un outil. Bien que le Chimera Painter ne soit qu'un prototype, l'équipe déclare que ce logiciel peut réduire le temps nécessaire pour créer des œuvres d'art de "haute qualité" (Nous n’y sommes pas arrivés).
Les chercheurs ont essayé de créer des illustrations pour un jeu de cartes fantastique fictif, dans lequel les joueurs inventent les caractéristiques de diverses créatures dans le but de se combattre comme des Pokémon en mutation.
Étant donné que l'objectif est de produire des images de cartes de créatures de haute qualité guidées par les croquis de l'artiste/joueur, les chercheurs ont utilisé des réseaux antagonistes génératifs (GAN) pour créer ces images de créatures adaptées à ce jeu de cartes fantastique.
En voici les explications (un peu) techniques : "Les GAN associent deux réseaux de neurones convolutifs. L'un est un réseau de générateurs pour créer de nouvelles images. Le second est un réseau de discriminateurs pour déterminer si les images sont des échantillons de l'ensemble de données d'apprentissage ou non. Ils ont utilisé un GAN conditionnel, où le générateur prend une entrée séparée pour guider le processus de génération d'image".
Chaque image est associée à une "carte de segmentation". Une carte de segmentation divise les monstres en parties anatomiques comme des griffes, des museaux, des membres, etc. Un ensemble de scripts programmés prend alors cette scène 3D et interpole dans différentes poses, points de vue et niveaux de zoom pour chaque modèle de créature 3D. Cela crée des images en couleur et des cartes de segmentation, ce qui constitue le jeu de données d'entraînement pour le GAN.
Le GAN formé est disponible dans la démo de Chimera Painter. Les artistes/joueurs peuvent désormais travailler de manière itérative avec le modèle plutôt que de dessiner de nombreuses créatures similaires à partir de zéro. Ensuite, des textures photo-réalistes sont utilisées pour un rendu final de la carte créée par l'utilisateur.
Voilà, maintenant, vous savez tout, amusez-vous ! Nous, on y a passé plus de 10h pour faire celle-ci (la première carte à jouer ci-dessous), vous n'aurez pas de mal à faire mieux.
