Les effets visuels (VFX) comprennent de nombreuses techniques numériques qui transforment des concepts imaginatifs en images captivantes.
Ces techniques permettent à l'industrie du cinéma et du divertissement de créer des effets spéciaux qui seraient autrement coûteux, dangereux ou impossibles à réaliser par des moyens physiques uniquement. La taille du marché des effets spéciaux a été évaluée à 10 milliards de dollars en 2023 [1].
L'intelligence artificielle (IA) dans l'industrie du film et du cinéma n'est plus un mot à la mode, mais a un impact sur l'ensemble des flux de travail et des processus. L'impact est si important qu'en 2023, Hollywood a connu des grèves perturbatrices en raison de la grève des syndicats, l'utilisation de l'IA étant une question épineuse [2].
Le marché de l'IA dans les effets spéciaux devrait croître de 25 % par an entre 2023 et 2030 et atteindre 712 millions de dollars d'ici à 2030 [3]. Elle ouvre de nouvelles possibilités d'automatisation pour les studios et les animateurs, en rationalisant les processus et en augmentant la créativité.
L'influence de l'IA sur la production cinématographique s'étend à de multiples flux de travail et processus. Voici cinq applications de l'IA dans les effets visuels.
La rotoscopie est un élément fondamental des effets visuels et de l'animation. Il consiste à créer des animations réalistes en traçant des objets image par image sur des séquences d'images animées. Bien qu'elle soit essentielle à la post-production cinématographique, la rotoscopie traditionnelle n'offre qu'une flexibilité limitée. Il est généralement fastidieux, répétitif, chronophage et redouté par de nombreux artistes VFX.
La rotoscopie par IA exploite le Machine learning (ML) et les réseaux neuronaux avancés pour automatiser le processus de génération d'images mattes ou de masques qui isolent les objets individuels dans les séquences vidéo. L'IA analyse de vastes ensembles de données de séquences vidéo annotées pour reconnaître et segmenter les éléments en fonction de leurs caractéristiques, telles que le mouvement, la couleur et la texture [4].
Voici quelques-unes des tâches que les solutions de rotoscopie par IA peuvent accomplir :
L'équipe qui a réalisé "The Mandalorian" a utilisé la rotoscopie pilotée par l'IA tout au long du film. La solution pouvait également prendre en charge des personnages complexes et des scènes comportant de nombreux objets. L'équipe a ainsi réduit de 90 % le temps nécessaire à la rotoscopie, ce qui lui a permis de se concentrer sur des tâches plus créatives [6].
La création d'expressions faciales réalistes pour les personnages générés par ordinateur est depuis longtemps un défi. Les techniques traditionnelles d'animation des expressions faciales demandent beaucoup de travail, car l'animateur doit suivre et manipuler manuellement les images d'expression. En outre, il peut être difficile de saisir les nuances des émotions humaines à l'aide de ces méthodes.
Les algorithmes de ML peuvent analyser de vastes ensembles de données d'expressions faciales humaines réelles et de mouvements musculaires complexes qui créent des émotions. La solution basée sur l'IA peut alors générer des mouvements et des expressions faciales réalistes. Les animations qui en résultent transmettent les émotions avec précision, ajoutant ainsi de la profondeur aux personnages.
Pour surmonter la complexité de l'animation faciale réaliste, Disney continue de développer des modèles utilisant des algorithmes de réseaux neuronaux et d'autres techniques pour générer des visages en 3D. Cette approche permet à l'entreprise de créer de nouveaux visages humains accompagnés d'expressions faciales. Outre la génération d'expressions faciales, leurs solutions permettent de modifier les expressions pour les adapter à des images spécifiques [7].
Dans le film d'animation Monsters University, Disney a utilisé l'IA pour créer l'animation faciale de Sully. La solution basée sur l'IA a analysé les mouvements et les expressions des acteurs réels et les a appliqués au personnage numérique [8].
Grâce aux effets visuels, les films peuvent ajouter des individus ou un grand groupe à une scène, comme une foule dans un stade de football ou une armée de zombies. Des méthodes telles que le crowd tiling et les sprites numériques permettent de concrétiser ces effets. Toutefois, ces méthodes sont coûteuses et prennent beaucoup de temps [9].
L'utilisation de l'IA permet aux studios de cinéma de créer des foules complexes qui sont dynamiques, réalistes et cohérentes avec leur environnement. Les agents virtuels peuvent apporter dynamisme et réalisme en simulant les apparences et les comportements.
Des logiciels de simulation de foule comme Massive et Golaem utilisent l'IA pour peupler les plans avec des foules. Massive utilise l'IA pour aider les artistes VFX à créer rapidement des modèles de comportement pour les agents IA [10].
La création d'extensions de décors à l'aide d'effets visuels améliore la production cinématographique en créant des paysages, des arrière-plans et des environnements complexes. La création de ces éléments visuels nécessiterait traditionnellement des repérages, un important travail sur fond vert ou la construction de décors.
Les outils pilotés par l'IA peuvent étendre les décors existants pour générer des extensions réalistes et transparentes du décor d'origine. En analysant de vastes ensembles de données d'environnements et de paysages, les algorithmes de ML peuvent générer des arrière-plans réalistes et des éléments associés à partir de séquences existantes.
Le moteur de réseau neuronal de Nvidia (NeRF) prend une image 2D et restitue une scène 3D complète [11]. En outre, le moteur peut remplir intelligemment les parties manquantes ou obscures d'une scène [12].
Chris LeDoux, cofondateur de Crafty Ape, affirme que les outils d'IA accélèrent considérablement les flux de travail lorsqu'ils sont intégrés dans le pipeline VFX [13]. L'entreprise a exploité des modèles ML pour des tâches telles que la rotoscopie, la manipulation faciale et la création de deepfake.
Les moteurs de rendu basés sur l'IA simplifient les projets VFX, permettant aux équipes de produire des films de haute qualité tout en évitant les flux de travail traditionnels coûteux et chronophages. Les cinéastes peuvent ainsi respecter des délais serrés, se consacrer à des processus plus engageants et répondre rapidement aux demandes du marché.
Lors de la réalisation d'"Avengers : Infinity Wars", Digital Domain a entraîné un modèle ML à l'aide de données d'entraînement de capture faciale. Le studio VFX alimenté par l'IA a ensuite transformé le visage de l'acteur principal en Thanos. Darren Hendler, le responsable de Digital Human, a admis l'impact de l'IA sur l'accélération du pipeline VFX tout en améliorant la qualité de la production [14].
L'IA dans les effets spéciaux offre de multiples avantages à l'industrie du film et du cinéma. Nous mettons en lumière certains de ces avantages et inconvénients dans ce domaine.
Automatisation des tâches répétitives : Les effets spéciaux sont réputés pour la nature fastidieuse et répétitive de certains de leurs processus, tels que la rotoscopie et le suivi. L'automatisation de ces tâches permet aux artistes VFX de se consacrer à des aspects plus créatifs et plus stimulants du travail VFX, ce qui accroît la productivité.
Amélioration de la qualité des effets visuels : L'IA exploite de vastes ensembles de données pour identifier des motifs complexes, simuler des environnements et générer de nouveaux objets. Les solutions VFX pilotées par l'IA peuvent optimiser des processus tels que le compositing et l'éclairage, rendant les films plus réalistes et immersifs. En outre, l'IA peut gérer et améliorer la qualité de simulations complexes basées sur la physique, telles que la dynamique des fluides.
Démocratisation des effets visuels : Les petits studios et les artistes individuels peuvent désormais tirer parti de l'IA pour créer des productions de haute qualité. Auparavant, cela était hors de portée pour de nombreuses personnes en raison de contraintes budgétaires et temporelles.
Amélioration de l'efficacité de la production : Les solutions de simulation de foules alimentées par l'IA en sont un bon exemple : elles permettent de réduire le temps nécessaire au remplissage des plans à quelques heures au lieu de plusieurs semaines. Les artistes peuvent introduire une variété de foules ou d'essaims pour des prises de vue plus réalistes. Ces solutions permettent également aux équipes d'éviter les tâches banales associées aux techniques traditionnelles de simulation de foule, ce qui représente un gain de temps et d'argent.
En outre, l'utilisation de l'IA peut contribuer à réduire le temps requis pour les tâches à forte intensité de main-d'œuvre telles que la rotoscopie. Grâce à un modèle d'apprentissage profond, une entreprise australienne peut traiter une image en 5 à 10 secondes [15].
Rentabilité : Les solutions d'effets visuels pilotées par l'IA peuvent réduire considérablement les coûts de production et les ressources. Par exemple, les simulations de foule par l'IA permettent aux studios de cinéma et aux réalisateurs de créer des expériences réalistes et immersives sans logistique complexe ni suppléments coûteux.
Changements dans les métiers : L'IA entraîne des changements dans la production cinématographique, et les pertes d'emplois sont une préoccupation majeure. La grève d'Hollywood en 2023 a mis en lumière ces craintes, les logiciels alimentés par l'IA éliminant la nécessité de certains rôles. Par exemple, les logiciels de simulation de foule alimentés par l'IA réduisent la nécessité d'une intervention humaine, telle que la présence de multiples figurants. Toutefois, il convient également de relativiser cette évolution en termes de création d'emplois.
De plus, les studios qui n'adoptent pas les solutions d'IA risquent de s'effondrer. Les entreprises qui n'ont pas les moyens de mettre en œuvre l'IA seront perdantes, car les clients recherchent des solutions plus rapides et moins coûteuses basées sur l'IA. Avec la poursuite de la recherche et du développement, d'autres entreprises cherchent à innover davantage, ce qui leur confère un avantage concurrentiel susceptible de mettre les autres studios sur la paille.
Qualité des données : La préparation d'ensembles de données complets et de qualité pour l'entraînement des modèles peut s'avérer difficile et chronophage. Par exemple, les modèles construits avec des données de mauvaise qualité peuvent produire des personnages déformés ou des simulations irréalistes. En outre, des données biaisées peuvent perpétuer les stéréotypes en générant des résultats inexacts.
Gestion de la complexité : Les solutions d'IA peuvent avoir du mal à gérer des tâches comportant des détails complexes ou des événements non linéaires. Par exemple, les scènes avec des objets qui se chevauchent et des motifs complexes peuvent être trop complexes pour les solutions de rotoscopie de l'IA.
De la réduction du temps nécessaire à la rotoscopie à l'extension des décors, l'IA est déjà à l'œuvre dans la production VFX. Son adoption devrait se poursuivre sans relâche, optimisant les flux de travail et ouvrant des perspectives aux studios d'effets visuels.
En plus de ce que l'IA offre, les innovateurs de l'industrie expérimentent déjà des outils de nouvelle génération basés sur l'IA qui bouleverseront l'industrie. Par exemple, des travaux sont déjà en cours sur l'utilisation de l'IA en temps réel dans la réalisation de films à l'aide de moteurs de rendu [16].
Les progrès des modèles de deep learning permettront de simuler des cheveux et des mouvements musculaires réalistes. Avec de nombreux outils d'IA pour les effets visuels en cours de développement, les artistes des effets visuels doivent se recentrer et améliorer leurs compétences [17].
Victoria Sihabouth & Baptiste Aelbrecht.
