Publications

La prolifération de l'IA dans la production cinématographique n'en est qu'à ses débuts. L'industrie est actuellement dominée par des technologies qui tournent autour de l'imagerie générée par ordinateur (CGI) et des effets visuels. 

L'intégration de l'IA promet des effets positifs rapides dans certaines phases de la production. Cependant, l'utilisation de l'IA soulève des questions fondamentales. Voici quelques avantages et inconvénients de l'utilisation de l'IA dans la production cinématographique.

Les cinéastes peuvent utiliser des algorithmes d'IA pour créer des scénarios de films captivants. Il est possible d'analyser de grands ensembles de données pour identifier des schémas et des tendances à différents moments de la production. Par exemple, les informations générées peuvent aider les scénaristes à créer des personnages et des histoires épiques auxquels le public peut s'identifier.

Également, les cinéastes peuvent utiliser l'IA pour générer des visuels complexes et offrir au public un niveau de réalisme inégalé. De plus, il est désormais possible d'ajuster le mouvement des lèvres des acteurs lors de la traduction d'un film dans une autre langue pour le rendre plus naturel. Cela facilite la traduction et la distribution de films dans différentes langues. 

Il existe d'autres moyens par lesquels l'IA améliore la qualité des films produits :

• Le rajeunissement des acteurs - Harrison Ford, âgé de 80 ans, a été rajeuni pour le film "Indiana Jones et le cadran du destin" avec des résultats stupéfiants[5].

• Algorithmes d'apprentissage automatique (ML) pour améliorer l'image et le son.

Grâce aux outils basés sur l'IA, les cinéastes sont confrontés à moins de processus manuels fastidieux tels que les reprises et le montage, qui peuvent prendre beaucoup de temps. Par exemple, en utilisant la vision par ordinateur et la reconnaissance faciale, les travailleurs de la production retouchent les prises de vue de manière efficace. 

Des entreprises comme Colourlab proposent des logiciels pilotés par l'IA qui automatisent les tâches de montage banales, laissant aux créateurs de contenu le soin d'apporter les dernières touches[6]. Ces outils permettent d'équilibrer facilement les couleurs des films, d'utiliser des filtres intelligents et de retoucher les images.

Les algorithmes d’apprentissage automatique permettent de suivre et d'analyser les mouvements des acteurs et des objets sur les plateaux virtuels. Cela aide l'équipe de production à générer des effets spéciaux complexes et des scènes d'apparence naturelle qui seraient difficiles à réaliser avec des méthodes traditionnelles. La production virtuelle avec l'IA offre un moyen plus sûr de produire des scènes de film. Elle évite aux acteurs et aux membres de l'équipe de tournage d'effectuer des manœuvres dangereuses ou d'évoluer dans des environnements à risque.

Il existe de nombreuses façons dont l'utilisation de l'IA dans la production cinématographique permet de réduire les coûts. Les économies peuvent être réalisées principalement au cours de différentes phases, notamment la production virtuelle, l'analyse prédictive, la recherche et le repérage de lieux de tournage et l'efficacité de la postproduction.

Par exemple, la production virtuelle permet aux membres de l'équipe de produire des effets visuels dans une salle LED en temps réel.

Des entreprises comme Cuebrick aident les cinéastes à créer rapidement des scènes en utilisant Stable Diffusion comme moteur de génération d'images[7]. Cela en fait une méthode rapide et rentable pour construire des décors en temps réel, un travail qui prendrait plusieurs semaines à une équipe de CGI. Auparavant, les séquences d'action devaient être intégrées aux images de synthèse après le tournage.

L'IA s'appuie fortement sur des algorithmes et des décisions fondées sur des données, ce qui peut conduire à des façons de faire homogènes. C'est particulièrement vrai pour la narration et l'écriture de scénarios, l'IA étant incapable de créer des idées originales. Une dépendance excessive à l’IA pourrait étouffer la créativité et l'originalité, conduisant à un contenu unidimensionnel tout en diluant les perspectives uniques.

Dans la mesure où différents processus de la production cinématographique sont automatisés ou modifiés par l'intégration de l'IA, il existe un risque potentiel de déplacement du personnel. Son impact sur les rôles traditionnels, tels que les analystes de scénario et la correction des couleurs, peut réduire la demande d'apports professionnels. 

Le clonage de voix, les deepfakes et la production de vidéos et d'images synthétiques sont autant de domaines dans lesquels les acteurs et les cinéastes pourraient être amenés à collaborer avec l'IA, ce qui pourrait réduire le besoin d'intervention humaine. Par exemple, l'utilisation d'outils de montage basés sur l'IA peut réduire le temps de travail des monteurs sur un projet.

Avec le développement de nouvelles normes et outils dotés de capacités d'IA, il est inévitable que les exigences en matière de compétences évoluent. Les cinéastes devront apprendre à collaborer avec différents outils basés sur l'IA et à les exploiter.

Les modèles d'IA sont entraînés sur de vastes quantités de données, notamment des textes, des images, de l'audio et des vidéos. Comme ces modèles sont entraînés à partir de données existantes, dont certaines sont extraites du Web, les systèmes d'IA peuvent produire des contenus similaires par inadvertance. Cela peut conduire à des problèmes de propriété intellectuelle en raison de duplications involontaires.  

La violation de la propriété intellectuelle est également une préoccupation majeure. Par exemple, Getty Images et un groupe d'artistes ont intenté une action en justice contre Stability AI, une société d'IA générative qui propose la génération d'images. Les plaignants accusent Stability AI d'utiliser leurs images protégées par le droit d'auteur sans consentement ni compensation[8].

La prolifération de l'IA dans le cinéma permet de manipuler l'audio, la vidéo et les images afin de produire des contenus qui semblent authentiques. Cela peut conduire à la création de scènes et de récits qui n'ont jamais eu lieu. Il est donc possible de manipuler ce que les acteurs disent et font sur un plateau de tournage, ce qui conduit à une fausse représentation.

L'industrie cinématographique utilise des solutions basées sur l'IA depuis les années 2000, en particulier pour les images de synthèse (CGI) et les effets spéciaux. Les avancées technologiques telles que les graphiques 3D ont permis aux cinéastes de créer des effets spéciaux convaincants. Les progrès en matière d’apprentissage automatique (ML) et de puissance de calcul ont été essentiels dans des domaines tels que la reconnaissance faciale et le suivi des mouvements, couramment utilisés sur les plateaux de tournage.

L'utilisation de l'IA a trouvé sa place dans les effets spéciaux et les CGI très tôt, même dans des films populaires tels que Tron (1992). 

Tron est considéré comme un film pionnier dans l'utilisation des images de synthèse pour créer des effets spéciaux. Sans nécessairement utiliser l'IA telle que nous la concevons aujourd'hui, la production a eu recours à des CGI avancés pour créer des environnements visuellement attrayants. Le film a inspiré d'autres cinéastes à adopter la technologie dans la production, en explorant différentes façons dont elle pouvait les assister.

En outre, le film "The Irishman" a utilisé l'IA pour rajeunir Robert De Niro, Joe Pesci et Al Pacino. Encore une fois, cela a permis aux cinéastes de créer des effets de rajeunissement sans avoir à suivre manuellement les visages des acteurs[9].

Les progrès des algorithmes de ML et d'apprentissage profond ont permis l'utilisation de techniques d'IA pour différents processus de la production cinématographique. Parmi les techniques d'IA utilisées dans la chaîne de production cinématographique figurent :

Traitement du langage naturel (NLP) : Les systèmes d'IA peuvent désormais comprendre le langage humain, générer du texte et bien plus encore. L'impact du NLP se fait sentir dans l'analyse des scénarios, la génération de sous-titres, l'écriture de dialogues et le story-board.

Réseaux Antagonistes Génératifs (GAN) : Cette approche de modélisation générative utilise des techniques d'apprentissage profond telles que les réseaux de neurones convolutifs. Elle a de nombreux cas d'utilisation, notamment dans la synthèse d'images. Les cinéastes peuvent générer des sorties réalistes en fonction des données d'entrée. Par exemple, elle peut être utilisée dans les modèles DeOldify, qui appliquent la couleur aux images reconnues et aux motifs[10]. 

Techniques de modélisation générative : différents logiciels utilisent cette architecture pour la génération de vidéos et de voix. Ces techniques comprennent les encodeurs variationnels, les réseaux neuronaux récurrents et les modèles génératifs conditionnels. Par exemple, Respeecher, un service de clonage de voix, utilise des techniques de modélisation générative profonde pour la synthèse audio[11].

Vision par ordinateur : cette technique a été introduite à différents stades de la production cinématographique. Elle peut être utilisée dans la production virtuelle, le suivi des mouvements, le suivi des visages et l'analyse des scènes.

Les scénarios et les trames de films constituent l'épine dorsale de tout film, permettant aux cinéastes de tisser des récits et des scènes captivants. Les logiciels basés sur l'IA peuvent traiter d'énormes quantités de données provenant de films, de scénarios et de livres antérieurs. Cela leur permet de produire différents scénarios, dialogues, lieux, accessoires et même personnages uniques en fonction des entrées des utilisateurs. 

En 2016, une IA nommée Benjamin a scénarisé un court-métrage intitulé Sunspring[12]. L'IA a utilisé un réseau neuronal récurrent à mémoire à long terme. Elle a appris à partir de contenus écrits entre les années 1980 et 1990, et a pu produire des scénarios en fonction d'exigences prédéfinies. 

À partir de l'histoire générée, il est également possible d'extraire automatiquement des éléments tels que les dialogues, les personnages principaux, le lieu et les différentes indications nécessaires. Grâce aux méthodes NLP, les cinéastes peuvent également déterminer les effets sonores et visuels, ainsi que les scènes et le nombre de prises de vue nécessaires. 

Des entreprises comme Botnik et Taskade proposent actuellement des services de génération de scénarios de films. Elles s'appuient sur le NLP et le ML pour générer différents éléments de scénario[13]. Les scénaristes peuvent utiliser des instructions (prompts) pour générer des idées, des synopsis ou des scénarios complets de courts-métrages.

D'autres startups, comme la société belge ScriptBook, se sont spécialisées dans l'analyse de scénarios de films, la validation de contenu par l'IA et la génération d'histoires[14]. Leur logiciel utilise l'analyse prédictive, l'apprentissage profond, le ML et le NLP pour prédire le succès commercial d'un film sur la base d'un scénario.

La phase de préproduction comprend diverses activités, telles que  la programmation, le financement et le repérage des lieux de tournage. L'utilisation de l'IA peut aider les producteurs de films à économiser des ressources et à prendre des décisions fondées sur des données. La capacité des programmes basés sur l'IA à analyser de vastes ensembles de données et à identifier des schémas permet d'extraire des informations et de formuler des recommandations. 

Par exemple, les cinéastes peuvent obtenir des informations sur le public cible, y compris des détails plus précis comme le genre et l'âge. En utilisant le ML pour analyser des ensembles de données, les producteurs peuvent établir le profil de leur public potentiel avec une grande précision.

Des studios de cinéma de renommée mondiale, comme la 20th Century Fox, ont utilisé le ML pour prédire les audiences. L'équipe a créé Merlin Video, une solution de vision par ordinateur qui apprend la représentation dense de leurs bandes-annonces de films. Les outils peuvent ensuite aider à prédire le futur public d'un film en fonction de sa bande-annonce[15].

D'autres activités, comme le storyboard, bénéficient également de l'intégration de l'IA. Les outils de storyboarding pilotés par l'IA permettent la saisie de textes, tels que des scripts décrivant les différentes scènes et prises de vue. L'algorithme utilise le langage naturel pour comprendre les instructions saisies par l'utilisateur et les images informatiques pour produire la représentation visuelle correspondante.

Il est possible d'utiliser ces outils pour décharger le brainstorming de conception initial. Les outils produiront souvent des conceptions inclusives tout en limitant la production de cas extrêmes. Des exemples de logiciels de storyboard basés sur l'IA sont Krock et Storyboardhero.[16].

L'IA peut également aider à déterminer les meilleurs acteurs qui correspondent à certains récits en fonction de mesures de leurs performances précédentes. En outre, elle peut être utilisée efficacement pour la planification, en tenant compte des multiples variables telles que la disponibilité des acteurs, la logistique et la préparation des lieux qui doivent s'aligner simultanément.

Des outils comme RivetAI d'End Cue ont une option de planification qui a un impact considérable sur le choix du chemin optimal pour la production d'un film[17]. RivetAI, par exemple, traite le problème d'optimisation combinatoire en utilisant des problèmes de planification résolus précédemment et d'autres techniques d'IA, telles que le problème linéaire en nombres entiers mixtes. La société indique qu'elle s'attend à ce que les projets cinématographiques économisent des pourcentages à deux chiffres en termes de temps et de coûts par rapport à l'optimisation de la planification effectuée manuellement. 

Mitchel Blocks, un producteur exécutif oscarisé, pense que l'IA est le moyen facile de simplifier le processus de pré-production, du budget au casting[18]. 

Des entreprises comme Cinelytic proposent des solutions qui influencent la phase de pré-production et de planification des films. Elle offre principalement des analyses et un moteur d'intelligence prédictive pour aider les studios de cinéma à donner le feu vert aux films et à mieux déterminer les dates de sortie[19].

Les outils basés sur l'IA influencent également la phase de production de films en rendant le processus plus efficace. Par exemple, les membres de l'équipe peuvent utiliser des outils d'IA pour améliorer les angles de caméra et l'éclairage, créer des effets visuels réalistes et sélectionner les meilleures prises d'une scène. 

Le ML et l'IA jouent un rôle crucial dans les systèmes de contrôle de mouvement des caméras. Cette technologie permet aux membres de l'équipe de produire des séquences d'action précises et reproductibles avec différents éléments de production. Il est possible de détecter des personnages, d'analyser des scènes et d'optimiser les mouvements de caméra pour atteindre un objectif de production en utilisant des systèmes de mouvement basés sur l'IA.

Des entreprises comme Axibo développent des systèmes de mouvement de caméra utilisant l'apprentissage profond et l'IA pour la détection d'objets et la reconnaissance vocale. Son unité de traitement AI intégrée aide le système à apprendre, à s'adapter et à écouter, en le soutenant avec des capacités de prise de vue automatique[20].

L'utilisation de l'IA est également importante dans la post-production cinématographique. Elle peut être utilisée dans le montage de films, la création de bandes-annonces et les effets spéciaux. Voici quelques domaines dans lesquels les outils basés sur l'IA révolutionnent la post-production cinématographique.

Grâce à des techniques d'apprentissage automatique et à des réseaux de neurones avancés, l'IA influence désormais différentes étapes du pipeline VFX. De nouveaux outils permettent aux équipes de production de repousser les limites de la créativité, leur permettant de générer des simulations complexes allant des effets météorologiques spéciaux aux explosions. La combinaison des VFX et des CGI aide les cinéastes à rendre la production plus diversifiée et plus réaliste, tout en réduisant les coûts de production et le temps associé aux VFX.

Par exemple, le film Avengers Infinity Wars combine l'IA et les CGI. Kelly Port, le superviseur des effets visuels chargé de produire le personnage principal Thanos, a admis avoir utilisé des techniques de ML. L'équipe a introduit des scans fixes, des scans de mouvement et des données de caméra embarquée dans un algorithme de ML qui a produit des résultats adaptés et en haute résolution[21].

Le film "The Irishman" a utilisé différents réseaux de neurones d'apprentissage profond pour rajeunir De Niro, Joe Pesci et Al Pacino. L'algorithme d'IA a cartographié une version plus jeune des visages des acteurs, créant leur version plus jeune. Les résultats étaient visuellement époustouflants et réalistes.

Les bandes-annonces de films offrent aux cinéastes un moyen de susciter l'anticipation du public en lui donnant un aperçu de ce qui l'attend. Les studios de cinéma font donc tout leur possible pour créer des bandes-annonces intrigantes. 20th Century Fox s'est associé à IBM Research pour développer une bande-annonce pour un film intitulé "Morgan". En utilisant des techniques de ML et l'API IBM Watson, l'équipe a utilisé l'outil pour l'analyse de la composition visuelle, audio et des scènes[22].

Des entreprises comme Topazlabs ont des modèles d'IA qui améliorent les vidéos et les images fixes. Ils utilisent des techniques d'apprentissage profond pour débruiter les images tout en récupérant les détails essentiels. Pour la production vidéo, l'outil prend en charge les améliorations vidéo par le biais de l'upscaling, du désentrelacement et de l'interpolation de mouvement[23]. Leur solution d'IA peut également améliorer les séquences de basse qualité en supprimant le macroblocage, le moiré et d'autres problèmes qui affectent ces séquences.

L'IA révolutionne également la rotoscopie, en s'attaquant au domaine problématique de l'extraction d'éléments individuels des environnements d'arrière-plan. Le processus était laborieux, et nécessitait que les animateurs tracent les objets dans les images. Avec l'infusion de l'IA, les artistes peuvent automatiser le processus tout en améliorant la précision.

La solution basée sur l'IA utilisera généralement des techniques de vision par ordinateur et de segmentation d'image. Un algorithme de segmentation d'image extrait plusieurs entités distinctes d'un arrière-plan[24].

Une société connue sous le nom de Weta Digital a déjà utilisé la rotoscopie AI dans la réalisation d'un film connu sous le nom de "The Mandalorian"[25]. Son utilisation a permis de gagner du temps et de l'argent tout en améliorant la qualité visuelle globale.

L'utilisation de techniques d'IA telles que l'apprentissage profond peut être utilisée pour analyser les expressions faciales en temps réel. Ces informations peuvent ensuite animer des personnages générés par ordinateur, en créant des expressions faciales réalistes. Ce processus produit des personnages numériques de haute qualité tout en rendant le processus plus efficace et moins coûteux.

En outre, l'IA peut être utilisée pour le blendshaping, une technique populaire pour créer des transitions dans l'animation 3D.

Les outils de montage vidéo basés sur l'IA facilitent et rendent plus efficace le travail des monteurs. Il est désormais possible d'analyser les plans, de détecter des motifs, d'identifier les meilleures photos et d'améliorer la vidéo à l'aide de solutions basées sur l'IA. Certaines des activités de montage comprennent l'étalonnage des couleurs, le sous-titrage et la mise à l'échelle.

Parmi les films dans lesquels l'IA a été utilisée pour le montage, on peut citer

The Irishman - Les techniques d'IA ont été utilisées pour rajeunir l'acteur principal, le faisant paraître plus jeune..

Tenet - L'IA a été utilisée pour créer un effet complexe de courbure du temps.

Avengers: Infinity Wars - L'IA a été utilisée pour créer Thanos à l'aide d'un logiciel personnalisé appelé Masquerade[26].

Le Roi Lion - Le film a utilisé l'IA deep fake.

Avatar: The Way of Water - L'IA a été utilisée pour créer des effets spéciaux.

Selon Andrew Page, directeur de la technologie avancée et du divertissement chez Nvidia, l'IA a déjà fait ses preuves en automatisant différents aspects de la réalisation de films. Il souligne en particulier les tâches laborieuses et répétitives telles que le tagging de métadonnées, le sous-titrage et la rotoscopie, comme des domaines dans lesquels l'IA a eu un impact précieux sur l'assistance au montage et l'optimisation du flux de travail[27].

Lorsqu'elles sont intégrées à des solutions cloud compatibles avec l'IA telles qu'AWS, des solutions de stockage telles qu'EditShare peuvent optimiser les flux de travail en automatisant le tagging des plans avec des métadonnées. L'outil organise automatiquement les clips, aidant les monteurs à trouver rapidement les plans dont ils ont besoin. De plus, les monteurs peuvent gérer et trouver des clips via le dialogue grâce à la puissance du ML[28].

Les outils d'édition basés sur l'IA, comme Premiere Pro d'Adobe, permettent aux monteurs de manipuler des vidéos en utilisant du texte. L'outil permet de générer une transcription pour créer un brouillon en copiant et en collant du texte. Les monteurs peuvent trouver des moments spécifiques en recherchant des mots-clés et supprimer les pauses et les vides. La création d'une continuité visuelle est rapide en raison de la facilité de séquençage des clips à l'aide de coupes morphing[29]. 

En outre, il existe des outils d'IA conçus pour manipuler le son et composer de la musique. Premiere Pro offre deux fonctionnalités importantes pour la manipulation audio : Remix aide les ingénieurs du son à synchroniser la vidéo et l'audio, tandis qu'Auto Ducking harmonise l'audio de fond et les dialogues. Ces fonctionnalités permettent aux cinéastes de gagner des heures de travail manuel sur le son et la vidéo [30]. 

Adobe Firefly peut être utilisé pour accélérer considérablement les flux de travail tout au long du cycle de production. Il permet de modifier des scènes à l'aide de commandes en langage naturel, tout en offrant des possibilités créatives [31]. Il est désormais possible de donner une instruction comme "rendre la scène plus lumineuse", ce qui entraînera la modification de la scène. 

L'IA joue également un rôle crucial dans la traduction et le réenregistrement des dialogues dans différentes langues pour une consommation étrangère. Grâce aux techniques d'apprentissage automatique, les logiciels basés sur l'IA comme Speechify peuvent imiter la voix d'un acteur et synchroniser les voix doublées avec le mouvement des lèvres de l'acteur [32]. 

Enfin, il existe de multiples solutions basées sur l'IA qui peuvent aider les producteurs de films à créer de la musique. Par exemple, Sony a développé Flow Machines, un logiciel qui utilise l'apprentissage automatique et la technologie d'analyse musicale pour la composition musicale automatisée [33].

Il existe des outils à base d'IA pour des applications spécifiques dans l'ensemble des processus de production cinématographique. L'IA a trouvé des applications dans la restauration de films, le marketing et la transcription.

Grâce à des solutions basées sur l'IA, il est possible d'éliminer les défauts des vieux films en utilisant des techniques de Deep Learning. Le processus peut comprendre la réduction du bruit, la correction des couleurs, la mise à l'échelle et l'interpolation des images.

Dennis Shiryaev a transformé un court-métrage intitulé "A Trip Down Market Street" en qualité 4k. Il a utilisé un algorithme appelé DeOldify, qui comprend comment les objets sont colorés. La solution gère ensuite la colorisation des vieux films, en appliquant des couleurs à différents objets dans les films en noir et blanc[34].

Les techniques neuronales d'apprentissage profond permettent de moderniser de vieux films à faible ou mauvaise résolution. L'une de ces méthodes consiste à entraîner un algorithme à l'aide de paires d'images de haute et de basse qualité. L'algorithme apprend différents modèles et peut transformer des parties d'images de mauvaise qualité en analysant les pixels et en ajoutant ce qui manque.

Shiryaev a utilisé un algorithme connu sous le nom de DAIN, développé par Yang, professeur d'informatique à l'université de Californie. Le vieux film sur lequel travaillait Shiryaev avait une fréquence de 16 images par seconde. L'algorithme a prédit et généré de nouvelles images parmi les anciennes images originales. L'effet global est de rendre les transitions dans le film beaucoup plus fluides[35].

D'autres techniques de réseaux neuronaux profonds consistent à entraîner un algorithme à l'aide de films HD à échelle réduite. Le réseau neuronal apprend alors à injecter les détails manquants dans les anciens films[36].

L'analyse de la parole en texte permet de transcrire correctement les dialogues tout en vérifiant à quel personnage attribuer une section spécifique du dialogue en fonction du mouvement des lèvres. 

L'utilisation de la reconnaissance faciale permet aux producteurs d'associer les paroles aux bons personnages.

L'époque où l'on donnait le feu vert à des films en se basant sur les sentiments humains est révolue. La mesure de l’audience par de l’analyse prédictive permet aux réalisateurs de comprendre quels sont les éléments qui trouvent le plus d'écho auprès de leur public cible. Les IA d'analyse prédictive permettent aux producteurs de films d'affiner leurs productions en explorant les schémas et les tendances grâce à l’analyse des données par ML.

Les bandes-annonces, le marketing et le buzz de la sortie sont des moyens pour les producteurs de générer des attentes pour un film. L'IA peut aider à optimiser les stratégies de sortie en analysant les données antérieures, le buzz médiatique et les tendances du marché. Des entreprises comme Cinelytic fournissent des analyses de distribution et de sortie avec un moyen de prédire le succès d'un film en croisant les caractéristiques clés du film avec les données historiques[37]. 

Les systèmes de recommandation offrent aux spectateurs des contenus et des services personnalisés. Netflix et Hotstar sont de bons exemples de services de streaming de films qui déploient des systèmes de recommandation. Les algorithmes d'IA, tels que les systèmes de recommandation basés sur le contenu, peuvent analyser les préférences d'un utilisateur, comme le genre, les habitudes de visionnage et l'interaction avec les médias sociaux, afin de proposer des recommandations personnalisées.

La prolifération de l'IA dans l'industrie cinématographique présente plusieurs défis. Le président du syndicat SAG-AFTRA a déclaré dans une interview : "Nous risquons tous d'être remplacés par des machines". Cette déclaration découle de ses craintes quant aux capacités de l'IA, et il plaide pour un contrôle urgent de l'utilisation de cette technologie.

Les acteurs de cinéma craignent que leurs données, leurs voix et leurs images soient utilisées sans leur consentement ou à des fins illicites. Les données telles que les images, les mouvements et les voix des acteurs capturées pendant la production d'un film pourraient être utilisées pour produire d'autres films. Par exemple, des acteurs populaires comme Gadot et Scarlette Johansson ont vu leur visage utilisé dans des films au contenu explicite grâce à des méthodes de "deepfake". 

Le patron du syndicat SAG-AFTRA, Duncan Crabtree, aurait déclaré que l'un des principaux enjeux de la grève de 2023 était la possibilité pour les maisons de production d'utiliser des images et des ressemblances d'acteurs de second plan. Ces informations seraient utilisées pour l'éternité dans d'autres projets, sans consentement ni compensation. 

Il y a aussi la question de l'utilisation d'œuvres protégées par le droit d'auteur pour former des modèles d'intelligence artificielle. Les créateurs et les artistes-interprètes soutiennent qu'il doit y avoir un système de compensation chaque fois que leur travail est utilisé à cette fin. Dans une interview, M. Herchenröder, directeur exécutif de l'Association allemande des scénaristes, a demandé que les créateurs soient rémunérés de manière transparente pour les œuvres protégées par la loi[39].

Pour limiter ces risques, il faut instituer et respecter les lois sur les droits d'auteur et la propriété intellectuelle qui régissent l'utilisation correcte des images et des voix des acteurs. En outre, les maisons de cinéma doivent rémunérer les acteurs et obtenir leur consentement chaque fois qu'elles utilisent leurs personnages et leurs voix.

Le recours excessif aux techniques d'IA sans la touche humaine peut conduire à des productions sans éclat, dépourvues des nuances humaines qui font l'originalité des films. L'apprentissage à partir d'ensembles de données antérieures pour identifier des modèles et des tendances risque d'homogénéiser le contenu et de diluer la créativité spontanée.

Pour atténuer ce problème, la production assistée par l'IA doit trouver un équilibre afin d'améliorer le processus créatif sans éclipser les émotions et les points de vue uniques.

Il est possible d'utiliser l'IA et les images de synthèse pour créer des clones numériques d'acteurs décédés et les intégrer dans un décor de cinéma. Parmi les acteurs célèbres dont les clones ont été recréés pour différents rôles au cinéma à Hollywood, citons Paul Walker, Carrie Fisher et James Dean, décédé en 1955[40].

Les questions éthiques ne manquent pas. Par exemple, qui détient les droits d'image, la voix et le caractère des acteurs clonés numériquement ? En outre, qu'en est-il de la surexploitation au-delà des cadres convenus, par exemple la création de suites ou la représentation erronée de leur travail et de leur vie ? 

Il existe également une réelle crainte que les acteurs et les interprètes perdent leur emploi au profit des morts. L'acteur Tom Hanks estime que ses prestations pourraient se poursuivre même après sa mort[41]. C'est particulièrement vrai pour les doubleurs qui se sentent menacés par cette situation. Friedlander, président et fondateur de la National Association of Voice Actors(US), a fait part de son inquiétude, craignant que des acteurs vocaux ressuscités numériquement ne prennent le travail des acteurs vocaux[42]. 

Par exemple, Mel Blanc, qui a prêtée sa voix à de nombreux personnages des Looney Tunes, comme Mickey Mouse, pourrait facilement prendre des emplois ou faire refuser des emplois à d'autres acteurs dans des productions ultérieures.

Le développement et l'intégration de solutions d'IA dans le cinéma et la production de films est une entreprise coûteuse. Par exemple, Netflix a dépensé 651 millions de dollars en dépenses technologiques en 2017, dont une grande partie pour son système de recommandation[43]. 

Parmi les coûts liés au développement de solutions d'IA figurent le matériel, les logiciels, la main-d'œuvre et l'infrastructure. L'intégration de la solution dans les flux de travail existants et les coûts de licence entraîneront des coûts.

Le développement de logiciels d'IA se heurte également à une multitude de défis techniques. Il s'agit notamment de la qualité et de la quantité des données, ainsi que des ressources informatiques.

La capacité de créer des scénarios et des histoires à partir de l'IA présente des avantages considérables, notamment l'augmentation de la productivité. Cependant, l'IA ne peut pas reproduire des histoires à partir d'un raisonnement tout en insufflant des émotions. Il est donc impératif que l'IA complète la créativité humaine plutôt qu'elle ne la remplace.

Les possibilités de l'IA dans la réalisation de films sont nombreuses et variées. Par exemple, une technique d'IA révolutionnaire, Neural Radiance Fields (NeRF), publiée pour la première fois en 2020, promet déjà des avancées dans le domaine de la production virtuelle[44]. Elle permet de générer des modèles 3D détaillés à partir de modèles 2D. L'équipe de production peut utiliser cet outil pour créer des scènes 3D réalistes et en haute résolution. 

Des entreprises comme Nvidia ont développé des solutions autour de cette recherche. Le logiciel instantané NeRF utilise l'IA et NeRF pour estimer le comportement de la lumière dans le monde réel. Les artistes peuvent ainsi reconstruire des scènes en 3D à partir de plusieurs images prises sous des angles différents, ce qui ouvre de nouvelles possibilités d'effets visuels photoréalistes[45]. 

Les chercheurs travaillent à l'utilisation de la NeRF pour créer des arrière-plans et des animations dynamiques. Cela aidera les artistes VFX à produire des scènes évolutives et interactives. 

Un autre domaine de progrès est l'utilisation de l'IA dans les effets visuels et la production virtuelle StageCraft. Industrial Light and Magic (ILM), qui a développé StageCraft pour aider à créer des décors numériques photoréalistes virtuels, en est le champion. ILM utilise DeepSearch, la technologie d'IA de NVIDIA, pour permettre aux cinéastes de développer plus facilement des décors et des éclairages idéaux[46]. 

Les expériences cinématographiques interactives en direct pilotées par l'IA se développent également de plus en plus. Il est désormais possible de combiner l'action en direct et l'IA pour créer un contenu interactif. Les spectateurs peuvent interagir avec des personnages fictifs, ce qui influe sur l'intrigue du film. Arias Studio est une plateforme de divertissement qui offre aux spectateurs un contenu interactif grâce à une technologie de pipeline de production immersive et virtuelle utilisant l'IA[47].

Les studios de cinéma et l'industrie cinématographique en général adoptent de plus en plus l'IA. De la rationalisation des processus de production à l'aide à la prise de décision, l'IA devient un outil crucial dans la production cinématographique, contribuant à accroître la productivité et l'efficacité.  Cela signifie que l'IA peut contribuer à réduire les coûts, à accélérer les délais de production et à aider les petites équipes à produire des films de grande qualité avec des budgets réduits.

Il est nécessaire que l'IA et les producteurs de films travaillent en collaboration afin d'augmenter la créativité et les capacités techniques des producteurs de films. 

Toutefois, l'utilisation de l'IA dans la production cinématographique se heurte à des difficultés particulières. Le principal d'entre eux est le clonage numérique des images et des voix d'acteurs décédés. La question de savoir qui détient les droits sur les œuvres des acteurs clonés numériquement se pose encore. 

Nous n'en sommes qu'au début, car l'utilisation de l'IA évolue et les développeurs continuent de produire des applications basées sur l'IA pour améliorer les différents flux de travail dans la production cinématographique. L'avenir promet des choses encore plus incroyables, en particulier avec les entreprises qui s'efforcent de faciliter la production rapide de vidéos, de décors virtuels et de visionnages personnalisés immersifs. Des techniques d'IA comme le NeRF promettent d'introduire de nouvelles façons de créer des scènes en 3D à partir d'images en 2D, ce qui facilitera le travail des membres de l'équipe.

L'IA et l'interaction humaine dans l'industrie du cinéma et de la production de films sont appelées à créer un avenir passionnant. Comme de plus en plus de cinéastes réalisent les avantages et les possibilités de l'utilisation de l'IA dans leurs projets, nous pouvons nous attendre à une évolution significative vers un partenariat collaboratif dans la production cinématographique dans les années à venir.

[1] AI is here, and it's making movies. Is Hollywood ready? - Los Angeles Times

[2] Why We Strike | SAG-AFTRA Strike

[3] Motion Picture Industry Market | Size, Growth | 2022 - 2027

[4] Movies And Entertainment Market Size Report, 2030

[5] 'Indiana Jones 5': How ILM's VFX Helped De-Age Harrison Ford - Variety

[6] Features - Colourlab.ai

[7] Cuebric: The Breakthrough Generative A.I. Tool For Virtual Production | by Pinar Seyhan Demirdag

[8] Getty Images Sues Stability AI Over Art Generator IP Violations

[9] The Irishman | Industrial Light & Magic

[10] DeOldify: GAN based Image Colorization | by Merzmensch | Towards Data Science

[11] Respeecher

[12] Movie written by algorithm turns out to be hilarious and intense | Ars Technica

[13] AI Script Writing Template | Taskade

[14] ScriptBook

[15] How 20th Century Fox uses ML to predict a movie audience | Google Cloud Blog

[16] Storyboard Hero

[17] RivetAI

[18] How Artificial Intelligence Helps (and Hurts) Filmmaking

[19] From Greenlight through Release, Cinelytic Provides Actionable Insights in Real-time

[20] Tilt | Slide: A.I. Powered Camera Assistant by Axibo Media — Kickstarter

[21] Avengers: Infinity War's effects behind Josh Brolin's Thanos - CNET

[22] IBM Blog

[23] DeNoise AI - Remarkable Image Noise Reduction

[24] Artificial intelligence in digital visual effects

[25] AI Tools for VFX | MOD VFX Blog

[26] AI gives Thanos a soul in 'Avengers: Infinity War'

[27 This is how AI is transforming the post-production industry

[28] This is how AI is transforming the post-production industry

[29] AI video editing in Premiere Pro | Adobe

[30] AI video editing in Premiere Pro | Adobe

[31] Adobe Firefly – Generative AI for Everyone

[32] Speechify

[33] Flow Machines | Sony Design

[34] AI Magic Makes Century-Old Films Look New | WIRED

[35] AI Magic Makes Century-Old Films Look New | WIRED

[36] AI movie restoration - Scarlett O’Hara HD - deepsense.ai

[37] Cinelytic

[38] Actors are really worried about the use of AI by movie studios – they may have a point

[39] AI and film: Actors and writers fear obsolescence – DW – 07/21/2023

[40] How AI is bringing film stars back from the dead - BBC Future

[41] How AI is bringing film stars back from the dead - BBC Future

[42] How AI is bringing film stars back from the dead - BBC Future

[43] How Netflix's AI Saves It $1 Billion Every Year | The Motley Fool

[44] Revolutionizing Virtual Production: How Neural Radiance Fields Will Supercharge Production Pipelines

[45] NVIDIA Instant NeRF Sweepstakes

[46] ILM Presents: Leveraging AI in Visual Effects and StageCraft Virtual Production | NVIDIA On-Demand

[47] Aria Studios, Inc.

Ecrit par Baptiste Aelbrecht & Jacques Mojsilovic