Scott Mann avait un problème : trop de bombes F.
Le scénariste-réalisateur a passé la production de Fall, son thriller vertigineux sur les grimpeurs bloqués au sommet d’une tour de télévision à distance, encourageant les deux protagonistes à s’amuser avec leur dialogue. Cette improvisation a donné un énorme 35 “f-ks” dans le film, le plaçant fermement sur le territoire R.
Mais lorsque Lionsgate a signé pour distribuer “Fall”, le studio voulait une coupe PG-13. Désinfecter le film reviendrait à frotter tous sauf un des obscénités.
« Comment résolvez-vous cela ? » Mann s’est rappelé de la salle de conférence vitrée de son bureau de Santa Monica en octobre dernier, deux mois après les débuts du film. Dans la salle était assis un vautour prop, qu’il avait volé de la scène.
Après tout, les fusillades coûtent cher et prennent du temps. Mann a filmé “Fall” au sommet d’une montagne, a-t-il expliqué, et tout en combattant non seulement COVID mais aussi des ouragans et des orages. Une colonie de fourmis de feu à un moment donné a élu domicile à l’intérieur du décor principal du film, un tuyau métallique de cent pieds de long; lorsque l’équipage les a réveillés, l’essaim a recouvert le paysage “comme un nuage”.
“The Fall a probablement été le film le plus difficile que j’aie jamais réalisé”, a déclaré Mann. Pourrait-il éviter le redux ?
Il s’est rendu compte que la solution pourrait être un projet qu’il développait en tandem avec le film : un logiciel artificiellement intelligent qui pourrait éditer les plans des visages des acteurs bien après que la photographie principale ait été bouclée, modifiant en douceur leurs expressions faciales et leurs mouvements de bouche. correspondent au dialogue nouvellement enregistré.
“Fall” a été partiellement édité à l’aide d’un logiciel développé par Flawless pour l’intelligence artificielle du réalisateur Scott Mann. (Avec l’aimable autorisation de Flawless)
C’est une utilisation apparemment simple de la technologie qui, selon les experts, est sur le point de transformer presque toutes les dimensions d’Hollywood, de la dynamique du travail et des modèles financiers à la façon dont le public pense à ce qui est vrai ou faux.
L’IA fera aux films ce que Photoshop a fait aux images fixes, a déclaré Robert Wahl, professeur agrégé d’informatique à l’Université Concordia du Wisconsin, qui a écrit sur l’éthique de CGI, dans un e-mail. “Nous ne pouvons plus croire pleinement ce que nous voyons.”
Une solution logicielle pour les doublages douteux
Il a fallu une collaboration particulièrement déprimante avec Robert De Niro pour faire entrer Mann dans le monde du logiciel.
De Niro a joué dans le thriller policier “Heist” de Mann en 2015 et les deux ont consacré beaucoup de temps et de réflexion à la performance de l’acteur acclamé. Mais quand est venu le temps d’adapter le film pour une sortie à l’étranger, Mann a déclaré qu’il n’était pas satisfait.
Lorsque les films sortent à l’étranger, les dialogues sont souvent réenregistrés dans d’autres langues. Ce processus, appelé “doublage”, rend le film accessible à l’international, mais il peut également conduire à un regard discordant sur la bouche de l’acteur en décalage avec les mots qu’il est censé dire. Une solution typique consiste à réécrire le dialogue pour mieux l’associer aux visuels préexistants – mais pour des raisons de lisibilité, ces changements sacrifient la vision originale de l’équipe créative.
“Toutes les choses sur lesquelles j’ai travaillé avec Robert De Niro dans les nuances ont maintenant été modifiées”, a déclaré Mann à propos des doublages. “J’étais un peu dévasté.
Le film de suivi “Final Score” sur lequel il a travaillé a approfondi ces frustrations. Mann a tenté de scanner les têtes de ses acteurs pour mieux synchroniser leur discours, mais le processus s’est avéré d’un coût prohibitif et le résultat final semblait étrange.
Ce n’est qu’en recherchant de nouvelles solutions que le passionné d’effets visuels a trouvé 2018 document académique esquisse d’une solution possible : réseaux de neurones ou programmes informatiques imitant la structure un cerveau qui essayait de transférer l’expression faciale d’un acteur sur le visage d’un autre.
Fasciné, Mann a contacté des rédacteurs de journaux et a commencé à travailler avec certains d’entre eux sur l’outil de base du “woobing”, c’est-à-dire le doublage visuel plutôt qu’audio. L’ajout ultérieur de Nick Lynes, un ami d’un ami ayant une formation dans le jeu en ligne, a également permis à l’équipe de prendre pied dans le secteur de la technologie.
Ensemble, des ambassadeurs de trois mondes très différents – le cinéma, la science et l’industrie du logiciel – ont construit Flawless, une entreprise cinématographique d’intelligence artificielle avec des bureaux à Santa Monica et à Londres.
Dans un sens très large, la technologie de l’entreprise peut identifier des modèles dans les phonèmes des acteurs (ou les sons qu’ils émettent) et les visèmes (ou à quoi ils ressemblent lorsqu’ils émettent ces sons), puis, lorsque de nouveaux phonèmes enregistrés sont présentés, les mettre à jour. accrocher à l’écran pour correspondre. L’année dernière, le magazine Time considéré Le “correctif de doublage de films” de l’entreprise, l’une des meilleures inventions de 2021.
Mais l’effort pour nettoyer les dizaines de bombes F de “Fall” a soulevé une question avec des implications potentiellement beaucoup plus larges : plutôt que de simplement changer la langue parlée par les personnages, Flawless aurait-il pu changer le contenu même de ce qu’ils ont dit ?
“Les actrices et moi sommes allés au studio d’enregistrement à Burbank et avons dit : ‘D’accord, voici les nouvelles répliques'”, a déclaré Mann, qui vit à Los Angeles. Ils ont ensuite branché le nouvel audio dans le logiciel vubbing, qui a ajusté les mouvements du visage des stars à l’écran en conséquence.
“Nous avons mis les images, la MPAA les a revérifiées et leur a donné un PG-13, et c’est ce qui est allé dans les salles”, a-t-il déclaré.
Assis dans sa salle de conférence de Santa Monica quelques semaines après la sortie du film, entouré d’affiches pour “Blade Runner” et “2001 : l’Odyssée de l’espace”, Mann a démontré les résultats avec une scène dans laquelle l’un des protagonistes de “Fall” déplore son sort. . .
« Maintenant, nous sommes coincés dans cette putain de tour stupide au milieu de nulle part ! » Virginia Gardner a appelé Grace Caroline Currey alors qu’ils se blottissaient sur la plate-forme précaire.
Virginia Gardner et Grace Caroline Currey à l’automne.
(Porte des Lions)
Quelques instants plus tard, Mann a rejoué la scène. Mais cette fois, le dialogue de Gardner était sensiblement plus dur : “Maintenant, nous sommes coincés sur cette putain de tour stupide au milieu de l’enfer nulle part.”
La première version était celle qui est sortie en août sur 1500 salles américaines. Mais ce dernier – celui avec le dialogue digne d’un marin – était ce que Mann a réellement filmé au sommet d’une montagne infestée de fourmis de feu. Si vous ne saviez pas que les visages des acteurs ont été reconstruits par un réseau de neurones, vous ne sauriez probablement pas que leur dialogue nettoyé était un ajout tardif.
“Vous ne pouvez pas dire ce qui est réel et ce qui ne l’est pas”, a déclaré Mann, “c’est tout l’intérêt.”
Éthique des synthétiques
En matière de cinéma, ce réalisme a des avantages évidents. Personne ne veut dépenser de l’argent pour quelque chose qui ressemble à MS Paint.
Mais la montée en puissance de logiciels capables de modifier de manière transparente ce que quelqu’un a dit a des implications majeures pour un paysage médiatique qui regorge déjà de désinformation. Après tout, le produit Flawless de base n’est en fait qu’une version plus légitime de “contrefaçons profondes” ou CGI qui imite le visage et la voix de quelqu’un.
Il n’est pas difficile d’imaginer un troll qui, au lieu d’utiliser ces outils pour couper les gros mots d’un film, fait une vidéo virale de Joe Biden déclarant la guerre à la Russie. Le porno fait avec la ressemblance numérique de quelqu’un a aussi devenir un problème.
Et Flawless n’est pas la seule entreprise opérant dans cet espace. Papercup, une entreprise qui génère des voix humaines synthétiques à utiliser dans le doublage et les voix off, vise à “rendre n’importe quelle vidéo regardable dans n’importe quelle langue”, a déclaré le PDG Jesse Shemen au Times.
Et le pilier des effets visuels Digital Domain utilise l’apprentissage automatique pour rendre les acteurs dans les cas où ils ne peuvent pas apparaître eux-mêmes, comme les scènes nécessitant un cascadeur, a déclaré Hanno Basse, directeur de la technologie.
Alors que ces entreprises et d’autres automatisent de plus en plus l’industrie du divertissement, de nombreuses questions éthiques se posent.
Hollywood mise déjà sur sa nouvelle capacité à recréer numériquement des acteurs morts, tels que s La voix d’Anthony Bourdain dans le document “Roadrunner” ou Pierre Cushing et Carrie Fisher dans les suites récentes de “Star Wars”. Réveils holographiques les célébrités tardives sont également désormais possibles.
Le dialogue modifié numériquement “risque de compromettre le consentement des personnes initialement impliquées”, a déclaré Scott Stroud, directeur du programme d’éthique des médias à l’Université du Texas à Austin. “Ce à quoi les acteurs pensaient qu’ils consentaient n’est pas littéralement ce qui est créé.”
Et la technologie pourrait ouvrir la porte à la transformation des films longtemps après leur sortie, a déclaré Denver D’Rozario, professeur de marketing à l’Université Howard qui a étudié les résurrections logicielles d’acteurs morts.
“Disons que … dans un film, un gars boit une canette de Pepsi et dans 20 ans, vous obtenez un parrainage de Coca”, a déclaré D’Rozario. “Voulez-vous échanger une canette de Pepsi contre un Coca ?” « À quel moment les choses peuvent-elles changer ? À quel moment peut-on acheter des choses ?”
Mann a déclaré que les avantages de sa technologie sont nombreux, qu’il s’agisse de supprimer les barrières linguistiques et de favoriser l’empathie transfrontalière ou d’épargner aux acteurs le casse-tête des reprises. À son avis, des scénarios tels que le parrainage hypothétique de coke de D’Rozario représentent de nouvelles sources de revenus.
Flawless a été proactif, a ajouté Mann, en créant un produit qui assiste plutôt qu’il ne remplace la performance humaine authentique.
“Il existe un moyen d’utiliser la technologie d’une manière similaire à ce que l’industrie (des effets visuels) a déjà fait, c’est-à-dire : faites-le en toute sécurité, faites-le correctement, faites-le légalement, avec le consentement de toutes les personnes impliquées”, a-t-il déclaré.
Et l’entreprise a déjà impliqué “tous les grands syndicats” dans la manière de fabriquer et d’utiliser la technologie de manière judicieuse, a poursuivi le directeur.
Les représentants du SAG-AFTRA ont souligné que la technologie de l’intelligence artificielle peut aider ou nuire aux acteurs, selon la manière dont elle est utilisée.
“Les technologies qui améliorent uniquement numériquement le travail de nos membres ne peuvent exiger que la capacité de fournir un consentement éclairé et éventuellement une compensation supplémentaire”, a déclaré Jeffrey Bennett, avocat général de SAG-AFTRA, dans un e-mail. « À l’autre extrémité du spectre se trouvent les technologies qui peuvent remplacer les spectacles traditionnels ou prendre les spectacles de nos membres et en créer de tout à fait nouveaux. nous insistons pour qu’ils soient un sujet obligatoire de négociation.
C’est un train qui, pour le meilleur ou pour le pire, a déjà quitté la gare.
“Fall” est actuellement diffusé, et Mann a déclaré que d’autres films sur lesquels sa société travaillait sortiront ce Noël – bien qu’il ne puisse pas encore les nommer publiquement.
Si vous voyez un film pendant les vacances, peut-être que l’intelligence artificielle a aidé à le faire.
Serez-vous capable de dire? Est ce que c’est important?
