Les prochains mardis, le podcast phare de The Verge, The Vergecast, présente une mini-série consacrée à l'utilisation de l'intelligence artificielle dans des secteurs souvent négligés, animée par la journaliste principale de Verge, Ashley Carman. Cette semaine, la série se concentre sur l'IA pour le monde de la vidéo.
Plus précisément, nous examinons comment l'IA est utilisée comme outil pour aider les gens à rationaliser le processus de création de contenu vidéo . Oui, cela pourrait signifier que les logiciels jouent un rôle plus important dans l'acte très humain de la créativité, mais et si au lieu de nous remplacer, des outils d'apprentissage automatique pouvaient être utilisés pour nous aider dans notre travail ?
C'est ce que Scott Prevost, vice-président d'Adobe Sensei – la plate-forme d'apprentissage automatique d'Adobe – envisage pour les produits d'IA d'Adobe. « Sensei a été fondée sur la ferme conviction que nous avons que l'IA va démocratiser et amplifier la créativité humaine, mais pas la remplacer », déclare Prevost. “En fin de compte, permettre au créateur de faire des choses qu'il ne pouvait peut-être pas faire auparavant. Mais aussi pour automatiser et accélérer certaines des tâches banales et répétitives qui font partie de la créativité.”
Adobe a déjà intégré les initiatives de Sensei dans ses produits actuels. L'automne dernier, la société a publié une fonctionnalité appelée Neural Filters pour Photoshop, qui peut être utilisée pour supprimer les artefacts des images compressées, modifier l'éclairage d'une photo ou même modifier le visage d'un sujet, en lui donnant un sourire au lieu de froncer les sourcils, par exemple. , ou en ajustant leur « âge du visage ». Du point de vue de l'utilisateur, tout cela se fait en déplaçant simplement quelques curseurs.
Image de filtre neuronal d'Adobe : Adobe Adobe propose également des fonctionnalités telles que Content Aware Fill, qui est intégré à son logiciel de montage vidéo After Effects et peut supprimer de manière transparente des objets des vidéos, une tâche qui prendrait des heures, voire des jours, à effectuer manuellement. Prevost a partagé l'histoire d'une petite équipe de documentaristes qui ont eu des problèmes avec leurs images lorsqu'ils ont réalisé qu'il y avait des taches indésirables sur leur visuel causées par un objectif de caméra sale. Avec Content Aware Fill, l'équipe a pu supprimer les imperfections indésirables de la vidéo après avoir identifié l'objet en une seule image. Sans un logiciel comme celui d'Adobe, l'équipe aurait dû éditer des milliers d'images individuellement ou refaire entièrement le métrage.
Le remplissage compatible avec le contenu d'Adobe pour les GIF vidéo : Adobe Une autre fonctionnalité d'Adobe appelée Auto Reframe utilise l'IA pour reformater et recadrer la vidéo pour différents rapports d'aspect, en gardant les objets importants dans le cadre qui peuvent avoir été découpés à l'aide d'un recadrage statique régulier.
Fonctionnalité de recadrage automatique d'Adobe GIF : Adobe La technologie dans ce domaine progresse clairement pour les consommateurs, mais aussi pour les professionnels à gros budget. Bien que les techniques de montage vidéo IA telles que les deepfakes ne soient pas encore vraiment arrivées sur grand écran – la plupart des studios s'appuient toujours sur les CGI traditionnels – l'endroit où les réalisateurs et les studios hollywoodiens sont sur le point d'utiliser l'IA est pour le doublage.
Une société appelée Flawless, spécialisée dans les VFX et les outils de réalisation de films basés sur l'IA, travaille actuellement sur quelque chose qu'elle appelle TrueSync, qui utilise l'apprentissage automatique pour créer des visualisations réalistes et synchronisées sur les lèvres des acteurs pour plusieurs langues. Le co-PDG et co-fondateur de Flawless Scott Mann a déclaré à The Verge que cette technique fonctionne bien mieux que le CGI traditionnel pour reconstruire les mouvements de la bouche d'un acteur.
“Vous formez un réseau à comprendre comment une personne parle, donc les mouvements de la bouche d'un ooh et aah, différents visèmes et phonèmes qui composent notre langue sont très spécifiques à la personne”, explique Mann. “Et c'est pourquoi cela nécessite un tel détail dans le processus pour vraiment obtenir quelque chose d'authentique qui parle comme cette personne a parlé.”
Un exemple que Flawless a partagé qui s'est vraiment démarqué était une scène du film Forrest Gump, avec un doublage du personnage de Tom Hanks parlant japonais. L'émotion du personnage est toujours présente et le résultat final est nettement plus crédible qu'un overdub traditionnel car le mouvement de la bouche est synchronisé avec le nouveau dialogue. Il y a des moments où vous oubliez presque qu'il s'agit d'un autre acteur vocal dans les coulisses.
Mais comme pour toute IA changeant n'importe quelle industrie, nous devons également penser au remplacement des emplois.
Si quelqu'un crée, édite et publie des projets par lui-même, les outils d'IA d'Adobe devraient lui faire gagner beaucoup de temps. Mais dans les grandes maisons de production où chaque rôle est délégué à un spécialiste spécifique – retoucheurs, coloristes, éditeurs, responsables des médias sociaux – ces équipes peuvent finir par réduire leurs effectifs.
Prevost d'Adobe pense que la technologie déplacera plus probablement les emplois que de les détruire complètement. “Nous pensons qu'une partie du travail que les créatifs faisaient en production, ils n'en feront plus autant”, dit-il. «Ils peuvent devenir plus comme des directeurs artistiques. Nous pensons que cela permet en fait aux humains de se concentrer davantage sur les aspects créatifs de leur travail et d'explorer cet espace créatif plus large, où Sensei effectue certains des travaux les plus banals.
Les équipes vidéo finiront-elles par réduire leurs effectifs ?
Scott Mann chez Flawless a un sentiment similaire. Bien que la technologie de l'entreprise puisse réduire le besoin de réécrivains de scripts pour les films traduits, elle peut ouvrir la porte à de nouvelles opportunités d'emploi, soutient-il. «Je dirais, honnêtement, que ce rôle est une sorte de réalisateur. Ce que vous faites, c'est que vous essayez de transmettre cette performance. Mais je pense qu'avec la technologie et vraiment avec ce processus, il s'agira de prendre ce côté de l'industrie et de développer ce côté de l'industrie.
Les scénaristes finiront-ils par devenir réalisateurs ? Ou les retoucheurs photo finissent-ils par devenir directeurs artistiques ? Peut-être. Mais ce que nous constatons avec certitude aujourd'hui, c'est que beaucoup de ces outils combinent déjà des flux de travail à partir de divers points du processus créatif. Le mixage audio, la coloration et les graphiques deviennent tous une partie du logiciel polyvalent. Ainsi, si vous travaillez dans l'espace des médias visuels, au lieu de vous spécialiser dans des talents créatifs spécifiques, votre travail créatif peut vous obliger à être plus un généraliste à l'avenir.
« Je pense que les frontières entre les images, les vidéos, l'audio, la 3D et la réalité augmentée vont commencer à s'estomper », déclare Prévost. «Auparavant, il y avait des gens qui se spécialisaient dans les images et des gens qui se spécialisaient dans la vidéo, et maintenant vous voyez des gens travailler sur tous ces supports. Et nous pensons donc que Sensei aura un rôle important à jouer en aidant essentiellement à connecter ces choses ensemble de manière significative. »
The Vergecast
Le podcast qu'il vous faut pour donner du sens à la semaine dans l'actualité tech