De neste par tirsdager viser The Verges flaggskip podcast The Vergecast en miniserie dedikert til bruk av kunstig intelligens i bransjer som ofte blir oversett, arrangert av Verge seniorreporter Ashley Carman. Denne uken fokuserer serien på AI for videoverdenen.
Mer spesifikt ser vi på hvordan AI brukes som et verktøy for å hjelpe folk med å effektivisere prosessen med å lage videoinnhold . Ja, dette kan bety at programvare tar en større rolle i den menneskelige kreativiteten, men hva om maskinlæringsverktøy kan brukes i stedet for å erstatte oss?
Det er hva Scott Prevost, visepresident i Adobe Sensei – Adobes maskinlæringsplattform – ser for Adobes AI -produkter. “Sensei var basert på denne faste troen på at vi har at AI kommer til å demokratisere og forsterke menneskelig kreativitet, men ikke erstatte den,” sier Prevost. “Til syvende og sist muliggjør skaperen å gjøre ting som de kanskje ikke kunne gjøre før. Men også for å automatisere og fremskynde noen av de hverdagslige og repeterende oppgavene som er deler av kreativiteten. ”
Adobe har allerede bygget Senseis initiativer inn i sine nåværende produkter. I fjor høst ga selskapet ut en funksjon som heter Neural Filters for Photoshop, som kan brukes til å fjerne gjenstander fra komprimerte bilder, endre belysningen i et foto eller til og med endre motivets ansikt, for eksempel å gi dem et smil i stedet for å rynke pannen. , eller justere “ansiktsalderen”. Fra brukerens perspektiv gjøres alt dette ved å bare flytte noen få glidebrytere.
Adobes nevrale filterbilde: Adobe Adobe har også funksjoner som Content Aware Fill, som er innebygd i videoredigeringsprogramvaren After Effects og sømløst kan fjerne objekter fra videoer – en oppgave som ville ta timer eller dager å utføre manuelt. Prevost delte en historie om et lite team av dokumentarfilmskapere som fikk problemer med opptakene sine da de skjønte at det var uønskede flekker på bildene forårsaket av et skittent kameralinsen. Med Content Aware Fill kunne teamet fjerne de uønskede flekkene fra videoen etter å ha identifisert objektet i bare en enkelt ramme. Uten programvare som Adobes, måtte teamet ha redigert tusenvis av rammer individuelt eller tatt opptakene helt.
Adobes innholdsbevisste fyll for video GIF: Adobe En annen funksjon fra Adobe kalt Auto Reframe bruker AI for å formatere og omformere video for forskjellige størrelsesforhold, holde de viktige objektene i rammen som kan ha blitt kuttet ut ved hjelp av en vanlig statisk beskjæring.
Adobes Auto Reframe-funksjon GIF: Adobe Teknologien på dette feltet går tydeligvis fremover for forbrukere, men også for profesjonelle med stort budsjett. Selv om AI -videoredigeringsteknikker som deepfakes egentlig ikke har kommet på storskjerm ennå – de fleste studioene er fortsatt avhengige av tradisjonell CGI – er stedet der regissører og Hollywood -studioer er på vei til å bruke AI for dubbing.
Et selskap kalt Flawless, som spesialiserer seg på AI-drevne VFX- og filmfremstillingsverktøy, jobber for tiden med noe de kaller TrueSync, som bruker maskinlæring for å lage realistiske, leppesynkroniserte visualiseringer på skuespillere for flere språk. Co-CEO og medgründer av Flawless Scott Mann fortalte The Verge at denne teknikken fungerer betydelig bedre enn tradisjonell CGI for å rekonstruere en skuespillers munnbevegelser.
“Du trener et nettverk for å forstå hvordan en person snakker, så munnbevegelsene til en ooh og aah, forskjellige visemer og fonemer som utgjør språket vårt, er veldig personspesifikke,” sier Mann. “Og det er derfor det krever slike detaljer i prosessen for virkelig å få noe autentisk som snakker som den personen snakket som.”
Et eksempel Flawless delte som virkelig skilte seg ut, var en scene fra filmen Forrest Gump, med en dub av Tom Hanks 'karakter som snakket japansk. Følelsen til karakteren er fremdeles til stede, og sluttresultatene er definitivt mer troverdige enn en tradisjonell overdub fordi bevegelsen i munnen er synkronisert med den nye dialogen. Det er punkter hvor du nesten glemmer at det er en annen stemmeskuespiller bak kulissene.
Men som med all AI som endrer en hvilken som helst bransje, må vi også tenke på jobbbytte.
Hvis noen lager, redigerer og publiserer prosjekter selv, bør Adobes AI -verktøy spare dem for mye tid. Men i større produksjonshus hvor hver rolle er delegert til en spesifikk spesialist – retusjere, fargeleggere, redaktører, sosiale medieansvarlige – kan disse lagene ende opp med å redusere.
Adobes Prevost tror at teknologien mer sannsynlig vil flytte jobber enn å ødelegge dem helt. “Vi tror at noe av arbeidet som reklamer pleide å gjøre i produksjonen, at de ikke kommer til å gjøre så mye av det lenger,” sier han. “De kan bli mer som kunstledere. Vi tror det faktisk tillater mennesker å fokusere mer på de kreative aspektene av arbeidet sitt og å utforske dette bredere kreative rommet, hvor Sensei gjør noe av det mer dagligdagse arbeidet. ”
Vil videoteam ende opp med å redusere?
Scott Mann hos Flawless har en lignende følelse. Selv om selskapets teknologi kan resultere i et mindre behov for manusforfattere for oversatte filmer, kan det åpne dører for nye jobbmuligheter, argumenterer han. “Jeg vil ærlig si at denne rollen er en slags regissør. Det du gjør er at du prøver å formidle den ytelsen. Men jeg tror at med teknologi og virkelig med denne prosessen vil det være et tilfelle av å ta den siden av industrien og vokse den siden av industrien. ”
Vil manusansvarlige ende opp med å bli regissører? Eller retusjerer bildene opp med å bli kunstdirektører? Kan være. Men det vi ser sikkert i dag er at mange av disse verktøyene allerede kombinerer arbeidsflyter fra forskjellige punkter i den kreative prosessen. Lydblanding, farging og grafikk blir alle en del av flerbruksprogramvaren. Så hvis du jobber i det visuelle mediarommet, i stedet for å spesialisere deg i spesifikke kreative talenter, kan din kreative jobb i stedet kreve at du er mer generalist i fremtiden.
“Jeg tror grensene mellom bilder og videoer og lyd og 3D og augmented reality begynner å bli uskarpe,” sier Prevost. “Det pleide å være at det er mennesker som spesialiserer seg på bilder, og folk som spesialiserer seg på video, og nå ser du folk som jobber på tvers av alle disse mediene. Og derfor tror vi at Sensei i utgangspunktet vil ha en stor rolle i å hjelpe til med å koble disse tingene sammen på meningsfulle måter. ”
The Vergecast
Podcasten du trenger for å forstå uken i tekniske nyheter Abonner