Underhållningsindustrin har ännu inte reglerat användningen av deepfakes och röstkloning.
Bild: photoworldwide/Getty Images
Den 29 september gick Emmy för interaktiv dokumentär till “In Event of Moon Disaster” , en film som använder artificiell intelligens (AI) för att skapa en falsk video med USA: s tidigare president Richard Nixon. Filmen visar honom hålla ett tal som förbereddes om Apollo 11 -uppdraget misslyckades och lämnade astronauterna Neil Armstrong och Buzz Aldrin att dö på månen.
Multimediaprojektet skapades av Massachusetts Institute of Technology Center for Advanced Virtuality, med lite hjälp från en ukrainsk röstkloning, Respeecher, som arbetade med Nixons röst.
Sedan, med hjälp av ett djupt neuralt nät, gick Respeechers ingenjörer samman med de två och lade till Nixons röstvirke ovanpå skådespelarens uppträdande och skapade därmed en djupförfalskad ljudinspelning. För alla som lyssnar låter den syntetiska rösten naturlig, och den går inte att skilja från originalet.
SE: Rapporten finner uppseendeväckande ointresse för etisk, ansvarsfull användning av AI bland företagsledare
För att uppnå denna kvalitetsnivå behövde Serdiuks team flera timmars inspelning från både Nixon och skådespelaren. Nu har de förbättrat sin teknik och processen är enklare.
“Vi brukar be om cirka 60 minuters talinspelningar för mål- och källröster”, säger han. “I många projekt hade vi mindre data eller sämre data, så vi vet hur vi ska arbeta med all data.”
Till skillnad från text-till-tal-konverteringar, som ofta låter artificiella, hjälper Respeechers teknik att bevara känslor. “Vårt mål var att göra kvaliteten på den nivån där den skulle vara tillfredsställande för efterfrågade ljudproffs i Hollywood”, säger Serdiuk.
Respeecher har för närvarande cirka 20 experter och har högprofilerade klienter som Lucasfilm på sina böcker. Starten har arbetat med flera spetsprojekt de senaste åren. Till exempel har den återskapat Michael Yorks röst, så att han kan prata om sin sällsynta sjukdom, amyloidos.
“Det var ett väldigt coolt projekt när det gäller att använda tekniken för någon vars röst är borta, som inte kan använda den här rösten längre”, säger Serdiuk. Hans lag tog tillbaka en annan ikonisk röst, den av avlidne amerikanske fotbollstränaren Vince Lombardi, som skickade ett uppmuntrande meddelande till dem som kämpar med pandemin under SuperBowl. Utöver det syntetiserade Respeecher också rösten för den unge Luke Skywalker för det sista avsnittet av säsong två av Mandalorian.
Serdiuk är optimistisk och säger att hans lilla Kiev-baserade studio kommer att fortsätta att bidra till blockbusters. : “Det tar tid att bygga upp trovärdighet och rykte i Hollywood. Men nu är vi i en position där några häftiga projekt kommer till oss från mun till mun eftersom vissa människor i Hollywood använder vår teknik och de delar denna erfarenhet med sina vänner och medarbetare. “
Tal-till-tal-konverteringar kan vara användbara i ett stort antal projekt, från videospel till filmer, från ljudböcker till callcenterassistenter. Respeecher kan emulera man-till-kvinna och kvinna-till-man omvandlingar, och i framtiden kan det till och med fungera för röstdubbning på främmande språk.
Etiska frågor
Röstkloning väcker ett antal etiska frågor, och vissa tycker att tekniken är störande. Dokumentären 'Roadrunner: A Film About Anthony Bourdain' som dök upp på bio under sommaren fick kritik efter att det avslöjades att ett segment av den sena kockens röst skapades med röstkloningsteknik. Bourdain skrev verkligen dessa meningar, men det fanns ingen registrering av honom som läste dem.
Användningen av AI signalerades inte till publiken. Det avslöjades först när Morgan Neville nämnde det. Det är inte heller klart om besättningen fick tillstånd från Bourdains familj att skapa sin röst syntetiskt.
Serdiuk säger att han och de andra två grundarna skapade en uppsättning regler som både de och deras klienter bör följa. Respeecher tillhandahåller inte ett offentligt API, och närhelst den klonar en röst lägger den till ett ljudvattenmärke till den för att möjliggöra upptäckt med specialiserad programvara. Dessutom, när en klient vill klona någons röst behöver de skriftligt medgivande från den personen eller deras familj.
“Enligt min mening är det inget nytt med den här tekniken som vårt samhälle aldrig har sett förut.” säger Serdiuk. “Det är inte annorlunda än Photoshop, eller hur?”
Underhållningsindustrin har ännu inte reglerat djuphandlingar, men Serdiuk anser att de regler som hans team utvecklat borde vara obligatoriska, med tanke på att desinformation på nätet kan bli vanligare. Den senaste Emmy som hans team bidragit till kan vara ett litet steg för att öka medvetenheten om farorna med djupa förfalskningar.
“Vi lägger ner mycket tid på att utbilda, berätta om vad som är möjligt, visa vad som är möjligt,” sa han. “Och detta MIT-projekt med president Nixon är ett bra exempel på det.”
Innovation
2022 tekniska trender: generativ AI, autonoma system, hyperautomation och mer Intels automatiska felsökningsverktyg ControlFlag är nu öppen källkod De bästa robotdammsugarna 2021: Roomba är inte ditt enda alternativ Vad är AI? Allt du behöver veta
Relaterade ämnen:
Artificiell intelligens CXO Digital Transformation Tech Industry Smart Cities Cloud 