Noll
Nvidia AI-system som fyller i det som saknas ramar mellan vänster och höger bilder (i grönt gränser), vilket möjliggör hög kvalitet video spela upp i slow motion.
Nvidia
Ett team av Nvidia forskare denna vecka är att visa hur de har använt deep lära sig att hantera en gemensam utmaning: att producera en slow-motion-video med befintliga videofilmer.
Forskargruppen, som lägger fram sina papper på 2018 Conference on Computer Vision and Pattern Recognition (CVPR), utvecklade en djup lärande-baserat system som kan producera slow-motion video — saktade ner till frame rate-från 30 bilder per sekund video. Resultatet är en video med hög kvalitet som ser mjuk och smidig i jämförelse med den befintliga state-of-the-art metoder. Kolla in videon nedan:
“Du kanske vill göra detta eftersom ditt barn är att ha en fotbollsmatch, och du tar video men med facit i hand… säga,” Det skulle vara trevligt om jag kunde se det i slow motion,’ säger Jan Kautz, senior director of visual design och lärande forskning på Nvidia, berättade ZDNet.
Den forskning som skulle kunna tillämpas för professionell användning fall. Till exempel, professionella idrottare eller dansare kanske vill sakta ner bilder dramatiskt för att studera deras form.
Kautz team används Nvidia Tesla V100 Grafikprocessorer och cuDNN-accelererade PyTorch djupt lärande ram för att utbilda sina system på mer än 11 000 videor skott på 240 bilder per sekund.
När systemet var utbildade, kan förstå hur hög bildhastighet videor kan brytas ned– bildruta för bildruta, pixel för pixel.
Med den förståelse, systemet kan titta på två sekventiella bilder från en 30 bilder per sekund video och förutsäga vilka ramar i mellan skulle ha sett ut om den hade spelats in på en högre bildfrekvens. Systemet sedan “fyller i ramar i mellan och staplar dem alla tillsammans för att få en ny, långsammare video,” Kautz förklaras.
Producera högkvalitativa resultat som det här kan vara utmanande för ett par skäl, Kautz förklarade: för det Första, vissa objekt i video är helt enkelt går riktigt snabbt, och det kan vara svårt att förutsäga var de är på väg. För det andra, när objekt rör sig i en video, de kan ibland skymma andra objekt — eller visa objekt som tidigare varit dold. Därför har systemet för att kunna hantera objekt som kan visas i en ram, men inte nästa. Denna metod står för båda dessa utmaningar.
Kautz team används en separat dataset för att bekräfta riktigheten av deras system.
Samtidigt som det finns uppenbara fall användning för detta system, är det fortfarande en forskning prototyp. Kautz team har inte försökt att optimera det på ett sätt som lätt kunde sätta den i händerna på användare-via en smartphone, till exempel.
“Den processorkraft som krävs för att göra detta är mer än vad telefonen skulle ha i detta i tid”, sade han, “men kan du tänka dig att ladda upp till en server — det finns sätt att få det att fungera och ge den till användarna.”
Kautz tillade, “att Vara en forskningsorganisation, vårt mål är att driva den toppmoderna framåt, lära av de saker vi gör, och förhoppningsvis bättre produkter – det kan vara våra egna produkter eller partners produkter.”
Relaterade Ämnen:
Digital Omvandling
CXO
Sakernas Internet
Innovation
Affärssystem
Smarta Städer
0