Nul
Nvidia AI-system udfylder mangler rammer mellem venstre og højre billeder (i grøn grænser), hvilket i høj kvalitet og video-afspilning i slow motion.
Nvidia
Et team af Nvidia forskere i denne uge er at vise, hvordan de har brugt dyb læring om at løse en fælles udfordring: at producere en slow-motion video med den eksisterende video-optagelser.
Forskerholdet, der præsenterer deres papir i 2018 Conference on Computer Vision og mønstergenkendelse (CVPR), udviklet en dyb læring-baseret system, der kan producere slow-motion videoer-aftog til enhver frame rate — fra en 30-frame-per-sekund-video. Resultatet er en video i høj kvalitet, der ser glat og problemfri i forhold til den nuværende state-of-the-art metoder. Så tjek videoen nedenfor:
“Du måske ønsker at gøre dette, fordi dit barn er at have en fodboldkamp, og du tager video, men set i bakspejlet… sige, ‘Det ville være rart, hvis jeg kunne se det i slow motion,'” Jan Kautz, senior director of visual design og machine learning forskning på Nvidia, fortalte ZDNet.
Den forskning, der kunne være anvendt til professionel brug sager. For eksempel, professionelle sportsfolk eller dansere, der ønsker at bremse optagelser dramatisk, for at studere deres form.
Kautz team, der anvendes Nvidia Tesla V100-Gpu ‘ er og cuDNN-accelereret PyTorch dyb læring rammer til at uddanne deres system på mere end 11.000 videoer skud på 240 frames i sekundet.
Når systemet blev uddannet, det man kunne forstå, hvordan høj-frame-rate videoer kan opdeles– frame for frame, pixel for pixel.
Med denne forståelse, kan systemet se på to fortløbende billeder fra en 30-frame-per-sekund video og forudsige, hvad frames i mellem ville have set ud, hvis det var blevet skudt ved en højere frame rate. Systemet, så “fylder i frames i mellem og stakke dem alle sammen for at få en ny, langsommere video,” Kautz forklaret.
Produktion af høj kvalitet, resultater, ligesom det kan være en udfordring for et par grunde, Kautz forklarede: for det Første, nogle objekter i videoer er simpelthen gået rigtig hurtigt, og det kan være svært at forudsige hvor de går hen. For det andet, når objekter til at bevæge sig i en video, kan de til tider obskure andre objekter-eller afsløre objekter, der tidligere var skjult. Derfor har systemet til at være i stand til at håndtere objekter, der kan ses i en ramme, men ikke den næste. Denne metode tegner sig for begge disse udfordringer.
Kautz team brugte en separat datasæt til at validere nøjagtigheden af deres system.
Selvom der er indlysende use cases for dette system, er det stadig et forsknings-prototype. Kautz ‘ s team har ikke forsøgt at optimere det på en måde, der let kunne sætte det i hænderne på brugerne-via en smartphone, for eksempel.
“Behandling effekt, der er nødvendig for at gøre dette, er mere end, hvad en telefon ville have på dette tidspunkt,” sagde han, “men du kunne forestille dig at uploade til en server — der er måder at gøre det arbejde og give det til brugerne.”
Kautz tilføjet, “at Være en forskningsinstitution, vores mål er at skubbe state of the art frem, lære af de ting, vi gør, og forhåbentlig forbedre produkter – det kunne være vores egne produkter eller partnere’ produkter.”
Relaterede Emner:
Digital Transformation
CXO
Tingenes Internet
Innovation
Virksomhedens Software
Intelligente Byer
0