Nul
Nvidia AI-systeem vult de ontbrekende frames tussen de linker en rechter foto (groene randen), waardoor een hoge kwaliteit video afspelen in slow motion.
Nvidia
Een team van Nvidia onderzoekers deze week laten zien hoe ze gebruikt heb diep leren aanpakken van een gemeenschappelijke uitdaging: het produceren van een slow-motion video met de bestaande video-opnames.
Het onderzoeksteam, de presentatie van hun papier op de 2018-Conferentie over Computer Vision en patroonherkenning (CVPR), ontwikkelde een diep leren-systeem kan produceren in slow-motion video ‘ s — afgeremd met een frame rate — van een 30 beelden per seconde. Het resultaat is een hoge-kwaliteit video die ziet er glad en naadloos is in vergelijking met de bestaande state-of-the-art methoden. Bekijk de video hieronder:
“Je zou willen om dit te doen want je kind is het hebben van een voetbal spel, en je video op te nemen, maar achteraf gezien… zeggen, ‘Het zou mooi zijn als ik kon zien dat het in slow motion,'” Jan Kautz, senior director van visual computing en machine learning onderzoek bij Nvidia, vertelde ZDNet.
Het onderzoek kan worden toegepast op professionele use cases. Bijvoorbeeld, professionele atleten, dansers of acteurs wilt vertragen beelden dramatisch aan het onderzoeken van hun vorm.
Kautz ‘s team gebruikte Nvidia Tesla V100-Gpu’ s en cuDNN-versnelde PyTorch diep leren kader voor de opleiding van hun systeem op meer dan 11.000 video ‘ s geschoten op 240 frames-per-seconde.
Als het systeem eenmaal is opgeleid, het kon begrijpen hoe een hoge frame-rate video ‘ s kunnen worden onderverdeeld– per frame, pixel per pixel.
Met dat begrip, het systeem kan kijken op twee opeenvolgende frames van een 30 beelden per seconde, en voorspellen wat de kaders tussen zou hebben uitgezien als hij was neergeschoten op een hogere frame-rate. Het systeem dan “vult de frames tussen en stapelt ze allemaal samen om een nieuwe, tragere video’ Kautz uitgelegd.
De productie van hoge-kwaliteit van de resultaten zoals deze uitdaging kan zijn om een aantal redenen, Kautz verklaard: ten Eerste, sommige objecten in de video ‘ s zijn eenvoudig te verplaatsen heel snel, en het kan moeilijk zijn om te voorspellen waar ze naartoe gaan. Ten tweede, wanneer voorwerpen bewegen in een video, ze kunnen soms obscure andere objecten — of onthullen objecten die eerder werden verduisterd. Bijgevolg, het systeem moet in staat zijn om te gaan met objecten die kunnen worden weergegeven in een frame, maar niet de volgende. Deze methode accounts voor beide uitdagingen.
Kautz ‘ s team gebruikte een aparte dataset voor het valideren van de juistheid van hun systeem.
Terwijl er voor de hand liggende gebruik van de gevallen voor dit systeem, het blijft een onderzoek prototype. Kautz het team nog niet geprobeerd om het te optimaliseren op een manier die gemakkelijk kan het in de handen van de gebruikers-via een smartphone, bijvoorbeeld.
“De verwerking van de kracht die nodig is om dit te doen is meer dan wat een telefoon zou hebben in dit punt in de tijd,” zei hij, “maar je kan je voorstellen uploaden naar een server — er zijn manieren om het werk en waardoor het voor de gebruikers.”
Kautz toegevoegd, ‘een onderzoek organisatie, ons doel is om de stand van de techniek naar voren, te leren van de dingen die we doen, en hopelijk verbeteren van producten – het kan onze eigen producten of partners’ producten.”
Verwante Onderwerpen:
Digitale Transformatie
CXO
Het Internet van Dingen
Innovatie
Enterprise Software
Smart Cities
0