Nvidia, i ricercatori utilizzano un profondo apprendimento per creare super-slow motion video

0
152

Zero

nvidia-slomo-dancestrip11.png

Nvidia sistema di intelligenza artificiale riempie di cornici mancanti tra le immagini destra e sinistra (in verde i confini), l’attivazione di un video di alta qualità riproduzione in slow motion.

Nvidia

Un team di Nvidia ricercatori di questa settimana sono la dimostrazione di come sono profonde di apprendimento per affrontare una sfida comune: la produzione di una slow-motion video esistenti riprese video.

Il team di ricerca, presentando la propria carta al 2018 Conference on Computer Vision e Pattern Recognition (CVPR), ha sviluppato una profonda apprendimento basato su un sistema in grado di produrre slow-motion video — rallentato per ogni frame rate — da 30 fotogrammi al secondo video. Il risultato è un video di alta qualità che appare liscia e senza soluzione di continuità rispetto all’esistente state-of-the-art di metodi. Guarda il video qui sotto:

“Si potrebbe desiderare di fare questo, perché il vostro bambino sta avendo un gioco di calcio, e si sta prendendo il video, ma col senno di poi… dire, ‘sarebbe bello se potessi vedere in slow motion,'” Jan Kautz, senior director di visual computing e di machine learning per la ricerca di Nvidia, ha detto a ZDNet.

La ricerca può essere applicato a uso professionale di casi. Per esempio, gli atleti professionisti o ballerini vuole rallentare il metraggio drammaticamente a studiare la loro forma.

Kautz la squadra Nvidia Tesla V100 Gpu e cuDNN accelerazione PyTorch profonda contesto di apprendimento per formare il loro sistema su più di 11.000 video girati a 240 fotogrammi al secondo.

Una volta che il sistema è stato addestrato, si può capire quanto in alto frame rate video possono essere suddivisi– frame by frame, pixel per pixel.

Con la comprensione, il sistema può guardare in due fotogrammi sequenziali da 30 fotogrammi al secondo video e prevedere ciò che i fotogrammi tra l’avrebbe guardato come se fosse stato sparato un maggiore frame rate. Il sistema quindi si “riempie il frame e le pile di loro tutti insieme per ottenere un nuovo video più lento,” Kautz, ha spiegato.

Per risultati di alta qualità come questo può essere difficile per un paio di ragioni, Kautz spiegato: in Primo luogo, alcuni oggetti in video sono semplicemente spostando molto velocemente, e può essere difficile prevedere dove stanno andando. Secondo, quando gli oggetti si muovono in un video, a volte possono nascondere altri oggetti, o rivelare oggetti che sono stati precedentemente oscurato. Di conseguenza, il sistema deve essere in grado di affrontare con gli oggetti che potrebbero essere visibile in un frame, ma non il prossimo. Questo metodo rappresenta per entrambe queste sfide.

Kautz il team ha utilizzato un set di dati separato per validare l’accuratezza del sistema.

Mentre ci sono evidenti casi di utilizzo di questo sistema, rimane un prototipo di ricerca. Kautz la squadra non si è cercato di ottimizzare, in un modo che potrebbe facilmente mettere nelle mani degli utenti — tramite uno smartphone, per esempio.

“La potenza di elaborazione necessaria per fare questo è più di quello che un telefono dovrebbe avere, in questo momento,” disse, “ma non si potrebbe immaginare di caricamento a un server, ci sono anche diversi modi per rendere il lavoro e dando agli utenti.”

Kautz aggiunto, “di Essere un organismo di ricerca, il nostro obiettivo è quello di spingere lo stato dell’arte in avanti, imparare dalle cose che si fanno, e si spera di migliorare i prodotti potrebbero essere i nostri prodotti o prodotti di partner.”

Argomenti Correlati:

La Trasformazione Digitale

CXO

Internet delle Cose

L’innovazione

Enterprise Software

Smart Cities

0