Quando NVIDIA ha annunciato progressi nella comprensione del linguaggio per consentire in tempo reale di conversazione AI, siamo stati presi alla sprovvista. Stavamo ancora cercando di digerire il procedimento di ACL, una delle più grandi manifestazioni di ricerca per la linguistica computazionale del mondo, nei quali Facebook, Salesforce, Microsoft e Amazon, erano tutti presenti.
Mentre questi rappresentano due diversi insiemi di risultati, sono ancora strettamente collegati. Ecco cosa NVIDIA svolta è di circa, e che cosa significa per il mondo.
NVIDIA non BERT
Come ZDNet ha riferito ieri, NVIDIA dice la sua AI platform, che ora è il più veloce formazione di record, il più veloce di inferenza, e il più grande modello di formazione del suo genere per la data. NVIDIA è riuscita a formare una grande BERT modello in 53 minuti, e per avere altre BERT modelli di produrre risultati in 2.2 millisecondi. Ma abbiamo bisogno di mettere in un contesto per capire il suo significato.
BERT (Encoder Bidirezionale Rappresentazioni Trasformatori) è la ricerca (la carta, il codice open source e di set di dati) pubblicato dai ricercatori di Google AI Lingua a fine 2018. BERT è stato in mezzo a una serie di innovazioni nella elaborazione del linguaggio naturale, di recente, e ha suscitato scalpore nella comunità AI presentando state-of-the-art di risultati in una vasta gamma di elaborazione del linguaggio naturale attività.
Quello che NVIDIA ha fatto è stato quello di lavorare con i set di dati a Google ha rilasciato (due sapori, BERT-Grandi e BERT-Base) e la propria Gpu di ridurre drasticamente il tempo necessario per la formazione del BERT macchina modello di apprendimento e quindi utilizzare nelle applicazioni. Questo è come la macchina di apprendimento funziona: la prima, c’è una fase di formazione, in cui il modello impara mostrato un sacco di dati, e quindi di un’inferenza fase, in cui il modello di processi di nuovi dati.
NVIDIA utilizzato in diverse configurazioni, producendo risultati diversi per questo. Ha preso la NVIDIA DGX SuperPOD utilizzando 92 NVIDIA DGX-2H sistemi che eseguono 1,472 NVIDIA V100 Gpu per formare una BERT modello di BERT-Grandi, mentre la stessa operazione ha preso una NVIDIA DGX-2 sistema di 2,8 giorni. 2.2 millisecondo di inferenza risultato è un sistema diverso/dataset (NVIDIA T4 Gpu esecuzione di NVIDIA TensorRT / BERT-Base).
La linea di fondo è che NVIDIA ha contribuito a favorire l’BERT formazione, rispetto a quello che ha usato per essere la norma per questo-da alcuni giorni. Ma la magia qui è una combinazione di hardware e software, e questo è il motivo per cui NVIDIA sta rilasciando il suo proprio tweaks di BERT, che può essere la più grande vittoria per la comunità in generale.
Argomenti Correlati:
L’innovazione
La Trasformazione Digitale
CXO
Internet delle Cose
Enterprise Software
Smart Cities