När NVIDIA tillkännagav genombrott i språk och förståelse för att möjliggöra realtid konversera AI, vi var caught off guard. Vi var fortfarande försöker smälta det förfarande för ACL, en av de största forsknings-evenemang för datorlingvistik över hela världen, som Facebook, Salesforce, Microsoft och Amazon var alla närvarande.
Samtidigt som dessa representerar två olika uppsättningar av prestationer, de är fortfarande nära knuten. Här är vad som NVIDIA: s genombrott är på väg, och vad det innebär för världen i stort.
NVIDIA gör BERT
Som ZDNet rapporterade i går, NVIDIA säger att det är AI-plattformen nu har den snabbaste utbildningen posten, den snabbaste slutsatsen, och största utbildning modell av sitt slag hittills. NVIDIA har lyckats att utbilda ett stort BERT modell i 53 minuter, och att ha andra BERT modeller producera resultat i 2.2 millisekunder. Men vi måste sätta in det i ett sammanhang för att förstå dess betydelse.
BERT (Dubbelriktad Encoder Utfästelser från Transformatorer) är forskning (papper, öppen källkod och data) som publicerats av forskare vid Google AI Språket i slutet av 2018. BERT har varit bland ett antal genombrott i behandling av naturligt språk nyligen, och har orsakat uppståndelse i AI gemenskapen genom att presentera state-of-the-art resultat i en mängd olika behandling av naturligt språk uppgifter.
Vad NVIDIA gjorde var att arbeta med de data som Google släppt (två smaker, BERT-Stora och BERT-Bas) och sin egen Grafikprocessorer för att rasera den tid som behövs för att träna BERT machine learning-modell och sedan använda den i program. Detta är hur lärande fungerar-för det första finns en utbildning fas, där modellen lär sig genom att vara visas massor av data, och sedan en slutledning fas, där modellen processer nya data.
NVIDIA använde olika konfigurationer, producerar olika resultat för detta. Det tog NVIDIA DGX SuperPOD med 92 NVIDIA DGX-2H-system som kör 1,472 NVIDIA V100 Grafikprocessorer för att träna en BERT-modellen på BERT-Stor, medan samma uppgift tog en NVIDIA DGX-2 system 2.8 dagar. 2.2 millisekund slutsats resultatet är ett annorlunda system/dataset (NVIDIA T4 Grafikprocessorer kör NVIDIA TensorRT / BERT-Bas).
Summan av kardemumman är att NVIDIA har bidragit till att öka BERT utbildning — jämfört med vad som brukade vara normen för detta-genom att ta flera dagar. Men den magi här var en kombination av hårdvara och mjukvara, och detta är anledningen till att NVIDIA släpper sin egna tweaks till BERT, som kan vara den största vinsten för samhället i stort.
Relaterade Ämnen:
Innovation
Digital Omvandling
CXO
Sakernas Internet
Affärssystem
Smarta Städer