Når NVIDIA annoncerede gennembrud i sprog, forståelse for at give real-time samtale AI, blev vi overrumplet. Vi var stadig forsøger at fordøje sagen for ACL, der er en af de største forsknings-arrangementer for datamatisk lingvistik i hele verden, hvor Facebook, Salesforce, Microsoft og Amazon alle var til stede.
Mens disse repræsenterer to forskellige sæt af resultater, de er stadig tæt forbundet. Her er hvad NVIDIA ‘ s gennembrud handler om, og hvad det betyder for den store verden.
NVIDIA har BERT
Som ZDNet rapporterede i går, NVIDIA siger sin AI-platform nu har den hurtigste uddannelse registrering, er den hurtigste slutning, og den største uddannelse model af sin art til dato. NVIDIA har formået at uddanne et stort BERT model i 53 minutter, og få andre BERT modeller producere resultater i 2.2 millisekunder. Men vi er nødt til at sætte det ind i en sammenhæng for at forstå dets betydning.
BERT (Tovejs Encoder Repræsentationer fra Transformers) er forskning (papir, open source-kode og datasæt), offentliggjort af forskere på Google AI Sprog i slutningen af 2018. BERT har været blandt en række gennembrud i naturligt sprog forarbejdning for nylig, og har vakt opsigt i den AI-fællesskabet ved at præsentere state-of-the-art resultater i en bred vifte af naturligt sprog forarbejdning opgaver.
Hvad NVIDIA gjorde, var at arbejde med de datasæt, Google frigivet (to varianter, BERT-Store og BERT-Base), og sin egen Gpu ‘ er til at nedbringe den tid, som er nødvendig for at træne BERT machine learning model og så bruge det i programmer. Dette er, hvordan machine learning virker-der er først og fremmest en uddannelse fase, hvor den model, der lærer ved at der bliver vist masser af data, og derefter en slutning fase, hvor den model, processer, nye data.
NVIDIA, der anvendes i forskellige konfigurationer, der producerer forskellige resultater for dette. Det tog NVIDIA DGX SuperPOD med 92 NVIDIA DGX-2H systemer, der kører 1,472 NVIDIA V100-Gpu ‘ er til at træne en BERT model på BERT-Store, mens den samme opgave tog et NVIDIA DGX-2 system 2,8 dage. 2.2 millisekund inferens resultat er på et andet system/dataset (NVIDIA T4 Gpu ‘ er, der kører NVIDIA TensorRT / BERT-Base).
Den nederste linje er, at NVIDIA har hjulpet til at øge BERT uddannelse — i forhold til, hvad der plejede at være normen for dette-med flere dage. Men det magiske her var en kombination af hardware og software, og dette er grunden til, at NVIDIA udgiver sine egne fif til BERT, som kan være den største gevinst for samfundet i almindelighed.
Relaterede Emner:
Innovation
Digital Transformation
CXO
Tingenes Internet
Virksomhedens Software
Intelligente Byer