Facebook gigante “XLM-R” rete neurale è progettato per funzionare parola problemi in 100 lingue diverse, tra cui Swahili e l’Urdu, ma funziona contro di calcolo vincoli anche utilizzando 500 di Nvidia di classe mondiale di Gpu.
Tiernan Ray per ZDNet
Con un trend più grande e più grande di apprendimento automatico di modelli, state-of-the-art di ricerca dell’intelligenza artificiale, continua a funzionare con i limiti convenzionali della tecnologia informatica.
Questo è uno dei risultati dell’ultimo mammut pezzo di lavoro da ricercatori Facebook AI team. La scorsa settimana hanno pubblicato un rapporto sulla loro invenzione, XLM-R, un linguaggio naturale modello basato sul popolarissimo Trasformatore modello da Google.
La carta, senza supervisione di Cross-linguale Rappresentazione di Apprendimento alla Scala, pubblicato su arXiv, è stato scritto da Alexis Conneau, Kartikay Khandelwal Naman, Goyal Vishrav, Chaudhary Guillaume, Wenzek Francisco Guzmán, Edouard Grave, Myle Ott, Luca Zettlemoyer, e Veselin Stoyanov, tutti con Facebook AI Ricerca.
XLM-R è progettato per essere in grado di eseguire traduzioni tra un centinaio di lingue diverse. Esso si basa su un lavoro che Conneau fatto all’inizio di quest’anno con Guillaume Lample a Facebook, la creazione iniziale di XLM. E ‘ più simile, scrivono, di un sistema presentato all’inizio di quest’anno da parte di Google di ricercatori che ha fatto il cross-linguale di formazione su 103 lingue.
Anche: Facebook open sources torre di Babele, i Klingon non supportato
Si tratta di un grande miglioramento rispetto a quelli precedenti sforzi su vari benchmark attività come risposta a domande tra le lingue. Si rende intrigante progresso, in particolare, di quelle che si chiamano “risorse limitate” lingue, quelli che non hanno un sacco di materiale testuale per loro, come lo Swahili e l’Urdu.
Ma XLM-R viene eseguito in vincoli di risorse, pur utilizzando un cinquecento di Nvidia più potente Gpu. Gli autori si riferiscono alla “maledizione del multilinguismo.” Come roba di più e di più lingue in un unico end-to-end di Trasformatore a bassa risorsa lingue beneficiare di essere nella minestra, ma a un certo punto, tutto ciò che colpisce il soffitto.
Questo perché mentre XLM-R è grande-ha 24 livelli e 16 “attenzione teste” e 550 milioni di parametri, ha ancora una capacità limitata. A un certo punto, è in grado di gestire tutto ciò che viene chiesto di fare.
“Modello capacità (cioè il numero di parametri del modello) è limitato a causa di considerazioni di carattere pratico, quali la memoria e la velocità durante l’allenamento e di inferenza,” gli autori scrivono.
Inoltre: più recente di Google linguaggio macchina mette in risalto indietro sulla lingua
XLM-R è stato chiesto di gestire un’enorme quantità di dati di training, di 2,5 miliardi di byte di dati raccolti dal web utilizzando il CommonCrawl programma. Non è nemmeno che XLM-R è la più grande rete là fuori. OpenAI del GPT2, introdotto all’inizio di quest’anno, è di 48 livelli e 1,5 miliardi di parametri nella sua versione più grande. Le reti sono sempre più grandi, come Facebook testa di PyTorch, Joe Spisak, ha detto a ZDNet all’inizio di quest’anno.
Facebook è “XLM-R” non è la più grande rete in termini di totale parametro di dimensione o il numero di strati, ma si distingue per dedicare un sacco di parametri per il “token”, cioè, il vocabolario che funziona fuori di, al di 250.000 totale gettoni.
Facebook AI
Ma XLM-R è in esecuzione contro alcuni limiti specifici, come ad esempio quanto è grande un vocabolario possono essere ospitati. Gli autori hanno costruito con più di 250.000 “gettoni”, come la linea di base, che è già più grande di GPT-2 50.000 gettoni, ma sanno XLM-R può ottenere di meglio se ha molte più token-il che significa un vocabolario più grandi.
Argomenti Correlati:
Big Data Analytics
La Trasformazione Digitale
CXO
Internet delle Cose
L’innovazione
Enterprise Software