Come la leggendaria torre di Babele, AI ricercatori per anni hanno cercato una rappresentazione matematica che sarebbe riassumere tutto in linguaggio naturale. Sono sempre più vicini
Martedì, Facebook ha annunciato che è open-sourcing “LASER”, un PyTorch strumento per “indipendente dalla Lingua Frase Rappresentazioni.”
Il codice sottende una splendida rapporto di ricerca di Facebook scatena in dicembre, intitolato “Massivamente Multilingue Frase Incorporamenti per Zero-Tiro Cross-lingua di Trasferimento e di Là.” Il lavoro ha mostrato come Facebook sono stati in grado di formare un unico modello di rete neurale per rappresentare la struttura di 93 lingue diverse in 34 diversi alfabeti.
Che la ricerca è stata in grado di sviluppare un unico “rappresentazione” un matematico trasformazione di frasi, in forma di vettori, che incapsula le analogie strutturali tra il 93 lingue. Che singolo matematica vettoriale modello comune per il 93 lingue è stato poi utilizzato per addestrare il computer per più attività in cui doveva corrispondere frasi tra coppie di lingue non aveva mai visto prima, come il russo, Swahili, un’impresa conosciuta nel settore come “zero-shot”, l’apprendimento delle lingue.
Anche: Cina AI scienziati insegnare una rete neurale di treno stesso
Il modello di rete neurale di encoder e decoder, utilizzando LSTM circuiti.
Facebook IA Ricerca
“Semanticamente simili frasi in diverse lingue sono la risultante di incorporamento spazio” è il modo tecnico per descrivere la rappresentazione.
Come spiega uno di loro, una grande motivazione per il lavoro è “la speranza che le lingue con risorse limitate beneficiare di formazione comune su molte lingue.”
Detto questo, ci sono comunque delle limitazioni qui: Klingon è stato esplicitamente escluso, per esempio. E Yiddish, pur essendo incluso per scopi di test in un passo supplementare, ha troppo pochi testi per ottenere risultati degni di nota con questi strumenti.
Con il codice, pubblicato su GitHub, si ottiene ciò che è chiamato un “encoder-decoder” rete neurale, costruito Lungo la Memoria a Breve Termine (LSTM) reti neurali, un cavallo di battaglia di parola e di elaborazione di testo.
Come gli autori, Michael Artetxe e Holger Schwenk, con Facebook AI Ricerca, dettagliate nel dicembre articolo (pubblicato su arXiv pre-server di stampa), hanno costruito su precedenti approcci che mirano a trovare una frase “embedding”, una rappresentazione della frase in vettoriale termini.
Una frase in una delle 93 “source” lingue è alimentato in un unico lotto, del LSTMs. Si volta la frase in un vettore di lunghezza fissa. Un corrispondente LSTM chiamato un decoder cerca di individuare la frase in inglese o spagnolo che corrisponde, in senso alla frase di origine. Attraverso la formazione di numerosi testi bilingue, come “OpenSubtitles2018”, una raccolta di sottotitoli di film in 57 lingue, l’encoder va di bene in meglio alla creazione di un’unica matematica incorporamento, o la rappresentazione, che aiuta il decoder trovare il giusto abbinamento inglese o spagnolo la frase.
Anche: MIT alza la posta a ottenere uno AI insegnare altro
Una volta che questa fase di formazione è completata, il decoder è buttato e l’encoder esiste come singolo incontaminata LSTM in quale lingua può essere versato, per essere uscita in un’altra lingua in una serie di test.
Per esempio, utilizzando un set di dati di bilingue frasi di supporto in inglese e in 14 lingue, sviluppato da Facebook nel 2017, chiamato “XNLI,” verifica se il sistema è in grado di confrontare le frasi attraverso le nuove coppie di lingue, come il francese, Cinese. Anche se non c’è stata nessuna formazione esplicito tra il francese e il Cinese, l’encoder universale è in grado di formare un classificatore neurale netto dire se la frase in francese comporta una determinata frase in Cinese, o smentita.
Il sistema LASER “mappe” lingue in comune “embedding.”
Facebook IA Ricerca
Al di là di queste e una varietà di altri test, Artetxe e Schwenk report che ho condita non solo Facebook precedenti sforzi, ma anche quelli di Google AI team, che in ottobre hanno riferito i loro risultati dei benchmark per un encoder chiamato “ROSA”.
(Un post sul blog che annuncia il rilascio del codice di ulteriori dettagli circa il lavoro.)
Artetxe e Schwenk di portare avanti la tradizione di encoder-decoder lavoro che dura ormai da anni. Alcuni di questi modelli sono stati ampiamente adottati per l’elaborazione del linguaggio, come Ilya Sutsekever “seq2seq” rete sviluppato nel 2014 a Google.
Anche: Google suggerisce tutti i software potrebbero usare un po ‘ di robot AI
E l’obiettivo generale di provare per un singolo comune rappresentanza di tutte le lingue, ha una ricca storia in questi ultimi anni. L’ethos di “deep learning” è che una rappresentazione di qualsiasi tipo di informazione è più ricco se ci sono “vincoli” applicata alla rappresentazione. La fabbricazione di una rete neurale ascensore 93 lingue è abbastanza grave vincolo.
Google Neurale Machine Translation” di sistema, introdotto nel 2016, è stato anche cercando di dimostrare una sorta di rappresentazione universale. I ricercatori che hanno costruito quel sistema ha scritto nel 2017 che il loro lavoro ha suggerito “la prova per un’interlingua”, una “rappresentazione condivisa” tra le lingue.
Ma Google ha utilizzato encoder-decoder per il comune di traduzione coppie, come l’inglese e il francese. Il LASER approccio, la creazione di un unico encoder per 93 lingue, si muove bene al di là di ciò che è stato fatto finora.
L’encoder è in grado di abbinare le frasi tra coppie di lingue per il quale è stato addestrato.
Facebook IA Ricerca
Deve leggere
‘IA è molto, molto stupido”, dice Google AI leader CNETBaidu crea Kunlun di silicio per AIUnificata di Google IA divisione di un chiaro segnale di AI futuri TechRepublic
Tenete a mente un paio limitazioni prima di scaricare il codice e ottenere iniziato. Uno è che solo alcuni dei 93 lingue hanno una formazione sufficiente e i dati di prova a rendere possibile una reale valutazioni, come il 14 lingue in XLNI benchmark. Gli autori hanno venire con un proprio corpus di 1.000 coppie di frasi per 29 lingue extra non inclusi nel 93. Essi comprendono Yiddish, la lingua Frisone dei paesi Bassi, il mongolo, e inglese Antico, ma i risultati sono a corto di altre lingue. Quindi, la scarsità di dati, in forma di testi scritti, è ancora una sfida per molte lingue.
L’altra cosa da tenere a mente è che il LASER non rimane la stessa rete neurale base di codice su GitHub oggi. In conclusione, per la loro carta, Artetxe e Schwenk scrivere che si prevede di sostituire l’encoder-decoder sistema che ho sviluppato con qualcosa chiamato un “Trasformatore” utilizzato da Google BERT.
“Inoltre,” scrivono, “vorremmo esplorare le possibili strategie per sfruttare monolingue i dati di allenamento, oltre a corpora paralleli, come l’utilizzo di pre-formati di word incorporamenti, backtranslation, o altre idee da incustoditi macchina di traduzione.”
Precedente e relativa copertura:
Che cosa è l’IA? Tutto quello che devi sapere
Un esecutivo a guida di intelligenza artificiale, machine learning e generale AI alle reti neurali.
Cos’è il deep learning? Tutto quello che devi sapere
Il lowdown su deep learning: da come si relaziona con il più ampio campo di machine learning a come iniziare con esso.
Che cosa è macchina di apprendimento? Tutto quello che devi sapere
Questa guida spiega in cosa consiste la macchina di apprendimento, di come esso è legato all’intelligenza artificiale, come funziona e perché è importante.
Che cos’è il cloud computing? Tutto quello che devi sapere su
Un’introduzione al cloud computing destra, dalle nozioni di base fino a IaaS e PaaS, ibrido, public e private cloud.
Argomenti Correlati:
Sviluppatore
La Trasformazione Digitale
CXO
Internet delle Cose
L’innovazione
Enterprise Software