Il team di intelligenza artificiale di Facebook sta spostando tutta la distribuzione del suo modello di apprendimento automatico nel framework PyTorch e sta standardizzando il framework per lo sviluppo, ha affermato mercoledì la società, durante il suo evento annuale per sviluppatori F8, che quest'anno si è tenuto virtualmente.
“Siamo ora al punto in cui stiamo standardizzando tutti i nostri carichi di lavoro su PyTorch”, ha affermato il CTO del team di intelligenza artificiale, Mike Schroepfer, in una conferenza stampa.
In una sorta di battaglia tra ricercatori e sviluppatori, la decisione è avvenuta solo dopo che Schroepfer e il team hanno preso in considerazione il pensiero del capo della ricerca di Facebook AI, Yann LeCun, secondo Schroepfer.
“Ho avuto questo dibattito a eliminazione diretta con Yann LeCun per molto tempo”, ha spiegato Schroepfer.
“Forse l'intelligenza artificiale è tipo, lo prototipiamo con una stampante 3D e poi, una volta capito cosa vogliamo, lo gettiamo nel cemento, e quindi abbiamo una catena di strumenti completamente separata per la produzione” per motivi di prestazioni. LeCun, d'altra parte, aveva insistito sul fatto che uno strumento potesse funzionare sia per la ricerca che per la produzione.
Il disaccordo si riferisce alla storia di PyTorch, introdotta da Facebook nel 2016.
PyTorch è una libreria di funzioni di apprendimento automatico scritte in parte nel linguaggio di programmazione Python, ma con molto C++. È stato adattato da un framework esistente, Torch, come alternativa a framework come Theano, Caffe e TensorFlow di Google. Il software è attualmente su una build stabile di 1.8.1.
Anche: Facebook F8 Refresh: tutti gli annunci chiave
Il valore principale di PyTorch è stato tradizionalmente l'esperienza dell'utente, ha osservato Schroepfer, per creare facilmente ed eseguire il debug. Ciò gli è valso la fedeltà di ricercatori come LeCun che vogliono rivedere rapidamente le reti neurali, testare e rivedere di nuovo. Era più lento, tuttavia, di molti strumenti di programmazione costruiti appositamente per le massime prestazioni.
Quindi, nonostante il suo valore per la ricerca, Facebook ha utilizzato un mix di framework per la ricerca e la produzione, ha affermato Schroepfer, con Caffe 2 che è stato il secondo più utilizzato all'interno dell'azienda. È stata anche utilizzata una varietà di “framework specifici per dominio”, ha affermato.
Si è scoperto, ha detto Schroepfer, che nonostante PyTorch non sia sempre la libreria più veloce, “gli ingegneri di produzione vogliono utilizzare tutte le ultime ricerche”. Sempre più problemi venivano risolti dai ricercatori, in primo luogo, ha spiegato.
I grandi modelli di intelligenza artificiale per il riconoscimento vocale o l'elaborazione del linguaggio naturale sono “tipicamente basati su PyTorch”, ha osservato Schroepfer, non solo in Facebook ma in altre aziende e nel mondo accademico. “Spesso hanno repository GitHub in PyTorch.”
Anche: Alta energia: il guru dell'IA di Facebook LeCun immagina la prossima frontiera dell'IA
Attualmente, il 93% dei modelli AI di Facebook è distribuito con PyTorch.
Il punto della standardizzazione, secondo Schroepfer, è accelerare lo sviluppo e l'implementazione dell'IA di Facebook in una varietà di applicazioni, raggruppando in un'unica libreria il grosso dello sforzo dell'azienda.
Gli ingegneri di Facebook “ora hanno a portata di mano questa cassetta degli attrezzi di modelli all'avanguardia che posso mettere in produzione molto più rapidamente perché sono costruiti sulla stessa catena di strumenti che utilizzo per costruire e spedire siti Web in un miliardi di utenti”, ha detto.
“Quello che hai visto quando ottieni questo tipo di consolidamento in un unico strumento è solo un'enorme inflessione nella capacità delle persone di svolgere il proprio lavoro e lavorare .”
Aggiunto Schroepfer, “Man mano che l'industria si standardizzerà ulteriormente su strumenti come questo, accelererà ulteriormente la nostra capacità non solo di scrivere documenti di ricerca su queste cose, ma di portare questi strumenti nel mondo per aiutare le persone reali. ”
Sotto il cofano, Schroepfer e il team hanno dovuto fare cose per aiutare PyTorch.
Ad esempio, eseguono un programma chiamato TorchScript che consente l'ottimizzazione del runtime. “Fammi scrivere il codice come voglio in Python, ma se lo etichettiamo correttamente, possiamo eseguire questo fantastico ottimizzatore in background per renderlo più efficiente.”
“Abbiamo lentamente colmato il divario qui”, ha detto a proposito dell'amplificazione di PyTorch.
“Sono sorpreso dal risultato, che questo strumento, iniziato con facilità d'uso, sperimentazione e agilità, sia entrato in produzione”, ha affermato Schroepfer.
“Yann aveva ragione, io avevo torto”, ha detto.
Alla domanda se l'intelligenza artificiale di Facebook perderebbe i vantaggi della diversità standardizzandosi, Schroepfer ha chiarito che la ricerca può ancora giocare con tutte le novità che desidera.
“I nostri team di ricerca hanno molta libertà di sperimentare e sperimentano sempre nuove tecnologie, ed è così che è nato PyTorch”, ha affermato.
Argomenti correlati:
Developer Digital Transformation CXO Internet of Things Innovation Enterprise Software 