Facebooks AI-team flytter hele distribusjonen av maskinlæringsmodellen til PyTorch-rammeverket, og standardiserer rammene for utvikling, sa selskapet onsdag under sitt F8 årlige utviklerarrangement, som i år holdt nesten.
“Vi er nå på det punktet hvor vi standardiserer alle våre arbeidsmengder på PyTorch,” sa AI-teamets CTO, Mike Schroepfer, på en pressekonferanse.
I en slags kamp mellom forskerne versus devs skjedde avgjørelsen bare etter at Schroepfer og teamet kom til tankegangen til Facebook AIs forskningssjef, Yann LeCun, ifølge Schroepfer.
“Jeg hadde denne knock-out, drag-out debatten med Yann LeCun i lang tid,” forklarte Schroepfer.
“Kanskje AI er som, jeg prototyper den med en 3D-skriver, og når vi først har funnet ut hva vi vil, støper vi den i betong, og så har vi en helt egen verktøykjede for produksjon” av ytelsesgrunner. LeCun, derimot, hadde insistert på at ett verktøy kunne fungere for både forskning og produksjon.
Uenigheten knytter seg til historien til PyTorch, som ble introdusert av Facebook i 2016.
PyTorch er et bibliotek med maskinlæringsfunksjoner skrevet delvis på Python-programmeringsspråket, men med mye C ++. Den ble tilpasset fra et eksisterende rammeverk, Torch, som et alternativ til rammer som Theano, Caffe og Googles TensorFlow. Programvaren er for tiden på en stabil versjon av 1.8.1.
Også: Facebook F8 Oppdater: Alle viktige kunngjøringer
PyTorchs primære verdi har tradisjonelt vært brukeropplevelse, bemerket Schroepfer, for å enkelt bygge og feilsøke. Det vant lojalitet fra forskere som LeCun som raskt vil revidere nevrale nettverk, teste og revidere igjen. Det var imidlertid tregere enn mange programmeringsverktøy bygget eksplisitt for høyest ytelse.
Facebook, til tross for verdien for forskning, hadde således brukt en blanding av rammer for forskning og produksjon, sa Schroepfer, med Caffe 2 som den nest mest utbredte i virksomheten. En rekke “domenespesifikke rammer” har også vært i bruk, sa han.
Det viste seg, sa Schroepfer, at til tross for at PyTorch ikke alltid er det raskeste biblioteket, vil “produksjonsingeniører bruke all den nyeste forskningen.” Flere og flere problemer ble løst av forskerne, først, forklarte han.
Store AI-modeller for talegjenkjenning eller naturlig språkbehandling er “vanligvis bygget på toppen av PyTorch,” bemerket Schroepfer, ikke bare på Facebook, men i andre selskaper og i den akademiske verden. “Ofte har de GitHub-arkiver i PyTorch.”
Også: Høy energi: Facebooks AI-guru LeCun forestiller seg AIs neste grense
For tiden er 93% av Facebooks AI-modeller distribuert med PyTorch.
Poenget med å standardisere, ifølge Schroepfer, er å øke hastigheten på Facebooks AI-utvikling og distribusjon på tvers av en rekke applikasjoner ved å kollapse i et bibliotek selskapets store innsats.
Ingeniører på Facebook “har nå fingertuppene på denne verktøykassen med moderne modeller som jeg kan sette i produksjon mye raskere fordi de er bygget på den samme verktøykjeden som jeg bruker for å bygge og sende nettsteder på et milliardbruker-skala, “sa han.
” Det du så når du fikk denne typen konsolidering til et enkelt verktøy, er bare en massiv bøyning i muligheten for folk å få jobben gjort og få arbeid . ”
Lagt Schroepfer til, “Ettersom bransjen ytterligere standardiserer seg på verktøy som dette, vil det bare akselerere vår evne til ikke bare å skrive forskningsartikler om disse tingene, men få disse verktøyene til verden for å hjelpe ekte mennesker. ”
Under panseret måtte Schroepfer og teamet gjøre ting for å hjelpe PyTorch.
De kjører for eksempel et program som heter TorchScript som muliggjør optimalisering av kjøretid. “La meg skrive koden, men jeg vil, i Python, men hvis jeg merker den riktig, kan vi kjøre denne virkelig kule optimizer i bakgrunnen for å gjøre den mer effektiv.”
“Vi lukket sakte gapet her,” sa han om PyTorch som ble forsterket.
“Jeg er overrasket over resultatet, at dette verktøyet som startet med brukervennlighet, eksperimentering og smidighet, fant veien til produksjon,” sa Schroepfer.
“Yann hadde rett, jeg tok feil,” sa han.
På spørsmål om Facebook AI ville miste fordelene ved mangfold ved å standardisere, presiserte Schroepfer at forskning fremdeles får spille med alle de nye tingene de ønsker.
“Våre forskningsteam har stor frihet til å eksperimentere, og de eksperimenterer alltid med nye teknologier, slik PyTorch kom til i utgangspunktet,” sa han.
Relaterte emner:
Utvikler Digital Transformation CXO Internet of Things Innovation Enterprise Software 