Facebooks AI-team flytter al sin implementering af maskinlæringsmodel til PyTorch-rammen og standardiserer på rammerne for udvikling, sagde virksomheden onsdag under sin F8 årlige udviklerbegivenhed, der i år blev afholdt næsten.
“Vi er nu ved det punkt, hvor vi standardiserer alle vores arbejdsbelastninger på PyTorch,” sagde AI-teamets CTO, Mike Schroepfer, på en pressekonference.
I en slags kamp mellem forskerne versus devs skete beslutningen først, efter at Schroepfer og team kom til tanken på Facebook AI's leder af forskning, Yann LeCun, ifølge Schroepfer.
“Jeg havde denne knock-out, drag-out debat med Yann LeCun i lang tid,” forklarede Schroepfer.
“Måske er AI ligesom, jeg prototype det med en 3-D printer, og så når vi først har fundet ud af, hvad vi vil have, støber vi den i beton, og så har vi en helt separat værktøjskæde til produktion” af ydeevneårsager. LeCun havde på den anden side insisteret på, at et værktøj kunne fungere for både forskning og produktion.
Uenigheden vedrører historien om PyTorch, som blev introduceret af Facebook i 2016.
PyTorch er et bibliotek med maskinlæringsfunktioner, der er skrevet delvist i Python-programmeringssproget, men med en masse C ++. Det blev tilpasset fra en eksisterende ramme, Torch, som et alternativ til rammer som Theano, Caffe og Googles TensorFlow. Softwaren er i øjeblikket på en stabil version af 1.8.1.
Også: Facebook F8 Opdater: Alle de vigtigste meddelelser
PyTorchs primære værdi har traditionelt været brugeroplevelse, bemærkede Schroepfer, for let at opbygge og debugge. Det vandt det loyalitet fra forskere som LeCun, der hurtigt vil revidere neurale netværk, teste og revidere igen. Det var dog langsommere end mange programmeringsværktøjer, der blev bygget udtrykkeligt til den højeste ydeevne.
Facebook, på trods af sin værdi for forskning, havde således brugt en blanding af rammer til forskning og produktion, sagde Schroepfer, med Caffe 2, der var den næstmest udbredte i virksomheden. En række “domænespecifikke rammer” har også været i brug, sagde han.
Det viste sig, sagde Schroepfer, at selvom PyTorch ikke altid er det hurtigste bibliotek, “vil produktionsingeniører bruge al den nyeste forskning.” Flere og flere problemer blev løst af forskerne, først, forklarede han.
Store AI-modeller til talegenkendelse eller naturlig sprogbehandling er “typisk bygget oven på PyTorch”, bemærkede Schroepfer, ikke kun på Facebook, men hos andre virksomheder og i den akademiske verden. “Ofte har de GitHub-arkiver i PyTorch.”
Også: Høj energi: Facebooks AI-guru LeCun forestiller sig AIs næste grænse
I øjeblikket er 93% af Facebooks AI-modeller implementeret med PyTorch.
Pointen med at standardisere, ifølge Schroepfer, er at fremskynde Facebooks AI-udvikling og implementering på tværs af en række applikationer ved at kollapse i et bibliotek virksomhedens største indsats.
Ingeniører på Facebook “har nu lige ved hånden denne værktøjskasse med avancerede modeller, som jeg kan sætte i produktion meget hurtigere, fordi de er bygget på den samme værktøjskæde, som jeg bruger til at opbygge og sende websteder på et milliardbrugerskala, “sagde han.
” Det, du så, når du får denne form for konsolidering til et enkelt værktøj, er bare en massiv bøjning i muligheden for, at folk kan få deres job udført og få arbejde ud . ”
Tilføjet Schroepfer, “Da branchen yderligere standardiserer på værktøjer som dette, vil det bare yderligere accelerere vores evne til ikke bare at skrive forskningsopgaver om disse ting, men få disse værktøjer til verden for at hjælpe rigtige mennesker. ”
Under hætten måtte Schroepfer og teamet gøre ting for at hjælpe PyTorch.
For eksempel kører de et program kaldet TorchScript, der giver mulighed for optimering af runtime. “Lad mig skrive kode, som jeg vil, i Python, men hvis jeg mærker den korrekt, kan vi køre denne rigtig seje optimizer i baggrunden for at gøre den mere effektiv.”
“Vi lukkede langsomt hullet her,” sagde han om, at PyTorch blev forstærket.
“Jeg er overrasket over resultatet, at dette værktøj, der startede med brugervenlighed, eksperimentering og smidighed, fandt vej til produktion,” sagde Schroepfer.
“Yann havde ret, jeg tog fejl,” sagde han.
På spørgsmålet om Facebook AI ville miste fordelene ved mangfoldighed ved at standardisere, præciserede Schroepfer, at forskning stadig spiller med alle de nye ting, den ønsker.
“Vores forskerteam har stor frihed til at eksperimentere, og de eksperimenterer altid med nye teknologier, hvilket er, hvordan PyTorch i første omgang blev til,” sagde han.
Relaterede emner:
Udvikler Digital Transformation CXO Internet of Things Innovation Enterprise Software 