Facebook ‘ s privacy pivot framkallar skepsis på F8
Marknadskonsult och F8 deltagare Gabe Bautista säger alla hävdar att de bryr sig om integritet, men djävulen finns i detaljerna.
På den andra dagen av Facebook ‘ s “F8-konferensen i San Jose convention center, företaget presenterade en uppdaterad version av sitt PyTorch utveckling, Version 1.1, med en rad nya funktioner, bland annat, kanske mest intressant, möjligheten att dela upp delar av ett neuralt nätverk som sträcker sig över flera graphics processing unit, eller GPU, i utbildning A. I. system.
Om du inte hade hört, neurala nätverk är att bli stor, riktigt stor.
“- Modeller att få större och större, de är riktigt, riktigt stora, och väldigt dyr att utbilda,” sa Joe Spisak, PyTorch produktchef, i en intervju med ZDNet. “De är som överstiger minnet av en 16 gb-GPU i många fall”, konstaterade han.
“Våra senaste modeller är som överstiger 10 gb,” Spisak sagt av neurala nätverk som Facebook utvecklar internt”, och parametern räknas närmar sig och i vissa fall även som överstiger en miljard parametrar.”
Också: Facebook Mark Zuckerberg: “framtiden är privat”
Massor av exempel finns, konstaterar Spisak, i den gemensamma forskningen. Till exempel, en “stora” versionen av den populära BERT naturligt språk nätet kan hittas i-implementeringar med tjugo fyra lager, med 1,024 dolda enheter, 340 miljoner parametrar, och 16 “cheferna” att hantera förflyttning av nätverk över sin insats.
“The sky’ s the limit”, enligt Spisak. “Dessa modeller kan bli så stor som vi tillåter dem också.”
För att hantera detta, PyTorch 1.1 ger möjlighet att dela nät över Grafikprocessorer, känd som “sharding” modellen. Tidigare, PyTorch tillåtna utvecklare att dela upp utbildningen data över processorer, känd i parallell bearbetning datorvärlden som “data parallellitet.” Delning av nätverk gör det möjligt att “instruktion för parallellism.” Därför, nätverk nu kan uppnå vad som kallas “MIMD,” eller “flera instruction, multiple data.”
Också: Facebook är Zuckerberg lär integritet, men hans leverans gör det svårt att ens fundera på att tro
“Traditionellt har dessa modeller sitta i en GPU, och du kan hantera distribuerade parallell data, vilket innebär, du skärva dina data, och du replikera modell över systemet,” Spisak förklaras.
“När du kommer till dessa större modeller, själva modellen måste vara sharded. Du sätter vissa modell-lager, eller vissa sub-grafer, på en nod, och sedan skära bort en annan sub-diagram på en annan bit beräkna.”
Efter sharding, en algoritm i PyTorch kan som kombinerar under utbildning.
Problemet finns både för träning av neurala nät, men också slutledning, Spisak sagt, men det är mindre allvarligt på de fall av slutledning eftersom Intels Processorer, som dominerar slutledning i datacenter, tenderar att stödja, mycket mer minne och så att de inte blir beskattade så mycket från den synvinkeln.
Måste läsa
Vad är AI? Allt du behöver för att vetavad är djupt lärande? Allt du behöver för att vetavad är lärande? Allt du behöver för att vetavad är cloud computing? Allt du behöver veta
“Den centrala insikten från att papper — den som jag fann mest intressanta-är att det är egentligen inte antalet qubits som vi har, säg, 100 jämfört med 110 qubits, utan snarare, vad bland de sju milstolparna, som tekniska problem har vi löst?” Fernick säger.
Nära toppen av stacken av sju milstolpar, långt från det område som idag är NISQ, är kvantalgoritmer som i slutändan kommer driva användningen av logiska grindar av qubits.
Vetenskap är “fortfarande mycket i barndomen, av quantum algoritmer, konstaterar Fernick. “Det är väldigt naivt att tro att kvantalgoritmer vi har nu är vad vi kommer att bli upphetsad om 20 år från nu.”
De som fortfarande oupptäckta algoritmer är nog ett bättre ställe att leta efter en quantum A. I. vinst.
Muserna Fernick, “Skulle det inte vara mer intressant att utnyttja dessa quantum fysikaliska egenskaper på ett helt nytt sätt att göra algoritmer som är mycket annorlunda?”
Artificiell Intelligens
LG att utveckla robotar för restauranger
Skalning Agile, anta AI: Hur Intel är att göra DET till en strategisk del av verksamheten
Über vs Lyft: Hur rivaler strategi moln, AI, maskininlärning
Google drar pluggen på AI etik grupp bara några veckor efter starten
Game of Thrones: AI förutspår vem som lever och dör (CNET)
Hur man gör AI etik med prioritet på ditt företag (TechRepublic)
Relaterade Ämnen:
Big Data Analytics
Digital Omvandling
CXO
Sakernas Internet
Innovation
Affärssystem