Facebook ‘ s privacy pivot lokt scepsis op F8
Marketing consultant en F8 deelnemer Gabe Bautista zegt dat iedereen vorderingen van de zorg over privacy, maar de duivel zit in de details.
Op de tweede dag van Facebook ‘ s “F8” conferentie in San Jose convention center, kondigde het bedrijf een herziene versie van haar PyTorch kader voor ontwikkeling, Versie 1.1, met een reeks van nieuwe functies, met inbegrip van, misschien wel het meest interessante, de mogelijkheid om split-up van de onderdelen van een neuraal netwerk over meerdere graphics processing unit of GPU in de opleiding van A. I. systemen.
In het geval je het nog niet had gehoord, neurale netwerken worden steeds groot, echt groot.
“Modellen houden steeds groter en groter, ze zijn heel erg groot, en erg duur om te trainen,” zei Joe Spisak, PyTorch product manager, in een interview met ZDNet. “Ze zijn meer dan het geheugen van een 16-gigabyte GPU in veel gevallen,” merkte hij op.
“Onze nieuwste modellen zijn meer dan 10 gigabyte,” Spisak zei van de neurale netwerken Facebook ontwikkelt intern “en parameter telt nadert en in sommige gevallen zelfs meer dan een miljard parameters.”
Ook op: Facebook ‘ s Mark Zuckerberg: “De toekomst is privé.”
Tal van voorbeelden kunnen gevonden worden, noten Spisak, in het gemeenschappelijk onderzoek. Bijvoorbeeld, een “grote” versie van de populaire BERT natuurlijke taal netwerk kan worden gevonden in implementaties met twintig vier lagen, met 1024 verborgen eenheden, 340 miljoen parameters, en 16 “koppen” dat het beheer van het netwerk in zijn ingangen.
“The sky is The limit”, aldus Spisak. “Deze modellen kunt krijgen zo groot als we toestaan dat ze ook.”
Aan het verwerken, PyTorch 1.1 voegt de mogelijkheid om te splitsen netwerken over Gpu ‘ s, bekend als “sharding” het model. Eerder, PyTorch toegestaan ontwikkelaars voor de splitsing van de opleiding van gegevens over de verschillende processors, bekend in de parallelle verwerking computing-wereld als “data parallellisme.” De splitsing van netwerken maakt het mogelijk om de “instructie parallellisme.” Vandaar dat netwerken nu kunt bereiken, wat bekend staat als “MIMD,” of “multiple instruction, multiple data.”
Ook op: Facebook ‘ s Zuckerberg predikt privacy, maar zijn delivery maakt het moeilijk om zelfs nadenken over geloven
“Traditioneel worden deze modellen zitten in een GPU, en je kunt omgaan met verschillende parallelle data, wat betekent dat u de scherf van uw gegevens, en u een kopie van de model over het systeem,” Spisak uitgelegd.
“Als je eenmaal aan deze grotere modellen, het model zelf worden sharded. U bepaald model van lagen, of een bepaalde sub-grafieken, op een knooppunt, en dan snijden uit een ander sub-grafiek op een ander stuk van berekenen.”
Na de sharding, een algoritme in PyTorch kan dat combineert tijdens de training.
Het probleem doet zich voor zowel bij het trainen van neurale netwerken, maar ook de gevolgtrekking, Spisak gezegd, maar het is minder ernstig in het geval van gevolgtrekking, omdat de Intel Cpu ‘ s, die domineren gevolgtrekking, in het data center, de neiging om ondersteuning voor veel meer geheugen, en zodat ze niet belast als veel van dat standpunt.
Moet lezen
Wat is AI? Alles wat je nodig hebt om knowWhat is diep leren? Alles wat je nodig hebt om knowWhat is van ‘machine learning’? Alles wat je nodig hebt om knowWhat is cloud computing? Alles wat je moet weten
‘De kern van het inzicht van dat papier — de één vond ik het meest interessant is, is dat het echt niet het aantal qubits die we hebben, zeg, 100 versus 110 qubits, maar wat onder die zeven mijlpalen, die de technische problemen hebben we opgelost?” Fernick zegt.
In de buurt van de top van de stapel van zeven mijlpalen, ver van het veld van de hedendaagse NISQ, zijn de quantum algoritmes die uiteindelijk zal rijden het gebruik van logische poorten van qubits.
Wetenschap is “nog erg in de kinderschoenen van quantum algoritmes,” merkt Fernick. “Het is heel naïef om te denken dat de quantum algoritmes die we nu hebben zijn we enthousiast over 20 jaren van nu.”
Deze nog onontdekte algoritmen zijn waarschijnlijk een betere plek om te zoeken naar een quantum A. I. krijgen.
Muzen Fernick, “Zou het niet meer interessant om te exploiteren die quantum fysische eigenschappen in een geheel nieuwe manier om algoritmen die heel anders zijn?”
Kunstmatige Intelligentie
LG om robots te ontwikkelen voor restaurants
Het schalen van Agile, de vaststelling van AI: Hoe Intel is het maken van een strategisch onderdeel van de business
Uber vs. Lyft: Hoe de rivalen aanpak cloud -, AI -, machine learning
Google trekt de stekker op AI ethiek groep slechts een paar weken na aanvang
Spel der Tronen: AI voorspelt, die leeft en sterft (CNET)
Hoe maak AI ethiek een van de prioriteiten van uw bedrijf (TechRepublic)
Verwante Onderwerpen:
Big Data Analytics
Digitale Transformatie
CXO
Het Internet van Dingen
Innovatie
Enterprise Software