Toekomst neurale netwerken worden verwacht uit te breiden
Facebook AI directeur Yann LeCun vertelt over hoe morgen neurale netwerken voor diep leren zal veel, veel groter dan die van vandaag.
DARPA wil breken van een netwerk snelheid knelpunt veroorzaakt door network interface cards (Nic ‘ s) die geen knip voor de ondersteuning van de vraag van morgen voor kunstmatige intelligentie.
Om haar doel te bereiken, het Ministerie van Defensie agentschap is de lancering van de Fast Network Interface Cards (FastNICs) programma.
De FastNIC is geen technologie, maar DARPA ‘ s FastNICs programma engineering is op zoek naar talent om te helpen bij het realiseren van haar ambitie om te stimuleren de prestaties van de netwerk stack op servers door 100 keer.
Als DARPA uitgelegd, netwerk performance heeft bijgehouden hetzelfde pad als rekenkracht te verklaren door de Wet van Moore.
Maar Nic ‘ s, de hardware die u sluit de computer aan op een Ethernet-netwerk, hebben geen gelijke tred gehouden en, met een paar andere factoren, zoals het geheugen en software ontwerp, toepassing doorvoer is te traag voor de toekomst van AI en distributed computing.
“De ware bottleneck voor de processor doorvoer is de netwerk interface gebruikt voor het aansluiten van een apparaat met een extern netwerk, zoals een Ethernet, daarom ernstig te beperken tot de processor de data binnenkrijgt vermogen,” zei Dr. Jonathan Smith, een program manager van DARPA ‘ s Informatie Innovation Office (I2O).
De doorvoersnelheid van het netwerk op de beste hardware van vandaag is ongeveer 10^14 bits per seconde (bps), of ongeveer 12 terabits per seconde. Data wordt verwerkt in het totaal op ongeveer 10^14 bps, volgens Smith.
Het belangrijkste probleem is dat het huidige netwerk stapels zijn veel trager, staat het leveren van ongeveer 10^10 is 10^11bps toepassing opleveringen, die in lage gigabit-per-seconde kan bereiken.
DARPA wil oplossen van een bepaalde uitdaging in distributed computing, omdat het sterk afhankelijk is van de communicatie tussen computing nodes. Het ontbreken van significant sneller Nic ‘ s is ook steeds een uitdaging voor AI in diepe neurale netwerk training en beeld, indeling.
Maar wat DARPA wil van FastNICs is geen kleine taak en vereist een herziening van de gehele netwerk-stack.
“Specifiek uitgesloten is onderzoek dat in de eerste plaats de resultaten in de evolutionaire verbeteringen aan de bestaande toestand van de praktijk,” DARPA opmerkingen in het aanbestedingsdocument.
Onder FastNICs, DARPA zal selecteer een uitdaging applicatie en het geven van hardware en software ondersteuning. De ontwikkeling van hardware kant van het project zal vereisen onderzoekers aan te tonen 10tbps netwerk interface hardware met behulp van bestaande of weg-toegewezen technologie. En de hardware eisen te kunnen verbinden met servers met behulp van standaard interfaces.
“Er is een stuk van de kosten en de complexiteit van het betrokken bij de opbouw van een netwerk-stack – van het maximaliseren van de verbindingen tussen hardware en software voor het herwerken van de applicatie-interfaces,” aldus Smith.
“Sterke commerciële prikkels gericht op voorzichtige incrementele technologische vooruitgang op meerdere, onafhankelijk van de markt silo’ s hebben raadde iemand van het aanpakken van de stapel als een geheel,” voegde hij eraan toe.
DARPA is de belangrijkste gebieden van belang zijn verdeeld machine learning en sensoren voor dingen zoals uav ‘s en zelf-rijdende auto’ s. Sneller netwerk interfaces zou helpen alle kernen in een cluster van computers blijven werken aan één doel als ze dat doen, maar dan sneller.
“Recent onderzoek heeft aangetoond dat door het versnellen van de steun van het netwerk, de hele verdeeld machine-learning systeem kan werken sneller,” aldus Smith.
“Met machine learning, de methoden meestal gebruikt betrekken bij het verplaatsen van gegevens rond, die zorgt voor vertragingen. Echter, als u kunt u gegevens sneller tussen machines met een succesvolle FastNICs resultaat dan moet je in staat zijn om te verkleinen de kloof in de performance.”
DARPA, schat de huidige netwerk-interface kaarten zijn het creëren van een netwerk snelheid knelpunt.
Afbeelding: DARPA
Aanbevolen
Amazon ‘ s nieuwe apparaten: hoeveel ze kosten en wanneer kan je ze kopen
Google wint “recht te worden vergeten” geval in Europa
Microsoft: We willen dat je om te leren programmeertaal Python gratis
Beste Peloton alternatieven: Top smart hometrainers
Super Gepompt: Mike Isaac op de evolutie en de strijd van de Uber (ZDNet YouTube)
Verwante Onderwerpen:
Datacenters
Cloud
Het Internet van Dingen
Veiligheid