Hoe AI zal transformeren de volgende golf van computer software en hardware
Machine learning, vooral diep leren, is het forceren van een re-evaluatie van hoe chips en systemen zijn ontworpen dat zal de richting van de industrie voor de komende decennia.
Een week geleden, Silicon Valley Cerebras Systems kondigde de grootste chip die de wereld ooit heeft gezien, de “wafer-scale-motor” of “WSE.” De chip is gewijd aan het oplossen van machine learning problemen in de kunstmatige intelligentie en kan leiden tot dramatische veranderingen in de manier diep leren netwerken worden ontwikkeld.
Concurrentie is het zeker volgen, maar het zal moeilijk worden voor de anderen gelijk wat Cerebras heeft bereikt.
Dat is de mening van een zeer ervaren venture capitalist die hebben bijgedragen aan de ongeveer 200 miljoen dollar in het opstarten van kapitaal Cerebras heeft ontvangen.
“Iemand zal bijten de kogel en kom concurreren met een soortgelijke technologie,” zegt Pierre Lamond, die een algemene partner met Eclipse Ventures van Palo Alto, Californië, is een korte reis van Cerebras hoofdkantoor in Los Altos.
“Het zal de concurrentie ten minste twee jaar tot drie jaar te komen met een product dat lijkt op de onze,” zegt Lamond in een gesprek met ZDNet door de telefoon.
Lamond heeft gezien de hele vegen van de chip-industrie, aan de VS van Frankrijk als een jonge man in het begin van de jaren 1960 aan het werk bij Fairchild Semiconductor, de voorloper van Intel die de aftrap voor de moderne semiconductor business. Lamond was ook een partner voor 27 jaar in Sequoia Capital, het bedrijf dat begon met de venture capital industrie in de vallei.
Pierre Lamond heeft gezien de hele geschiedenis van de chips uit de eerste hand. Met de ineenstorting van de Wet van Moore, “Het werd duidelijk dat, tenzij u er een risico dat er een heel erg groot stuk, en een manier vinden om het te laten werken als een systeem, zal er geen vooruitgang zijn.”
Chris Schmauch
Cerebras het product is niet alleen indrukwekkend, zegt hij, het is de richting van de industrie moet gaan om te voorkomen dat de stagnatie van de huidige chip ontwikkeling.
“Moore’ s Law is niet slecht, maar het is te vertragen”, zegt Lamond, verwijzend naar de uitdagingen die slechts in beperkte vooruitgang in de fiches te fijner en fijner functies. “De grote vraag voor een lange tijd, en dit is waar Cerebras brak de grond is, OK, zijn we beperkt tot een twee-bij-drie, of drie bij vijf centimeter chip, of gaan we naar iets groters?
“Het werd duidelijk dat, tenzij u er een risico dat er een heel erg groot stuk, en een manier vinden om het te laten werken als een systeem, zal er geen vooruitgang zijn.”
Ook: Cerebras CEO vertelt over de grote gevolgen voor de machine-leren in bedrijf grote chip
Vandaar dat het maken van wafer-scale onderdelen is niet alleen een grote stap voor de chip-industrie, maar het is ook “misschien is de laatste stap in de evolutie van de halfgeleider technologie, mijmert hij.
Nvidia, de grafische chip maker van die Cerebras vergelijkt continu zelf, is “een zeer goed bedrijf,” zegt Lamond, en is het maken van “zeer goede apparatuur.”
“Maar ze zijn beperkt door de grootte ze met werken.”
Cerebras, opgericht op drie en een half jaar geleden, heeft opgelost tal van technische uitdagingen in die tijd.
Lamond heeft gezien uit de eerste hand hoe het voorafgaande inspanningen om een enorme chip is mislukt. “Ik kan u vertellen dat het maken van een volledige wafer is niet gemakkelijk,” zegt Lamond.
Hij herinnert zich een gesprek met Gen Amdahl, de schepper van de IBM-Systeem “360” mainframe, die het geprobeerd en faalden in de jaren 1980 tot het maken van een wafer-scale deel met een startup genaamd Trilogie. “Ik vertelde hem met de rendementen op de tijd, het was niet mogelijk om deze zaak te werken,” vertelt Lamond. Een aantal dingen veranderd in de industrie in de afgelopen decennia hebben gemaakt Cerebras de aanpak van meer haalbaar.
Cerebras de “Wafer-Scale Motor” neemt bijna het hele gebied van een 12-inch silicium wafer, waardoor het 57 maal de grootte van Nvidia ‘ s grootste graphics processing unit.
Cerebras Systemen.
Start met het probleem van hoe men zorgt voor een coherent systeem te functioneren in een wafer 12 centimeter in diameter, dat is meestal bedoeld om te worden gesneden in meerdere delen voor individuele chips. “De manier waarop de wafer wordt georganiseerd, zijn er 84 tegels of stenen, zoals je zou kunnen noemen, en als een van hen is slecht, je nodig hebt om software te isoleren zodat het geen invloed heeft op de prestaties van de hele wafer”, legt Lamond.
De opbrengst van de goede hoeveelheid oppervlakte die Cerebras partner, Taiwan Semiconductor Manufacturing, is in het produceren van de WSE, is “fantastisch,” zegt Lamond. Slechts ongeveer 1% tot 2% van de wafer gebied is onbruikbaar in een wafer uitvoeren, zegt hij. “Het is ongelooflijk, ik heb verteld TSMC ik ben zeer onder de indruk van wat ze hebben weten te doen met de opbrengst.”
Toch een zeer goede opbrengst zijn niet genoeg.
“De normale idee dat je hebt, dat als we een pauze, we zullen het isoleren met behulp van een laser te snijden de verbinding met de andere stenen — je zou dat niet doen, omdat dat van invloed zou zijn op veel meer dan alleen het enkele steen.” Het was, het “zeer moeilijk, zeer moeilijk om een weg te vinden,” zegt Lamond.
Een probleem in het verleden was dat er niet genoeg metalen draden te koppelen aan de verschillende secties van de wafer, legt Lamond.
“Vandaag de dag is het heel eenvoudig om meerdere lagen van metaal,” constateert hij. “Er zijn minstens een dozijn lagen van metaal in een Cerebras wafer, alle gebruikt voor interconnectie.” Terug als Trilogie was het werken aan het probleem, “je zou het niet doen.”
Er zijn andere innovaties in de hardware boven de basis-fabricage doorbraak, notities Lamond. Cerebras ontwikkelde een manier om te detecteren, in hardware, nul-gewaardeerde elementen in een neuraal netwerk te voorkomen computing hen. “Het was een zeer scherpzinnige ontwikkeling om te ontdekken de nullen in de hardware, zodat je geen gebruik maken van software om het te doen,” zegt hij. “Het bespaart cycli. Dat was een heel slim ontwikkeling buiten de silicon ontwikkeling.”
Ook: AI is het veranderen van de hele natuur van berekenen
De koeling van de chip en het te verbinden met de buitenwereld zijn extra uitdagingen met zo ‘ n grote rol. Dat is de reden waarom Cerebras systemen is een bedrijf, geen chip, bedrijf, notities Lamond. Cerebras is de bouw van het WSE in een compleet systeem voor machine learning, eerder dan het verkopen van chips als Nvidia en Intel doen als “koopman” semiconductor leveranciers. “Die chip is nooit zal worden voor de verkoop,” zegt Lamond van de WSE.
Overweeg de warmte uitdagingen van een chip die draait op 15 kilowatt. “Het verbruikt een enorme hoeveelheid macht, en je hebt om het te koelen op een manier die zeer, zeer betrouwbare,” zegt Lamond.”U niet wilt dat de temperatuur te gaan tot 125 graden celsius, laten we zeggen, houden minder dan 75 [graden]. En dat is niet gemakkelijk, want je hebt een grote oppervlakte die je nodig hebt om op een constante temperatuur tijdens de gehele werking van het systeem.” Cerebras heeft een uitgebreid netwerk van buizen om het water effectief voor het irrigeren van de WSE.
Al die moeite voordelen van het feit dat de AI is gekomen van leeftijd als een computer probleem. De chip-industrie had behoefte aan een product dat zou kunnen profiteren van het hebben van een zeer grote hoeveelheid silicium aan gewijd. “Het is duidelijk, de AI is een goede keuze,” zegt Lamond. “Het is een massively parallel, met honderden duizenden kernen hebben om parallel te werken, maar vanuit een logisch standpunt, het is niet zo ingewikkeld — het is gewoon voegt gevolgd door vermenigvuldigt, gevolgd door het voegt toe,” zegt hij, verwijzend naar de vector-matrix vermenigvuldigen, dat zijn de focus van machine learning.
Lamond ziet een briljante toekomst voor het genereren van enorme sprongen in de prestaties met elke nieuwe versie van de WSE en het systeem dat draait het.
Verwante Onderwerpen:
Ontwikkelaar
Digitale Transformatie
CXO
Het Internet van Dingen
Innovatie
Enterprise Software