Hvordan AI vil forvandle den næste bølge af it-software og hardware
Machine learning, især dyb læring, er at tvinge en re-evaluering af, hvordan chips og systemer er designet, der vil ændre retningen af industrien i de kommende årtier.
For en uge siden, Silicon Valley Cerebras Systems meddelte den største chip, verden nogensinde har set, “wafer-skala motor” eller “WSE.” Chippen er dedikerede til at løse machine learning problemer i kunstig intelligens og kan føre til dramatiske ændringer i den måde, dyb læring netværk er udtænkt.
Konkurrencen er sikker på at følge, selvom det vil være svært for andre at lige hvad Cerebras har udført.
Der er udsigt til en meget krydret venture kapitalist, der har bidraget til omkring $200 millioner i start kapital Cerebras har modtaget.
“Nogen vil bide i det sure æble og komme og konkurrere med en lignende teknologi,” siger Pierre Lamond, som er en general partner med Eclipse Ventures i Palo Alto, Californien, kun en kort tur fra Cerebras ‘ s hovedkvarter i Los Altos.
“Det vil tage konkurrencen mindst to år til tre år at komme op med et produkt, der ligner vores,” siger Lamond i en samtale med ZDNet af telefonen.
Lamond har set hele feje af chip-industrien, der kommer til USA fra Frankrig som en ung mand i begyndelsen af 1960’erne at arbejde på Fairchild Semiconductor, forløberen til Intel, der sparkede den moderne halvleder virksomhed. Lamond var også en partner for 27 år på Sequoia Capital, den virksomhed, der startede venture kapital industrien i dalen.
Pierre Lamond har set den hele historie af chips på første hånd. Med sammenbruddet af Moore ‘s Lov”, blev Det klart, at medmindre du har taget en risiko for at gøre en meget meget stor enkelt stykke, og finde en måde at gøre det arbejde som et system, vil der ikke være nogen fremskridt.”
Chris Schmauch
Cerebras produkt er ikke blot imponerende, siger han, det er den retning, branchen skal gå for at undgå stagnation af den nuværende chip udvikling.
“Moore’ s Lov er ikke dårligt, men det er langsommere,” bemærker Lamond, med henvisning til de udfordringer, der har begrænsede fremskridt i at flytte chips til finere og finere funktioner. “Det store spørgsmål for en lang tid, og det er her, Cerebras brød jorden, er, OK, vi er begrænset til en to-af-tre-af-fem centimeter chip, eller skal vi gå til noget meget større?
“Det blev klart, at medmindre du har taget en risiko for at gøre en meget, meget stor enkelt stykke, og finde en måde at gøre det arbejde som et system, vil der ikke være nogen fremskridt.”
Også: Cerebras CEO taler om de store konsekvenser for machine learning i selskabets store chip
Dermed gør wafer-skala dele er ikke kun et stort skridt for chip-industrien, men det er også “måske det sidste skridt” i udviklingen af halvleder-teknologi, han muserne.
Nvidia, grafik chip maker, som Cerebras konstant sammenligner sig selv, er “et meget godt selskab,” siger Lamond, og er “meget godt udstyr.”
“Men de er begrænset af den størrelse, de arbejder med.”
Cerebras, grundlagt tre og et halvt år siden, har løst en lang række tekniske udfordringer i denne tid.
Lamond har oplevet på første hånd, hvordan forudgående indsats for at skabe en enorm chip mislykkedes. “Jeg kan fortælle dig, at gøre en fuld plade er ikke let,” siger Lamond.
Han minder om, at tale med Gen Amdahl, skaberen af IBM ‘ s “System 360” mainframe, som har prøvet og fejlet i 1980’erne at skabe en wafer-skala del med en start kaldet Trilogi. “Jeg fortalte ham, med udbytter på det tidspunkt, var det ikke muligt for dette ting, til at arbejde,” erindrer Lamond. Flere ting har ændret sig i branchen i de mellemliggende årtier, der har gjort Cerebras tilgang mere realistisk.
Cerebras ‘ s “Wafer-Skala Motor” tager op næsten alle området af en 12-tommer silicium wafer, hvilket gør det 57 gange størrelsen af Nvidia ‘ s største graphics processing unit.
Cerebras Systemer.
Start med problemet om, hvordan man skaber et sammenhængende system, der fungerer på tværs af en plade 12 tommer i diameter, der er normalt beregnet til at blive skåret i flere dele for individuelle chips. “Den måde, wafer er organiseret, der er 84 klinker eller mursten, som du kan ringe til dem, og hvis en af dem er dårlig, skal du have software til at isolere det, så det påvirker ikke udførelsen af hele wafer,” forklarer Lamond.
Udbytte, mængden af god areal, der Cerebras ‘ s partner, Taiwan Semiconductor Manufacturing, er at komme i produktion WSE, er “fantastiske”, siger Lamond. Kun omkring 1% til 2% af wafer-området er ubrugeligt i enhver wafer køre, siger han. “Det er utroligt, jeg har fortalt TSMC jeg er meget imponeret over, hvad de har formået at gøre med udbyttet.”
Ikke desto mindre, meget gode udbytter er ikke nok.
“Den normale idé, du har, at hvis vi har en pause, vi vil isolere den ved hjælp af en laser til at skære forbindelsen til de andre mursten — du kunne ikke gøre det, fordi det ville påvirke en masse mere end bare en enkelt mursten.” Det var “meget hårde, meget, meget svært at finde en måde,” siger Lamond.
Et problem i fortiden, var, at der ikke var nok metal ledninger til at forbinde de forskellige dele af wafer, forklarer Lamond.
“I dag er det meget let at have flere lag af metal,” bemærker han. “Der er mindst et dusin lag af metal i en Cerebras wafer, der alle anvendes til sammenkobling.” Tilbage, når Trilogien, der arbejder på problemet, “du kunne ikke gøre det.”
Der er også andre nyskabelser i hardware-ud over den grundlæggende fremstilling gennembrud, noter Lamond. Cerebras udviklet en måde til at afsløre, hardware, nul-værdisatte elementer i et neuralt netværk for at undgå computing dem. “Det var en meget dreven udvikling til at opdage nuller i hardware, så behøver du ikke bruge softwaren til at gøre det,” siger han. “Det sparer cykler. Det var en meget klog udvikling uden for silicon udvikling.”
Også: AI er en ændring af hele naturen af compute
Køling chip og forbinder det til omverdenen er yderligere udfordringer med sådan en stor del. Det er derfor, Cerebras systemer er en virksomhed, ikke en chip selskab, noter Lamond. Cerebras er ved at bygge WSE til et komplet edb-system, for machine learning, snarere end at sælge chips som Nvidia og Intel gør som “købmand” halvleder leverandører. “At chip aldrig kommer til at være til salg,” siger Lamond af WSE.
Overveje varmen udfordringer af en chip, der kører på 15 kw. “Det forbruger en enorm magt, og du er nødt til at køle det på en måde, der er meget, meget pålidelig,” siger Lamond.”Du ønsker ikke temperaturen til at gå op til 125 grader celsius, lad os sige, så hold det for mindre end 75 [grader]. Og det er ikke let i sig selv, fordi du har en stor overflade, som du er nødt til at holde ved en konstant temperatur under hele driften af systemet.” Cerebras har udviklet et omfattende netværk af rør til at bære vand til effektivt at overrisle WSE.
Alle af denne indsats ydelser fra det faktum, at AI er kommet af alder som et design problem. Chip-industrien havde brug for et produkt, der kunne drage fordel af at have en meget stor mængde af silicium, der afsættes til det. “Det er klart, AI er et godt valg,” siger Lamond. “Det er massivt parallelle, med hundredvis af tusindvis af kerner, der er nødt til at arbejde parallelt, men fra et logisk synspunkt, det er ikke så kompliceret-det er bare tilføjer efterfulgt af ganger efterfulgt af tilføjer,” siger han med henvisning til den vektor-matrix multiplikationer, der er i fokus i machine learning.
Lamond ser en strålende fremtid foran generere et enormt spring i ydelse med hver ny version af WSE og det system, der kører det.
Relaterede Emner:
Udvikler
Digital Transformation
CXO
Tingenes Internet
Innovation
Virksomhedens Software