Hur AI kommer att förvandla nästa våg av design och mjukvara och hårdvara
Machine learning, särskilt djupt lärande, tvingar fram en omvärdering av hur marker och system är konstruerade som kommer att ändra riktning i branschen i decennier framöver.
För en vecka sedan, Silicon Valley Cerebras Systems meddelade den största chip världen har någonsin sett, “wafer-skala motor” eller “WSE.” Chip är dedikerade till att lösa maskininlärning problem inom artificiell intelligens och kan leda till dramatiska förändringar i hur djupt lärande nätverk utformas.
Konkurrensen är säker på att följa, men det kommer att vara svårt för andra att motsvara det som Cerebras har åstadkommit.
Det är synen av en mycket erfaren riskkapitalist som bidrog till ungefär $200 miljoner i startkapital Cerebras har fått.
“Någon kommer att bita ihop och komma och tävla med en liknande teknik, säger Pierre Lamond, som är general partner med Eclipse Ventures i Palo Alto, Kalifornien, en kort resa från Cerebras s huvudkontor i Los Altos.
“Det kommer att ta tävlingen på minst två år till tre år att komma upp med en produkt som liknar vårt, säger Lamond i ett samtal med ZDNet via telefon.
Lamond har sett hela vidden av chip branschen, efter att ha kommit till OSS från Frankrike som en ung man i början av 1960-talet för att arbeta på Fairchild Semiconductor, föregångaren till Intel som sparkade igång den moderna halvledare verksamhet. Lamond var också en partner för 27 år på Sequoia Capital, företaget som startade venture capital-industrin i dalen.
Pierre Lamond har sett hela historien av marker i första hand. Med kollapsen av Moores Lag”, blev Det klart att om du tog en risk med att göra en väldigt stor enda stycke, och hitta ett sätt att få det att fungera som ett system, det kommer att bli några framsteg.”
Chris Schmauch
Cerebras produkt är inte bara imponerande, säger han, det är den riktning som branschen måste gå för att undvika stagnation av nuvarande chip utveckling.
“Moore’ s Lag är inte dåligt, men det är långsammare, konstaterar Lamond, med hänvisning till de utmaningar som har begränsade framsteg i att flytta marker till finare och finare funktioner. “Den stora frågan för en lång tid, och det är där Cerebras bröt marken, är OK, är vi begränsade till en två-av-tre, eller tre-av-fem centimeter chip, eller ska vi gå till något mycket större?
“Det blev tydligt att om du tog en risk med att göra en mycket, mycket stor enda stycke, och hitta ett sätt att få det att fungera som ett system, det kommer att bli några framsteg.”
Också: Cerebras VD berättar om den stora konsekvenser för lärande i bolagets stora chip
Därför gör wafer-skala delar är inte bara ett stort steg för chip-industrin, men det är också “kanske den sista steg” i utvecklingen av halvledare process technology, han muserna.
Nvidia grafik-chip tillverkare som Cerebras ständigt jämför sig själv, är “en mycket bra företag, säger Lamond, och gör “mycket bra produkter.”
“Men de är begränsade av den storlek som de arbetar med.”
Cerebras, grundades för tre och ett halvt år sedan, har löst många av de tekniska utmaningar på den tiden.
Lamond har sett första hand hur tidigare försök att skapa en enorm chip misslyckats. “Jag kan säga till dig att göra en fullständig wafer är inte lätt, säger Lamond.
Han påminner om att prata med Gene Amdahl, skaparen av IBM: s “System 360” stordator, som försökt och misslyckats på 1980-talet för att skapa en wafer-skala del med en start som kallas Trilogin. “Jag berättade för honom med den avkastning som på den tiden var det inte möjligt för denna sak för att arbeta”, minns Lamond. Flera saker har förändrats i branschen under de gångna decennierna som har gjort Cerebras strategi mer genomförbart.
Cerebras är “Wafer-Skala Motorn” tar upp nästan hela området för en 12-tums kiselskiva, vilket gör det 57 gånger storleken av Nvidia: s största graphics processing unit.
Cerebras System.
Börja med problemet hur man skapar ett enhetligt system som fungerar över en wafer 12 tum i diameter och som vanligtvis är tänkt att skära i flera delar för enskilda marker. “Hur wafer är organiserad, det finns 84 plattor eller tegel, som du kan ringa till dem, och om en av dem är dåligt, du behöver programvara för att isolera så att den inte påverkar prestanda för hela wafer,” förklarar Lamond.
Avkastningen, den mängd bra yta, som Cerebras partner, Taiwan Semiconductor Manufacturing, är att få fram det WSE, är “fantastisk”, säger Lamond. Endast ca 1% till 2% av wafer-området är oanvändbara i alla wafer köra, säger han. “Det är otroligt, jag har sagt TSMC jag är oerhört imponerad av vad de har lyckats göra med avkastning.”
Trots mycket god avkastning är inte är tillräckligt.
“Det normala idé du har, att om vi har en paus, vi kommer att isolera det med hjälp av en laser för att skära anslutningen till den andra tegel — du kunde inte göra det eftersom det skulle påverka mycket mer än bara enstaka tegel.” Det var “mycket tuff, mycket, mycket svårt att hitta ett sätt,” säger Lamond.
Ett problem tidigare var att det inte fanns tillräckligt med metall tråd för att koppla samman de olika delarna av rån, förklarar Lamond.
“Idag är det mycket lätt att ha flera skikt av metall,” konstaterar han. “Det finns minst ett dussin lager av metall i en Cerebras wafer, alla används för samtrafik.” Tillbaka när Trilogin som arbetar på problemet, “du kan inte göra det.”
Det finns andra innovationer i hårdvara utöver de grundläggande tillverkning genombrott, konstaterar Lamond. Cerebras utvecklat ett sätt att upptäcka, i hårdvara, noll-uppskattade inslagen i ett neuralt nätverk för att undvika computing dem. “Det var en mycket klok utveckling för att upptäcka nollor i hårdvara, så du behöver inte använda programvaran för att göra det”, säger han. “Det sparar cykler. Det var ett mycket smart utveckling utanför silicon utveckling.”
Också: AI är att förändra hela karaktären hos beräkna
Kyla chip och ansluta den till omvärlden är ytterligare utmaningar med en sådan stor del. Det är därför Cerebras är ett system som företag, inte ett chip företag, konstaterar Lamond. Cerebras är att bygga WSE till en komplett design och system för lärande, snarare än att sälja chips som Nvidia och Intel gör som “handlare” semiconductor leverantörer. “Att chip kommer aldrig vara till salu, säger Lamond av WSE.
Tänk värmen utmaningar av ett chip som löper på 15 kilowatt. “Det drar en enorm kraft, och du har för att kyla ned det på ett sätt som är mycket, mycket pålitlig, säger Lamond.”Du vill inte att temperaturen att gå upp till 125 grader, låt oss säga, hålla det mindre än 75 [grader celsius]. Och det är inte lätt i sig, eftersom du har en stor yta som du behöver för att hålla en konstant temperatur under hela driften av systemet.” Cerebras har utvecklat en omfattande nätverk av rör för att bära vatten för att effektivt kunna bevattna WSE.
Alla som insats förmåner från det faktum att AI har kommit av ålder som en computing problem. Chip industrin behövde en produkt som skulle kunna dra nytta av att ha en mycket stor mängd kisel åt det. “Det är tydligt att AI är ett bra val, säger Lamond. “Det är massivt parallella, med hundratusentals kärnor som har att arbeta parallellt, men från en logisk synvinkel, det är inte så komplicerat, det är bara lägger följt av multiplicerar följt av tillägger,” säger han, med hänvisning till vektor-matris-multiplikation som är i fokus för maskininlärning.
Lamond ser en lysande framtid framför sig som genererar enorma språng i prestanda med varje ny version av WSE och system som kör det.
Relaterade Ämnen:
Utvecklare
Digital Omvandling
CXO
Sakernas Internet
Innovation
Affärssystem