Tiernan Ray bidragende skribent
Tiernan Ray har dækket teknologi og forretning i 27 år.
Fuld bio den 29. januar 2022 | Emne: Kunstig intelligens
Kampen om at ændre computerindustrien, så maskiner bedre kan beregne kunstig intelligens-opgaver, især deep learning, fortsætter med at føde nye og interessante potentielle fremtidige stjerner.
Mandag debuterede Ceremorphic fra San Jose, Californien, formelt chip-indsatsen, der har været holdt i en stealth-tilstand i to år, og diskuterede en chip, som virksomheden hævder vil revolutionere effektiviteten af A.I. computer i form af strømforbrug.
“Det er kontraintuitivt i dag, men højere ydeevne er lavere effekt,” sagde Venkat Mattela, grundlægger og administrerende direktør for virksomheden, i et interview med ZDNet via Zoom.
Mattela mener, at adskillige patenter på lavenergidrift vil gøre det muligt for hans virksomheds chip at producere den samme nøjagtighed på signaturopgaver i maskinlæring med meget mindre computerindsats.
“Det, jeg prøver at gøre, er ikke kun at bygge en halvlederchip, men også matematikken og algoritmerne for at reducere arbejdsbyrden,” sagde han. “Hvis en arbejdsbyrde tager hundrede operationer, vil jeg bringe den ned til halvtreds operationer, og hvis halvtreds operationer koster mindre energi end hundrede, vil jeg sige, at mit er et system med højere ydeevne.”
“Jeg har en masse tålmodighed […] I don' t gøre trinvise ting,” siger grundlægger og administrerende direktør Venkat Mattela om hans tilgang til teknik og forretning. Han solgte sit sidste firma, Redpine Signals, til Silicon Labs i 2020 for 314 millioner dollars.
Ceremorphic, 2022
Mattela er på vej ind i et stærkt anfægtet marked, hvor startups som Cerebras Systems, Graphcore og SambaNova har modtaget enorme pengesummer, og hvor de trods alle deres præstationer stadig kæmper for at vælte industriens sværvægter, Nvidia.
Mattela er tilbøjelig til at se det lange udsyn. Hans sidste startup, Redpine Signals, blev bygget over en periode på fjorten år, startende i 2006. Dette firma blev solgt til chipproducenten Silicon Labs i marts 2020 for 314 millioner dollars for sin laveffekt Bluetooth- og WiFi-chipteknologi. (Chippen bliver nu brugt i det nyligt introducerede Garmin Fenix 7 smartwatch.)
Også: Meta siger, at den snart vil have verdens hurtigste AI-supercomputer
Lektionen af den sytten år lange indsats hos Redpine og nu hos Ceremorphic er dobbelt: “Jeg har en masse tålmodighed,” bemærkede han af sig selv med et grin. Og: “Jeg laver ikke trinvise ting.”
Mattela hævder, at når han påtager sig et problem inden for et område med chipdesign, er det på en sådan måde, at han kommer meningsfuldt foran den nyeste teknologi. Den trådløse Redpine-chipteknologi, som Silicon Labs købte, sagde han, gik op imod tilbud fra gigantiske virksomheder, Qualcomm og Broadcom inden for Bluetooth og WiFI.
“Jeg tog en stor udfordring, jeg gik imod dem, men kun med en metrisk, ultra-lav-energi trådløs, seksogtyve gange mindre energi end de bedste i branchen,” sagde Mattela.
Nu mener Mattela, at han har et tilsvarende vindende fokus på magt, sammen med tre andre kvaliteter, som han anser for både unikke på AI-chipmarkedet og essentielle for disciplinen: pålidelighed, kvantesikker sikkerhed og en evne til at fungere på flere markeder.
For at gøre alt det muligt holdt Mattela fast i mikroprocessoraktiverne, der var blevet udviklet hos Redpine, for at danne grundlaget for Ceremorphic, og beholdt atten medarbejdere fra denne indsats, som han har suppleret ved at ansætte yderligere 131 personer. Virksomheden har kontorer i både San Jose, det officielle hovedkvarter, og en skinnende ny kontorbygning i Hyderabad, Indien.
Også: Cerebras fortsætter med 'absolut dominans' af avanceret databehandling, hedder det, med verdens største chip to-dot-oh
Mattela har en spændende liste med 26 amerikanske patenter med sit navn på, og en lige så spændende liste med 14 amerikanske patentansøgninger fra de sidste par år.
Hvad Mattela kalder en “Hierarchical Learning Processor” eller HLP, består af et computerelement til maskinlæring, der kører ved 2-gigahertz; en brugerdefineret flydende komma-enhed ved samme clock-frekvens; en skræddersyet multi-threading arbejdsbelastning planlægning tilgang; og specialdesignede 16-sporede PCIe gen-6-kredsløb til at forbinde processoren med et systems værtsprocessor såsom en x86-chip.
Den sidste af disse, PCIe-delen, kunne næsten være sin egen virksomhed, hævder Mattela.
“Lige nu er det, der er i produktion, PCIe-4, den dominerende, og PCIe-5 startede lige sidste år,” forklarede MattelA. “Og hos os vil PCIe-6 være i produktion i 2024 – jeg ejer den teknologi.”
“Det er $12 millioner, hvis du skulle licensere det,” sagde han om PCIe-6. “Alene det er en vigtig ting at designe.” PCIe-forbindelsen vil give Mattela mulighed for yderligere at forfine energiforbruget i et samlet system, sagde han.
Ceremorphic, 2022
I hjertet af chippens fordel er analoge kredsløb, der hviler under digitale. Nogle virksomheder har brugt analoge kredsløb i vid udstrækning til AI-behandling, den mest kendte er startup Mythic, som i 2020 afslørede en chip, der kan multiplicere vektorer og matricer – hjertet af maskinlæring – ikke som digitale multiplikationer, men som kombinationer af kontinuerlig energibølge former i overensstemmelse med Ohms lov, hvad virksomheden kalder analog computing.
Ceremorphic HLP-chippen vil bruge analog computing mere selektivt end Mythic, fortalte Mattela til ZDNet.
“På det laveste niveau af hierarkiet” af chipfunktionalitet, “gør jeg analog beregning,” forklarede Mattela. “Men højere niveau laver jeg ikke analog, fordi jeg vil gøre programmeringsmodellen nem.”
Det betyder “treogtyve mønstre” til multiplikation-akkumulering i analog via HLP's mikroarkitektur. De analoge multiplikationer vil være en mere effektiv brug af spænding end digital, hævdede han.
“På et højere niveau ligner det en kombination af vektorbehandling og datastibehandling.”
De forskellige chipfunktioner vil bidrage til at muliggøre de fire kvaliteter, Mattela promoverer.
Også: 'Vi er den bedst finansierede AI-startup', siger SambaNova-medstifter Olukotun efter SoftBank, Intel infusion
Ud over strømeffektiv drift er der pålidelighed. AI-silicium har et pålidelighedsproblem i dag, hævdede Mattela.
Maskinlæringschips er blevet langt større end konventionelle mikroprocessorer. Nvidias “A100” GPU er allerede en ret heftig, efter klassiske standarder, 826 kvadratmillimeter. Men nye chips fra startups kan være meget større, såsom Cerebras' WSE-2-chip, der måler 45.225 kvadratmillimeter, næsten hele overfladen af en otte-tommer siliciumwafer.
“Når du har mere silicium, er der større mulighed for fejl, fordi der er alfapartikler, neutronbombardement,” bemærkede Mattela. “I de sidste to år siger folk allerede, at mine systemer fejler i datacentret.”
Mattela hævder, at en unik hardware-software-kombination vil gøre hans chip i stand til at “forudsige fejl og rette dem.”
“Plidelig performance computing engineering er vores vigtigste bidrag,” sagde han.
Den tredje kvalitet Mattela lægger vægt på, er sikkerhed, herunder beskyttelse mod fremtidige kvantesystemer, der kunne tænkes at bryde konventionel datasikkerhed.
Også: Graphcore bringer ny konkurrence til Nvidia i de seneste MLPerf AI-benchmarks
“Indtil videre er sikkerhedssystemer designet til at modvirke hacking af mennesker,” forklarer Mattela. “Men fremadrettet kan du ikke antage, at computerkraften vil være begrænset, og at det vil tage to dage at bryde det [et system], du må hellere antage måske to minutter!”
Den Ceremorphic chip har “kvante-resistent tilfældigt tal generation,” sagde Mattela, som “ikke kan brydes af en meget højtydende computer.” Rent praktisk, sagde Mattela, betyder det, at et sådant system vil tage måske en måned at bryde, hvilket giver en kunde tid til at ændre sikkerhedsnøglen for at forhindre angrebet.
Den fjerde egenskab er, hvad Mattela omtaler som skalering. Hvad Mattela mener med det, er at adressere flere markeder med én chip. Chippen vil være i stand til at fungere i deep learning, men også i automobilapplikationer, i robotteknologi, i biovidenskab og i en slags fremtidig Metaverse-applikation.
Den samme HLP vil tjene til både træning og inferens, de to aspekter af maskinlæring.
Skalering til flere markeder, hævdede Mattela, vil gøre hans chip mere relevant end konkurrenternes. Startups som Cerebras er imponerende, men ikke i sidste ende så relevante, hævder han.
“Det er meget fin ingeniørkunst, ja, og du kan altid gøre noget, som ingen andre kan gøre, men dit formål er ikke at gøre noget, som ingen gør,” sagde Mattela.
“Dit formål er at skabe et resultat, hvor alle tjener penge, og det har indflydelse, det har en vis værdi for markedet.”
Selvfølgelig sender Cerebras og de andre produkter, mens Mattela ikke engang har produceret prøver endnu.
For at gøre Ceremorphics design til en vinder, har Mattela, hvad der ser ud til at være et es i lommen: Taiwan Semis 5-nanometer chipproces, som er en af produktionsgigantens “avancerede teknologier”, en chipproces som ikke alle kunder får adgang til.
“Når jeg siger til folk, at jeg laver 5 nanometer, siger de, hvordan kunne du få 5 nanometer,” sagde Mattela med tydelig glæde. “Nogle af disse virksomheder med hundredvis af millioner i finansiering er ikke i 5-nm, de er i 7-nm.”
En grund er et tæt forhold, som Mattela dyrkede med TSM for år tilbage, da han var hos den analoge chipgigant Analog Devices. Endnu vigtigere, hans salg af Redpine til Silicon Labs øgede hans troværdighed. TSM, siger han, var nødt til at tro på, at han kunne se sit produkt igennem, for først da får TSM fuld betaling.
“Det tager mange, mange år,” sagde Mattela med henvisning til produktionsprocessen. “Jeg skal bruge 200 millioner dollars, jeg skal producere en chip, chippen skal virke, og hvis den virker, vil de [TSM] blive betalt på det tidspunkt.”
Mattelas team designede chippen som en prototype i begyndelsen i det, der kaldes en shuttle-run, en lille batch af chips, i den lidt mindre sofistikerede 7-nanometer-proces. Virksomheden vil i år udvide sine shuttle run batches til 5 nanometer.
Mens Ceremorphic forventer at levere første kundeprøver af sin chip næste år, vil fuldskalaproduktion i 5-nanometer sandsynligvis først finde sted i 2024, siger han. “Dette er meget aggressive datoer” for design i en førende proces som 5-nano, bemærkede Mattela på tidslinjen.
En gating-faktor er omkostninger. At gå fra shuttlekørsel til fuld brug af en wafer – det, der er kendt som helmaske – er forskellen mellem $2 millioner og over $10 millioner, påpeger han.
Til det skal Ceremorphic rejse yderligere kapital. Indtil videre er Ceremorphic selvfinansieret, hvor Mattela og venner og familie har samlet 50 millioner dollars i en serie A-runde, en ekstremt lille mængde finansiering i forhold til AI-chip-startups som SambaNova, der har modtaget milliarder i venturekapital.
Mattelas foretrukne vej til fremtidig finansiering, sagde han, er gennem partnerskaber, selvom en formel serie B-investeringsrunde også er en mulighed i 2023.
Den første instansiering af HLP vil være som et PCI-kort, der samler, hvad chippen skal bruge for at fungere i et computersystem. “Typiske system OEM'er er målet,” sagde han. Den vej til markedet, mener han, vil gøre hans maskine mere bredt tilgængelig.
“Enhver virksomhed har brug for en træningssupercomputer,” sagde han. “Jeg ønsker at levere den træningssupercomputer, der kan være overkommelig for enhver virksomhed.”
I modsætning til noget mastodont som Facebooks
Research SuperComputer til AI – 6.080 GPU'er og 175 petabyte flash-lagring – ville Ceremorphic PCI-bladet være beregnet til at gøre teknologien mere tilgængelig.
“Hvis jeg kan levere en tiendedel af en bygningsstørrelse computer i en kasse, er det det søde sted.”
Mens hans del endnu ikke er leveret, forudser Mattela allerede en hurtig shakeout på AI-chip-opstartsmarkedet. Udfordrerne som Graphcore har rejst en masse penge og tjent meget lidt, spekulerer han, kun en brøkdel af, hvad Nvidia tjener på en fjerdedel af AI.
“Der er fire til fem virksomheder i dag, de har tæt på fem milliarder i dag [i kapital rejst], det er mange penge,” sagde Mattela. Men “den største virksomhed tjener hvert kvartal to milliarder dollars,” med henvisning til Nvidias datacenterindtægter.
“Hvis du ikke engang tjener én procent af den største virksomhed, og du taber penge, er det ikke en forretning,” sagde Mattela.
Shake-out vil komme før snarere end senere, profeterer Mattela, på grund af sløseri. “På dagens varme marked gik de og fik penge, godt for dem, men uanset hvilke penge de fik, tror jeg ikke, de rigtig fandt ud af, hvordan de skulle bruge pengene, fordi det beløb, der bliver brugt, bare er unormalt,” sagde han.
Junioringeniører bliver betalt enorme summer ved AI-startups, fastholder han. “Hvis en frisker får 200.000 USD [i årsløn], er det ikke holdbart,” sagde han og brugte teknologibranchens jargon til den mest juniorstilling, “fordi fyren vil være produktiv efter to år, men til den tid pengene er allerede væk.”
Hardware | Digital transformation | CXO | Internet of Things | Innovation | Enterprise Software