Tiernan Ray bidragande skribent
Tiernan Ray har täckt teknik och affärer i 27 år.
Fullständig bio den 29 januari 2022 | Ämne: Artificiell intelligens
Kampen för att förändra datorindustrin så att maskiner bättre kan beräkna artificiell intelligensuppgifter, särskilt djupinlärning, fortsätter att föda nya och intressanta potentiella framtida stjärnor.
I måndags debuterade Ceremorphic i San Jose, Kalifornien, formellt chipinsatser som har hållits i ett smygläge i två år, och diskuterade ett chip som företaget hävdar kommer att revolutionera effektiviteten hos A.I. beräkning i termer av strömförbrukning.
“Det är kontraintuitivt idag, men högre prestanda är lägre effekt, sa Venkat Mattela, grundare och VD för företaget, i en intervju med ZDNet via Zoom.
Mattela tror att många patent på lågeffektdrift kommer att göra det möjligt för företagets chip att producera samma noggrannhet på signaturuppgifter för maskininlärning med mycket mindre datoransträngning.
“Vad jag försöker göra är inte bara att bygga ett halvledarchip utan också matematiken och algoritmerna för att minska arbetsbelastningen”, sa han. “Om en arbetsbelastning tar hundra operationer vill jag få ner den till femtio operationer, och om femtio operationer kostar mindre energi än hundra vill jag säga att mitt är ett system med högre prestanda.”
“Jag har mycket tålamod […] I don' inte göra inkrementella saker”, säger grundaren och VD Venkat Mattela om hans inställning till teknik och affärer. Han sålde sitt sista företag, Redpine Signals, till Silicon Labs 2020 för 314 miljoner dollar.
Ceremorphic, 2022
Mattela vadar in på en hårt omtvistad marknad, en där startups som Cerebras Systems, Graphcore och SambaNova har fått enorma summor pengar, och där de, trots alla sina prestationer, fortfarande kämpar för att störta branschens tungviktare, Nvidia.
Mattela är benägen att se på långa håll. Hans senaste startup, Redpine Signals, byggdes under en period av fjorton år, med start 2006. Det företaget såldes till chiptillverkaren Silicon Labs i mars 2020 för 314 miljoner dollar för sin lågeffektsteknologi för Bluetooth och WiFi. (Chipet används nu i den nyligen introducerade smartklockan Garmin Fenix 7.)
Även: Meta säger att den snart kommer att ha världens snabbaste AI-superdator
Lärdomen från den sjuttonåriga insatsen på Redpine och nu på Ceremorphic är tvåfaldig: “Jag har mycket tålamod,” såg han av sig själv med ett skratt. Och, “Jag gör inte inkrementella saker.”
Mattela hävdar att när han tar sig an ett problem inom ett område av chipdesign, är det på ett sådant sätt att man kommer att komma ett meningsfullt steg före den senaste tekniken. Redpines trådlösa chipteknologi som Silicon Labs köpte, sade han, gick emot erbjudanden från jätteföretag, Qualcomm och Broadcom inom Bluetooth och WiFI.
“Jag tog en stor utmaning, jag gick emot dem, men bara med en metrisk trådlös trådlös ultralågenergi, tjugosex gånger mindre energi än de bästa i branschen”, sa Mattela.
Nu tror Mattela att han har ett liknande vinnande fokus på makt, tillsammans med tre andra egenskaper som han anser är både unika på AI-chipmarknaden och väsentliga för disciplinen: tillförlitlighet, kvantsäker säkerhet och en förmåga att fungera på flera marknader.
För att göra allt möjligt, höll Mattela fast vid de mikroprocessortillgångar som hade utvecklats på Redpine, för att bilda grunden för Ceremorphic, och behöll arton anställda från det arbetet, som han har kompletterat genom att anställa ytterligare 131 personer. Företaget har kontor i både San Jose, det officiella huvudkontoret, och en glänsande ny kontorsbyggnad i Hyderabad, Indien.
Också: Cerebras fortsätter att “absolut dominera” av avancerad datoranvändning, står det, med världens största chip två-punkts-oh
Mattela har en spännande lista med 26 amerikanska patent med hans namn på, och en lika spännande lista med 14 amerikanska patentansökningar från de senaste åren.
Det Mattela kallar en “Hierarchical Learning Processor”, eller HLP, består av ett datorelement för maskininlärning som körs på 2 gigahertz; en anpassad flyttalsenhet vid samma klockfrekvens; ett specialdesignat tillvägagångssätt för schemaläggning av arbetsbelastning med flera trådar; och specialdesignade 16-lane PCIe gen-6-kretsar för att ansluta processorn till ett systems värdprocessor som ett x86-chip.
Den sista av dessa, PCIe-delen, kan nästan vara ett eget företag, hävdar Mattela.
“Just nu är det som är i produktion PCIe-4, den dominerande, och PCIe-5 startade precis förra året”, förklarade MattelA. “Och hos oss kommer PCIe-6 att vara i produktion 2024 – jag äger den tekniken.”
“Det är $12 miljoner om du var tvungen att licensiera det,” sa han om PCIe-6. “Enbart det är en viktig sak att designa.” PCIe-länken kommer att tillåta Mattela att ytterligare förfina energiförbrukningen för ett totalt system, sa han.
Ceremorphic, 2022
Kärnan i chipets fördel är analoga kretsar som vilar under digitala. Vissa företag har använt analoga kretsar i stor utsträckning för AI-bearbetning, den mest välkända är startup Mythic, som 2020 avslöjade ett chip som kan multiplicera vektorer och matriser – hjärtat av maskininlärning – inte som digitala multiplikationer utan som kombinationer av kontinuerlig energivåg former i enlighet med Ohms lag, vad företaget kallar analog datoranvändning.
Ceremorphic HLP-chippet kommer att använda analog datoranvändning mer selektivt än Mythic, sa Mattela till ZDNet.
“På den lägsta nivån i hierarkin” av chipfunktionalitet, “gör jag analog beräkning”, förklarade Mattela. “Men högre nivå, jag gör inte analogt eftersom jag vill göra programmeringsmodellen enkel.”
Det betyder “tjugotre mönster” för att multiplicera-ackumulera analogt via HLP:s mikroarkitektur. De analoga multiplikationerna kommer att vara en mer effektiv användning av spänning än digital, hävdade han.
“På en högre nivå ser det ut som en kombination av vektorbearbetning och datavägsbehandling.”
De olika chipfunktionerna kommer att bidra till att möjliggöra de fyra egenskaperna Mattela främjar.
Också: “Vi är den bäst finansierade AI-startupen”, säger SambaNovas medgrundare Olukotun efter SoftBank, Intel-infusion
Förutom energieffektiv drift finns det tillförlitlighet. AI-kisel har idag ett tillförlitlighetsproblem, hävdade Mattela.
Maskininlärningschips har blivit mycket större än konventionella mikroprocessorer. Nvidias “A100” GPU är redan en ganska rejäl, med klassiska mått mätt, 826 kvadratmillimeter. Men nya chips från startups kan vara mycket större, som Cerebras WSE-2-chip, som mäter 45 225 kvadratmillimeter, nästan hela ytan på en åttatums kiselskiva.
“När du har mer kisel finns det en större möjlighet att misslyckas, eftersom det finns alfapartiklar, neutronbombardement,” observerade Mattela. “Under de senaste två åren, säger folk redan, mina system havererar i datacentret.”
Mattela hävdar att en unik kombination av hårdvara och mjukvara kommer att göra det möjligt för hans chip att “förutsäga fel och korrigera dem.”
“Pålitlig prestandaberäkningsteknik är vårt viktigaste bidrag,” sa han.
Den tredje egenskapen Mattela betonar är säkerhet, inklusive skydd mot framtida kvantsystem som kan tänkas bryta konventionell datasäkerhet.
Även: Graphcore ger Nvidia ny konkurrens i de senaste MLPerf AI-riktmärkena
“Än så länge har säkerhetssystemen designats för att motverka hackning av människor”, förklarar Mattela. “Men framöver kan du inte anta att datorkraften kommer att vara begränsad och att det kommer att ta två dagar att bryta det [ett system], du borde anta kanske två minuter!”
Ceremorphic-chippet har “kvantbeständig generering av slumptal”, sa Mattela, som “inte kan brytas av en mycket högpresterande dator.” Rent praktiskt, sa Mattela, betyder det att ett sådant system skulle ta kanske en månad att gå sönder, vilket ger kunden tid att byta säkerhetsnyckel för att förhindra attacken.
Den fjärde egenskapen är vad Mattela kallar skalning. Vad Mattela menar med det är att adressera flera marknader med ett chip. Chipet kommer att kunna fungera inom djupinlärning, men också fordonstillämpningar, inom robotik, inom biovetenskap och i någon form av framtida Metaverse-applikation.
Samma HLP kommer att tjäna både till utbildning och slutledning, de två aspekterna av maskininlärning.
Att skala till flera marknader, hävdade Mattela, kommer att göra hans chip mer relevant än konkurrenternas. Startups som Cerebras är imponerande men inte i slutändan lika relevanta, hävdar han.
“Det är väldigt fin teknik, ja, och du kan alltid göra något som ingen annan kan göra, men ditt syfte är inte att göra något som ingen gör,” sa Mattela.
“Ditt syfte är att skapa ett resultat där alla tjänar pengar, och det har effekt, det har ett visst värde för marknaden.”
Naturligtvis skickar Cerebras och de andra produkten medan Mattela inte ens har tagit fram prover än.
För att göra Ceremorphics design till en vinnare har Mattela vad som verkar vara ett ess i fickan: Taiwan Semis 5-nanometers chipprocess, som är en av tillverkningsjättens “avancerade teknologier”, en chipprocess som inte alla kunder ges tillgång till.
“När jag säger till folk att jag gör 5-nanometer, säger de, hur kunde du få 5-nanometer,” sa Mattela, med uppenbar förtjusning. “Några av dessa företag med hundratals miljoner i finansiering är inte i 5-nm, de är i 7-nm.”
En anledning är en nära relation som Mattela odlade med TSM för år sedan när han var på analoga chipjätten Analog Devices. Ännu viktigare, hans försäljning av Redpine till Silicon Labs ökade hans trovärdighet. TSM, säger han, var tvungen att tro att han kan få sin produkt att förverkligas, för först då får TSM fullt betalt.
“Det tar många, många år”, sa Mattela och syftade på produktionsprocessen. “Jag måste spendera 200 miljoner dollar, jag måste producera ett chip, chipet måste fungera, och sedan om det fungerar kommer de [TSM] att få betalt vid den tiden.”
Mattelas team designade chippet som en prototyp från början i vad som kallas en skyttelkörning, en liten sats chips, i den något mindre sofistikerade 7-nanometerprocessen. Företaget kommer i år att utöka sina skyttelkörningar till 5 nanometer.
Medan Ceremorphic förväntar sig att ge första kundprover av sitt chip nästa år, kommer fullskalig produktion på 5 nanometer troligen inte att ske förrän 2024, säger han. “Detta är mycket aggressiva datum” för design i en ledande process som 5-nano, observerade Mattela på tidslinjen.
En grindfaktor är kostnaden. Att gå från skyttelkörning till full användning av en wafer – det som kallas helmask – är skillnaden mellan $2 miljoner och över $10 miljoner, påpekar han.
För det kommer Ceremorphic att behöva skaffa ytterligare kapital. Än så länge är Ceremorphic självfinansierad, med Mattela och vänner och familj som har lagt ihop 50 miljoner dollar i en serie A-runda, en extremt liten mängd finansiering i förhållande till AI-chipstartups som SambaNova som har fått miljarder i riskkapital.
Mattelas föredragna väg till framtida finansiering, sa han, är genom partnerskap, även om en formell serie B-investeringsomgång också är en möjlighet 2023.
Den första instansieringen av HLP kommer att vara som ett PCI-kort som buntar ihop det chippet behöver för att fungera i ett datorsystem. “Typiska system-OEM är målet”, sa han. Den vägen till marknaden, tror han, kommer att göra hans maskin mer allmänt tillgänglig.
“Varje företag behöver en superdator för träning”, sa han. “Jag vill tillhandahålla den träningssuperdator som kan vara överkomlig för alla företag.”
Till skillnad från något mastodont som Facebooks
Research SuperComputer för AI — 6 080 GPU: er och 175 petabyte flashlagring — skulle Ceremorphic PCI-bladet vara tänkt att göra tekniken mer tillgänglig.
“Om jag kan tillhandahålla en tiondel av en dator i byggnadsstorlek i en låda, så är det det bästa stället.”
Även om hans del ännu inte levereras, förutspår Mattela redan en snabb skakning på startmarknaden för AI-chip. Utmanarna som Graphcore har samlat in mycket pengar och gjort väldigt små intäkter, spekulerar han, bara en bråkdel av vad Nvidia tjänar på en fjärdedel av AI.
“Det finns fyra till fem företag idag, de har nära fem miljarder i dag [i insamlat kapital], det är mycket pengar”, sa Mattela. Men, “företaget nummer ett, tjänar varje kvartal två miljarder dollar”, med hänvisning till Nvidias datacenterintäkter.
“Om du inte ens tjänar en procent av det främsta företaget och du förlorar pengar, så är det inte en affär”, sa Mattela.
Utskakningen kommer förr snarare än senare, profeterar Mattela, på grund av slarv. “På dagens heta marknad gick de och fick pengar, bra för dem, men vilka pengar de än fick tror jag inte att de riktigt kom på hur de skulle spendera pengarna eftersom summan som spenderas är helt enkelt onormal”, sa han.
Junioringenjörer får enorma summor i AI-startups, hävdar han. “Om en fräschare får 200 000 USD [i årslön] är det inte hållbart”, sa han och använde teknikbranschens jargong för den mest juniora positionen, “eftersom killen kommer att vara produktiv efter två år, men då, pengar är redan borta.”
Hårdvara | Digital transformation | CXO | Internet of Things | Innovation | Företagsprogramvara