Tiernan Ray bidragende skribent
Tiernan Ray har dækket teknologi og forretning i 27 år.
Fuld bio den 11. februar 2022 | Emne: Kunstig intelligens
Chips til at udføre AI-inferens på edge-enheder som smartphones er et rødglødende marked, selv år efter feltets fremkomst, tiltrækker flere og flere startups og mere og mere venturefinansiering, ifølge en fremtrædende chipanalytiker fast dækker feltet.
“Der er flere nye startups, der fortsætter med at komme ud og fortsætter med at forsøge at differentiere,” siger Mike Demler, senioranalytiker hos The Linley Group, som udgiver den meget læste Microprocessor Report, i et interview med ZDNet via telefon.
Linley Group producerer to konferencer hvert år i Silicon Valley, der er vært for adskillige startups, Spring and Fall Processor Forum, med vægt i de seneste år på disse AI-startups.
Ved den seneste begivenhed, der blev afholdt i oktober, både virtuelt og personligt, i Santa Clara, Californien, var konferencen spækket med startups som Flex Logix, Hailo Technologies, Roviero, BrainChip, Syntiant, Untether AI, Expedera og Deep AI holder korte foredrag om deres chipdesign.
Demler og teamet samler regelmæssigt en forskningsrapport med titlen Guide to Processors for Deep Learning, hvis seneste version forventes udgivet i denne måned. “Jeg tæller mere end 60 chipleverandører i denne seneste udgave,” sagde han til ZDNet.
EdgeCortix
Edge AI er blevet et overordnet udtryk, der hovedsageligt refererer til alt, hvad der ikke er i et datacenter, selvom det kan omfatte servere i udkanten af datacentre. Det spænder fra smartphones til indlejrede enheder, der suger mikrowatt strøm ved hjælp af TinyML-rammeværket til mobil AI fra Google.
Den midterste del af dette område, hvor chips bruger fra et par watt strøm op til 75 watt, er en særlig overfyldt del af markedet, sagde Demler, normalt i form af en pluggbar PCIe eller M .2 kort. (75 watt er PCI-busgrænsen i enheder.)
“PCIe-kort er det hotte segment af markedet, for AI til industri, til robotteknologi, til trafikovervågning,” forklarede han. “Du har set virksomheder som Blaize, FlexLogic – mange af disse virksomheder går efter det segment.”
Men virkelig laveffekt er også ret aktiv. “Jeg vil sige, at tinyML-segmentet er lige så varmt. Der har vi chips, der kører fra et par milliwatt til endda mikrowatt.”
Hej
De fleste af enhederne er dedikeret til “inferens”-stadiet af AI, hvor kunstig intelligens laver forudsigelser baseret på nye data.
Inferens sker, efter at et neuralt netværksprogram er blevet trænet, hvilket betyder, at dets justerbare parametre er udviklet fuldt nok til pålideligt at danne forudsigelser, og programmet kan tages i brug.
Den indledende udfordring for startups, sagde Demler, er faktisk at komme fra et flot PowerPoint-diasshow til fungerende silicium. Mange starter med en simulering af deres chip, der kører på et feltprogrammerbart gate-array, og går derefter enten over til at sælge en færdig system-on-chip (SoC) eller licenserer deres design som syntetiserbar IP, der kan inkorporeres i en kundes chip.
“Vi ser stadig mange startups, der afdækker deres indsatser eller forfølger så mange indtægtsmodeller, som de kan,” sagde Demler, “ved først at demoere på en FPGA og tilbyde deres kerne-IP for licenser.” Nogle startups tilbyder også den FPGA-baserede version som et produkt.”
Roviero
Med snesevis af leverandører på markedet bliver selv dem, der kommer til arbejdende silicium, udfordret til at vise noget, der er meningsfuldt anderledes.
“Det er svært at finde på noget, der virkelig er anderledes,” sagde Demler. “Jeg ser disse præsentationer, 'verdens første' eller 'verdens bedste', og jeg siger, ja, nej, vi har set dusinvis.”
Nogle virksomheder begyndte med en så anderledes tilgang, at de skille sig tidligt ud, men har taget lidt tid at bære frugt.
BrainChip Holdings, Sydney, Australien, med kontorer i Laguna Hills, Californien, fik en meget tidlig start i 2011 med en chip til at håndtere spiking neurale netværk, den neuromorfe tilgang til AI, der foregiver at modellere nærmere, hvordan den menneskelige hjerne fungerer.
Virksomheden har gennem årene vist, hvordan dens teknologi kan udføre opgaver såsom at bruge maskinsyn til at identificere pokerchips på casinogulvet.
“BrainChip har ihærdigt forfulgt denne spikarkitektur,” sagde Demler. “Den har en unik kapacitet, den kan virkelig lære på enheden,” og udfører således både træning og konklusioner.
FlexLogix
BrainChip er på en måde nået længst af enhver startup: det er børsnoteret. Dets aktie er noteret på den australske børs under tickeren “BRN”, og sidste efterår udstedte selskabet American Depository Shares for at handle på det amerikanske over-the-counter-marked under tickeren “BCHPY”. Disse aktier er siden mere end tredoblet i værdi.
BrainChip er lige begyndt at producere omsætning. Virksomheden udkom i oktober med mini-PCIe-kort af sin “Akida”-processor til x86 og Raspberry Pi, og annoncerede i sidste måned nye PCIe-kort til $499. Virksomheden havde i december-kvartalet en omsætning på 1,1 millioner USD, op fra 100.000 USD i det foregående kvartal. Samlet omsætning for året var $2,5 millioner med et driftsunderskud på $14 millioner.
Nogle andre eksotiske tilgange har vist sig svære at levere i praksis. Chip-startup Mythic, grundlagt i 2012 og baseret i Austin, Texas, har forfulgt den nye vej med at få nogle af sine kredsløb til at bruge analog chip-teknologi, hvor den i stedet for at behandle et-taller og nuller, beregner via manipulation af en bølgeform med virkelig værdi af et elektrisk signal.
“Mythic har genereret et par chips, men ingen design vinder,” bemærkede Demler. “Alle er enige om, teoretisk set, at analog burde have en fordel med strømeffektivitet, men at komme dertil i noget kommercielt variabelt vil blive meget vanskeligere.”
Architek
En anden startup, der præsenterede på processorkonferencen, Syntiant, startede med en analog tilgang, men besluttede, at analog ikke gav tilstrækkelige strømfordele og tog længere tid at bringe på markedet, bemærkede Demler.
Syntiant of Irvine, Californien, grundlagt i 2017, har fokuseret på meget enkel genkendelse af objekter, der kan fungere med lav effekt på intet andet end en funktionstelefon eller en hørbar.
“På en feature-telefon vil du ikke have en apps-processor, så Syntiant-løsningen er perfekt,” bemærkede Demler.
Uanset succesen med en opstart, brugen af specielle kredsløb betyder, at AI-acceleration vil bestå som en kategori af chipteknologi, sagde Demler.
“AI bliver så allestedsnærværende på så mange områder, inklusive bilindustrien, indlejret behandling, IoT, mobil, pc'er, cloud osv., at det vil blive almindeligt at inkludere en accelerator til specielle formål, ligesom GPU'er er til grafik.”
Expedera
Ikke desto mindre vil nogle opgaver være mere effektive at køre på en generel CPU, DSP eller GPU, sagde Demler. Derfor forstærker Intel og Nvidia og andre deres arkitekturer med specielle instruktioner, såsom til vektorhåndtering.
Hardware | Digital transformation | CXO | Internet of Things | Innovation | Enterprise Software