Intel Tre år etter introduksjonen av andre generasjons “nevromorfe” databrikke, kunngjorde Intel onsdag at selskapet har satt sammen 1152 av delene til et enkelt parallellbehandlingssystem kalt Hala Point, i samarbeid med Sandia National Laboratories fra det amerikanske energidepartementet.
Hala Point-systemets 1 152 Loihi 2-brikker muliggjør totalt 1,15 milliarder kunstige nevroner, sa Intel, “og 128 milliarder synapser fordelt på 140 544 nevromorfe prosesseringskjerner.” Det er en økning fra det tidligere Intel multi-chip Loihi-systemet, debuterte i 2020, kalt Pohoiki Springs, som brukte bare 768 Loihi 1-brikker.
Sandia Labs har til hensikt å bruke systemet til det det kaller " dataforskning i hjerneskala," for å løse problemer innen enhetsfysikk, dataarkitektur, informatikk og informatikk.
Også: Intel ruller ut andregenerasjons Loihi nevromorf brikke med store resultater i optimaliseringsproblemer
“For første gang viser vi standard dype nevrale nettverk som blir kartlagt og transformert til en form som kan løpe i denne typen skala i et nevromorfisk system”," Mike Davies, leder av Intels Neuromorphic Computing Lab, fortalte ZDNET. “Dette er den første for noen som viser at standard dype nevrale nettverk faktisk, med noen forbehold, kan kjøre med konkurranseeffektivitet på nivå med de aller beste GPU-ene og ASIC-ene [applikasjonsspesifikke integrerte kretser] som produseres nå ."
Nevromorf databehandling er en paraplybetegnelse som er gitt til en rekke forsøk på å bygge beregninger som ligner et aspekt av måten hjernen er dannet på. Begrepet går tilbake til tidlig 1980-talls arbeid av den legendariske datapioneren Carver Mead, som var interessert i hvordan de stadig tettere samlingene av transistorer på en brikke best kunne kommunisere. Meads innsikt var at ledningene mellom transistorer måtte oppnå noe av effektiviteten til hjernens nevrale ledninger.
Det har vært mange prosjekter siden den gang, inkludert arbeid av Winfried Wilcke fra IBMs Almaden Research Center i San Jose, TrueNorth-brikkearbeidet hos IBM og Intels Loihi-prosjekt. ZDNets Scott Fulton III har en flott oppsummering av noen av de mest interessante utviklingene innen nevromorf databehandling.
Også: Intel, partnere gjør nye fremskritt innen Loihi nevromorf databehandling. brikkeutvikling
Forutsetningen for de fleste nevromorfe brikker er at replikering av den asynkrone “piggen” av hjernens nevroner er en mer effektiv tilnærming enn å bruke milliarder av nevrale netto “vekter”, eller, "parametere" som gjentatte ganger transformerer hvert datapunkt.
Intels fokus på nevromorfisk databehandling har stort sett vært i “edge”; dataenheter, for eksempel slanke serverdatamaskiner med innebygde prosessorer i stedet for Xeon-klassen.
Hala Point-maskinen er en innsats av Davies og team for å utforske i hvilken grad nevromorfe kan skalere.
"Det er en virkelig overbevisende langsiktig visjon for oppskalering på det grunnleggende vitenskapelige nivået," sa Davies. "Vi har alle den menneskelige hjerneskalaen i tankene; det ville være flott å bygge et så stort system og vise at det gjør noe til og med i nærheten av hva en menneskelig hjerne kan oppnå." Den menneskelige hjernen antas å ha en billion nevroner, men ikke nødvendigvis alle fungerer samtidig.
Økende skala kan være viktig for å avsløre hva nevromorf databehandling er i stand til. Akkurat som store språkmodeller som OpenAIs ChatGPT får det som kalles “emergent” evner med den økende størrelsen på nevrale nettmodeller og økende beregningsbudsjetter, "vi tror at de samme skaleringsfordelene og trendene vi også vil se med nevromorfe systemer" Davies sa.
(En “AI-modell”, eller “neural nettmodell”, er delen av et AI-program som inneholder mange nevrale nettparametere og aktiveringsfunksjoner som er nøkkelelementene for hvordan et AI-program fungerer.)
Også: Hvorfor nevromorfisk konstruksjon utløste en analog revolusjon
Hala Point er i stand til å produsere 20 kvadrillioner operasjoner per sekund med 15 billioner operasjoner per sekund per watt, ved å bruke 8-biters matematikk. At energiforbruket er overlegent det GPU-brikker og CPUer krever, hevder Intel.
Utover disse beregningene lærer Intel fortsatt om hva slags produktivitetsgevinster som kan komme fra et slikt oppskalert nevromorfisk system. For å bevise verdien av Hala Point, er Intel fokusert på hvordan systemet kan yte for vanskelige optimaliseringsproblemer, slik som de som oppstår i medikamentutvikling. I liten skala, på per-chip-basis, kan Loihi 2-delene være opp til 50 ganger raskere enn konvensjonelle brikker, sa Davies.
"Vi er veldig begeistret over den typen hastighet- ups vi har observert," Davies sa, “og hundre til tusen ganger energibesparelser på det oppskalerte nivået i Hala Point kan være enorme besparelser, og virkelig verdifulle for vitenskapelige problemer.”
Selv om det er et forskningssystem, kan Hala Point bidra til å avdekke nevromorfe fordeler som kan implementeres i neste versjon av Loihi, eller i mindre kantkonfigurasjoner, sa Davies.
Også: >Intel Labs søker etter brikkegigantens neste akt innen kvante, nevromorfe fremskritt
"Hvis vi finner noe i en veldig stor skala som virkelig gir gode resultater, kan vi tenke på måter å spesialisere arkitekturen på slik at vi kan krympe den ned til en skala som kan passe innenfor en mindre kantformfaktor," sa han.
Neuromorphic kommer aldri til å erstatte GPUer eller dagens dyplæringsakseleratorer for de typer arbeidsbelastninger som kjører bra," sa Davies. Nyere forskning tyder imidlertid på at det er områder med høyytelses databehandling der den kan ha en fordel.
På en konferanse i Sør-Korea denne uken presenterer Intel-forskerne Sumit Bam Shrestha og teamet funnene fra en forskningsartikkel som sammenligner Loihi 2-brikken med Nvidias edge computing-plattform Jetson, og også Intels i9 innebygde prosessor.
Applikasjonene inkluderer PilotNet, et dypt læringsnevralt nettverk som beregner "styrevinkelen til en bil basert på input fra et RGB-kamera på dashbordet." Det nevrale nettet har i oppgave å behandle bilder av video ved å bruke et “konvolusjonelt nevralt nettverk”, eller et CNN, som har vært mye brukt i kunstig intelligens i flere tiår.
Også: Nevromorf databehandling finner nytt liv i maskinlæring
"Vi finner ut at disse nye nevromorfe tilnærmingene kan gi størrelsesordensgevinster i kombinert effektivitet og latens (energi-forsinkelse-produkt) for feed-forward og konvolusjonelle nevrale nettverk brukt på video, lyddenoising og spektrale transformasjoner sammenlignet med toppmoderne løsninger," Shrestha og teamet skrev.
Fordi Loihi-delen bruker asynkrone spikingsfunksjoner, fungerer ikke brikken med mindre det er endringer i dataene. Det betyr å spare på dataenergi når det er overflødig data, som ofte kan være tilfelle for video eller bilder som inneholder piksler som ikke endres.
"Hvis det er et signal der det er tidsmessig kontinuitet i inngangsstrømmen, kan arkitekturen dra nytte av det faktum at det noen ganger ikke er noen endring, en gitt piksel endres ikke, så derfor trenger den ikke å beregne hele rammen på nytt," Davies forklarte.
Den "neste prioritet" for Intel er kommersialisering av nevromorf databehandling, sa Davies. "Jeg vil si at vi er et par år unna kommersialisering, men ikke mer enn det," sa Davies. Intel har ikke hastverk med å være den første til å kommersialisere, sa han. “Vår interesse har vært å sørge for at når vi kommersialiserer, gir vi den største gevinstfaktoren vi kan, for å gi den største verdien differensiert fra eksisterende teknologier, eksisterende arkitekturer.”