Qualcomm understregede sin topeffektivitetsscore på udvalgte AI -opgaver i MLPerf -benchmark -testen.
Qualcomm
En af de største udfordringer for kunstig intelligens er den enorme mængde energi, der forbruges af de computere, der udfører AI. Lærere inden for disciplinen har i nogen tid nu slået alarm om de stigende energiomkostninger i betragtning af den stadigt større størrelse af AI-programmer, især dem med dyb læringssortiment og de spiraliserende beregningsressourcer, de bruger.
Som påpeget i en ny femårig undersøgelse, AI100-rapporten, der blev offentliggjort i sidste uge af Stanford University, “er mange inden for området ved at blive klar over kulstofaftrykket ved at bygge så store modeller”, med henvisning til dybe læringsprogrammer.
“Der er betydelige miljøomkostninger,” hævder undersøgelsen.
På trods af det presserende spørgsmål om bæredygtighed er mange af de førende leverandører af chips og systemer, der kører AI -programmer, mere fokuseret på at opnå ydeevne, hvad angår råhastighed, end de holder øje med energieffektivitet.
Industriens standard benchmark for maskinlærings computerydelse, MLPerf, offentliggjorde onsdag de seneste leverandørresultater for ydeevne på benchmark -test af maskinlæring, såsom genkendelse af genstande og behandling af naturligt sprog.
Sammenlignet med den foregående rapport faldt antallet af indsendelser, der rapporterede om energiomkostningerne ved at beregne AI i april, i april.
Den nye benchmark -rapport, MLPerf Inference, version 1.1, modtog bidrag fra tyve leverandører, i alt over 1.800 indsendelser. Heraf rapporterede kun 350 indsendelser målinger af forbrugt strøm.
Det kan sammenlignes med 17 organisationer og 1.994 indsendelser i april, der omfattede 864 effektmålinger. Derfor faldt andelen af indsendelser inklusive effektmåling med mere end halvdelen fra den tidligere rapport til den seneste.
“Tallene lyver ikke, det er meget mindre effektresultater denne gang, end det var før,” sagde David Kanter, administrerende direktør for MLCommons, branchekonsortiet, der fører tilsyn med MLPerf, til ZDNet, da han blev spurgt om det kraftige fald i energimålinger.
Også: Ethics of AI: Fordele og risici ved kunstig intelligens
Benchmark -resultaterne blev offentliggjort onsdag i en pressemeddelelse af MLCommons, med et link til detaljer om indsendelser fra leverandører, der er angivet i flere ledsagende regneark.
Faldet i effektmåling er direkte knyttet til sælgers søgen efter at understrege ydeevnen først og fremmest for at gøre krav på pral, mens energiforbruget placeres på andenpladsen som en bekymring.
Energiforbrug og ydelse i form af hastighed er typisk afvejninger: enhver optimering af det ene forringer det andet. En chips spænding øges typisk til gåseydelse i urfrekvens, men et boost i spænding fører typisk til en kvadratisk stigning i strømforbruget.
“Din bedste ydeevneeffektivitet vil være ved Vmin [minimumsspænding], din bedste ydeevne vil være ved Fmax [maks. Frekvens],” sagde Kanter og refererede til minimums- og maksimaleffektgrænser.
På samme tid er opgaven med at rapportere resultater til MLPerf som at tage en eksamen, og Nvidia og andre leverandører beslutter, hvor de skal placere deres indsats.
Også: AI -branchens præstationsbenchmark, MLPerf, måler for første gang også den energi, maskinlæring forbruger
“Inferenskørsler tager en vis tid, minimum er ti minutter,” sagde Kanter om de programmerede tests, der var nødvendige for at indsamle data til indsendelser. Tilføjelse af ekstra faktorer såsom måling af effekt og ikke kun hastighed tilføjer overhead. “Det kommer helt ned på ressourcer,” sagde han.
MLPerf Inference 1.1 er kun anden gang, benchmarket har inkluderet effektmålinger, som blev introduceret med aprilrapporten. Benchmark evaluerer computerens ydeevne på de to hoveddele af maskinlæring, såkaldt træning, hvor et neuralt netværk opbygges ved at få dets indstillinger forfinet i flere eksperimenter; og såkaldt inferens, hvor det færdige neurale netværk kommer med forudsigelser, når det modtager nye data.
Inferensfunktionen forbruger langt mere strøm end træningssiden, sagde Kanter, da inferens konstant betjener anmodninger om forudsigelser, mens træning er en mindre hyppig aktivitet, der finder sted offline i udviklingen af programmer.
“Hvis du ser på, hvordan ML bruges, er det dominerende strømforbrug på slutningssiden,” sagde Kanter. Det er især vigtigt i tilfælde af batteridrevne enheder, der udfører inferens. MLCommons introducerede et særligt benchmark for ydeevne og effekt for sådanne enheder i år.
Blandt de 20 organisationer, der indsendte i år, modtog Nvidia, hvis grafiske behandlingsenheder dominerer AI -computing, stor hæder i de fleste kategorier. Ud af i alt 46 indsendelser fra Nvidia offentliggjort i de endelige resultater var kun fem ledsaget af effektmålinger.
Det betyder, at 11% af Nvidias offentliggjorte indsendelser var med effektmålinger, halvdelen af det samlede gennemsnit af offentliggjorte indsendelser på tværs af leverandører på 22%. Flere leverandører afgav indsendelser ved hjælp af Nvidia -teknologi, herunder Dell, hvoraf nogle inkluderede effektmålinger.
Afvejningen mellem ydelse og magt kommer ned på, hvordan leverandører vil bruge deres ingeniørers begrænsede ressourcer, noget der er et problem, selv for et firma som Nvidia med en stor hær af ingeniører.
“Du arbejder dine ingeniører 24/7” for at få testresultaterne samlet til indsendelse til MLPerf, sagde Dave Salvator, Nvidias senior produktchef for AI og cloud, til ZDNet.
“Måling af ydeevne er et sæt af udfordringer, og du har at gøre med, hvor meget tid vi har til at måle både ydeevne og magt, ”sagde han. “I mange tilfælde besluttede vi at holde vores vægt mere på præstationssiden i stedet for magt.”
Nvidia siger, at den har fundet den rette balance ved at understrege ydeevne og viser også effektivitet på tværs af en bred vifte af AI -opgaver.
Nvidia
Salvator bemærkede, at Nvidias resultater viste, at virksomheden satte “vores bedste fod frem” med hensyn til at levere førende ydeevne og også have større ydelse pr. Watt, kendt som computerens effektivitet, i flest antal tilfælde. “Vi viser førende præstationer over hele linjen samt effektivitet i, hvad vi synes dækker over den store mængde anvendelser.”
På spørgsmålet om, hvorvidt MLPerf kunne gøre noget for at reducere de afvejninger, der får magtrapportering til at falde ved siden af, svarede Salvator: “Det er et godt spørgsmål; vi leder altid efter måder at komme med interessante indlæg, ikke kun mængde, men også kvalitet.”
Tilføjet Salvatore, Nvidia har “nye produkter på vej, der vil være temmelig interessante i effektivitetssiden af tingene, og du vil sandsynligvis se os med strømindlæg om det.”
Mobilchipsælger Qualcomm, der har gjort et skub for at udfordre Nvidia i kant -enheder, der udfører inferens, rapporterede en langt større andel af indsendelser med effektmålinger, 8 af 18 eller 44%, fire gange andelen af Nvidias indsendelser.
Selvom Qualcomm faldt langt fra Nvidia i antallet af topresultater, havde den nogle bemærkelsesværdige sejre i energieffektivitet. Et Qualcomm-system, der indeholder 16 af dets “Cloud AI 100” acceleratorchips, leverede en tredje bedre hastighed på den ærværdige Resnet-50 neurale netværkstest til genkendelse af billeder sammenlignet med et 8-chip Nvidia A100-system, på trods af at der var brugt 25% mindre energi.
Præstationen fik Qualcomm til at basunere sine chips som “den mest effektive AI -slutningsløsning.”
Qualcomms ledende direktør for sin MLPerf -indsats, bemærkede John Kehrli, seniordirektør, produktstyring, om effektmåling, ” Vi er meget begejstrede for, at dette forum tager højde for det, vi synes, det er vigtigt, og vi fortsætter med at fokusere på det. “
Spurgt om effektmålingen er blevet forældet af for få indsendelser, svarede MLPerfs Kanter: “Hvis vi virkelig ikke får nogen strømforsyning, så er det, vi gør, ikke at tilføre værdi.” Det kan betyde, at der er behov for en nytænkning af, hvordan magt måles, foreslog han.
På samme tid, sagde Kanter, er der et spørgsmål om “kvalitet frem for kvantitet.”
“I sidste ende handler MLPerf om at hjælpe med at guide branchen til at justere, hjælpe kunderne med at forstå, hvad de skal gøre, for at hjælpe designere med at forstå, hvad de skal gøre,” sagde Kanter. “Så længe vi betjener denne funktion, er det vigtigt.”
Relaterede emner:
Datacentre Digital Transformation CXO Internet of Things Innovation Enterprise Software 
Af Tiernan Ray | 22. september 2021 | Emne: Kunstig intelligens