Qualcomm la vekt på sin høyeste effektivitet på utvalgte AI -oppgaver i MLPerf -benchmark -testen.
Qualcomm
En av de største utfordringene kunstig intelligens står overfor er den enorme mengden energi som forbrukes av datamaskinene som utfører AI. Lærere innen disiplinen har en stund nå slått alarm om de stigende energikostnadene gitt den stadig større størrelsen på AI-programmer, spesielt de med dyp læringsvariasjon, og de spiraliserende beregningsressursene de bruker.
Som påpekt i en ny femårig studie, AI100-rapporten, som ble publisert i forrige uke av Stanford University, “blir mange innen feltet klar over karbonavtrykket ved å bygge så store modeller,” med henvisning til dype læringsprogrammer.
“Det er betydelige miljøkostnader”, hevder studien.
Til tross for det presserende spørsmålet om bærekraft, er mange av de ledende leverandørene av sjetonger og systemer som kjører AI -programmer mer fokusert på å oppnå ytelse, når det gjelder råhastighet, enn de ser opp for energieffektivitet.
Bransjestandardstandarden for maskinlæringens databehandling, MLPerf, ga onsdag de siste leverandørresultatene for ytelse på benchmark -tester for maskinlæring som objektgjenkjenning og behandling av naturlig språk.
Sammenlignet med den forrige rapporten, i april, falt antallet innsendinger som rapporterte om energikostnaden ved å beregne AI.
Den nye referanserapporten, MLPerf Inference, versjon 1.1, mottok innspill fra tjue leverandører, til sammen over 1800 innleveringer. Av disse rapporterte bare 350 innsendinger målinger av strømforbruket.
Det kan sammenlignes med 17 organisasjoner og 1 994 innleveringer i april som inkluderte 864 effektmålinger. Andelen innsendinger inkludert effektmåling falt derfor med mer enn halvparten fra forrige rapport til den siste.
“Tallene lyver ikke, det er mye mindre effektresultater denne gangen enn det var før,” sa David Kanter, administrerende direktør i MLCommons, bransjekonsortiet som fører tilsyn med MLPerf, til ZDNet på spørsmål om det kraftige fallet i energimålinger.
Også: Etikk for AI: Fordeler og risiko ved kunstig intelligens
Referanseresultatene ble offentliggjort onsdag i en pressemelding av MLCommons, med en lenke til detaljer om innsendingene fra leverandører oppført i flere medfølgende regneark.
Nedgangen i effektmåling er direkte knyttet til leverandørenes søken etter å understreke ytelse, først og fremst å kreve skryt, mens energiforbruket plasseres på andreplass som en bekymring.
Energiforbruk og ytelse når det gjelder hastighet er vanligvis avveininger: enhver optimalisering av den ene forringer den andre. En brikkes spenning økes vanligvis til gåseytelse i klokkefrekvens, men en økning i spenning fører vanligvis til en kvadratisk økning i strømforbruket.
“Din beste ytelseseffektivitet vil være på Vmin [minimumsspenning], din beste ytelse vil være ved Fmax [maksfrekvens],” sa Kanter, og refererte til minimums- og maksimal effektterskler.
På samme tid er oppgaven med å rapportere resultater til MLPerf som å ta en eksamen, og Nvidia og andre leverandører bestemmer hvor de skal legge ned innsatsen.
Også: AI -bransjens resultatmåling, MLPerf, måler for første gang også energien som maskinlæring bruker
“Inferenskjøringer tar en viss tid, minimum er ti minutter,” sa Kanter om de programmerte testene som trengs for å samle inn data for innsendinger. Å legge til ekstra faktorer som måling av effekt og ikke bare hastighet legger til overhead. “Det kommer ned på ressurser,” sa han.
MLPerf Inference 1.1 er bare andre gang referansen har inkludert effektmålinger, som ble introdusert med aprilrapporten. Referansen evaluerer datamaskinens ytelse på de to hoveddelene i maskinlæring, såkalt opplæring, hvor et nevrale nettverk bygges ved å ha sine innstillinger raffinert i flere eksperimenter; og såkalt slutning, der det ferdige nevrale nettverket gjør spådommer når det mottar nye data.
Inferensfunksjonen bruker mye mer strøm enn treningssiden, sa Kanter, ettersom slutning stadig tjener forespørsler om forutsigelser, mens trening er en mindre hyppig aktivitet som foregår offline i utviklingen av programmer.
“Hvis du ser på hvordan ML brukes, er det dominerende strømforbruket på slutningssiden,” sa Kanter. Dette er spesielt viktig når det gjelder batteridrevne enheter som utfører slutning. MLCommons introduserte en egen referanse for ytelse og kraft for slike enheter i år.
Blant de 20 organisasjonene som sendte inn i år, tok Nvidia, hvis grafikkbehandlingsenheter dominerer AI -databehandling, topp æresbevisninger i de fleste kategoriene. Av totalt 46 innleveringer fra Nvidia publisert i de endelige resultatene, ble bare fem ledsaget av effektmålinger.
Det betyr at 11% av Nvidias publiserte innsendinger var med effektmålinger, halvparten av det gjennomsnittlige gjennomsnittet av publiserte innsendinger på tvers av leverandører på 22%. Flere leverandører sendte inn innsendinger ved hjelp av Nvidia -teknologi, inkludert Dell, hvorav noen inkluderte effektmålinger.
Avveiningen mellom ytelse og kraft kommer ned på hvordan leverandører vil bruke ingeniørenes begrensede ressurser, noe som er et problem selv for et selskap som Nvidia med en enorm hær av ingeniører.
“Du jobber med ingeniørene dine døgnet rundt” for å få testresultater samlet for innsending til MLPerf, sa Dave Salvator, Nvidias senior produktsjef for AI og sky, til ZDNet.
“Å måle ytelse er ett sett med utfordringer, og du forholder deg til hvor mye tid vi har til å måle både ytelse og kraft, “sa han. “I mange tilfeller bestemte vi oss for å fokusere mer på prestasjonssiden av ting fremfor makt.”
Nvidia sier at den har funnet den rette balansen når det gjelder å understreke ytelse og viser også effektivitet på tvers av et bredt spekter av AI -oppgaver.
Nvidia
Salvator bemerket Nvidias resultater viste at selskapet satte “vår beste fot fremover” når det gjelder å levere ledende ytelse og også ha større ytelse per watt, kjent som effektivitet i beregning, i flest antall tilfeller. “Vi viser ledende ytelse over hele linjen, så vel som effektivitet i det vi tror dekker de store bruksområdene.”
På spørsmål om MLPerf kan gjøre noe for å redusere avveiningene som får maktrapporteringen til å falle, svarte Salvator: “Det er et godt spørsmål; vi leter alltid etter måter å komme med interessante innspill, ikke bare kvantitet, men også kvalitet.”
Lagt til Salvatore, Nvidia har “nye produkter som kommer som vil være ganske interessante på effektivitetssiden av ting, og du vil sannsynligvis se oss med strømmeldinger om det.”
Mobilbrikkeleverandøren Qualcomm, som har presset på for å utfordre Nvidia i kantenheter som utfører slutninger, rapporterte en langt større andel innsendinger med effektmålinger, 8 av 18 eller 44%, fire ganger andelen av Nvidias innsendinger.
Selv om Qualcomm manglet langt fra Nvidia i antall toppresultatresultater, hadde den noen bemerkelsesverdige seire i energieffektivitet. Et Qualcomm-system som inneholder 16 av sine “Cloud AI 100” akseleratorbrikker leverte en tredje bedre hastighet på den ærverdige Resnet-50 nevrale nettverkstesten for å gjenkjenne bilder sammenlignet med et 8-brikke Nvidia A100-system, til tross for å ha brukt 25% mindre energi.
Prestasjonen førte til at Qualcomm utbasunerte sjetongene sine som å ha “den mest effektive AI -slutningsløsningen.”
Qualcomms leder for MLPerf -innsatsen, bemerket John Kehrli, seniordirektør, produktledelse om effektmåling, ” Vi er veldig glade for at dette forumet tar det i betraktning, vi tror det er viktig, og vi fortsetter å fokusere på det. “
På spørsmål om effektmåling har blitt gjort foreldet av for få innleveringer, svarte MLPerfs Kanter: “Hvis vi virkelig ikke får noen kraftinnsending, er det vi gjør ikke å tilføre verdi.” Det kan bety at det er nødvendig å tenke nytt om hvordan kraft måles, foreslo han.
På samme tid, sa Kanter, er det et spørsmål om “kvalitet fremfor kvantitet.”
“Til syvende og sist handler MLPerf om å hjelpe industrien med å justere, å hjelpe kundene med å forstå hva de skal gjøre, for å hjelpe designere med å forstå hva de skal gjøre,” sa Kanter. “Så lenge vi tjener denne funksjonen, er det viktig.”
Relaterte emner:
Datasentre Digital Transformation CXO Internet of Things Innovation Enterprise Software 
Av Tiernan Ray | 22. september 2021 | Tema: Kunstig intelligens