Qualcomm benadrukte zijn hoogste efficiëntiescore op geselecteerde AI-taken in de MLPerf-benchmarktest.
Qualcomm
Een van de grootste uitdagingen voor kunstmatige intelligentie is de enorme hoeveelheid energie die wordt verbruikt door de computers die AI uitvoeren. Wetenschappers luiden al geruime tijd alarm over de stijgende energiekosten, gezien de steeds groter wordende omvang van AI-programma's, vooral die van de deep learning-variant, en de spiraalvormige computerbronnen die ze verbruiken.
Zoals opgemerkt in een nieuwe vijfjarige studie, het AI100-rapport, vorige week gepubliceerd door Stanford University, “worden velen in het veld zich bewust van de ecologische voetafdruk van het bouwen van dergelijke grote modellen”, verwijzend naar deep learning-programma's.
“Er zijn aanzienlijke milieukosten”, stelt de studie.
Ondanks de dringende kwestie van duurzaamheid, zijn veel van de toonaangevende leveranciers van chips en systemen die AI-programma's uitvoeren meer gericht op het behalen van prestaties, in termen van pure snelheid, dan op energie-efficiëntie.
MLPerf, de industriestandaard voor computerprestaties van machine learning, heeft woensdag de nieuwste leveranciersresultaten gepubliceerd voor prestaties op benchmarktests van machine learning, zoals objectherkenning en natuurlijke taalverwerking.
Vergeleken met het vorige rapport, in april, daalde het aantal inzendingen over de energiekosten van computer-AI sterk.
Het nieuwe benchmarkrapport, MLPerf Inference, versie 1.1, ontving inzendingen van twintig leveranciers, in totaal meer dan 1.800 inzendingen. Daarvan rapporteerden slechts 350 inzendingen metingen van het verbruikte vermogen.
Dat is te vergelijken met 17 organisaties en 1.994 inzendingen in april met 864 vermogensmetingen. Daarom is het aandeel inzendingen inclusief vermogensmeting met meer dan de helft gedaald ten opzichte van het vorige rapport tot het laatste rapport.
“De cijfers liegen niet, het zijn deze keer veel minder vermogensresultaten dan voorheen”, vertelde David Kanter, de uitvoerend directeur van MLCommons, het industrieconsortium dat toezicht houdt op MLPerf, tegen ZDNet toen hem werd gevraagd naar de scherpe daling van de energiemetingen.
Ook: Ethiek van AI: voordelen en risico's van kunstmatige intelligentie
De benchmarkresultaten werden woensdag bekendgemaakt in een persbericht door MLCommons, met een link naar details van de inzendingen van leveranciers die worden vermeld in meerdere bijbehorende spreadsheets.
De daling van de vermogensmeting is direct gekoppeld aan het streven van leveranciers om de nadruk te leggen op prestaties, in de eerste plaats om opscheppen te claimen, terwijl het energieverbruik op de tweede plaats staat als een punt van zorg.
Verbruikte energie en prestaties in termen van snelheid zijn meestal compromissen: elke optimalisatie van het een doet afbreuk aan het ander. De spanning van een chip wordt doorgaans opgevoerd om de klokfrequentie te verbeteren, maar een verhoging van de spanning leidt doorgaans tot een kwadratische toename van het stroomverbruik.
“Je beste prestatie-efficiëntie zal zijn bij Vmin [minimale spanning], je beste prestatie zal zijn bij Fmax [max frequentie]”, zei Kanter, verwijzend naar minimale en maximale vermogensdrempels.
Tegelijkertijd is het rapporteren van resultaten aan MLPerf als het afleggen van een examen, en Nvidia en andere leveranciers beslissen waar ze hun inspanningen moeten doen.
Ook: De prestatiebenchmark van de AI-industrie, MLPerf, meet voor het eerst ook de energie die machine learning verbruikt
“Inferentie-runs nemen een bepaalde hoeveelheid tijd in beslag, het minimum is tien minuten”, zei Kanter over de geprogrammeerde tests die nodig zijn om gegevens voor inzendingen te verzamelen. Het toevoegen van extra factoren, zoals het meten van vermogen en niet alleen snelheid, voegt overhead toe. “Het komt neer op middelen”, zei hij.
MLPerf Inference 1.1 is pas de tweede keer dat de benchmark vermogensmetingen bevat, die met het rapport van april werden geïntroduceerd. De benchmark evalueert computerprestaties op de twee belangrijkste onderdelen van machine learning, de zogenaamde training, waarbij een neuraal netwerk wordt gebouwd door de instellingen ervan in meerdere experimenten te verfijnen; en zogenaamde inferentie, waarbij het voltooide neurale netwerk voorspellingen doet wanneer het nieuwe gegevens ontvangt.
De inferentiefunctie verbruikt veel meer stroom dan de trainingskant, zei Kanter, aangezien inferentie voortdurend verzoeken om voorspellingen dient, terwijl training een minder frequente activiteit is die offline plaatsvindt bij de ontwikkeling van programma's.
“Als je kijkt naar hoe ML wordt gebruikt, is het dominante stroomverbruik aan de kant van de conclusie”, zegt Kanter. Dat is vooral belangrijk in het geval van batterijgevoede apparaten die gevolgtrekkingen uitvoeren. De MLCommons introduceerde dit jaar een aparte benchmark voor prestaties en vermogen voor dergelijke apparaten.
Van de 20 organisaties die dit jaar hebben ingezonden, behaalde Nvidia, wiens grafische verwerkingseenheden AI-computing domineren, de hoogste eer in de meeste categorieën. Van de in totaal 46 inzendingen van Nvidia die in de definitieve resultaten werden gepubliceerd, gingen er slechts vijf vergezeld van vermogensmetingen.
Dat betekent dat 11% van Nvidia's gepubliceerde inzendingen met vermogensmetingen waren, de helft van het algemene gemiddelde van 22% van de gepubliceerde inzendingen van leveranciers. Meerdere leveranciers hebben opmerkingen ingediend met behulp van Nvidia-technologie, waaronder Dell, waarvan sommige stroommetingen bevatten.
De afweging tussen prestatie en vermogen komt neer op hoe leveranciers de beperkte middelen van hun technici besteden, iets wat zelfs een probleem is voor een bedrijf als Nvidia met een enorm leger aan ingenieurs.
“Je bent 24/7 bezig met je technici” om testresultaten te verzamelen voor indiening aan MLPerf, vertelde Dave Salvator, Nvidia's senior productmanager voor AI en cloud, aan ZDNet.
“Het meten van prestaties is één set van uitdagingen, en je hebt te maken met hoeveel tijd we hebben om zowel prestaties als kracht te meten”, zei hij. “In veel gevallen hebben we besloten om onze nadruk meer te leggen op de prestatiekant dan op de kracht.”
Nvidia zegt dat het de juiste balans heeft gevonden in het benadrukken prestaties en toont ook efficiëntie voor een breed scala aan AI-taken.
Nvidia
Salvator merkte op dat uit de resultaten van Nvidia blijkt dat het bedrijf “ons beste beentje voorzet” in termen van het leveren van toonaangevende prestaties en ook in de meeste gevallen hogere prestaties per watt, ook wel bekend als rekenefficiëntie. “We laten over de hele linie toonaangevende prestaties zien, evenals efficiëntie in wat volgens ons de grote hoeveelheid gebruik omvat.”
Op de vraag of MLPerf iets zou kunnen doen om de afwegingen te verminderen die ervoor zorgen dat de rapportage over stroom uit de boot valt, antwoordde Salvator: “Het is een goede vraag; we zijn altijd op zoek naar manieren om interessante inzendingen te doen, niet alleen kwantiteit maar ook kwaliteit.”
Toegevoegd Salvatore, heeft Nvidia “nieuwe producten op komst die behoorlijk interessant zullen zijn op het gebied van efficiëntie, en je zult ons waarschijnlijk zien met krachtige inzendingen daarover.”
De mobiele chipleverancier Qualcomm, die een poging heeft gedaan om Nvidia uit te dagen in edge-apparaten die inferentie uitvoeren, rapporteerde een veel groter deel van de inzendingen met vermogensmetingen, 8 van 18, of 44%, vier keer het aandeel van de inzendingen van Nvidia.
Hoewel Qualcomm ver achterbleef bij Nvidia wat betreft het aantal best scorende prestatieresultaten, behaalde het enkele opmerkelijke overwinningen op het gebied van energie-efficiëntie. Een Qualcomm-systeem met 16 van zijn “Cloud AI 100”-versnellerchips leverde een derde betere snelheid op de eerbiedwaardige Resnet-50 neurale netwerktest voor het herkennen van afbeeldingen in vergelijking met een 8-chip Nvidia A100-systeem, ondanks dat het 25% minder energie verbruikte.
De prestatie bracht Qualcomm ertoe om zijn chips te prijzen als “de meest efficiënte AI-inferentieoplossing.”
Qualcomm's hoofdmanager voor zijn MLPerf-inspanning, John Kehrli, senior director, productmanagement, merkte op over de vermogensmeting, ” we zijn erg enthousiast dat dit forum daar rekening mee houdt, we denken dat dat ertoe doet en we blijven ons daarop concentreren.”
Op de vraag of de power-meting achterhaald is door te weinig inzendingen, antwoordde Kanter van MLPerf: “Als we echt geen power-submission krijgen, dan voegen we geen waarde toe.” Dat kan betekenen dat er opnieuw moet worden nagedacht over de manier waarop macht wordt gemeten, suggereerde hij.
Tegelijkertijd, zei Kanter, is er een kwestie van 'kwaliteit boven kwantiteit'.
“Uiteindelijk gaat MLPerf over het helpen van de industrie bij het afstemmen, om klanten te helpen begrijpen wat ze moeten doen, om ontwerpers te helpen begrijpen wat ze moeten doen”, aldus Kanter. “Zolang we die functie vervullen, is het belangrijk.”
Verwante onderwerpen:
Datacenters Digitale transformatie CXO Internet of Things Innovatie Enterprise Software 