Qualcomm ha sottolineato il suo massimo punteggio di efficienza su attività AI selezionate nel test benchmark MLPerf.
Qualcomm
Una delle maggiori sfide che l'intelligenza artificiale deve affrontare è la grande quantità di energia consumata dai computer che eseguono l'intelligenza artificiale. Gli studiosi della disciplina hanno da tempo lanciato l'allarme sull'aumento del costo dell'energia, data la dimensione sempre crescente dei programmi di intelligenza artificiale, in particolare quelli della varietà di apprendimento profondo, e le risorse di calcolo che consumano a spirale.
Come sottolineato in un nuovo studio quinquennale, il rapporto AI100, pubblicato la scorsa settimana dalla Stanford University, “molti nel settore stanno diventando consapevoli dell'impronta di carbonio della costruzione di modelli così grandi”, riferendosi a programmi di deep learning.
“Ci sono costi ambientali significativi”, afferma lo studio.
Nonostante l'urgente questione della sostenibilità, molti dei principali fornitori di chip e sistemi che eseguono programmi di intelligenza artificiale sono più concentrati sul raggiungimento delle prestazioni, in termini di velocità pura, piuttosto che sull'efficienza energetica.
Il benchmark standard del settore per le prestazioni di elaborazione dell'apprendimento automatico, MLPerf, ha pubblicato mercoledì gli ultimi risultati dei fornitori per le prestazioni sui test di benchmark dell'apprendimento automatico come il riconoscimento degli oggetti e l'elaborazione del linguaggio naturale.
Rispetto al rapporto precedente, ad aprile, il numero di segnalazioni sul costo energetico dell'intelligenza artificiale è crollato.
Il nuovo rapporto di benchmark, MLPerf Inference, versione 1.1, ha ricevuto richieste da venti fornitori, per un totale di oltre 1.800 richieste. Di questi, solo 350 invii hanno riportato misurazioni dell'energia consumata.
Confronto con 17 organizzazioni e 1.994 invii ad aprile che includevano 864 misurazioni di potenza. Pertanto, la percentuale di richieste, inclusa la misurazione della potenza, è diminuita di oltre la metà dal rapporto precedente al più recente.
“I numeri non mentono, questa volta si tratta di risultati energetici molto inferiori rispetto a prima”, ha detto a ZDNet David Kanter, direttore esecutivo di MLCommons, il consorzio industriale che supervisiona MLPerf, quando gli è stato chiesto del forte calo delle misurazioni energetiche.
Anche: Etica dell'IA: vantaggi e rischi dell'intelligenza artificiale
I risultati del benchmark sono stati resi noti mercoledì in un comunicato stampa di MLCommons, con un collegamento ai dettagli degli invii dei fornitori elencati in più fogli di calcolo allegati.
Il calo della misurazione della potenza è direttamente legato alla ricerca dei fornitori di enfatizzare le prestazioni, in primo luogo, per rivendicare il diritto di vantarsi, mettendo al secondo posto il consumo di energia come preoccupazione.
L'energia consumata e le prestazioni in termini di velocità sono tipicamente dei compromessi: qualsiasi ottimizzazione dell'uno sminuisce l'altro. La tensione di un chip viene in genere aumentata per aumentare le prestazioni nella frequenza di clock, ma un aumento della tensione in genere porta a un aumento al quadrato del consumo energetico.
“La tua migliore efficienza delle prestazioni sarà a Vmin [tensione minima], la tua migliore prestazione sarà a Fmax [frequenza massima]”, ha affermato Kanter, riferendosi alle soglie di potenza minima e massima.
Allo stesso tempo, il compito di riportare i risultati a MLPerf è come sostenere un esame e Nvidia e altri fornitori stanno decidendo dove concentrare i propri sforzi.
Inoltre: Il benchmark delle prestazioni del settore AI, MLPerf, per la prima volta misura anche l'energia consumata dal machine learning
“Le esecuzioni di inferenza richiedono una certa quantità di tempo, il minimo è dieci minuti”, ha affermato Kanter dei test programmati necessari per raccogliere i dati per gli invii. L'aggiunta di fattori aggiuntivi come misurare la potenza e non solo la velocità aggiunge un sovraccarico. “Dipende dalle risorse”, ha detto.
MLPerf Inference 1.1 è solo la seconda volta che il benchmark include misurazioni di potenza, introdotte con il rapporto di aprile. Il benchmark valuta le prestazioni del computer sulle due parti principali del machine learning, il cosiddetto training, in cui viene costruita una rete neurale affinando le sue impostazioni in più esperimenti; e la cosiddetta inferenza, in cui la rete neurale finita fa previsioni quando riceve nuovi dati.
La funzione di inferenza consuma molta più energia rispetto al lato di addestramento, ha affermato Kanter, dato che l'inferenza serve costantemente richieste di previsioni, mentre l'addestramento è un'attività meno frequente che si svolge offline nello sviluppo di programmi.
“Se guardi a come viene utilizzato ML, il consumo energetico dominante è dal lato dell'inferenza”, ha affermato Kanter. Ciò è particolarmente importante nel caso di dispositivi alimentati a batteria che eseguono l'inferenza. Gli MLCommons hanno introdotto quest'anno un benchmark separato per prestazioni e potenza per tali dispositivi.
Tra le 20 organizzazioni che hanno presentato quest'anno, Nvidia, le cui unità di elaborazione grafica dominano l'informatica AI, ha ottenuto il massimo dei voti nella maggior parte delle categorie. Su un totale di 46 contributi di Nvidia pubblicati nei risultati finali, solo cinque erano accompagnati da misurazioni della potenza.
Ciò significa che l'11% degli invii pubblicati da Nvidia riguardava misurazioni di potenza, metà della media complessiva degli invii pubblicati tra i fornitori del 22%. Diversi fornitori hanno presentato richieste utilizzando la tecnologia Nvidia, incluso Dell, alcuni dei quali includevano misurazioni della potenza.
Il compromesso tra prestazioni e potenza si riduce a come i fornitori spenderanno le risorse limitate dei loro ingegneri, qualcosa che è un problema anche per un'azienda come Nvidia con un vasto esercito di ingegneri.
“Stai lavorando con i tuoi ingegneri 24 ore su 24, 7 giorni su 7” per ottenere i risultati dei test compilati per la presentazione a MLPerf, ha detto a ZDNet Dave Salvator, senior product manager di Nvidia per AI e cloud.
“La misurazione delle prestazioni è una serie di sfide e hai a che fare con quanto tempo abbiamo per misurare sia le prestazioni che la potenza”, ha detto. “In molti casi, abbiamo deciso di concentrarci maggiormente sul lato delle prestazioni piuttosto che sul potere.”
Nvidia afferma di aver trovato il giusto equilibrio nell'enfatizzare prestazioni e mostrando anche l'efficienza in un'ampia gamma di attività di intelligenza artificiale.
Nvidia
Salvator ha notato che i risultati di Nvidia hanno mostrato che l'azienda ha messo “il nostro miglior passo avanti” in termini di prestazioni leader e anche maggiori prestazioni per watt, note come efficienza di calcolo, nella maggior parte dei casi. “Stiamo mostrando prestazioni leader, su tutta la linea, così come l'efficienza in ciò che pensiamo copra la grande fascia di utilizzi”.
Alla domanda se MLPerf potrebbe fare qualcosa per ridurre i compromessi che fanno cadere nel dimenticatoio i rapporti di potere, Salvator ha risposto: “È una buona domanda; siamo sempre alla ricerca di modi per presentare proposte interessanti, non solo quantità ma anche qualità”.
Aggiunto Salvatore, Nvidia ha “nuovi prodotti in arrivo che saranno piuttosto interessanti dal punto di vista dell'efficienza delle cose, e probabilmente ci vedrai con presentazioni di potere su questo.”
Il fornitore di chip mobili Qualcomm, che ha fatto una spinta per sfidare Nvidia nei dispositivi edge che eseguono l'inferenza, ha riportato una proporzione molto maggiore di invii con misurazioni di potenza, 8 su 18, o il 44%, quattro volte la proporzione degli invii di Nvidia.
Anche se Qualcomm è stata molto al di sotto di Nvidia nel numero di risultati prestazionali con il punteggio più alto, ha avuto alcune vittorie notevoli in termini di efficienza energetica. Un sistema Qualcomm contenente 16 dei suoi chip acceleratori “Cloud AI 100” ha fornito una terza velocità migliore sul venerabile test della rete neurale Resnet-50 di riconoscimento delle immagini rispetto a un sistema Nvidia A100 a 8 chip, nonostante consumasse il 25% in meno di energia.
Il risultato ha portato Qualcomm a sbandierare i suoi chip come “la soluzione di inferenza AI più efficiente”.
Il dirigente principale di Qualcomm per il suo impegno MLPerf, John Kehrli, senior director, product management, ha osservato della misurazione della potenza, ” siamo molto entusiasti che questo forum ne tenga conto, pensiamo che sia importante e continuiamo a concentrarci su questo.”
Alla domanda se la misurazione della potenza sia stata resa obsoleta da un numero insufficiente di sottomissioni, Kanter di MLPerf ha risposto: “Se davvero non otteniamo alcuna sottomissione di potenza, allora quello che stiamo facendo non è aggiungere valore”. Ciò potrebbe implicare la necessità di un ripensamento su come viene misurata la potenza, ha suggerito.
Allo stesso tempo, ha affermato Kanter, c'è una questione di “qualità rispetto alla quantità”.
“In definitiva, MLPerf mira a guidare l'industria ad allinearsi, ad aiutare i clienti a capire cosa fare, ad aiutare i designer a capire cosa fare”, ha affermato Kanter. “Finché svolgiamo questa funzione, è importante.”
Argomenti correlati:
Data Center Digital Transformation CXO Internet of Things Innovation Enterprise Software 