Intel's hoofd architectuur, Raja Koduri.
De verwerking van neurale netwerken voor kunstmatige intelligentie wordt een belangrijk onderdeel van de werklast van elk soort chip, volgens chipgigant Intel, die donderdag details onthulde van toekomstige processors tijdens het jaarlijkse “Architecture Day”-ritueel.
“Neurale netwerken zijn de nieuwe apps”, zegt Raja M. Koduri, senior vice president en general manager van Intel's Accelerated Computing Systems and Graphics Group, in een interview met ZDNet via Microsoft-teams.
“Wat we zien is dat elke socket, het is niet de CPU, GPU, IPU, alles een matrixversnelling heeft”, zegt Koduri.
Koduri nam Intel's nieuw gevormde Accelerated Computing Unit in juni over als onderdeel van een brede reorganisatie van Intel's uitvoerende leiding onder CEO Pat Gelsinger.
Koduri beweerde dat Intel door het versnellen van de matrixvermenigvuldigingen in het hart van neurale netwerken, Intel de snelste chips zal hebben voor machine learning en deep learning, en elke vorm van kunstmatige intelligentieverwerking.
Ook: Intel vormt Accelerated Computing, Software business units
“Wij zijn de snelste AI-CPU en onze Sapphire Rapids, onze nieuwe datacenterarchitectuur, is de snelste voor AI-workloads, onze nieuwe GPU's, niemand tot nu toe, er zijn tientallen startups geweest, maar niemand versloeg Nvidia in een trainingsbenchmark, en dat hebben we vandaag aangetoond.”
Intel toonde een demonstratie waarin de aanstaande stand-alone GPU, Ponte Vecchio, Nvidia's A100 GPU versloeg in een gemeenschappelijke benchmark neurale netwerktaak, waarbij het ResNet-50 neurale netwerk werd uitgevoerd om afbeeldingen in het ImageNet te categoriseren bibliotheek met foto's.
Intel beweert dat pre-productieversies van zijn Ponte Vecchio GPU het beste kunnen Nvidia bij een standaardmaat van neurale netwerkprestaties in deep learning-toepassingen, waarbij het ResNet-50 neurale netwerk moet worden getraind om duizenden afbeeldingen per seconde uit de ImageNet-fotocollectie te verwerken .
Intel beweert dat Ponte Vecchio ook sneller voorspellingen kan maken met ResNet-50 aan ImageNet vergeleken met Nvidia en anderen in wat bekend staat als inferene taken.
In de demonstratie beweert Intel dat de Ponte Vecchio, in pre-productie silicium, in staat is om meer dan 3.400 van de afbeeldingen in één seconde te verwerken, waarmee eerdere records van 3.000 afbeeldingen worden overtroffen. Dat is voor neurale netwerktraining. Op het gebied van inferentie, wanneer een getraind neuraal net voorspellingen doet, is Ponte Vecchio in staat om voorspellingen te doen voor meer dan 43.000 afbeeldingen in één seconde, wat het aanhaalt als de concurrerende topscore van 40.000 afbeeldingen per seconde.
Intel's Xeon-chips domineerden de markt voor AI-inferentie, maar Nvidia heeft voet aan de grond gekregen. Intel heeft weinig aandeel in neurale netwerktraining, terwijl Nvidia het veld domineert met zijn GPU's.
Koduri zei dat het bedrijf van plan is om te concurreren met Nvidia in de jaarlijkse bake-off van AI-chips, MLPerf, waar het bedrijf opschept over ResNet-50 en andere vergelijkbare benchmarktaken.
De architectuurdag richt zich op Intel's routekaart voor hoe het ontwerp van circuits van zijn chips de transistors en de functionele blokken op de chip zal indelen, zoals rekenkundige logische eenheden, caches en pijplijnen.
Een architectuurverandering, voor Intel of voor welk bedrijf dan ook, brengt nieuwe 'cores', het hart van de processor die bepaalt hoe het 'datapad' wordt beheerd, wat betekent dat het opslaan en ophalen van getallen, en het besturingspad, wat betekent dat de beweging instructies rond de chip.
Veel aspecten van de nieuwe CPU's zijn eerder door Intel onthuld, ook op de Architectuurdag van vorig jaar. Het bedrijf moet softwareontwerpers aan het denken zetten over en werken aan haar processors, jaren voordat ze klaar zijn om van de band te rollen.
De wereld wist bijvoorbeeld dat Intel een nieuwe CPU voor clientcomputing op de markt zou brengen, Alder Lake genaamd, die twee soorten CPU's combineert. Op donderdag kondigde Intel aan dat het die twee, voorheen met de codenaam Golden Cove en Gracemont, zou hernoemen als 'Performance Core' en 'Efficient Core'. Meer details daarover van Chris Duckett van ZDNet.
Ook: Intel onthult Alder Lake hybride architectuur met efficiënte en prestatiegerichte cores
Een van de nieuwe onthullingen van vandaag is dat de nieuwe CPU's gebruik zullen maken van een hardwarestructuur die bekend staat als de 'Thread Director'. De Thread Director neemt de controle over hoe de uitvoeringsthreads worden uitgevoerd op de processor op een manier die zich aanpast aan factoren zoals energieverbruik, om het besturingssysteem van een deel van die rol te ontvangen.
“De hele manier waarop het besturingssysteem samenwerkt met hardware is een hardware-innovatie.” Thread Director, zegt Intel, “biedt telemetrie op laag niveau over de status van de kern en de instructiemix van de thread, waardoor het besturingssysteem de juiste thread op het juiste moment op de juiste kern kan plaatsen.”
Thread Director, een hardwareschema dat enige verantwoordelijkheid overneemt voor het beheer van instructiethreads van het besturingssysteem, was een van de nieuwe items die werden besproken op Intel's archticture day.
Intel
Een andere nieuwe onthulling is hoe de chips gebruik zullen maken van geheugenbandbreedtetechnologieën. Bijvoorbeeld, Intel's toekomstige datacenterprocessor, Sapphire Rapids,
Alder Lake zal PCIe Gen 5, DDR 5-geheugeninterfaces ondersteunen, zo werd bekendgemaakt.
Intel maakte bekend dat de aanstaande datacenterprocessor, Sapphire Rapids, het volgende tijdperk van zijn Xeon-familie, bepaalde prestatieaspecten zal hebben. De chip zal bijvoorbeeld 2.048 bewerkingen per klokcyclus uitvoeren op 8-bits integer-gegevenstypen met behulp van wat Intel zijn AMX noemt, of 'geavanceerde matrixextensies'. Nogmaals, de nadruk ligt op neurale net-achtige operaties. AMX is een speciaal soort matrixvermenigvuldiging die op afzonderlijke tegels van een chip werkt. Sapphire Rapids is samengesteld uit vier afzonderlijke fysieke tegels die elk CPU en accelerator en input/output-functies hebben, maar die er voor het besturingssysteem uitzien als één logische CPU.
Intel beweert dat Sapphire Rapids is geoptimaliseerd voor AI via extensies zoals AMX.
Intel
Sapphire Rapids is een voorbeeld van hoe Intel in toenemende mate de fysieke constructie van chips op meerdere substraten als een voordeel beschouwt. Het gebruik van meerdere fysieke tegels, bijvoorbeeld, in plaats van één monolithische halfgeleiderchip, maakt gebruik van wat Intel zijn ingebouwde multi-die-interconnectbrug noemt.
De presentatie van donderdag bevatte ook veel discussie over Intel-procestechnologie, die het bedrijf de afgelopen jaren heeft proberen recht te zetten na misstappen.
Vanwege de beperkingen van de traditionele schaling van transistors volgens de wet van Moore, is het essentieel om gebruik te maken van andere voordelen die Intel kan bieden bij het maken van chips, waaronder het stapelen van meerdere chips in een pakket.
“Vandaag de dag is het voor architecten veel belangrijker om elk gereedschap in onze gereedschapskist voor processen en verpakkingen te gebruiken dan tien jaar geleden om dit spul te bouwen”, aldus Koduri. “Vroeger was het, ja, ja, ja, de traditionele Dennard Scaling, Moore's Law zorgde ervoor, neem mijn nieuwe CPU, zet hem op het nieuwe procesknooppunt, en je krijgt het voor elkaar.”
Hij verwees naar de observatie van Robert Dennard, een wetenschapper bij IBM, in de jaren zeventig dat naarmate meer en meer transistors verpakt in een vierkant gebied van een chip, daalt het stroomverbruik van elke transistor, zodat de processor energiezuiniger wordt. Dennard Scaling wordt beschouwd als effectief dood, net als de wet van Moore.
Zowel Alder Lake als Sapphire Rapids zullen door Intel worden gebouwd met behulp van wat het zijn “Intel 7” -procestechnologie noemt. Dat is een hernoeming van wat “10nm Enhanced SuperFin” werd genoemd, waarbij het bedrijf een efficiëntere daar-dimensionale transistor, een FinFet, toevoegt aan het 10-nanometerproces voor een efficiënter energieverbruik. (De Intel 7-aanduiding maakt deel uit van een brede hernoeming van Intel's procestechnologie die het bedrijf in juli onthulde.)
Tegelijkertijd zullen sommige onderdelen van Intel's onderdelen worden gemaakt met behulp van productie bij Taiwan Semiconductor Manufacturing, dat aan Intel's concurrenten levert. Die stap om selectief uit te besteden is een uitbreiding van Intel's bestaande gebruik van uitbestede transistorproductie. Het is wat CEO Gelsinger Intel's “IDM 2.0”-strategie heeft genoemd.
Ook: Intel: databandbreedte en schaarste zijn de twee grootste uitdagingen voor AI-chips
Vandaag de dag, zei Koduri, “is het een gouden eeuw voor architecten omdat we deze tools veel effectiever moeten gebruiken.” Koduri herhaalde een claim die in 2019 door U.C. Berkeley-professor David Patterson dat computerarchitecten moeten compenseren voor de apparaatfysica die ervoor zorgt dat Moore's Law en Dennard Scaling niet langer domineren.
Nu Nvidia blijft innoveren op het gebied van GPU's en nu van plan is om in de komende jaren zijn eigen CPU, “Grace”, te onthullen, en met startups zoals Cerebras Systems die geheel nieuwe soorten chips bouwen, is het doel voor Intel in AI natuurlijk niet gewoon om de processors AI-vriendelijker te maken. Het moet zijn om de manier waarop het veld van AI zijn werk doet te veranderen.
Gevraagd hoe de verschillende innovaties van Intel de manier kunnen veranderen waarop neurale netwerken worden gebouwd, zei Koduri dat de talloze soorten processortypes die nu bij Intel en elders in opkomst zijn, veel meer zullen moeten samenwerken en minder apart zullen moeten functioneren, om samen te werken aan taken.
“De workloads gaan zeker in de richting waarin deze dingen die CPU's, GPU's, DPU's en herinneringen worden genoemd, meer met elkaar praten dan dat ze nu met elkaar praten.”
“Ze zullen met elkaar praten, ze zullen nauwer samenwerken tussen deze dingen, om het werk gedaan te krijgen, dan je hebt gezien in de eerste vijf jaar van deep learning.”
Koduri verwees naar de periode van 2016 tot 2021 als “de eerste vijf jaar van deep learning”, zoals hij het ziet. “De komende vijf jaar zullen al deze dingen dichter bij elkaar komen.”
moet lezen
Ethiek van AI: voordelen en risico's van kunstmatige intelligentie
De toenemende schaal van AI verhoogt de inzet voor belangrijke ethische vragen .
Lees meer
Verwante onderwerpen:
Hardware Digitale transformatie CXO Internet of Things Innovatie Enterprise Software 