Meta avduker andre generasjons AI-trening og inferensbrikke

0
11
fetch2949443

Meta's MTIA v2 dobler mengde minne på brikken for å tredoble ytelsen på AI-oppgaver. 

Meta

Meta har avduket sin andre generasjons “trenings- og inferensakselerator”; chip, eller “MTIA”, nesten et år etter den første versjonen, og selskapet sier at den nye delen gir betydelige ytelsesforbedringer. 

Meta – som med andre teknologigiganter, som Microsoft, Google og Tesla – investerer i tilpasset kunstig intelligens (AI) maskinvare for å sikre seg mot monopolmakten til hovedleverandøren av GPU, Nvidia. Investeringen er også en måte å sikre tilgang på databehandling gitt at Nvidia ikke har vært i stand til å produsere nok brikker til å møte etterspørselen under den plutselige økningen i generativ AI-interesse.

Også: 5 måter å forberede seg på virkningen av generativ AI på IT-profesjonen

Som den første delen består MTIA versjon 2-brikken av et nett av blokker med kretser som opererer parallelt, et “8×8 rutenett av prosesseringselementer (PEs)”. Brikken yter 3,5 ganger så raskt som MTIA v1, sa Meta. Det er syv ganger raskere på AI-oppgaver som involverer «sparsom»; beregning, de der variabler har en nullverdi. 

Meta sa at fordelene kommer fra endringer i brikkens arkitektur og forbedret minne og lagring. “Vi har tredoblet størrelsen på den lokale PE-lagringen, doblet SRAM på brikken og økt båndbredden med 3,5X, og doblet kapasiteten til LPDDR5”," sa teknologigiganten.

meta-2024-mtia-v2-architecture.png

MTIA v2 arkitekturdiagram.

Meta

Brikken er bygget i en 5-nanometer prosessteknologi utviklet av kontraktsbrikkeproduksjonsgiganten Taiwan Semiconductor Manufacturing. 

Også: Vil du jobbe med AI? Slik svinger du karrieren din i 5 trinn

Den større brikken, som måler 421 kvadratmillimeter mot 373 for v1, har 2,4 milliarder porter, sa Meta, og utfører 103 millioner flytende-punkts matematiske operasjoner per sekund. Den ytelsen kan sammenlignes med 1,1 milliarder porter og 65 millioner operasjoner for den tidligere modellen. 

meta-training-and-inference-accelerator-2-2024-jpeg.png

Sammenligning av MTIA-generasjoner.

Meta

Som med MTIA v1, kjører den nye brikken programvare som optimerer programmer ved hjelp av Metas PyTorch åpen kildekode-utviklerrammeverk. To programvarekompilatorer samarbeider — en på frontenden kompilerer beregningsgrafen til et program, og en på baksiden er skrevet på Triton-kompilatorspråket med åpen kildekode for å generere optimal maskinkode for brikken.&#xA0 ;

Meta sa at programvareutviklingsarbeidet for MTIA v1 gjorde det mulig for selskapet å raskt bringe den nye brikken ut i livet fra “å gå fra første silisium til produksjonsmodeller som kjører i 16 regioner på mindre enn ni måneder.” Teknologiselskapet sa at brikken blir distribuert for å støtte rangerings- og anbefalingsannonseringsmodeller.

Også: Nvidia-sjef Jensen Huang avduker neste generasjons ' Blackwell' brikkefamilie hos GTC

Meta sa at de har designet et rackmontert datasystem som kjører 72 MTIA v2-er parallelt. “Vår design sikrer at vi gir tettere funksjoner med høyere databehandling, minnebåndbredde og minnekapasitet”," sa Meta. “Denne tettheten gjør at vi lettere kan imøtekomme et bredt spekter av modellkompleksiteter og størrelser.”

Teknologiselskapet planlegger å fortsette å investere i tilpasset maskinvaredesign. "Vi har for tiden flere programmer på gang som tar sikte på å utvide omfanget av MTIA, inkludert støtte for GenAI-arbeidsbelastninger," sa Meta. “Vi designer vårt tilpassede silisium for å fungere i samarbeid med vår eksisterende infrastruktur så vel som med ny, mer avansert maskinvare (inkludert neste generasjons GPUer) som vi kan utnytte i fremtiden.”