I likhet med kunstig intelligens i seg selv, er AI-oppstarten SambaNova interessant over hele stabelen. Fra programvare til maskinvare, fra teknologi til forretningsmodell, og fra visjon til utførelse.
SambaNova har kommet til nyhetene av en rekke grunner: høyprofilerte grunnleggere, en rekke finansieringsrunder som driver den inn i enhjørningens territorium, imponerende AI-brikketeknologi og ukonvensjonelle valg i pakkingen. Selskapet utfører nå målet sitt – å aktivere AI-avbrudd i bedriften.
SambaNova kunngjorde nettopp sitt GPT-as-a-service-tilbud, sitt ELEVAITE-medlemskapsprogram for kunder, og jobber med en av de største bankene i Europa for å bygge det den hevder vil være Europas raskeste AI-superdatamaskin.
Vi tok kontakt med SambaNova-sjef og medgründer Rodrigo Liang for å snakke om alt dette, pluss et av favorittemnene våre: grafer og hvordan de underbygger SambaNovas tilbud.
AI som en tjeneste
SambaNova samlet nylig inn hele 676 millioner dollar i serie D-finansiering, overgikk 5 milliarder dollar i verdi og ble verdens best finansierte AI-startup. Hvor imponerende dette kan høres ut, vil det sannsynligvis ikke vare særlig mye. Skillet av å være «verdens best finansierte AI-startup», altså ikke finansieringen. Liang, som ofte har omtalt AI som «like stor, om ikke større enn internett», er nok enig:
«Folk er ikke alltid klar over i sine egne vertikaler at det er et AI-løp på gang på. Tenk på banker, produksjon, helsevesen, alle disse forskjellige sektorene der folk bruker kunstig intelligens som en mulighet til å forsterke sin posisjon innen sin sektor. Det er hele industrien til kunstig intelligens. Det er mye som virkelig forstyrrer, noe vi spille en del av,” sa Liang.
SambaNova har nettopp avduket sitt GPT-as-a-service-tilbud, som forteller om hvordan SambaNova nærmer seg AI i bedriften.
I sterk kontrast til Nvidias tilbud, for eksempel, vil SambaNova bare gjøre alt for sine kunder. Fra å få modellen til å tilpasse og trene den, og deretter distribuere, drifte og vedlikeholde den. Dette inkluderer tilgang til dataene som kreves for å tilpasse GPT til kundens krav, som Liang sa kan gjøres på alle nødvendige måter – på stedet eller i SambaNovas infrastruktur.
Dette er i samsvar med måten SambaNova sender på. maskinvaren: enten som en boks som inneholder alt fra brikker til nettverk eller som en tjeneste. Liang sa at de har blitt bedt om å selge kundene «bare chips» mange ganger, og de kunne gjøre det. Men selskapet hevder at det store flertallet av verden ikke har AI-ekspertise til å ta brikker eller programvare på et lavt nivå og implementere løsninger.
SambaNova har valgt å tilby 3 AI-modelltyper som en tjeneste basert på kundekrav: språkmodeller, datasyn og anbefalingssystemer.
SambaNova
SambaNovas fokus er å få så mange av Fortune 5000 (sic)-selskapene til produksjon med AI-løsninger som mulig versus å prøve å snakke med så mange AI-utviklere som mulig. SambaNova gjør det også, og utviklere elsker å lage nye modeller. Linags tese er imidlertid at modellene har kommet til det punktet at de er “fantastiske”, og til tross for stadige fremskritt, handler verdi kun om distribusjon i produksjonen.
Denne oppgaven er ikke bare i samsvar med SambaNova co -grunnlegger Chris Re sin forestilling om «datasentrisk AI» men også med skiftet av fokus mot MLOps. Når det gjelder typen AI-drevne tjenester som SambaNova tilbyr til sine kunder, sa Liang at selv om de kan være hva som helst, siden dataflytsubstratet kan tilpasse seg enhver arbeidsbelastning, har selskapet valgt å fokusere på 3 typer AI-modeller.
GPT-språkmodeller er en, høydefinisjonsdatasyn er en annen, og anbefalingsmodeller er den tredje. Beslutningen er drevet av kundenes etterspørsel. Liang sa at selv om SambaNovas tilbud inkluderer tilpasning og vedlikehold, er forretningsmodellen abonnementsbasert, ikke tjenestebasert. Mer Salesforce enn Accenture. For de servicetunge delene samarbeider SambaNova med en rekke partnere.
Dataflyt: SambaNovas kant er basert på grafbehandling
Dataflow-arkitekturen er det som gir SambaNova sitt forsprang på fleksibilitet og ytelse, ifølge Liang. Basert på det som er offentlig tilgjengelig på Dataflow, hadde vi inntrykk av at Dataflow ble designet med utgangspunkt i programvare, og mer spesifikt kompilatorer. Liang bekreftet dette og gikk så langt som å karakterisere SambaNova som “et software-first company”.
Så hvordan fungerer Dataflow? Hvis vi tenker på hvordan nevrale nettverk fungerer, har vi sammenkoblede noder som gjør suksessive runder med beregninger for å se om hver rundes utgang gir et bedre resultat enn den forrige. Du bare fortsetter å gjøre disse iterasjonene om og om igjen, bemerket Liang. Databehandlingen som skjer for den type prosessering i dag, er det folk kaller «kjerne for kjerne», fortsatte han med å legge til.
Det, bemerker Liang, introduserer ineffektivitet og øker behovet for minne med høy båndbredde fordi det er mange håndtrykk mellom beregningsmotoren og et mellomminne:
“Som en beregningsmotor gjorde du beregningen din, og så sender du den tilbake, og du lar verten sende deg den neste beregningskjernen, og så begynner du å finne ut, å, hva trenger jeg? De forrige dataene ble lagret her ; så får jeg det. Så det er veldig vanskelig å planlegge ressurser. Vi vet ikke hva som kommer. Når du ikke vet hva som kommer, vet du ikke hva alle ressursene du trenger er.
Det er mye virkelig forstyrrende ting som skjer i AI, og SambaNova er en del av det.
Av sdecoret — Shutterstock
Vi startet med kompilatorstakken. Det første vi vil gjøre er å si, se, disse nevrale nettene er veldig forutsigbare. Selv for noe som GPT, så stort som det er, kjenner vi sammenkoblingene på forhånd. Modeller blir så store at det menneskelige øyet og sinnet ikke ble laget for å optimalisere for det. Men kompilatorer gjør en god jobb med det.
Anta at du lar verktøyet komme inn og rulle ut hele grafen og bare se hvert lag av grafen, hver sammenkobling du måtte trenge, hvor seksjonskuttene er, hvor alle de kritiske latensforbindelsene er, hvor tilkoblingene med høy båndbredde er. I så fall har du faktisk en sjanse til å finne ut hvordan du virkelig kjører denne grafen optimalt,” sa Liang.
Liang fortsatte med å legge til alternativene som er tilgjengelige i dag – CPUer, GPUer, FPGAer – vet bare hvordan man behandler én kjerne om gangen. SambaNova tar beregningsgrafen, alle båndbredde- og latensproblemer, kartlegger den og beholder dataene på brikken. Å holde alle disse grafene og sammenkoblingene optimalt knyttet sammen og gjøre all orkestrering langt på forhånd er nøkkelen.
Du kan skalere det for mange grafer på én brikke, eller du kan legge inn én graf i hundrevis av brikker – – kompilatoren bryr seg ikke. For eksempel rapporterer noen av SambaNovas mest sofistikerte kunder – i den amerikanske regjeringen – at de får 8X til 10X, noen ganger 20X fordel sammenlignet med GPU-resultatene som de har optimalisert i årevis, sa Liang.
Interessant nok var ikke SambaNova inkludert de siste gangene vi så resultater for MLPerf. For å presisere betyr det at SambaNova ikke underkastet MLPerf i det hele tatt. MLPerf-testpakken er opprettelsen av MLCommons, et industrikonsortium som utsteder benchmark-evalueringer for maskinlæringstrening og slutningsarbeidsbelastninger. Så den eneste måten å bekrefte Liangs påstander er å prøve SambaNova ut, tilsynelatende. Referansemål bør tas med en klype salt uansett, og beviset ligger i hvordan ting fungerer i din egen setting.
Uansett synes vi vektleggingen av grafbehandling for AI-brikker er spennende. SambaNova er ikke det eneste AI-brikkeselskapet som faktisk fokuserer på det, og kappløpet om grafbehandling er i gang.
Kunstig intelligens
GE, Einride avduker den første autonome elektriske lastebilen i drift. på amerikansk jord Alphabets DeepMind-avlegger bruker AI for å oppdage medisiner Ny burgerbot gjør også kyllingvinger. Hva er AI? Alt du trenger å vite om kunstig intelligens-datasentre | Digital transformasjon | CXO | Internet of Things | Innovasjon | Enterprise Software