Ligesom selve kunstig intelligens er AI-startup SambaNova interessant på tværs af stakken. Fra software til hardware, fra teknologi til forretningsmodel og fra vision til udførelse.
SambaNova har gjort nyheden af en række årsager: højt profilerede grundlæggere, en række finansieringsrunder, der driver det ind i enhjørningernes territorium, imponerende AI-chipteknologi og ukonventionelle valg i emballering af den. Virksomheden eksekverer nu sit mål — at muliggøre forstyrrelse af kunstig intelligens i virksomheden.
SambaNova har netop annonceret sit GPT-as-a-service-tilbud, sit ELEVAITE-medlemskabsprogram for kunder og arbejder med en af de største banker i Europa til at bygge, hvad den hævder vil være Europas hurtigste AI-supercomputer.
Vi tog kontakt med SambaNovas CEO og medstifter Rodrigo Liang for at tale om alt det, plus et af vores yndlingsemner: grafer og hvordan de understøtter SambaNovas tilbud.
AI som en tjeneste
SambaNova rejste for nylig hele $676M i Serie D-finansiering, oversteg $5B i værdiansættelse og blev verdens bedst finansierede AI-startup. Hvor imponerende dette end kan lyde, holder det nok ikke ret meget. Distinktionen af at være “verdens bedst finansierede AI-startup”, altså ikke finansieringen. Liang, der ofte har omtalt AI som “lige så stor, hvis ikke større end internettet”, ville nok være enig:
“Folk er ikke altid klar over i deres egne vertikaler, at der er et AI-løb i gang Tænk på banker, fremstilling, sundhedspleje, alle disse forskellige sektorer, hvor folk bruger kunstig intelligens som en mulighed for at slå deres position inden for deres sektor. Det er hele industrien inden for kunstig intelligens. Der foregår en masse virkelig forstyrrende ting, som vi spille en del af,” sagde Liang.
SambaNova har netop afsløret sit GPT-as-a-service-tilbud, som fortæller om, hvordan SambaNova nærmer sig AI i virksomheden.
I skarp kontrast til Nvidias tilbud vil SambaNova for eksempel bare gøre alt for sine kunder. Fra at få modellen til at tilpasse og træne den og derefter implementere, betjene og vedligeholde den. Det inkluderer adgang til de data, der kræves for at tilpasse GPT til kundens krav, som Liang sagde kan gøres på enhver nødvendig måde – på stedet eller i SambaNovas infrastruktur.
Dette er i overensstemmelse med den måde, SambaNova sender på. dens hardware: enten som en boks, der indeholder alt fra chips til netværk eller som en tjeneste. Liang sagde, at de er blevet bedt om at sælge kunderne “bare chips” mange gange, og det kunne de gøre. Men virksomheden hævder, at det store flertal af verden ikke har AI-ekspertise til at tage chips eller software på et lavt niveau og implementere løsninger.
SambaNova har valgt at tilbyde 3 AI-modeltyper som en service baseret på kundekrav: sprogmodeller, computersyn og anbefalingssystemer.
SambaNova
SambaNovas fokus er på at få så mange af Fortune 5000 (sic) virksomhederne til produktion med AI-løsninger som muligt versus at forsøge at tale med så mange AI-udviklere som muligt. Det gør SambaNova også, og udviklere elsker at skabe nye modeller. Linags tese er imidlertid, at modeller er nået til det punkt, at de er “fantastiske”, og på trods af trinvise fremskridt handler værdi udelukkende om implementeringen i produktionen.
Denne afhandling er ikke kun i overensstemmelse med SambaNova co. -grundlægger Chris Re's forestilling om “data-centreret AI” men også med skiftet af fokus mod MLOps. Hvad angår den type AI-drevne tjenester, som SambaNova tilbyder sine kunder, sagde Liang, at selvom de kan være hvad som helst, da dataflow-substratet kan tilpasse sig enhver arbejdsbyrde, har virksomheden valgt at fokusere på 3 typer AI-modeller.
GPT-sprogmodeller er én, high-definition computervision er en anden, og anbefalingsmodeller er den tredje. Beslutningen er drevet af kundernes efterspørgsel. Liang sagde, at selvom SambaNovas tilbud inkluderer tilpasning og vedligeholdelse, er forretningsmodellen abonnementsbaseret, ikke servicebaseret. Mere Salesforce end Accenture. For de servicetunge dele arbejder SambaNova med en række partnere.
Dataflow: SambaNovas kant er baseret på grafbehandling
Dataflow-arkitekturen er det, der giver SambaNova sit forspring med hensyn til fleksibilitet og ydeevne, ifølge Liang. Baseret på, hvad der er offentligt tilgængeligt på Dataflow, havde vi det indtryk, at Dataflow var designet med udgangspunkt i software og mere specifikt compilere. Liang bekræftede dette og gik så langt som til at karakterisere SambaNova som “et software-første firma”.
Så hvordan fungerer Dataflow? Hvis vi tænker på, hvordan neurale netværk fungerer, har vi indbyrdes forbundne noder, der udfører successive beregningsrunder for at se, om hver rundes output giver et bedre resultat end den foregående. Du fortsætter bare med at gøre de gentagelser igen og igen, bemærkede Liang. Den databehandling, der sker for den type behandling i dag, er det, folk kalder “kerne for kerne”, fortsatte han med at tilføje.
Det, bemærker Liang, introducerer ineffektivitet og øger behovet for hukommelse med høj båndbredde, fordi der er mange håndtryk mellem beregningsmotoren og en mellemliggende hukommelse:
“Som en beregningsmaskine lavede du din beregning, og så sender du den tilbage, og du lader værten sende dig den næste beregningskerne, og så begynder du at finde ud af, åh, hvad skal jeg bruge? De tidligere data blev gemt her ; så får jeg det. Så det er meget svært at planlægge ressourcer. Vi ved ikke, hvad der kommer. Når du ikke ved, hvad der kommer, ved du ikke, hvad alle de ressourcer, du måske har brug for, er.
Der sker en masse virkelig forstyrrende ting i AI, og SambaNova er en del af det.
Ved sdecoret — Shutterstock
Vi startede med compilerstakken. Det første, vi vil gøre, er at sige, se, disse neurale net er meget forudsigelige. Selv for noget som GPT, så stort som det er, kender vi sammenkoblingerne i forvejen. Modeller bliver så store, at det menneskelige øje og sind ikke er skabt til at optimere til det. Men det gør compilere et godt stykke arbejde med.
Antag, at du tillader værktøjet at komme ind og rulle hele grafen ud og bare se hvert lag af grafen, hver sammenkobling, som du måtte have brug for, hvor sektionsudskæringerne er, hvor alle de kritiske latensforbindelser er, hvor de høje båndbreddeforbindelser er. I så fald har du faktisk en chance for at finde ud af, hvordan du virkelig kører denne graf optimalt,” sagde Liang.
Liang fortsatte med at tilføje de muligheder, der er tilgængelige i dag – CPU'er, GPU'er, FPGA'er – ved kun, hvordan man behandler en kerne ad gangen. SambaNova tager beregningsgrafen, alle båndbredde- og latensproblemer, kortlægger det og beholder dataene på chippen. Det er nøglen at holde alle disse grafer og forbindelser optimalt sammen og lave al orkestreringen langt i forvejen.
Du kan skalere det til mange grafer på en chip, eller du kan sætte en graf i hundredvis af chips – – kompilatoren er ligeglad. For eksempel rapporterer nogle af SambaNovas mest sofistikerede kunder – i den amerikanske regering – at de får 8X til 10X, nogle gange 20X fordele sammenlignet med deres GPU-resultater, som de har optimeret i årevis, sagde Liang.
Interessant nok var SambaNova ikke inkluderet de sidste par gange, vi så resultater for MLPerf. For at præcisere betyder det, at SambaNova slet ikke underkastede sig MLPerf. MLPerf-testpakken er oprettelsen af MLCommons, et industrikonsortium, der udsteder benchmark-evalueringer til maskinlæringstræning og inferensarbejdsbelastninger. Så den eneste måde at verificere Liangs påstande er, at prøve SambaNova åbenbart. Benchmarks bør alligevel tages med et gran salt, og beviset ligger i, hvordan tingene fungerer i dine egne omgivelser.
Uanset at vi finder vægten på grafbehandling til AI-chips interessant. SambaNova er ikke det eneste AI-chipfirma, der rent faktisk fokuserer på det, og kapløbet om grafbehandling er i gang.
Kunstig Intelligens
GE, Einride afslører den første autonome elektriske lastbil i drift. på amerikansk jord Alphabets DeepMind-udløber bruger AI til lægemiddelopdagelse Ny burgerbot laver også kyllingevinger. Hvad er AI? Alt hvad du behøver at vide om kunstig intelligens-datacentre | Digital transformation | CXO | Internet of Things | Innovation | Enterprise Software