Precis som artificiell intelligens i sig är AI-starten SambaNova intressant över hela stacken. Från mjukvara till hårdvara, från teknik till affärsmodell och från vision till utförande.
SambaNova har gjort nyheterna av ett antal anledningar: högprofilerade grundare, en serie finansieringsomgångar som driver den in i enhörningsterritorium, imponerande AI-chipteknologi och okonventionella val när det gäller förpackning. Företaget genomför nu sitt mål — att möjliggöra störningar av AI i företaget.
SambaNova tillkännagav just sitt GPT-as-a-service-erbjudande, sitt ELEVAITE-medlemsprogram för kunder, och arbetar med en av de största bankerna i Europa för att bygga vad de hävdar kommer att bli Europas snabbaste AI-superdator.
Vi tog kontakt med SambaNovas vd och medgrundare Rodrigo Liang för att prata om allt det, plus ett av våra favoritämnen: grafer och hur de underbygger SambaNovas erbjudande.
AI som en tjänst
SambaNova samlade nyligen in hela $676 miljoner i serie D-finansiering, överträffade $5 miljarder i värdering och blev världens bäst finansierade AI-startup. Hur imponerande detta än kan låta, kommer det förmodligen inte att hålla särskilt mycket. Skillnaden att vara “världens bäst finansierade AI-startup”, det vill säga inte finansieringen. Liang, som ofta har hänvisat till AI som “lika stor, om inte större än internet”, skulle förmodligen hålla med:
“Människor är inte alltid medvetna i sina egna vertikaler om att det pågår ett AI-lopp. på. Tänk på banker, tillverkning, hälso- och sjukvård, alla dessa olika sektorer där människor använder AI som en möjlighet att förstärka sin position inom sin sektor. Det är hela industrin för AI. Det är många riktigt störande saker som pågår, vilket vi spela en del av,” sa Liang.
SambaNova har precis presenterat sitt GPT-as-a-service-erbjudande, som berättar om hur SambaNova närmar sig AI i företaget.
I skarp kontrast till Nvidias erbjudande, till exempel, vill SambaNova bara göra allt för sina kunder. Från att skaffa modellen till att anpassa och träna den, och sedan distribuera, driva och underhålla den. Det inkluderar tillgång till de data som krävs för att skräddarsy GPT till kundens krav, vilket Liang sa kan göras på vilket sätt som helst – på plats eller i SambaNovas infrastruktur.
Detta stämmer överens med hur SambaNova skickar dess hårdvara: antingen som en låda som innehåller allt från chips till nätverk eller som en tjänst. Liang sa att de har blivit ombedda att sälja kunder “bara chipsen” många gånger, och de kunde göra det. Men företaget hävdar att den stora majoriteten av världen inte har AI-expertis för att ta chips eller mjukvara på en låg nivå och implementera lösningar.
SambaNova har valt att erbjuda 3 AI-modelltyper som en tjänst baserad på kundernas krav: språkmodeller, datorseende och rekommendationssystem.
SambaNova
SambaNovas fokus ligger på att få så många av Fortune 5000 (sic)-företagen att producera med AI-lösningar som möjligt kontra att försöka prata med så många AI-utvecklare som möjligt. SambaNova gör det också, och utvecklare älskar att skapa nya modeller. Linags tes är dock att modeller har kommit till den punkt att de är “fantastiska”, och trots stegvisa framsteg handlar värde enbart om implementeringen i produktionen.
Denna avhandling överensstämmer inte bara med SambaNova co -grundaren Chris Res idé om “datacentrerad AI” men också med förskjutningen av fokus mot MLOps. När det gäller den typ av AI-drivna tjänster som SambaNova erbjuder sina kunder, sa Liang att även om de kan vara vad som helst, eftersom dataflödessubstratet kan anpassa sig till vilken arbetsbelastning som helst, har företaget valt att fokusera på tre typer av AI-modeller.
GPT-språkmodeller är en, högupplöst datorseende är en annan, och rekommendationsmodeller är den tredje. Beslutet styrs av kundernas efterfrågan. Liang sa att även om SambaNovas erbjudande inkluderar anpassning och underhåll, är affärsmodellen prenumerationsbaserad, inte tjänstebaserad. Mer Salesforce än Accenture. För de servicetunga delarna samarbetar SambaNova med ett antal partners.
Dataflöde: SambaNovas spets bygger på grafbearbetning
Dataflow-arkitekturen är det som ger SambaNova dess fördel när det gäller flexibilitet och prestanda, enligt Liang. Baserat på vad som är allmänt tillgängligt på Dataflow, fick vi intrycket att Dataflow var designat med utgångspunkt från mjukvara och mer specifikt kompilatorer. Liang bekräftade detta och gick så långt som att karakterisera SambaNova som “ett mjukvaruföretag”.
Så hur fungerar Dataflow? Om vi tänker på hur neurala nätverk fungerar, har vi sammankopplade noder som gör successiva beräkningsomgångar för att se om varje omgångs utdata ger ett bättre resultat än den föregående. Du fortsätter bara att göra dessa iterationer om och om igen, noterade Liang. Beräkningen som sker för den typen av bearbetning idag är vad folk kallar “kärna för kärna”, fortsatte han med att tillägga.
Det, noterar Liang, introducerar ineffektivitet och ökar behovet av minne med hög bandbredd eftersom det finns finns många handslag mellan beräkningsmotorn och ett mellanminne:
“Som en beräkningsmotor gjorde du din beräkning, och sedan skickar du tillbaka den, och du låter värden skicka nästa beräkningskärna till dig, och sedan börjar du ta reda på, åh, vad behöver jag? Tidigare data lagrades här ; då får jag det. Så det är väldigt svårt att planera resurser. Vi vet inte vad som kommer. När du inte vet vad som kommer vet du inte vilka resurser du kan behöva.
Det händer mycket riktigt störande saker inom AI, och SambaNova är en del av det.
Av sdecoret — Shutterstock
Vi började med kompilatorstacken. Det första vi vill göra är att säga, se, dessa neurala nät är väldigt förutsägbara. Även för något som GPT, så stort som det är, känner vi till sammankopplingarna långt i förväg. Modellerna blir så stora att det mänskliga ögat och sinnet inte är gjorda för att optimera för det. Men kompilatorer gör ett bra jobb med det.
Anta att du låter verktyget komma in och rulla ut hela grafen och bara se varje lager av grafen, varje sammankoppling som du kan behöva, var sektionssnitten är, var alla kritiska latensförbindelser finns, var anslutningarna med hög bandbredd finns. I så fall har du faktiskt en chans att ta reda på hur du verkligen kör den här grafen optimalt, säger Liang.
Liang fortsatte med att lägga till alternativen som finns tillgängliga idag – CPU:er, GPU:er, FPGA:er – vet bara hur man bearbetar en kärna i taget. SambaNova tar beräkningsgrafen, alla bandbredds- och latensproblem, kartlägger den och behåller data på chippet. Att hålla alla dessa grafer och sammankopplingar optimalt sammankopplade och göra all orkestrering långt i förväg är nyckeln.
Du kan skala det för många grafer på ett chip, eller så kan du lägga en graf i hundratals marker – – kompilatorn bryr sig inte. Till exempel rapporterar några av SambaNovas mest sofistikerade kunder — i den amerikanska regeringen — att de får 8X till 10X, ibland 20X fördelar jämfört med deras GPU-resultat som de har optimerat i flera år, sa Liang.
Intressant nog, de senaste gångerna vi såg resultat för MLPerf inkluderades inte SambaNova. För att förtydliga, betyder det att SambaNova inte underkastade sig MLPerf alls. MLPerf-testsviten är skapandet av MLCommons, ett industrikonsortium som utfärdar benchmark-utvärderingar för utbildning i maskininlärning och slutledningsarbetsbelastningar. Så det enda sättet att verifiera Liangs påståenden är att prova SambaNova, tydligen. Riktmärken bör tas med en nypa salt i alla fall, och beviset ligger i hur saker fungerar i din egen miljö.
Oavsett vilket tycker vi att betoningen på grafbearbetning för AI-chips intressant. SambaNova är inte det enda AI-chipföretaget som faktiskt fokuserar på det, och kapplöpningen om grafbearbetning är igång.
Artificiell intelligens
GE, Einride avslöjar den första autonoma elektriska lastbilen i drift. på amerikansk mark Alphabets DeepMind-utlöpare använder AI för drogupptäckt Ny hamburgerbot gör också kycklingvingar. Vad är AI? Allt du behöver veta om Artificiell Intelligens Datacenter | Digital transformation | CXO | Internet of Things | Innovation | Företagsprogramvara