Net als kunstmatige intelligentie zelf, is de AI-startup SambaNova interessant over de hele stapel. Van software tot hardware, van technologie tot businessmodel en van visie tot uitvoering.
SambaNova heeft het nieuws gehaald om een aantal redenen: spraakmakende oprichters, een reeks financieringsrondes die het naar eenhoorngebied stuwen, indrukwekkende AI-chiptechnologie en onconventionele keuzes bij het verpakken ervan. Het bedrijf voert nu zijn doel uit: AI-verstoring in de onderneming mogelijk maken.
SambaNova heeft zojuist zijn GPT-as-a-service-aanbod aangekondigd, zijn ELEVAITE-lidmaatschapsprogramma voor klanten, en werkt samen met een van de grootste banken in Europa om te bouwen wat volgens haar de snelste AI-supercomputer van Europa zal zijn.
We hebben contact opgenomen met SambaNova CEO en mede-oprichter Rodrigo Liang om daarover te praten, plus een van onze favoriete onderwerpen: grafieken en hoe ze het aanbod van SambaNova ondersteunen.
AI als een service
SambaNova haalde onlangs maar liefst $ 676 miljoen op in Series D-financiering, overtrof $ 5 miljard aan waardering en werd 's werelds best gefinancierde AI-startup. Hoe indrukwekkend dit ook mag klinken, het zal waarschijnlijk niet lang duren. Het onderscheid om “de best gefinancierde AI-startup ter wereld” te zijn, dat wil zeggen, niet de financiering. Liang, die AI vaak heeft aangeduid als “net zo groot, zo niet groter dan het internet”, zou het er waarschijnlijk mee eens zijn:
“Mensen zijn zich er in hun eigen branche niet altijd van bewust dat er een AI-race gaande is on. Denk aan banken, productie, gezondheidszorg, al deze verschillende sectoren waar mensen AI gebruiken als een kans om hun positie binnen hun sector te katapulteren. Het is de hele industrie van AI. Er zijn veel echt ontwrichtende dingen gaande, die we spelen een rol van,” zei Liang.
SambaNova heeft zojuist zijn GPT-as-a-service-aanbod onthuld, dat vertelt hoe SambaNova AI in de onderneming benadert.
In schril contrast met het aanbod van Nvidia, bijvoorbeeld, wil SambaNova gewoon alles doen voor haar klanten. Van het verkrijgen van het model tot het aanpassen en trainen ervan, en vervolgens het implementeren, bedienen en onderhouden. Dat omvat toegang tot de gegevens die nodig zijn om GPT op maat te trainen volgens de vereisten van de klant, wat volgens Liang op elke gewenste manier kan worden gedaan – op locatie of in de infrastructuur van SambaNova.
Dit komt overeen met de manier waarop SambaNova wordt verzonden zijn hardware: ofwel als een doos die alles bevat, van chips tot netwerken, of als een service. Liang zei dat ze vaak zijn gevraagd om klanten “alleen de chips” te verkopen, en dat ze dat konden doen. Maar het bedrijf beweert dat de grote meerderheid van de wereld niet over de AI-expertise beschikt om chips of software op een laag niveau te brengen en oplossingen te implementeren.
SambaNova heeft ervoor gekozen om 3 AI-modeltypes als service aan te bieden op basis van klanteisen: taalmodellen, computervisie en aanbevelingssystemen.
SambaNova
SambaNova's focus ligt op het krijgen van zoveel mogelijk van de Fortune 5000 (sic) bedrijven in productie met AI-oplossingen in plaats van te proberen met zoveel mogelijk AI-ontwikkelaars te praten. SambaNova doet dat ook, en ontwikkelaars houden ervan om nieuwe modellen te maken. Linag's stelling is echter dat modellen op het punt zijn gekomen dat ze “fantastisch” zijn, en ondanks toenemende vooruitgang draait het allemaal om de implementatie in productie.
Deze stelling is niet alleen consistent met SambaNova co -oprichter Chris Re's idee van 'data-centric AI', maar ook met de verschuiving van de focus naar MLOps. Wat betreft het type AI-aangedreven diensten dat SambaNova zijn klanten aanbiedt, zei Liang dat hoewel ze van alles kunnen zijn, aangezien het datastroomsubstraat zich kan aanpassen aan elke werkbelasting, het bedrijf ervoor heeft gekozen om zich te concentreren op 3 soorten AI-modellen.
GPT-taalmodellen zijn er één, high-definition computervisie is een andere, en aanbevelingsmodellen zijn de derde. De beslissing wordt gedreven door de vraag van de klant. Liang zei dat hoewel het aanbod van SambaNova maatwerk en onderhoud omvat, het bedrijfsmodel gebaseerd is op abonnementen en niet op service. Meer Salesforce dan Accenture. Voor de service-zware onderdelen werkt SambaNova samen met een aantal partners.
Dataflow: SambaNova's edge is gebaseerd op grafische verwerking
De Dataflow-architectuur geeft SambaNova volgens Liang een voorsprong op flexibiliteit en prestaties. Op basis van wat openbaar beschikbaar is op Dataflow, hadden we de indruk dat Dataflow is ontworpen vanuit software, en meer specifiek compilers. Liang bevestigde dit en ging zelfs zo ver dat hij SambaNova karakteriseerde als “een softwarebedrijf”.
Dus hoe werkt Dataflow? Als we nadenken over hoe neurale netwerken werken, hebben we onderling verbonden knooppunten die opeenvolgende berekeningsrondes uitvoeren om te zien of de uitvoer van elke ronde een beter resultaat oplevert dan de vorige. Je blijft die iteraties gewoon keer op keer doen, merkte Liang op. Het computergebruik dat tegenwoordig voor dat type verwerking plaatsvindt, is wat mensen “kernel voor kernel” noemen, voegde hij eraan toe.
Dat, merkt Liang op, introduceert inefficiëntie en vergroot de behoefte aan geheugen met hoge bandbreedte omdat er zijn veel handdrukken tussen de rekenmachine en een tussengeheugen:
“Als rekenmachine heb je je berekening gedaan, en dan stuur je het terug, en je laat de host je de volgende rekenkernel sturen, en dan begin je uit te zoeken, oh, wat heb ik nodig? De eerdere gegevens werden hier opgeslagen ; dan snap ik het. Dus het is erg moeilijk om middelen te plannen. We weten niet wat er gaat komen. Als je niet weet wat er gaat komen, weet je niet wat alle middelen zijn die je nodig hebt.
Er zijn veel echt storende dingen gaande in AI, en SambaNova is een onderdeel daarvan.
Door sdecoret — Shutterstock
We zijn begonnen met de compiler-stack. Het eerste wat we willen doen is zeggen, kijk, deze neurale netwerken zijn erg voorspelbaar. Zelfs voor zoiets als GPT, hoe groot het ook is, we kennen de onderlinge verbindingen ver van tevoren. Modellen worden zo groot dat het menselijk oog en de geest er niet voor gemaakt zijn om ervoor te optimaliseren. Maar compilers doen dat uitstekend.
Stel dat u de tool binnen laat komen en de hele grafiek uitrolt en alleen elke laag van de grafiek ziet, elke onderlinge verbinding die u nodig heeft, waar de sectie-uitsparingen zijn, waar alle kritische latentie-interconnecties zijn, waar de verbindingen met hoge bandbreedte zijn. In dat geval heb je echt een kans om erachter te komen hoe je deze specifieke grafiek echt optimaal kunt uitvoeren”, zei Liang.
Liang voegde de opties toe die vandaag beschikbaar zijn — CPU's, GPU's, FPGA's — die slechts één kernel tegelijk kunnen verwerken. SambaNova neemt de berekeningsgrafiek, alle bandbreedte- en latentieproblemen, brengt deze in kaart en bewaart de gegevens op de chip. Het is van cruciaal belang om al deze grafieken en onderlinge verbindingen optimaal met elkaar te verbinden en alle orkestratie ver van tevoren te maken.
Je kunt dat voor veel grafieken op één chip schalen, of je kunt één grafiek in honderden chips plaatsen – – de compiler maakt het niet uit. Sommige van SambaNova's meest geavanceerde klanten – in de Amerikaanse overheid – melden bijvoorbeeld dat ze 8X tot 10X krijgen, soms 20X voordeel vergeleken met hun GPU-resultaten die ze jarenlang hebben geoptimaliseerd, zei Liang.
Interessant is dat de laatste paar keer dat we resultaten zagen voor MLPerf, SambaNova niet was opgenomen. Ter verduidelijking, dat betekent dat SambaNova zich helemaal niet aan MLPerf heeft onderworpen. De MLPerf-testsuite is de oprichting van de MLCommons, een brancheconsortium dat benchmarkevaluaties uitgeeft voor machine learning-training en inferentie-workloads. Dus de enige manier om de beweringen van Liang te verifiëren is om SambaNova uit te proberen, blijkbaar. Benchmarks moeten sowieso met een korreltje zout worden genomen, en het bewijs zit in hoe dingen werken in je eigen omgeving.
Hoe dan ook, we vinden de nadruk op grafische verwerking voor AI-chips intrigerend. SambaNova is niet het enige AI-chipbedrijf dat zich daarop richt, en de race voor grafische verwerking is begonnen.
Kunstmatige intelligentie
GE, Einride onthullen eerste autonome elektrische vrachtwagen die werkt op Amerikaanse bodem De DeepMind-tak van Alphabet gebruikt AI voor het ontdekken van medicijnen Nieuwe burgerbot doet ook kippenvleugels Wat is AI? Alles wat u moet weten over kunstmatige intelligentie datacenters | Digitale transformatie | CXO | Internet der dingen | Innovatie | Bedrijfssoftware