George Anadiotis bidragende skribent
George Anadiotis har teknologi, data og medier, og han er ikke bange for at bruge dem.
Fuld biografi udgivet i Big on Data den 16. februar 2022 | Emne: Kunstig intelligens
Deep Learning er nok den mest populære form for maskinlæring på nuværende tidspunkt. Selvom ikke alle problemer koger ned til en dyb læringsmodel, er dyb læring udbredt inden for områder som computersyn og naturlig sprogbehandling.
Et nøgleproblem med deep learning-modeller er imidlertid, at de er ressourcesultne. De kræver masser af data og computer for at træne, og masser af computer for at fungere. Som regel er GPU'er kendt for at yde bedre end CPU'er til både træning og inferens, mens nogle modeller slet ikke kan køre på CPU'er. Nu vil Deci ændre på det.
Deci, en virksomhed, der har til formål at optimere deep learning-modeller, udgiver en ny familie af modeller til billedklassificering. Disse modeller udkonkurrerer velkendte alternativer i både nøjagtighed og kørselstid og kan køre på de populære Intel Cascade Lake CPU'er.
Vi har talt med Decis CEO og medstifter Yonatan Geifman for at diskutere Decis tilgang og dagens udgivelse .
Deep learning-ydeevne indebærer afvejninger
Deci blev medstiftet af Geifman, Jonathan Elial og Ran El-Yaniv i 2019. Alle stiftere har en baggrund i maskinlæring, hvor Geifman og El-Yaniv også har arbejdet hos Google. De havde chancen for at opleve på egen hånd, hvor svært det er at få dyb læring ind i produktionen.
Deci-grundlæggerne indså, at at gøre deep learning-modeller mere skalerbare ville hjælpe med at få dem til at køre bedre i produktionsmiljøer. De så også hardwarevirksomheder, der forsøgte at bygge bedre AI-chips til at køre inferens i stor skala.
Det væddemål, de tog med Deci, var at fokusere på modeldesignområdet for at gøre deep learning mere skalerbar og mere effektiv og dermed gøre dem i stand til at køre bedre i produktionsmiljøer. De bruger en automatiseret tilgang til at designe modeller, der er mere effektive i deres struktur og i, hvordan de interagerer med den underliggende hardware i produktionen.
Decis proprietære Automated Neural Architecture Construction (AutoNAC) teknologi bruges til at udvikle såkaldte DeciNets. DeciNets er præ-trænede modeller, som Deci hævder at overgå kendte state-of-the-art modeller med hensyn til nøjagtighed og runtime ydeevne.
For at få bedre nøjagtighed i deep learning, kan du tage større modeller og træne dem i lidt mere tid med lidt mere data, og du vil få bedre resultater, sagde Geifman. Gør man det, genereres der imidlertid større modeller, som er mere ressourcekrævende at køre i produktionen. Det, Deci lover, er at løse dette optimeringsproblem ved at levere en platform og værktøjer til at bygge modeller, der både er nøjagtige og hurtige i produktionen.
At løse dette optimeringsproblem kræver mere end manuel justering af eksisterende neurale arkitektur, og AutoNAC kan designe specialiserede modeller til specialiserede brugssager, sagde Geifman. Det betyder, at du skal være opmærksom på dataene og maskinlæringsopgaverne, samtidig med at du er opmærksom på den hardware, modellen vil blive implementeret på.
Ydeevne af DeciNets til billedklassificering sammenlignet med andre deep learning-billedklassificeringsmodeller til Intel Cascade Lake CPU'er. Billede: Deci
De DeciNets, der blev annonceret i dag, er gearet til billedklassificering på Intel Cascade Lake CPU'er, som, som Geifman bemærkede, er et populært valg i mange cloud-forekomster. Deci kalder disse modeller “brancheledende”, baseret på nogle benchmarks, som Geifman sagde vil blive frigivet til tredjeparter for at kunne kopiere.
Der er tre hovedopgaver inden for computersyn: billedklassificering, objektdetektering og semantisk segmentering. Geifman sagde, at Deci producerer flere typer DeciNets til hver opgave. Hvert DeciNet sigter mod et forskelligt præstationsniveau, defineret som afvejningen mellem nøjagtighed og latens.
I de frigivne resultater af DeciNet sammenlignes variationer af DeciNet med forskellige niveauer af kompleksitet (dvs. antal parametre). mod variationer af andre billedklassificeringsmodeller såsom Googles EfficientNet og industristandarden ResNet.
Ifølge Geifman har Deci snesevis af modeller, der er præoptimeret til kunderne til brug i et helt selvbetjent tilbud, lige fra forskellige computervisionsopgaver til NLP-opgaver på enhver type hardware, der skal implementeres i produktionen.
Den dybe læringsslutningsstabel
Der er dog en hage her. Da DeciNets er foruddannede, betyder det, at de ikke nødvendigvis vil fungere efter behov for en kundes specifikke use case og data. Derfor, efter at have valgt det DeciNet, der har den optimale nøjagtighed/latens-afvejning for brugssagens krav, skal brugerne finjustere det til deres data.
Efterfølgende følger en optimeringsfase, hvor den trænede model kompileres og kvantificeres med Decis platform via API eller GUI. Endelig kan modellen implementeres ved at udnytte Decis implementeringsværktøjer Infery & RTiC. Denne ende-til-ende dækning er en differentiator for Deci, sagde Geifman. Navnlig kan eksisterende modeller også overføres til DeciNets.
Når man overvejer end-to-end-livscyklussen, spiller økonomi og afvejninger en vigtig rolle. Tankegangen bag Decis tilbud er, at træningsmodeller, selv om de er dyre, faktisk er mindre omkostningskrævende end at køre modeller i produktionen. Derfor giver det mening at fokusere på at producere modeller, der koster mindre at betjene, samtidig med at de har nøjagtighed og latenstid, der kan sammenlignes med eksisterende modeller.
Den samme pragmatiske tilgang anvendes, når man målretter installationshardware. I nogle tilfælde, når minimering af latenstid er det primære mål, vil den hurtigst mulige hardware blive valgt. I andre tilfælde kan det være fornuftigt at få mindre end optimal latenstid i bytte for reducerede driftsomkostninger.
For edge-implementeringer er der måske ikke engang et valg, der skal træffes: hardwaren er, hvad den er, og den model, der skal implementeres, skal kunne fungere under givne begrænsninger. Deci tilbyder et anbefalings- og benchmarkingværktøj, der kan bruges til at sammenligne latenstid, gennemløb og omkostninger for forskellige cloud-instanser og hardwaretyper, hvilket hjælper brugerne med at træffe et valg.
Deci er involveret i et partnerskab med Intel. Selvom dagens udgivelse ikke blev lavet i samarbejde med Intel, er fordelene for begge sider tydelige. Ved at arbejde med Deci udvider Intel rækken af deep learning-modeller, der kan implementeres på deres CPU'er. Ved at arbejde med Intel udvider Deci sin rækkevidde til markedet.
Deci er målrettet optimering af deep learning-modellens konklusioner på en række forskellige implementeringsmål. Billede: Deci
Som Geifman bemærkede, målretter Deci sig imidlertid mod en bred vifte af hardware, herunder GPU'er, FPGA'er og ASIC-acceleratorer til særlige formål, og har også etableret partnerskaber med folk som HPE og AWS. Deci arbejder også på partnerskaber med forskellige typer hardwareproducenter, cloud-udbydere og OEM'er, der sælger datacentre og tjenester til maskinlæring.
Decis tilgang minder om TinyML, bortset fra at den retter sig mod en bredere sæt af implementeringsmål. Da han diskuterede dette emne, henviste Geifman til maskinlærings-inferensaccelerationsstakken. Ifølge denne konceptualisering kan acceleration ske på forskellige lag af stakken.
Det kan ske på hardwarelaget ved at vælge, hvor modeller skal installeres. Det kan ske på runtime/graf compilerlaget, hvor vi ser løsninger leveret af hardwareproducenter såsom Tensor RT af Nvidia eller OpenVino af Intel. Vi har også ONNX open source understøttet af Microsoft, såvel som kommercielle løsninger såsom Apache TVM, der kommercialiseres af OctoML.
Oven i det har vi modelkomprimeringsteknikker som pooling og kvantisering, som Geifman bemærkede er meget brugt af forskellige open source-løsninger, hvor nogle leverandører arbejder på kommercialisering. Geifman indrammede Deci som at arbejde på et niveau over disse, nemlig niveauet for neural arkitektursøgning, og hjælper datavidenskabsmænd med at designe modeller for at få bedre latenstid og samtidig bevare nøjagtigheden.
Decis platform tilbyder et fællesskabsniveau rettet mod udviklere, der ønsker at boost ydeevnen og forkort udviklingstiden, såvel som Professional og Enterprise niveauer med flere muligheder, herunder brug af DeciNets. Virksomheden har rejst i alt 30 millioner dollars i to finansieringsrunder og har 40 ansatte, hovedsageligt baseret i Israel. Ifølge Geifman vil flere DeciNets blive frigivet i den umiddelbare fremtid, med fokus på NLP-applikationer.
Udvalgt
Patch nu: Adobe udgiver en nødløsning til udnyttet handel, Magento nul- dag Apples M1 Pro MacBook Pro er en fantastisk Windows 11 bærbar. Markedet for teknologiudlejning er virkelig underligt. Disse jobjægere gør det kun værre. Her er hvordan Raspberry Pi skaber en ny generation af Python-udviklere Big Data Analytics | Digital transformation | CXO | Internet of Things | Innovation | Enterprise Software