Data generation og ophobning accelererer, at vi har nået et vendepunkt, hvor du bruger machine learning virker bare. Ved hjælp af maskinen at lære at træne modeller, at finde mønstre i data og gøre forudsigelser, der er baseret på dem, der er anvendt til stort set alt i dag. Men data og modeller er blot en del af historien.
Også: AI chip enhjørning, der er ved at revolutionere alt
En anden del, lige så vigtigt, er at beregne. Machine learning består af to faser: Uddannelse og slutning. I den uddannelse, fase mønstre, der er udvundet, og machine learning modeller, der fanger dem er skabt. I slutning fase, uddannet modeller, der er anvendt, og fodret med nye data, der skal til for at skabe resultater.
Begge disse faser kræver compute magt. Ikke bare nogen kan beregne faktisk, som det viser sig, Cpu ‘ er er ikke rigtig gearet til de specialiserede type beregning, der kræves for machine learning arbejdsmængder. Gpu ‘ er er i øjeblikket våben af valg, når det kommer til machine learning arbejdspres, men der kan være ved at ændre sig.
AI chips fik bare mere interessant
GPU Nvidia sælger har genopfundet sig selv som en AI-chip selskab, der kommer op med nye processorer er rettet specifikt mod machine learning-arbejdsmængder og dominere dette marked. Men det boom i machine learning arbejdspres har skærpes appetitten af andre spillere, så godt.
Også: AI chips for big data og machine learning
Cloud-leverandører som Google, og AWS arbejder på deres egen AI chips. Intel arbejder på at få FPGA chips i form at støtte machine learning. Og opkomlingene er at have en gå på at komme ind på dette marked. GraphCore er den mest high-profil, blandt dem, med de seneste finansiering, der har kastet det ind i unicorn område, men det er ikke den eneste: Indtast Habana.
Habana har arbejdet på sin egen processor til AI, da 2015. Men som Eitan Medina, sin OBLIGATIONS fortalte os for nylig i en diskussion, man har gjort, så i stealth indtil for nylig: “Vores motto er AI ydeevne, ikke historier. Vi har arbejdet under cover til September 2018”. David Dahan, Habana administrerende DIREKTØR, sagde, at “blandt alle AI-halvleder nystartede virksomheder, Habana Labs er den første, og stadig den eneste, der har indført en produktion-klar AI-processor.”
Som Medina forklaret, Habana blev grundlagt af DIREKTØR David Dahan og VP R&D-Løb Halutz. Både Dahan og Halutz er semi-conductor-industrien veteraner, og de har arbejdet sammen i mange år i halvledere virksomheder CEVA og PrimeSense. Ledelsen omfatter også CTO Shlomo Raikin, tidligere Intel projektets arkitekt.
Medina selv har også en baggrund som ingeniør: “Vores team har en dyb baggrund i machine learning. Hvis du Google emner som kvantisering, vil du finde vores navne,” sagde Medina. Og der er ingen mangel på finansiering eller personale.
Habana netop afsluttet en Runde B-finansiering runde af $75 millioner, ledet af Intel Capital, der ikke er mindre, hvilket bringer den samlede finansiering til $120 millioner. Habana har en medarbejderstab på 120 og er baseret i Tel Aviv i Israel, men har også kontorer og R&D i San Jose, USA, Gdansk, Polen og Beijing, Kina.
Dette ser solid. Alle disse mennesker, fonde og know-how har været sat i bevægelse ved at identificere den mulighed. Meget gerne GraphCore, Habana ‘s Medina mener, at AI chip race er langt fra overstået, og at Gpu’ er kan være dominerende for tiden, men det er om at ændre. Habana bringer to centrale nyskabelser til tabellen: Specialiserede processorer til uddannelse og slutning, og strømeffektivitet.
Adskillelse af uddannelse og slutning til at levere overlegen ydeevne
Medina bemærkes, at der starter med et clean sheet til at designe deres processor, en af de vigtigste beslutninger, der træffes tidligt var til at løse uddannelse og separat inferens. Da disse arbejdsopgaver har forskellige behov, Medina sagde, at behandle dem hver for sig har gjort dem i stand til at optimere ydeevnen for hvert enkelt indstilling: “For år, GPU leverandører har tilbudt nye versioner af Gpu’ er. Nu er Nvidia ser ud til at have indset, at de har brug for at differentiere. Vi fik dette fra starten.”
Også: AI Start Jagtfalk spins væld af chips for machine learning
Habana tilbyder to forskellige processorer: Goya, som omhandler slutning; og Gaudi, som omhandler uddannelse. Medina sagde, at Goya, der bruges i produktionen i dag, mens Gaudi vil blive frigivet i Q2 2019. Vi spekulerede på, hvad der var årsagen slutning blev behandlet først. Var det, fordi arkitektur og krav til inferens er enklere?
Medina sagde, at det var en strategisk beslutning, der er baseret på markedets signaler. Medina bemærkes, at broderparten af inferens workloads i skyen stadig kører på Cpu ‘ er. Derfor, forklarede han, Habana ‘ s primære mål i denne fase er at løse disse arbejdsopgaver som drop-in erstatning. Ja, i henhold til Medina, Habana ‘ s kunder på dette punkt er i stort omfang data center ejere og cloud udbydere, samt autonome biler ventures.
Value proposition, der i begge tilfælde er først og fremmest resultater. Ifølge benchmarks udgivet af Habana, Goya er betydeligt hurtigere end både Intel ‘s Cpu’ er og Nvidia ‘s Gpu’ er. Habana anvendes den velkendte RES-50 benchmark, og Medina forklarede begrundelsen var, at RES-50 er den nemmeste at måle og sammenligne, da der er færre variabler.
Medina sagde andre arkitekturer skal indgå kompromiser:
“Selv når bedt om at give op ventetid, gennemløb er nedenfor, hvor vi er. Med Gpu / Cpu ‘ er, hvis du ønsker en bedre ydeevne, du har brug for til at gruppere data input i store grupper af partier til at fodre processor. Så er du nødt til at vente, indtil hele gruppen er færdig med at få resultater. Disse arkitekturer har brug for dette, ellers gennemløb vil ikke være godt. Men store partier er ikke anvendelige. Vi har super høj effektivitet selv ved små batch-størrelser.”
Der er nogle bemærkelsesværdige punkter om disse benchmarks. Den første, Medina påpeget, er, at deres skalaen er logaritmisk, hvilket er nødvendigt for at være i stand til at rumme Goya og konkurrence i den samme diagrammer. Derfor er påstanden om, at “Habana ryger slutning etablerede.” Den anden er, at resultaterne bliver endnu mere interessant, hvis effektivitet er indregnet.
Effektivitet og software stack
Energieffektivitet er en variabel, der anvendes til at måle, hvor meget strøm der er behov per beregning i benchmarks. Dette er en meget vigtig parameter. Det er ikke nok til at levere overlegen ydeevne alene, omkostningerne ved at levere dette er lige så vigtigt. En standard variabel til at måle processor ydeevne er IPS, Instruktioner Per Sekund. Men IPS/W, eller IPS per Watt, er nok en, der er bedre, da den tager højde for omkostningerne ved at levere resultater.
Også: Alibaba at starte egen AI chip næste år
Højere energieffektivitet er bedre på alle mulige måder. Tænker om datacentre og autonome køretøjer, hvilket minimerer udgifterne til el, og stigende selvstændighed er vigtige krav. Og i det større billede, lavere carbon footprint, er en stor bekymring for planeten. Som Medina udtrykte det, “Du skal bekymre os om miljøet, og du bør bekymre sig om din lomme.”
Goya ‘ s value proposition for datacentre er fokuseret på dette, også factoring i latency krav. Som Medina sagde, for et scenario med behandling 45K billeder/sekund, tre Goya kort kan få resultater med en latenstid på 1,3 msek, udskiftning 169 CPU-servere med en latenstid på 70 ms plus 16 Nvidia Tesla V100 med en latenstid på 2,5 msec med en samlet udgift 400.000$. Budskabet er klart: Du kan gøre mere med mindre.
TPC, Habana ‘ s Tensor Processor Core i hjertet af Goya, der understøtter forskellige formfaktorer, hukommelse konfigurationer, og PCIe-kort, samt en blandet-numerisk præcision. Det er også programmeres i C, og som er tilgængelige via hvad Habana kalder GEMM motor (Generelt Matric Multiplikation). Dette berører et andet centralt aspekt af AI-chips: software stack, og integrationer med eksisterende machine learning rammer.
Da der er en masse af machine learning rammer folk bruger til at bygge deres modeller, der understøtter så mange af dem så problemfrit som muligt, er et centralt krav. Goya understøtter modeller uddannet på enhver processor via et API kaldet SynapseAI. På dette punkt, SynapseAI understøtter TensorFlow, mxnet og ONNX, en ny exchange format for dyb læring modeller, og arbejder på at tilføje understøttelse for PyTorch, og meget mere.
Brugere bør være i stand til at implementere deres modeller på Goya uden at skulle til at rode med SynapseAI. For dem, der ønsker at ændre deres modeller til at omfatte tilpasninger, men mulighed for at gøre det er der, samt IDE-værktøjer til at understøtte dem. Medina sagde denne low-level programmering er blevet anmodet om af kunder, der har udviklet måder af maksimering af ydelse på deres aktuelle indstilling, og vil gerne gentage dette på Goya.
Det større billede
Så, hvem er disse kunder, og hvordan gør man faktisk bliver en klient? Medina sagde Habana har en slags screening proces for kunderne, da de endnu ikke er på det punkt, hvor de kan sende massive mængder af Goya. Habana er stikprøvekontrol Goya til udvalgte virksomheder kun på dette tidspunkt. Det er hvad der er skrevet på den formular, du skal udfylde, hvis du er interesseret.
Også: AI Start Cornami afslører detaljer om neurale net chip
Ikke, at Goya er en halv-bagt produkt, som det er anvendt i produktionen i henhold til Medina. Specifikke navne blev ikke diskuteret, men ja, disse omfatter cloud-leverandører, så du kan lade din fantasi løbe vild. Medina også understreget sin R&D på hardware-niveau til Goya er for det meste gjort.
Men der er et løbende arbejde for at tage tingene til det næste niveau med 7 nanometer chips, plus arbejde på Gaudi processor til uddannelse, som løfter lineær skalerbarhed. Hertil kommer, at udvikling af software stack ophører aldrig med henblik på at optimere, tilføje nye funktioner, og understøttelse af flere rammer. For nylig, Habana også offentliggjort open source Linux-drivere til Goya, som skal hjælpe en masse overvejer Linux er, hvilke beføjelser de fleste datacentre og indlejrede systemer.
Skal læse
Top 5: Ting at vide om AI (TechRepublic)
AI chips snart vil power-Pc ‘ er, biler, overvågningskameraer (CNET)
Habana, ligesom GraphCore, ser ud til at have potentiale til at skabe en større forstyrrelser i AI chip på markedet og den store verden. Mange af dens bygninger er de samme: En ny arkitektur, erfarne team, finansierede, og søger at gribe chancen. En tydelig forskel er på, hvordan de nærmer sig deres offentlige image, som GraphCore har været helt åbne omkring deres arbejde, mens Habana blev en relativ ukendt indtil nu.
Og det åbenlyse spørgsmål-hvor den ene er hurtigere/bedre, som man vil lykkes, kan de afsætte Nvidia — vi blot ikke kender. GraphCore har ikke offentliggjort nogen benchmarks. At dømme ud fra en organisation løbetid synspunkt, Habana synes at være halter på dette punkt, men det betyder ikke nødvendigvis at betyde meget. En ting vi kan sige, er, at dette rum er i kraftig vækst, og vi kan forvente, at AI chip innovation til at katalysere AI yderligere snart.
Takeaway fra denne, bør dog være at gøre energieffektivitet er et centralt aspekt af AI fortælling går fremad. Resultater kommer på en pris, og dette bør tages med i overvejelserne.
Relaterede historier:
AI ‘ s umættelige appetit for silicium kræver nye chips
Nvidia AI forskning peger på en udvikling af chip forretning
AI start Flex Logix billethajer langt højere ydelse end Nvidia
Intel ‘ s 3-punkts plan for at komme ud på toppen af AI-chip krig
AI kunne reducere tech ‘ en i din smartphone
Relaterede Emner:
Hardware
Digital Transformation
CXO
Tingenes Internet
Innovation
Virksomhedens Software