Uppgifter generation och ackumulering accelererar, har vi nått en brytpunkt där med hjälp av maskininlärning bara fungerar. Med hjälp av maskininlärning att träna modeller för att finna mönster i data och göra förutsägelser baserade på dem som används till i stort sett allt idag. Men data och modeller är bara en del av historien.
Också: AI chip unicorn som är på väg att revolutionera allt
En annan del, som är lika viktig, är att beräkna. Machine learning består av två faser: Utbildning och slutledning. I utbildningen fasen mönster är hämtad, och modeller för att fånga dem är skapade. I slutledning fas, utbildad modeller är utplacerade och matas med nya data för att generera resultat.
Båda dessa faser kräver beräkna makt. Inte bara någon beräkna i själva verket, som det visar sig Processorer är egentligen inte inriktad på en speciell typ av beräkning som krävs för maskininlärning arbetsbelastning. Grafikprocessorer är för närvarande vapen av val när det kommer till lärande arbetsbelastning, men som kan vara på väg att ändras.
AI chips bara blev mer intressant
GPU säljaren Nvidia har återuppfunnit sig själv som en AI-chip företag, kommer upp med nya processorer särskilt inriktat mot lärande arbetsbelastning och dominerar denna marknad. Men bommen i maskininlärning arbetsbelastning har whetted aptit på andra spelarna, liksom.
Också: AI marker för big data och maskininlärning
Molnleverantörer som Google och AWS arbetar med sina egna AI marker. Intel jobbar på att få FPGA marker i form för att stödja lärande. Och uppkomlingar är att ha en gå in på denna marknad. GraphCore är den mest framträdande bland dem, med senaste medel har slungades in unicorn territorium, men det är inte den enda: Ange Habana.
Havanna har arbetat på sin egen processor för AI eftersom 2015. Men som Eitan Medina, dess CBO berättade nyligen i en diskussion, det har gjort så i smyg tills nyligen: “Vårt motto är AI prestanda, inte historier. Vi har arbetat under lock tills September 2018”. David Dahan, Habana VD, sade att “bland alla AI halvledare startups, Habana Labs är den första, och fortfarande den enda, som infördes en produktion-redo AI-processor.”
Som Medina förklarade, Habana grundades av VD David Dahan och VP R&D Sprang Halutz. Både Dahan och Halutz är semi-conductor industrin veteraner, och de har arbetat tillsammans i flera år i halvledarindustrin CEVA och PrimeSense. Ledningsgruppen ingår också CTO Shlomo Raikin, tidigare Intel-projektet arkitekt.
Medina själv också har en bakgrund som ingenjör: “Vårt team har en djup bakgrund i maskininlärning. Om du Google ämnen som kvantisering, du hittar våra namn,” Medina sade. Och det är ingen brist på finansiering eller personal heller.
Habana bara stängt en Runda B finansiering runda på $75 miljoner, som leds av Intel Capital, som ger sin totala finansiering till $120 miljoner. Havanna har en personalstyrka på 120 och är baserad i Tel Aviv, Israel, men har även kontor och R&D i San Jose, USA, Gdansk, Polen, och Beijing, Kina.
Detta ser ut fast. Alla dessa människor, medel, och know-how har satts i rörelse genom att identifiera möjlighet. Mycket som GraphCore, Habana Medina tycker att AI chip race är långt ifrån över, och att Grafikprocessorer kan vara dominerande för tillfället, men det handlar om att ändra. Habana ger två viktiga innovationer till tabellen: Specialiserade processorer för utbildning och statistik, och energieffektivitet.
Separera utbildning och slutledning för att leverera överlägsna prestanda
Medina noteras att börja med ett rent ark för att designa deras processor, en av de viktiga beslut som gjort tidigt var att ta itu med utbildning och inferens separat. Eftersom dessa arbetsbelastning har olika behov, Medina sade att behandla dem var för sig har gjort det möjligt för dem att optimera prestanda för varje inställning: “i år, GPU leverantörer har erbjudit nya versioner av Grafikprocessorer. Nu Nvidia verkar ha insett att de måste göra en skillnad. Vi fick det här från början.”
Också: AI Start Jaktfalk spins uppsjö av marker för maskininlärning
Havanna erbjuder två olika processorer: Goya, ta itu med inferens; och Gaudi, ta itu med utbildning. Medina sade att Goya används i produktionen i dag, medan Gaudi kommer att släppas under Q2 2019. Vi undrade vad som var orsaken slutsats var att behandlas först. Var det på grund av arkitektur och krav för inferens är enklare?
Medina sade att det var ett strategiskt beslut baserat på marknadens signaler. Medina noteras att lejonparten av slutledning arbetsbelastning i molnet fortfarande körs på Cpu: er. Därför, förklarade han, Havanna: s primära mål i detta skede är att ta itu med dessa arbetsbelastning som en drop-in ersättning. I själva verket, enligt Medina, Habana kunder på denna punkt är att en stor del data center ägare och moln-leverantörer, samt autonoma bilar ventures.
Värdeerbjudande i båda fallen är främst prestanda. Enligt riktmärken som publiceras av Havanna, Goya är betydligt snabbare än både Intels Processorer och Nvidia GPUs. Habana används den välkända RES-50 benchmark, och Medina förklarade syftet var att RES-50 är lättast att mäta och jämföra, eftersom det har mindre variabler.
Medina sade andra arkitekturer måste göra kompromisser:
“Även när de ombads att ge upp latens, genomströmningen är lägre än där vi är. Med Gpu / Cpu, om du vill ha bättre prestanda du behöver för att gruppera data input i stora grupper av partier för att mata processorn. Då måste du vänta tills hela gruppen är klar för att få resultat. Dessa arkitekturer behöver detta, annars genomströmning kommer inte att vara bra. Men stora partier inte kan användas. Vi har super hög verkningsgrad, även med små batchstorlekar.”
Det finns några viktiga punkter om dessa riktmärken. Den första, Medina påpekade, är att deras skalan är logaritmisk, vilket behövs för att kunna rymma Goya och konkurrensen i samma diagram. Därför påståendet att “Habana röker slutledning etablerade aktörer.” Det andra är att resultaten blir ännu mer intressant om energieffektivitet är med i beräkningen.
Energieffektivitet och programvara stack
Effektivitet är ett mått som används för att mäta hur mycket kraft som behövs per beräkningen i riktmärken. Detta är en mycket viktig parameter. Det är inte tillräckligt för att leverera överlägsen prestanda ensam, kostnaden för att leverera detta är lika viktigt. En standard mått för att mäta processorns prestanda är IPS, Instruktioner Per Sekund. Men IPS/W, eller IPS per Watt, är sannolikt en bättre, eftersom det tar hänsyn till kostnaden för att leverera resultat.
Också: Alibaba för att starta egen AI chip nästa år
Högre energieffektivitet är bättre på alla möjliga sätt. Att tänka på datacenter och autonoma fordon, vilket minimerar kostnaden för el och ökade självständighet är viktiga krav. Och i den större bilden, att sänka klimatpåverkan, är ett stort problem för vår planet. Som Medina uttryckte det, “Du bör bry sig om miljön, och du bör bry sig om din ficka.”
Goya ‘ s erbjudande för datacenter är fokuserat på detta, även factoring i latens. Som Medina sade för ett scenario av behandling 45K bilder/sekund, tre Goya kort kan få resultat med en latens på 1,3 msek, som ersätter 169 CPU-servrar med en latens på 70 msek plus 16 Nvidia Tesla V100 med en latens på 2,5 msek med en total kostnad på runt $400,000. Budskapet är klart: Du kan göra mer med mindre.
TPC, Habana är Tensor-Processor Kärnan i hjärtat av Goya, stöder olika faktorer form, minne konfigurationer, och PCIe-kort, samt blandade precision numeriska. Det är också programmerbar i C, och tillgänglig via vad Habana samtal GEMM motor (Allmänt Matric Multiplikation). Detta berör en annan viktig aspekt av AI chips: programvara stack, och integration med befintlig maskin lärande ramar.
Eftersom det finns en massa av maskininlärning ramar som människor använder för att bygga sina modeller, stödja så många av dem så smidigt som möjligt är en viktig förutsättning. Goya stöder modeller utbildad på någon processor via ett API som kallas SynapseAI. Vid denna punkt, SynapseAI stöder TensorFlow, mxnet och ONNX, en framväxande exchange format för djupt lärande modeller, och arbetar på att lägga till stöd för PyTorch, och mer.
Användare bör kunna distribuera sina modeller på Goya utan att behöva fippla med SynapseAI. För de som önskar att justera sina modeller till att omfatta anpassningar, men möjligheten att göra så är det, såväl som för IDE-verktyg för att stödja dem. Medina sade denna låga nivå programmering har efterfrågats av kunder som har utvecklat egna sätt för att maximera prestanda på deras nuvarande inställning och vill replikera på Goya.
Den större bilden
Så, vilka är dessa kunder, och hur gör man för att faktiskt bli en kund? Medina sade Habana har en typ av screening processen för kunderna, eftersom de ännu inte vid den punkt där de kan leverera stora mängder av Goya. Havanna är provtagning Goya till utvalda företag endast vid denna tid. Det är vad som skrivs på blankett måste du fylla i om du är intresserad.
Också: AI Start Cornami avslöjar detaljer om neurala nätet chip
Inte för att Goya är en halvfärdig produkt, som är det som används i produktionen enligt Medina. Namnen var inte diskuteras, men ja, dessa inkluderar moln-leverantörer, så du kan låta din fantasi flöda. Medina har också betonat dess R&D på hårdvara nivå för Goya är det mesta gjort.
Men det är det pågående arbetet med att ta saker till nästa nivå med 7 nanometer chips, plus arbete på Gaudi-processor för utbildning, som lovar linjär skalbarhet. Dessutom, utveckling av programvara stack aldrig upphör i syfte att optimera, lägga till nya funktioner och stöd för fler ramar. Nyligen, Habana också publiceras open source Linux-drivrutiner för Goya, som ska hjälpa en hel del med tanke på att Linux är vad som driver de flesta datacenter och inbyggda system.
Måste läsa
Topp 5: Saker att veta om AI (TechRepublic)
AI chips snart kommer att driva Datorer, bilar, kameror (CNET)
Habana, precis som GraphCore, verkar ha potential att medföra stora störningar i AI-chip på marknaden och världen i stort. Många av dess lokaler är liknande: En ny arkitektur, erfarna team, väl finansierade, och funderar på att ta tillfället i akt. En uppenbar skillnad är hur de närmar sig sin offentliga image, som GraphCore har varit ganska öppna med sitt arbete, medan Havanna var en relativt okänd fram till nu.
Och de uppenbara frågorna — vilket är snabbare/bättre, som en som kommer att lyckas, kan de avsätta Nvidia-vi vet helt enkelt inte. GraphCore har inte offentliggjort några riktmärken. Att döma av en organisation löptid synvinkel, Habana verkar ligga på denna punkt, men det betyder inte nödvändigtvis betyda mycket. En sak som vi kan säga är att detta utrymme är blomstrande, och vi kan förvänta oss AI chip innovation för att katalysera AI ännu mer snart.
Takeaway från detta bör dock vara att göra energieffektivitet en viktig aspekt av AI berättelsen går framåt. Prestanda har ett pris, och detta bör tas med i beräkningen.
Relaterade artiklar:
AI är omättlig aptit på kisel kräver nya marker
Nvidia AI-forskning pekar på en utveckling av chip företag
AI start Flex Logix svartabörshajar betydligt högre prestanda än Nvidia
Intels 3-punkt plan för att komma ut på toppen av AI chip krig
AI kan minska tech i din smartphone
Relaterade Ämnen:
Hårdvara
Digital Omvandling
CXO
Sakernas Internet
Innovation
Affärssystem