Hadoop er ved at blive et substrat for kunstig intelligens
Getty Images/iStockphoto — MapR
I denne uge MapR annonceret en ny løsning kaldet Quick Start-Løsning (QSS), der fokuserer på dyb læring applikationer. MapR billethajer QSS som et distribueret dyb læring (DL) produkter og tjenester, der gør det muligt at tilbyde uddannelse af komplekse dybt learning algoritmer på skalaen.
Her er ideen: dyb læring kræver masser af data, og det er kompliceret. Hvis MapR er Konvergeret Data Platform, er dine data backbone, så QSS giver dig, hvad du skal bruge dine data til DL-applikationer. Det giver mening, og det er i overensstemmelse med MapR ‘ s strategi.
MapR er den første Hadoop sælger med et udbud, der er markedsført som hvad vi ville kalde kunstig intelligens (AI) på Hadoop. Men gør AI på Hadoop mening mere bredt? Og hvad er der af andre Hadoop leverandører laver der?
MapR er dybt læring
Husk, når Hadoop først kom ud? Det var en platform med mange fordele, men der kræves for sine brugere til at gå den ekstra mil for at være i stand til at bruge det. Det har ændret sig. Nu Hadoop er en voksende økosystem, og en stor del af dens succes skyldes, at det, vi kalder SQL-på-Hadoop.
Hadoop har altid været i stand til at gemme og behandle masser af data for billige. Men det var ikke indtil for støtte til at få adgang til disse data via SQL blev godt nok, at Hadoop blev en seriøs contender som virksomheden data backbone. SQL var, og stadig er, den de-facto standard for at få adgang til data. Så støtter det betød, at Hadoop, som kunne anvendes ved for det meste alle.
AI og SQL er forskellige. Det er ikke en baglæns kompatibilitet, råvare-funktion. AI er en fremadrettet, tendenser felt. Men selv om der i dag AI er en differentiator for dem, der har det, det ser ud som det snart vil være noget af en vare, samt: de, der ikke har, vil ikke være i stand til at konkurrere.
AI og SQL er også den samme: Hvis du er en Hadoop sælger, dette er ikke rigtig, hvad du gør. Det er noget, andre gør-du bare nødt til at sørge for, at det kan køre på din platform, hvor alle data er. Dette er, hvad MapR er ude på at opnå med QSS også.
MapR udnytter open source container teknologi (tror Docker), og orkestrering-teknologi (tror Kubernetes) til at implementere deep learning tools (tror TensorFlow) i et distribueret mode. Ingen af denne teknologi har at gøre med MapR, men den værdi, QSS bringer er at sikre, at alt virker sammen uden problemer.
Distribueret dyb læring MapR er QSS foreslår, har tre lag. Det nederste lag er det lag, det midterste lag er orkestreringen lag, og det øverste lag er applikationslaget.
Billede: MapR
Ted Dunning, MapR chef ansøgning arkitekt, forklarer: “Den bedste strategi til at forfølge AI/Dyb læring er at implementere en skalerbar konvergerede data platform, der understøtter den seneste dyb læring teknologier med en underliggende virksomhedens data stof med stort set ubegrænsede skala.”
Han bemærker også, at “næsten alle de machine learning software bliver udviklet uafhængigt af Hadoop og Spark. Dette kræver en platform som MapR, der er i stand til at støtte både Hadoop/Spark arbejdsmængder samt traditionel fil-system-Api ‘ er.”
Og siden, der virker, hvorfor du ikke også bruge MapR-DB og MapR Vandløb og MapR-FS at fodre dine data og MapR Vedvarende Anvendelse Klient Container (PACC) til at installere din model? Åh, og vi har fået service for dig-vi vil hjælpe dig. Der er MapR budskab med QSS.
Anil Gadre, MapR chief product officer, siger: “DL kan give dyb transformerende muligheder for en organisation. Vores ekspertise…kombineret med vores unikke design…danne grundlaget for [QSS]. QSS vil sætte virksomheder i stand til hurtigt at drage fordel af moderne GPU-baserede arkitekturer og sæt dem på den rette vej for skalering DL deres indsats.”
AI på Hadoop
Så er AI på Hadoop en ting? I modsætning til SQL, der er ingen standard for AI. Der er ingen almindeligt accepteret og forstået definitionen selv. DL er kun en del af machine learning (ML), der er kun en del af AI. Og selv inden for DL, mens der kan være nogle fælles begreber, der er ikke sådan noget som en fælles API. Så QSS er DL på Hadoop, men ikke rigtig AI på Hadoop.
Der er mere at AI end machine learning, og der er mere til machine learning dybt end læring.
Billede: Nvidia
Begrebet ved hjælp af en data og beregne platform som Hadoop, som substrat for AI er en naturlig en. Men at være i stand til at køre ML eller DL på Hadoop ikke virkelig gøre en Hadoop sælger en AI sælger også. Det er en diskussion, vi har haft med mange Hadoop sælger ledere i løbet af de sidste par måneder.
For Cloudera administrerende DIREKTØR Tom Reilly, “ML er meget reelle og meget aktiv, det er her og nu, og det er at gøre store ting i praksis. Vores kunder er at forsøge at forstå, AI, og hvad der ligger på deres rejse til fremtiden. Vi hjælper dem med ML, vores platform, der allerede understøtter ML og vil fortsætte med at tilføje understøttelse for det. Vi tænker på vores platform som vært for de data, som folk vil bruge for AI”.
Cloudera er blevet kritiseret for at forsøge at optræde som en AI-selskab i sin nylige BØRSNOTERING arkivering. Efter vor bedste viden, Cloudera ikke har stor intern ekspertise på AI. Der er en data science team, som består af en håndfuld mennesker, og der er også den nylige overtagelse af mening.io.
Forstand.io har været integreret i Cloudera stak og repurposed som Cloudera Data Videnskab Workbench (CDSW). I en nylig samtale med Sean Owen, Cloudera Data Videnskab Direktør, Owen i forhold forstand.io til IBM ‘ s DataWorks.
“Ved at give let adgang til data, CDSW reducerer time-to-value af AI-programmer, der leveres med vores automatiserede ML platform,” bemærker Jeremy Achin, DataRobot administrerende DIREKTØR. Det er fantastisk, men det er ikke rigtig AI, er det?
For Scott Gnau, Hortonworks CTO, AI består af to centrale komponenter: masser af data plus emballage og algoritmer til at krydse data. Hortonworks understøtter både, og som AI vinder, Hortonworks gevinster så godt. Gnau, men understreger, hvad han ser som Hortonworks ” styrker, nemlig virksomhedens ledelse og sikkerhed.
Gnau mener, at vi er endnu ikke til at se nye teknologi i AI, at vi endnu ikke har drømt om. Så Hortonworks’ strategi er at investere i infrastruktur og for at være den betroede leverandør af data, og samtidig holde øje med, om emergent killer teknologi og applikationer, der kan sætte ind fra en ansøgning perspektiv.
Hver leverandør s tilgang skal ses i lyset af, hvor de er nu, og hvordan de opfatter sig selv, udvikler sig. AI er en ny slagmark, der sælgere strategi i tråd med deres filosofi og mål. Vi vil fortsætte med en analyse af, hvordan disse kommer til udtryk i AI i et efterfølgende indlæg.