Hadoop is steeds een substraat voor kunstmatige intelligentie
Getty Images/iStockphoto — MapR
Deze week MapR aangekondigd een nieuwe oplossing genaamd Quick Start-Oplossing (QSS), gericht op deep learning applicaties. MapR touts QSS als een gedistribueerd diep leren (DL) producten en diensten aanbieden die het mogelijk maakt de training van complexe diep leren algoritmen op schaal.
Hier is het idee: diep leren vergt veel van de gegevens, en het is complex. Als MapR ‘ s Converged Data Platform is uw gegevens ruggengraat, dan QSS geeft wat je nodig hebt om uw gegevens te gebruiken voor DL-toepassingen. Het maakt gevoel, en het is in lijn met MapR strategie.
MapR is de eerste Hadoop leverancier met een aanbod dat wordt verkocht als wat wij zouden noemen de kunstmatige intelligentie (AI) op Hadoop. Maar doet de AI op Hadoop zin meer in het algemeen? En wat zijn andere Hadoop verkopers doen er?
MapR is diep leren
Vergeet niet bij Hadoop voor het eerst kwam? Het is een platform met vele voordelen, maar vereist zijn gebruikers aan te gaan de extra mijl te kunnen gebruiken. Dat is veranderd. Nu Hadoop is een snel groeiende ecosysteem, en een groot deel van zijn succes is het gevolg van wat wij noemen SQL-op-Hadoop.
Hadoop is altijd in staat geweest om het opslaan en verwerken van veel gegevens voor goedkope. Maar het was niet tot steun voor de toegang tot die gegevens via SQL werd goed genoeg dat Hadoop werd een serieuze kandidaat te zijn als de gegevens van de onderneming ruggengraat. SQL was, en is nog steeds, de de-facto standaard voor toegang tot gegevens. Dus het ondersteunen van het betekende dat Hadoop kan worden voornamelijk gebruikt door iedereen.
AI en SQL zijn verschillend. Het is niet een achterwaartse compatibiliteit, commodity-functie. AI is een toekomstgerichte, trending veld. Maar zelfs als vandaag de dag AI is een onderscheidende factor voor degenen die het hebben, het lijkt alsof het wordt al snel iets van een commodity: degenen die niet hebben zullen niet in staat zijn om te concurreren.
AI en SQL zijn ook vergelijkbaar: Als je een Hadoop verkoper, dit is niet echt wat je doet. Dit is iets wat anderen doen, je hoeft alleen maar om ervoor te zorgen dat het kan draaien op het platform, waar alle gegevens. Dit is wat MapR is te bereiken met de QSS.
MapR maakt gebruik van open source container technologie (denk Docker) en instrumentatie technologie (denk Kubernetes) voor het implementeren van deep learning tools (denk TensorFlow) in een gedistribueerde manier. Geen van deze technologie heeft te maken met MapR, maar de waarde QSS brengt is in het maken van zeker dat alles werkt naadloos samen.
De gedistribueerde diep leren MapR de QSS stelt heeft drie lagen. De onderste laag is de data laag, de middelste laag is de orkestratie laag en de bovenste laag is de applicatie laag.
Afbeelding: MapR
Ted Dunning, MapR chief applicatie architect, legt uit: “De beste aanpak is voor de uitoefening van AI/Diep leren is voor de implementatie van een schaalbare converged data platform dat ondersteuning biedt voor de nieuwste deep learning technologies met een onderliggende gegevens van de onderneming stof met vrijwel onbeperkte schaal.”
Hij merkt ook op dat “bijna alle van de machine learning software wordt ontwikkeld, onafhankelijk van Hadoop en Vonk. Dit vereist een platform als MapR die in staat is om de ondersteuning van zowel Hadoop/Spark workloads evenals de traditionele file system Api ‘ s.”
En sinds die werkt, waarom niet u ook gebruik maken van MapR-DB en MapR Beken en MapR-FS te voeden uw gegevens en MapR Aanhoudende Opdrachtgever Container (PACC) voor het implementeren van uw model? Oh en we hebben diensten voor u te — wij zullen u helpen. Dat is MapR het bericht met de QSS.
Anil Gadre, MapR chief product officer, zegt: “DL kunnen bieden diepgaande transformatie mogelijkheden voor een organisatie. Onze expertise…in combinatie met [onze] uniek ontwerp…vormen de basis voor [de QSS]. QSS zullen bedrijven in staat stellen om snel profiteren van moderne GPU-gebaseerde architecturen en zet ze op het juiste pad voor het schalen van DL hun inspanningen.”
AI op Hadoop
Zo is de AI op Hadoop een ding? In tegenstelling tot SQL, er is geen standaard voor AI. Er is geen algemeen geaccepteerd en begrepen definitie zelfs. DL is alleen een deel van machine learning (ML) die slechts een deel van AI. En zelfs binnen DL, terwijl er mogelijk ook een aantal gedeelde concepten, er is niet zoiets als een gemeenschappelijke API. Dus QSS is DL op Hadoop, maar niet echt AI op Hadoop.
Er is meer aan de AI dan machine learning, en er is meer aan de machine learning dan diep leren.
Afbeelding: Nvidia
Het idee van het gebruik van een data-en compute platform zoals Hadoop als ondergrond voor de AI is natuurlijk. Maar het kunnen draaien ML of DL op Hadoop niet echt een Hadoop leverancier van een AI-leverancier. Dit is een discussie die we gehad hebben met veel Hadoop leverancier executives over de laatste paar maanden.
Voor Cloudera CEO Tom Reilly, “ML is zeer reëel en zeer actief, het is hier en nu en het doet grote dingen in de praktijk. Onze klanten proberen te begrijpen AI en wat ligt er in hun reis naar de toekomst. We helpen hen met ML, ons platform, al ondersteunt ML en zal doorgaan met het toevoegen van ondersteuning voor het. Wij denken van ons platform als de gastheer van de gegevens die mensen zullen gebruiken voor AI”.
Cloudera is bekritiseerd voor het proberen om te poseren als een AI-bedrijf in de recente BEURSGANG indienen. Aan het beste van onze kennis, Cloudera heeft geen uitgebreide interne expertise op AI. Er is een data science team, bestaande uit een handvol mensen, en er is ook de recente overname van gevoel.io.
Zin.io is geïntegreerd in Cloudera stack en hergebruikt als Cloudera Data Science Werkbank (CDSW). In een recente discussie met Sean Owen, Cloudera Data Science Director, Owen in vergelijking met gevoel.io aan de IBM DataWorks.
“Door het verstrekken van toegang tot gegevens, CDSW vermindert de tijd om de waarde van AI-toepassingen geleverd met onze geautomatiseerde ML-platform,” zegt Jeremy Achin, DataRobot CEO. Dit is geweldig, maar het is niet echt AI, toch?
Voor Scott Gnau, Hortonworks CTO, AI bestaat uit twee belangrijke componenten: ladingen van de gegevens plus verpakking en algoritmen doorlopen van de gegevens. Hortonworks ondersteunt, en als AI wint, Hortonworks wint. Gnau, maar benadrukt wat hij ziet als Hortonworks’ sterke punten, namelijk enterprise governance en veiligheid.
Gnau van mening zijn we nog zien opkomende technologie, in AI, dat hebben we nog niet van gedroomd. Dus Hortonworks’ benadering is om te investeren in infrastructuur en het vertrouwde leverancier van gegevens, terwijl u een oogje op opkomende killer technologie en toepassingen kunt de plug in van een aanvraag perspectief.
Elke verkoper aanpak moet gezien worden in de context van waar ze nu zijn en hoe zij zichzelf zien evolueren. AI is een nieuwe battlefield dat leveranciers aanpak in lijn met hun filosofie en doelen. We gaan verder met een analyse van de manier waarop deze zich manifesteren in AI in een volgende post.