Hadoop è sempre un substrato per l’intelligenza artificiale
Getty Images/iStockphoto — MapR
Questa settimana MapR ha annunciato una nuova soluzione denominata Quick Start Soluzione (QSS), focalizzando l’attenzione sul profondo applicazioni per l’apprendimento. MapR bagarini QSS come distribuito apprendimento profondo (DL) offerta di prodotti e servizi che consente la formazione di profondi e complessi algoritmi di apprendimento su larga scala.
Ecco l’idea: profondo processo di apprendimento richiede un sacco di dati, ed è complesso. Se MapR Convergenti Piattaforma Dati i vostri dati spina dorsale, quindi QSS ti dà ciò di cui avete bisogno per utilizzare i tuoi dati per DL applicazioni. Ha senso, ed è in linea con MapR strategia.
MapR è il primo Hadoop fornitore con un’offerta che è commercializzato come quello che si potrebbe chiamare l’intelligenza artificiale (AI) su Hadoop. Ma l’IA Hadoop senso più ampio? E quali sono le altre Hadoop fornitori facendo lì?
MapR fa deep learning
Ricordate quando Hadoop è uscito il primo? Era una piattaforma con molti vantaggi, ma richiede che i propri utenti ad andare il miglio supplementare per essere in grado di usarlo. Che è cambiato. Ora Hadoop è un fiorente ecosistema, e una grande parte del suo successo è dovuto a ciò che noi chiamiamo SQL su Hadoop.
Hadoop è sempre stata in grado di memorizzare ed elaborare grandi quantità di dati per a buon mercato. Ma non era fino al supporto per l’accesso ai dati tramite SQL è diventato abbastanza buona che Hadoop è diventato un serio contendente come l’impresa dorsale dati. SQL è stato, e ancora è, lo standard de facto per l’accesso ai dati. Il supporto di ciò significava che il Hadoop potrebbe essere utilizzato dalla maggior parte tutti.
AI e SQL sono diversi. Non è compatibile con le versioni precedenti, materie prime funzionalità. AI è un guardare avanti, di tendenza del settore. Ma anche se oggi AI è un elemento di differenziazione per coloro che hanno, sembra che presto sarà un po ‘ di un bene così: coloro che non sono non sarà in grado di competere.
AI e SQL sono simili: Se sei un Hadoop fornitore, questo non è davvero ciò che si fa. Questo è qualcosa che gli altri non lo fanno — hai solo bisogno di assicurarsi che è possibile eseguire sulla piattaforma, dove tutti i dati. Questo è ciò che MapR è di raggiungere, con QSS troppo.
MapR sfrutta aprire il contenitore di tecnologia (si pensi finestra Mobile) e orchestrazione di tecnologia (si pensi Kubernetes) per la distribuzione di profonda strumenti di apprendimento (si pensi TensorFlow) in modo distribuito. Nessuno di questa tecnologia ha a che fare con MapR, ma il valore QSS porta è in assicurandosi che tutto funziona perfettamente.
Distribuito apprendimento profondo MapR del QSS propone tre strati. Il livello inferiore è il livello dei dati, il livello medio è il livello di orchestrazione, e lo strato superiore è il livello di applicazione.
Immagine: MapR
Ted Dunning, MapR capo architetto di applicazioni, spiega: “Il metodo migliore per perseguire AI/apprendimento Profondo è quello di distribuire una soluzione scalabile per la convergenza di dati piattaforma che supporta i più recenti profonda tecnologie per l’apprendimento con un sottostante i dati aziendali in tessuto con praticamente senza limiti di scala.”
Egli osserva inoltre che “quasi tutta la macchina di apprendimento del software è stato sviluppato in modo indipendente di Hadoop e la Scintilla. Questo richiede una piattaforma come MapR che è in grado di supportare sia Hadoop/Spark carichi di lavoro così come tradizionale dei file di sistema Api.”
E visto che funziona, perché non utilizzare anche MapR-DB e MapR Flussi e MapR-FS per nutrire i vostri dati e MapR Persistente Applicazione Client Contenitore (PACC) per distribuire il tuo modello? Oh, e abbiamo servizi per voi — e noi ti aiuteremo. Che è MapR messaggio con QSS.
Anil Gadre, MapR chief product officer, ha dichiarato: “DL in grado di fornire una profonda trasformazione opportunità per un’organizzazione. La nostra esperienza…in accoppiata con la [nostra] design unico…formano la base per la [CANON]. QSS consentirà alle aziende di sfruttare rapidamente moderne GPU basata su architetture e metterli sulla strada giusta per la scalatura del DL sforzi”.
L’IA Hadoop
Così, è l’IA Hadoop una cosa del genere? A differenza di SQL, non c’è uno standard per AI. Non c’è largamente accettato e compreso definizione, anche. DL è solo una parte di machine learning (ML) che è solo una parte di AI. E anche all’interno DL, mentre ci possono essere alcuni concetti, non c’è nessuna tale cosa come un comune API. Così QSS è DL su Hadoop, ma non realmente AI su Hadoop.
C’è di più AI di machine learning, e c’è di più alla macchina di apprendimento di apprendimento profondo.
Immagine: Nvidia
L’idea di usare un dati e calcolare la piattaforma Hadoop come substrato per IA è naturale. Ma essere in grado di eseguire ML o DL su Hadoop in realtà non fare un Hadoop fornitore AI vendor. Questa è una discussione che abbiamo avuto con molti di Hadoop fornitore di dirigenti negli ultimi mesi.
Per Cloudera CEO Tom Reilly, “ML è molto reale e molto attivo, è qui e ora e sta facendo grandi cose in pratica. I nostri clienti stanno cercando di capire l’IA e che cosa si trova nel loro viaggio verso il futuro. Stiamo aiutando con ML, la nostra piattaforma supporta già di ML e continuerà ad aggiungere il supporto per esso. Pensiamo alla nostra piattaforma host dei dati di utilizzo per IA”.
Cloudera è stato criticato per il tentativo di porsi come una IA società nel suo recente IPO di deposito. Al meglio della nostra conoscenza, Cloudera non dispone di ampie competenze interne su AI. C’è una data science team è composto da una manciata di persone, e c’è anche la recente acquisizione di senso.io.
Senso.io, è stato integrato in Cloudera stack e riproposto come Cloudera Scienza di Dati area di lavoro (CDSW). In una recente discussione con Sean Owen, Cloudera Dati Direttrice scientifica, Owen rispetto senso.io per IBM DataWorks.
“Fornendo un accesso immediato ai dati, CDSW tempo diminuisce il valore di AI applicazioni fornite con il nostro automatizzato ML piattaforma,” note di Jeremy Achin, DataRobot CEO. Questo è grande, ma non è proprio l’IA è?
Per Scott Gnau, Hortonworks CTO, AI è costituito da due componenti principali: i carichi di dati e imballaggio e di algoritmi per attraversare i dati. Hortonworks supporta sia, e come AI vittorie, Hortonworks vince. Gnau, tuttavia, sottolinea che vede come Hortonworks punti di forza, vale a dire governance d’impresa e di sicurezza.
Gnau convinto che siamo ancora a vedere le tecnologie emergenti in AI che ancora non abbiamo sognato. Così Hortonworks’ approccio è quello di investire in infrastrutture e per essere il fornitore di fiducia di dati, pur mantenendo un occhio sull’emergente killer tecnologia e applicazioni, è possibile collegare da un punto di vista dell’applicazione.
Ogni produttore approccio deve essere visto nel contesto di dove sono adesso e come vedono se stessi in continua evoluzione. AI è un nuovo campo di battaglia che i fornitori di approccio in linea con la loro filosofia e gli obiettivi. Continueremo con l’analisi di come questi si manifestano in AI, in un successivo post.