Questa settimana è stata ricca di Dati di Grandi novità, tra cui nuove uscite, un nuovo prodotto, una nuova acquisizione e l’aggiornamento di uno dei principali distribuzioni Hadoop. Andiamo un sondaggio su ciò che è stato annunciato e poi vediamo se non siamo in grado di trarre una conclusione o due.
Un grande driver per gran parte della notizia è stato questa settimana Amazon Web Services re:Inventare conferenza, fornendo un’opportunità per Amazon per rivelare cose nuove, e per i partner presenti alla mostra a fare altrettanto. Alcune delle notizie che ha avuto luogo al di fuori del re:Inventare orbita ma cominciamo c’è comunque.
Leggi anche: Amazon Web Services incontra il mondo ibrido
Athena
Forse Amazon, il più grande a dati relativi annunciato la Disponibilità Generale di Amazon Athena, fornendo ciò che mi potrebbe chiamare “SQL-sul-S3-as-a-Service”, che credo avrebbe prodotto l’acronimo SS3aaS. Mentre il mio nomenclatura può essere un po ‘ di prezioso, è anche abbastanza auto-esplicativo. Con Athena è possibile, su una base piuttosto ad hoc, query flat file di dati che si potrebbe avere in giro in un S3 secchio, utilizzando l’SQL standard.
Leggi anche: Questi analitica e AI servizi AWS saranno enormi successi. Ecco perché
Athena si rivelasse essere basata su Presto, un open source motore SQL che può query di dati diversi negozi. La cosa di Athena, è serverless…in realtà, è clusterless. Quindi, per eseguire un Athena query, non gira un Elastic MapReduce (EMR) cluster, o anche un EC2 macchina virtuale, ma invece la testa per la console di gestione https://console.aws.amazon.com/athena, impostare una “tabella” che punta a un file in S3, specificando il formato (CSV, TSV, personalizzato delimitato, JSON, e colonnare formati, Parquet e ORC) e il relativo schema, quindi l’interrogazione di distanza.
Ho avuto Athena a lavorare in circa due minuti, la lettura di un file in sequenza dall’ (certamente semplice) e l’uscita dal Wordcount Hadoop esempio in cui mi sono imbattuto tempo fa su un vecchio EMR cluster.
Quick and Dirty: usare Athena di query Wordcount uscita
Credito: Andrew Brust
A basso attrito, per lo più
Mentre è fastidioso che devo specificare il formato e lo schema (per numero di file che è facilmente rilevabile, e Athena avrebbe potuto fornire uno schema predefinito per me accettare o modificare), era ancora super-facile da usare, altrimenti attrito minore di avvio.
Che la capacità di query di dati che si hanno già, con quasi nessuna configurazione o di previdenza, il succo di Amazon di posizionamento per Athena. L’idea qui è che, mentre si può già trovare caratteristiche simili a artisti del calibro di EMR o Redshift, questi servizi richiedono almeno un po ‘ di pianificazione così come l’installazione e il tempo di avvio.
Leggi anche: Amazon annuncia “Redshift” nuvola di data warehouse, con Jaspersoft supporto
Forse che ha colpito un nervo, un po’, con Bob Muglia, il CEO di Fiocco di neve Computing, che ha un data warehouse come offerta di servizio che accade anche per l’esecuzione su cloud di Amazon. Muglia, mentre vedendo la testa di Athena convalida per il trattamento dei dati nel cloud, forse è stato un po ‘ di attenzione a sostenere un intero magazzino di dati, piuttosto che solo un casual strumenti di query, dicendo: “Anche se il numero di opzioni di elaborazione dati nel cloud proliferare, il bisogno di una vera data warehouse è cresciuto in modo esponenziale.” Come strumenti di query e ‘ buono anche se, e Amazon ha annunciato che il proprio QuickSight BI offerta, così come Tableau, sono compatibili.
Leggi anche: Nuvola di data warehouse gara si riscalda
Leggi anche: Fiocco di neve introduce multi-cluster di data warehouse
Amazon ha avuto altri annunci di troppo, come il fatto che Aurora, la sua MySQL-compatibile gestito database relazionale servizio, è ora di PostgreSQL-compatibile. Ha anche annunciato tre nuovi AI servizi: Lex, per il linguaggio naturale; Polly, per i dialoghi e conversazioni via vocale o di testo; e Rekognition, per il viso, oggetto e di riconoscimento della scena.
Leggi anche: Amazon vs Oracle: un database di guerra
Leggi anche: Amazon porta la propria competenza AI AWS clienti
Il Tesoro Nascosto
Tesoro di Dati, che aveva uno stand presso il re:Inventare, utilizzato l’evento per annunciare il suo nuovo Tesoro strumento di Flusso di lavoro. I flussi di lavoro in questo prodotto la gestione dei dati condotte, tra cui giardino-varietà di estratti, nonché una serie di API a base di trasferimenti di dati da parte delle applicazioni. Non solo può un Tesoro di Dati di estrarre i dati dai principali applicazioni SaaS, ma gli altri, con il quale Tesoro di Dati ha collaborato, può in modo proattivo i dati del prodotto.
Questa tecnica funziona anche con il Web e il mobile sviluppato da Treasure dei Dati stessi clienti, con l’iniezione di codice semplice che “i telefoni di casa” e le condivisioni di dati rilevanti. Questo dà un Tesoro di Dati di un Application Performance Management (APM) di spin.
Non tutte le notizie hanno soggiornato a las Vegas
Al di là del mondo di Amazon, MapR ha annunciato il rilascio di un nuovo “Ecosistema Pack”, aggiungendo il supporto in MapR Flussi, per Kafka API REST e Kafka Collegare compatibilità; l’aggiunta di Scintilla 2.0.1 e Trapano 1.9; e Installer Strofe, che consentono di API-guidata di installazione di MapR cluster on-premise o nel cloud.
Un Birst di nuove funzionalità
Cloud BI provider Birst annunciato il suo nuovo Birst 6 release. Questa versione segue un importante trend di mercato: l’inclusione di dati di funzionalità per la preparazione all’interno di un nucleo BI prodotto. Definiti come “Dati Connessa Prep”, Birst offre un servizio di self-service approccio che divide il lavoro in tre fasi, di cui la società è denominata “Connetti” “Prep”, e “Raccontare”, e che comprende tecniche di machine learning assistito trasformazione e join.
Leggi anche: Birst-ing in mainstream: Macchina di Apprendimento incontra Semantica in un mondo in rete
E la macchina di apprendimento non finisce qui; infatti Birst ha aggiunto “Machine Learning Automazione” per il prodotto che include prescrittivo analytics e cosa Birst chiamate in Un solo clic “previsione” di capacità. Birst ha aggiunto anche diversi miglioramenti delle prestazioni sotto l’ombrello di ciò che la società è chiamata “Cloud Scala di Architettura”.
E consolidamento più
Ultimo, e non meno importante, il Grande mondo dei Dati è iniziata una nuova acquisizione. I Big Data ETL-oriented Syncsort (che di per sé è stata acquisita dalla società di private equity di Clearlake Capital nel mese di ottobre dello scorso anno) ha annunciato l’acquisizione di dati in qualità di specialista Trillium Software.
Leggi anche: i 14 Big Data acquisizioni e perchè è successo
Proprio come BI fornitore Birst ha integrato i dati prep nel suo prodotto, sembrerebbe che qui siamo un produttore specializzato in forza industriale ETL e data di preparazione in movimento per integrare i dati di qualità, funzionalità e propria suite di prodotti. Chiaramente, silos funzionalità è in declino, funzionalità integrate e sono in aumento.
E ora, tutti insieme
Infatti, se si da un’occhiata su Amazon gli annunci, potrai vedere adesione alla stessa tendenza: dai, effettivamente, tra cui la funzionalità di query SQL nel suo S3 cloud storage, e l’aggiunta di Postgres compatibilità di Aurora, Amazon cercando di tenervi impegnati da non fare è andare in un posto nuovo per la funzionalità che stai cercando.
Perché andare per la selezione di un EMR cluster, fuoco fino Alveare e scrivere il proprio comando CREATE TABLE, quando si può solo passare per l’Athena console di gestione e quindi punto e fare clic su query? Perché andare per alcuni separato servizio per ottenere un auto-gestiti, Postgres istanza (o farlo da soli su un EC2 macchina virtuale) quando Aurora (che integra anche con S3) ti ha coperto, e SaaS.
Questo è il modo in cui i dati si potente. Quando il percorso per l’interrogazione e l’analisi è breve, e può essere percorsa a capriccio. Gli utenti di ottenere ulteriori “approfondimenti” di quando si fanno più domande. E quando il disincentivo a fare quelle domande, si scioglie, più domande che vengono poste. E ‘ davvero così semplice.