Zero
Con lo streaming motori che spuntano a destra e a sinistra, vi chiedo se il mondo ha davvero bisogno di più di streaming motori. Quando abbiamo fatto la domanda l’anno scorso su Apache Flink, la risposta è stata, essa ha introdotto stateful elaborazione open source in streaming mondiale. Che significa che è possibile checkpoint a Flink flusso senza dover ricorrere al database sottostante. Flink è più solo qui, Spark aggiunta di lavorazione in continuo nella versione 2.3 in qualche misura livellato il campo di gioco, Strutturato in Streaming anche possibile eseguire i flussi (in aggiunta a microbatches) e operare in modalità stateful.
Quindi i Dati Artigiani, le società i cui fondatori creato Flink, hanno fatto il passo successivo, prendendo ACIDO. Il grilletto è stata richiesta da Dati di Artigiani mercati dei capitali di clienti che stanno cercando di inchiodare il reporting in tempo reale sulle loro posizioni di rischio per tutta la giornata di trading.
Con la capacità di Flink (e ora Scintilla in Streaming), è possibile inserire i punti di controllo e filigrane in un unico flusso, coccio, o chiave per ottenere il punto esatto in tempo istantanee sulle esposizioni al rischio, e finchè non hai IOPS colli di bottiglia, di coppia con un database back-end.
Dato che i no global investment bank, funziona con un singolo evento di alimentazione o shard, il miglior consiglio che darei in che situazione è buona fortuna con quello. Solo prendendo ad esempio il trasferimento di fondi da un conto a un altro break che mondo di semplicità, come avete a che fare con diverse chiavi di identificazione di ciascun account. Questo è un banale problema di rete ATM risolto qualche tempo fa, ma nel mondo del trading, le latenze sono molto più brevi. Le comunicazioni tra le schegge (dove ogni chiave viene memorizzata) deve essere praticamente istantanea.
Sorprendentemente, la stima in tempo reale delle posizioni di rischio, è più un’arte che una scienza, con il solo certamente venuta dopo la fine di un periodo di trading o arbitrario blocco del tempo quando le posizioni di trading e di rischio può essere appuntato giù per il record.
A Flink Avanti conferenza di Berlino questa settimana, i Dati di Artigiani è quello di introdurre lo Streaming di Contabilità, che è implementato come una raccolta di Flink. È disponibile un’API che può essere scaricato da GitHub per un unico flusso, con il “runner” per più flussi paralleli, concesso in licenza come prodotto commerciale. Si estende Apache Flink con la possibilità di eseguire transazioni serializable da più flussi attraverso tabelle condivise, e più righe di ogni tabella. Dati Artigiani paragona flusso equivalente di esecuzione multi-riga le operazioni su uno o più valore/i database.
A differenza di basi di dati distribuite, Streaming di Contabilità non usare i normali blocchi di database o di approcci multi-versione per il controllo della concorrenza (MVCC). Come Flink non è un database, operazione logica è contenuta nel codice dell’applicazione (la funzione di transazione), con dati persistenti in memoria o in RocksDB. Il registro eventi e i timestamp sono utilizzati per si impegna e, facoltativamente, può produrli in flussi risultato. Streaming Contabilità in grado di operare in Flink è esattamente-o-almeno-una volta che le modalità operative, dove esattamente una volta, garantisce una maggiore durata, ma a costo di una maggiore latenza.
Dati Artigiani di mira streaming di contabilità per il trasferimento di fondi, consolidamento dei dati, e per incanalando caratteristiche in tempo reale per l’alimentazione di una macchina modello di apprendimento. La tecnologia è un proprietario di add-on per Flink per i quali i Dati Artigiani in attesa di un brevetto.
Argomenti Correlati:
La Trasformazione Digitale
Robotica
Internet delle Cose
L’innovazione
Enterprise Software
CXO
0