Nul
Med streaming-motorer, der dukker op til højre og venstre, vi har været spekulerer på, om verden virkelig har brug for mere streaming-motorer. Når vi dukkede spørgsmålet sidste år om Apache Flink, var svaret, det banebrydende stateful behandling i open source-streaming verden. Det betyder, at du kan checkpoint en Flink strøm uden at skulle ty til den underliggende database. Flink er ikke længere alene her; Gnist er tilsætning af kontinuerlig behandling i version 2.3 til en vis grad rettes banen, så Struktureret Streaming kan også køre vandløb (i tillæg til microbatches), og som opererer i stateful-tilstand.
Så Data Håndværkere, virksomheden, hvis grundlæggere skabt Flink, har taget det næste skridt ved at tage SYRE. Det udløser var efterspørgsel af Data Håndværkere’ capital markets kunder, der forsøger at neglen ned real-time rapportering om deres risiko for positioner i løbet af handelsdagen.
Med de eksisterende muligheder Flink (og nu Gnist Streaming), kan du indsætte checkpoints og vandmærker på en enkelt strøm, shard (glasskåret), eller tast for at få nøjagtige point-in-time snapshots på engagementer, og så længe du ikke har IOPS flaskehalse, par det med en back-end database.
I betragtning af, at ingen global investment bank fungerer kun med en enkelt begivenhed foder eller shard, er det bedste råd vi vil give i denne situation er god og lykke med det. Bare for at tage eksemplet med at overføre penge fra én konto til en anden, bryder denne verden af enkelhed, som du har at gøre med separate taster, identificere hver enkelt konto. Det er et trivielt spørgsmål, at ATM-netværk løst stykke tid siden, men i handel verden, den ventetid er meget kortere. Kommunikation mellem skårene (hvor hver nøgle er lagret) skal være næsten øjeblikkelige.
Overraskende, at estimere real-time risiko positioner er mere kunst end videnskab, med kun sikkert, der kommer efter afslutningen af en periode eller vilkårlig blok af tid, når du handler med positioner og risikoen kan være pinned down for the record.
Ved Flink Frem konference i Berlin i denne uge, Data Håndværkere er ved at indføre Streaming-Ledger, der implementeres som et bibliotek på Flink. Det er tilgængelig som en API, der kan downloades fra GitHub til en enkelt strøm, med “runner” for flere parallelle streams godkendt som kommercielt produkt. Det strækker sig Apache Flink med evnen til at udføre serializable transaktioner fra flere vandløb på tværs fælles borde, og flere rækker af hver tabel. Data Håndværkere sammenligner det som streaming tilsvarende udføre multi-række transaktioner på et eller flere nøgle/værdi-databaser.
I modsætning til distribuerede databaser, Streaming Ledger ikke bruge normale database, låse eller tilgange som multi-version concurrency control (MVCC). Så Flink er ikke en database, transaktions logik er indeholdt i ansøgningen kode (transaktionen funktion), med data, som er fastholdt i hukommelsen, eller i RocksDB. Event log og timestamps er brugt for forpligter, og eventuelt kan udlæse dem i resultatet vandløb. Streaming Ledger kan fungere i Flink er præcis-en gang eller på-mindst-når driftsformer, hvor præcis en gang giver en stærk holdbarhed, men på bekostning af højere latency.
Data Håndværkere er rettet mod streaming ledger for overførsel af midler, konsolidering af data, og for at kanalisere funktioner i real-tid til at fodre en machine learning model. Teknologien er en proprietær add-on for Flink, for hvilke Data Håndværkere er patentanmeldt.
Relaterede Emner:
Digital Transformation
Robotteknologi
Tingenes Internet
Innovation
Virksomhedens Software
CXO
0