Noll
Med streaming motorer poppar upp till höger och vänster, vi har undrar om världen verkligen behöver mer strömmande motorer. När vi dök frågan förra året om Apache Flink, var svaret, det var först stateful behandling i öppen källkod streaming världen. Det innebär att du kan checkpoint en Flink ström utan att behöva ta till den underliggande databasen. Flink är inte längre ensam här; Gnista tillsats av kontinuerlig bearbetning i version 2.3 till viss del utjämnat skillnaderna, som Strukturerade Streaming kan också köra strömmar (förutom microbatches) och arbetar i stateful läge.
Så Data Hantverkare, företag vars grundare skapade Flink, har tagit nästa steg genom att ta SYRA. Den utlösande var efterfrågan av Data Hantverkare capital markets kunder som försöker att spika ner rapportering i realtid på sina riskpositioner hela handelsdagen.
Med befintliga resurser Flink (och nu Gnista Streaming) du kan infoga checkpoints och vattenstämplar på en enda ström, skärvan, eller för att få exakta point-in-time bilder på riskexponering, och så länge du inte har IOPS flaskhalsar, par med en backend-databas.
Med tanke på att ingen global investment bank fungerar bara med en enda händelse foder eller shard, det bästa råd vi vill ge i denna situation är bra lycka till med det. Bara som exempel kan nämnas att överföra pengar från ett konto till ett annat som bryter värld av enkelhet som du har att göra med separata nycklar för identifiering av varje konto. Det är en trivial fråga att ATM-nät löst för en tid sedan, men i den fria världen, latenser är mycket kortare. Kommunikation mellan skärvor (där varje nyckel lagras) måste vara så gott som ögonblicklig.
Överraskande, att uppskatta realtid risk positioner är mer konst än vetenskap, med bara säkert kommer efter utgången av en period eller godtyckligt block av tid när positioner i handelslagret och risk kan softa ner för posten.
På Flink Fram konferens i Berlin den här veckan, Data Hantverkare är att införa Streaming Ledger, som genomförs som ett bibliotek på Flink. Det finns ett API som kan hämtas från GitHub för en enda ström, med “runner” för flera parallella strömmar licensierad kommersiell produkt. Det sträcker sig Apache Flink med förmågan att utföra serializable transaktioner från flera strömmar över delade bord, och flera rader för varje tabell. Data Hantverkare liknar det som strömmande detsamma som att utföra multi-rad transaktioner på en eller flera nyckel/värde-databaser.
Till skillnad från distribuerade databaser, Strömmande Ledger inte använda normal databasen lås eller metoder som multi-version samtidighet (MVCC). Som Flink är inte en databas, transaktion logik som finns i ansökan kod (transaktionen funktion), med data som är sparade i minnet eller i RocksDB. Händelseloggen och tidsstämplar används för åtar sig och eventuellt kan mata dem i resultat-strömmar. Streaming Huvudboken kan fungera i Flink är exakt-en gång-minst en gång driftlägen, där exakt en gång ger starkare hållbarhet, men på bekostnad av högre latens.
Data Hantverkare är inriktad på streaming huvudbok för överföring av medel, data konsolidering, och för att kanalisera funktioner i realtid för att mata en maskin lärande modell. Tekniken är en egen add-on till Flink för vilka Uppgifter Hantverkare har en patentsökt.
Relaterade Ämnen:
Digital Omvandling
Robotteknik
Sakernas Internet
Innovation
Affärssystem
CXO
0