Nul
Met streaming motoren opduiken rechts en links, we zijn benieuwd of de wereld moet echt meer streaming motoren. Wanneer we schoot de vraag van vorig jaar over Apache Flink, was het antwoord, het pionierswerk van stateful verwerking in de open source streaming wereld. Dat betekent dat u kunt checkpoint een Flink streamen zonder beroep te doen op de onderliggende database. Flink is niet langer alleen hier; van Spark toevoeging van een continue verwerking in de 2.3 versie enigszins geëgaliseerd het speelveld, in de vorm van Gestructureerde Streaming kunt u ook streams (naast microbatches) en werken in deze modus.
Dus de Gegevens Ambachtslieden, het bedrijf waarvan de oprichters Flink, heeft de volgende stap gezet door het nemen van ZUUR. De trigger was van de vraag door Gegevens Ambachtslieden’ capital markets klanten die proberen te achterhalen real-time rapportage over hun risico posities gedurende de handelsdag.
Met de bestaande mogelijkheden van Fling (en nu Spark Streaming), je kan invoegen checkpoints en watermerken op een enkele stroom, scherf, of-toets om een exact moment in de tijd snapshots op risico ‘ s, en zolang je niet IOPS knelpunten, het paar met een back-end data base.
Gezien het feit dat er geen global investment bank werkt slechts met een enkele gebeurtenis feed of scherf, het beste advies dat we zouden in die situatie is het goed geluk met dat. Gewoon het voorbeeld van de overdracht van middelen van de ene rekening naar de andere einden wereld van de eenvoud als je te maken hebt met aparte toetsen identificeren van elk account. Dat is een triviale kwestie die ATM-netwerken opgelost enige tijd geleden, maar in de handel wereld, de wachttijden veel korter zijn. De communicatie tussen de scherven (waar elke sleutel is opgeslagen) moet worden vrijwel onmiddellijk op.
Verrassend, het schatten van real-time risico van de posities is meer kunst dan wetenschap, met het alleen zeker komen na het einde van een periode, of om willekeurige blok van de tijd wanneer de trading posities en risico ‘ s kunnen worden gepind voor de record.
Op de Flink Vooruit conferentie in Berlijn deze week, de Gegevens van Ambachtslieden is de invoering van de Streaming Ledger, die is geïmplementeerd als een bibliotheek op Flink. Het is beschikbaar als een API die kan worden gedownload van GitHub voor een enkele stroom met de “loper” voor meerdere parallelle stromen licentie als de commercieel product. Het strekt zich uit van Apache Flink met de mogelijkheid tot het uitvoeren van serializable transacties van meerdere streams over gedeelde tabellen, en meerdere rijen per tabel. Gegevens Ambachtslieden vergelijkt het als de streaming gelijk aan het uitvoeren van multi-rij transacties op een of meer sleutel/waarde-databases.
In tegenstelling tot de gedistribueerde databases, de Streaming Grootboek is niet van een normale database sloten of benaderingen zoals multi-versie concurrency control (MVCC). Zo Flink is niet een database transactie logica zit vervat in de code van de toepassing (de transactie functie), met vastgelegde gegevens in het geheugen of in RocksDB. De event log-en tijdstempels worden gebruikt voor vastleggingen en optioneel kan de uitgang van hen in het resultaat stromen. Streaming Grootboek kan werken in Flink is precies eenmaal of ten-minste eenmaal modi, waar precies één keer biedt het grotere duurzaamheid, maar op de kosten van een hogere latency.
Gegevens Ambachtslieden is gericht op streaming grootboek voor de overdracht van de gegevens consolidatie, en voor getijdenwerking functies in real-time besturing van een machine learning model. De technologie is een gepatenteerde add-on om Flink voor welke Gegevens Ambachtslieden heeft een octrooi aangevraagd.
Verwante Onderwerpen:
Digitale Transformatie
Robotica
Het Internet van Dingen
Innovatie
Enterprise Software
CXO
0