Stigningen af ​​observerbarhed på den første mile: Calyptia ønsker at gøre det muligt for virksomheder at logge alle tingene

0
178

George Anadiotis Skrevet af George Anadiotis, bidragydende skribent George AnadiotisGeorge Anadiotis bidragende skribent

George Anadiotis fik teknologi, data og medier, og han er ikke bange for at bruge dem.

Fuld biografi udgivet i Big on Data den 1. marts 2022 | Emne: Udvikler

Cloud-native er navnet på spillet til applikationsudvikling. Skaberne af de populære Fluent Bit og Fluentds populære open source-projekter til cloud-native observerbarhed lancerer et tilbud rettet mod virksomheden

Flere og flere applikationer, med flere og flere mikrotjenester og back-ends, implementeret over flere og flere skyer og genererer flere og flere logfiler. Dette er, hvad udviklere skal håndtere hver dag, og det gør observerbarhed sværere og sværere.

Hvis du synes, at overvågning og fejlfinding af applikationer i denne indstilling er svært, har du ret. Men så har vi selvfølgelig observerbarhed, som ikke er overvågning, men alle er enige om, at det er vigtigt. Er du forvirret endnu?

Der er masser af observerbarhedsdefinitioner. En simpel én, der ser ud til at være relevant er “evnen til at måle et systems aktuelle tilstand baseret på de data, det genererer, såsom logfiler, metrikker og spor”.

Fluentd og Fluent Bit er almindeligt brugt åbne kildeprojekter i regi af CNCF, med fokus på logs-delen af ​​ligningen. De arbejder sammen om at indsamle og behandle henholdsvis oplysninger, der er gemt i applikations- og servicelogfiler.

Kombineret, Fluentd og Fluent Bit har mere end 30K GitHub-stjerner, 2M udrulninger om dagen og 1,3K aktive bidragydere. De er blevet implementeret over en milliard gange og er indlejret i industristandardteknologier såsom Kubernetes og Red Hat OpenShift.

I dag annoncerer Fluent og Fluent Bit-vedligeholder Anurag Gupta og tidligere produktchef Eduardo Silva lanceringen af Calyptia , et selskab, der blev dannet for at kommercialisere Fluent Bit, samt en seed-runde på $5 millioner ledet af Sierra Ventures og Carbide Ventures Vi talte med Gupta og Silva for at diskutere Calyptias tilbud og dets positionering i observerbarhedslandskabet.

Kontekstualisering af logfiler

Som Cindy Sridharan, forfatter til “Distributed Systems Observability” er noter, logfiler, metrikker og spor ofte kendt som de tre søjler af observerbarhed. Selvom adgang til logfiler, målinger og spor ikke nødvendigvis gør systemer mere observerbare, er disse kraftfulde værktøjer, der, hvis de forstås godt, kan låse op for evnen til at bygge bedre systemer.

Fluentd er en åben kildedatasamler til unified logging layer, der gør det muligt for brugere at forene dataindsamling og forbrug for en bedre brug og forståelse af data. Fluent Bit er en open source-lognings- og metrikprocessor og videresender, og det er det, Calyptias tilbud er bygget op omkring.

Som Silva udtrykte det, er Fluentd og Fluent Bit “fætre” til projekter som Jaeger og Zipkin, der fokuserer på spor. Logs, fortsatte Silva med at tilføje, er en velkendt mekanisme til at muliggøre en form for synlighed i, hvad en applikation gør.

Når det er tid til at analysere, hvordan en applikation opfører sig, er det første sted at kigge efter applikationslogfiler. Men i et distribueret system, såsom Kubernetes, er det ikke trivielt:

“Du har en håndfuld applikationer, og du vil gerne udføre dataanalyse for at se, hvordan applikationerne opfører sig. Du vil gerne tage et kig på loggene, men for at løse det, kan du ikke gå til hver af de applikationer, hver enkelt fil, og tag et kig på, hvad denne applikation gør. Du skal have et specialiseret værktøj.

Du kan se det — Hej, det er applikationerne. Her er loggene. Tag venligst loggene og centraliser dem i en database eller en cloud-tjeneste, så vi kan udføre dataanalyse. Så Fluent og Fluent Bit er dette specialiserede værktøj, der kan indsamle denne loginformation, behandle den og centralisere den i et eller flere slutpunkter til analyse.” , sagde Silva.

Observerbarhed handler om logfiler, metrikker og spor. First-Mile Observability handler om at starte, hvor data bliver genereret, kontekstualiseret, behandlet og dirigeret i henhold til Calyptia

Getty Images/iStockphoto

Kombinationens kraft kommer fra det faktum, at den ikke kun gør det indsamle og videresende data gemt i logfiler, men det anvender også transformations- og parsinglogik, tilføjede Gupta. Dette kan gøres ved at bruge ting som Lua-scripting eller tilføjelse af specifikke nøgleværdipar i Kubernetes-rummet.

Hvad Fluent Bit og Fluentd har gjort i henholdsvis de sidste 10 og 5 år, er at tilføje muligheden for at tale med API'er i Kubernetes og nå alle disse data. Dette hjælper med at kontekstualisere dataene i logfiler og gøre dem mere meningsfulde, så diagnosticering og fejlretning bliver hurtigere og nemmere.

En vigtig fordel ved at arbejde med Fluentd og Fluent Bit er evnen til at arbejde med flere back-ends, bemærkede Gupta. Værktøjerne er leverandøragnostiske, når det kommer til back-ends, så data kan dirigeres, hvorhen de skal hen, uanset hvad de er, eller hvor mange de er. Selvom back-ends vokser, vil Fluentd og Fluent Bit følge med, tilføjede Gupta.

First-Mile Observability

Gupta og Silva, begge med mangeårig erfaring inden for software system engineering og ophold hos henholdsvis Microsoft og Oracle, mødtes i 2017. De arbejdede tæt sammen på Fluentd, og som tiden gik, så de dynamikken og besluttede at stifte Calyptia for at tilbyde kommercielle tjenester omkring det i 2020.

Calyptia Cloud er en vigtig del af Calyptia Enterprise-tilbuddet, og det inkluderer to ting: et styrings- og overvågningslag og udviklerværktøjer. Udviklerværktøjerne er rettet mod folk, der bare ønsker at bruge open source-laget, og kan hjælpe dem med at finde ud af nogle nøgleaspekter såsom regulære udtryk eller om tingene fungerer korrekt, sagde Gupta.

Administrations- og overvågningstilbuddet samler al den information, som Fluentd og Fluent Bit har på kantlaget, kontekstualiserer og visualiserer den. Dette kan hjælpe med at besvare spørgsmål som f.eks. — hvor bliver dataene dirigeret til, hvor meget data der dirigeres til, til hvilke IP'er, hvorfor valgte dataene en bestemt sti, eller hvorfor blev denne mængde data sendt.

Målet er også at kunne have prædiktiv analyse. I dette tilfælde betyder det, at man er i stand til at vise sådanne indsigter, før dataene lander i denne back-end, og derefter bliver faktureret for det, som Gupta sagde. Hvad angår Calyptia Clouds egen back-end, er tjenesten også agnostisk, idet den kan fungere med alt lige fra New Relic og Splunk til Amazon og Google objektlagring eller PostgreSQL.

Observabilitet kan ses som en rejse , ifølge Gupta. Folk kan starte med simpel overvågning, derefter udvikle sig og begynde at tilføje flere datakilder. Rejsen starter på det sted, hvor dataene skabes og fortsætter mod det sted, hvor fejlretning, diagnosticering og indsigt sker.

Calyptia ser stedet, hvor data bliver genereret, kontekstualiseret, behandlet og dirigeret, som den første mile på denne rejse. Det er her, sagde Gupta, hvor Fluentd og Fluent Bit har fungeret, og det er også det, Calyptia sigter mod.

Silva beskrev på sin side observerbarhed som et kontinuum, hvor Calyptia adresserede dataindsamlingen og forbehandlingsenden af ​​spektret, og værktøjer som Grafana adresserede visualiseringsenden. Calyptia arbejder side om side og integrerer med dem alle, fortsatte han med at tilføje. Det kan være tilfældet, men for os ser det ud til, at der i det mindste eksisterer et vist overlap.

Gupta og Silva nævnte, at de brugte meget tid på opkald med folk fra f.eks. AWS, Google Cloud og Microsoft, såvel som virksomheder, der ønsker at løse observerbarhed i stor skala, og open source-projektbidragydere. Dette var med til at forme deres tilbud, som nu bruges på steder som Fidelity eller Neiman Marcus.

Ud over Calyptia Cloud kan Calyptia Enteprise være selvhostet i ethvert miljø. Calyptia tilbyder en abonnementsmodel samt konsulentydelser og support. Virksomheden sigter mod at bruge finansieringen til at øge sit nuværende antal ansatte på 16 og investere i den fortsatte udvikling af dets software.

Fremhævede

CISA, FBI advarer om WhisperGate og HermeticWiper malware Elon Musk aktiverer Starlink for at holde Ukraines internet kørende Linus Torvalds forbereder sig på at flytte Linux-kernen til moderne C Advarsel: Nogle filer bliver muligvis ikke slettet, når du nulstiller en Windows-pc Big Data Analytics | Enterprise Software | Open Source | Mobil OS