Coralogix brengt structuur in logdata

Bedrijven, netwerken en systemen ze genereren continue gigantische hoeveelheden logdata. Het zoeken naar oorzaken van issues in deze logs is zonder structurering onmogelijk. Pas als alle feiten geclusterd en gecombineerd zijn, komen de patronen en afwijkingen tot leven. Coralogix uit Tel Aviv heeft daar een actiepunt van gemaakt en een product ontwikkeld dat deze klus kan klaren.

Beheerders die geen geschikte hulpmiddelen hebben om logdata te analyseren, zijn blinden in een doolhof. Geen enkel apparaat of systeem kan beheerd worden zonder dat de juiste parameters op een dashboard verschijnen. Als het lampje niet gaat branden wanneer de benzinetank leeg raakt of de motor oververhit wordt, staan alle auto’s op een geven moment stil. Als de auto’s voor ons in het donker geen verlichting voeren, is een ongeluk een kwestie van tijd. Bedienend personeel heeft ondersteuning nodig via een dashboard. Coralogix realiseert dat voor de systeembeheerders van bijvoorbeeld containerized systemen.

Data

Coralogix co-founder en CEO Guy Kroupp: “Het bedrijf is drie jaar geleden gestart met als missie: Breng structuur in logdata. Het huidige product voldoet aan die doelstelling en maakt het mogelijk grote logfiles te analyseren en beheren.” Onze huidige en toekomstige channel partners worden uitgenodigd om het naar de klant te brengen.

De uitdaging zit in de structuur van het probleem. Containerized omgevingen zijn gesloten en hebben een beperkte output van proces informatie. Gestructureerde logdata is niet op afroep beschikbaar, daar moet voor gezorgd worden.

Analytics

Zonder aanvullende technologie is een storing of fout in een systeem voor de administrator onoplosbaar. De logging die in containers geïntegreerd is, is primair ontwikkeld voor de ontwikkelaars en levert debug data voor hen op. Tenzij exact bekend is onder welke omstandigheden en tegen welke achtergronden die data geregenereerd is, is hij onbruikbaar voor systeembeheer. Geïsoleerd zonder duiding is er niets mee te doen. En juist daar kan Coralogix iets betekenen. Logs worden geanalyseerd, gerubriceerd en daarna geclusterd. Repeterende patronen krijgen overeenkomstige labels met een letter. Dit zorgt voor een gigantische reductie van de datastroom. DNA achtige patronen vervangen bulk logdata. De software kan opeenvolgende letters herkennen als bekende transacties (ABC kan bijvoorbeeld een betaling betekenen) die als templates in het systeem bekend zijn. De inputdata van zo’n event kan geanalyseerd worden als er een probleem opduikt met een gedefinieerde procesflow. Het begint te lijken op een gestructureerde zoektocht in een DNA-keten. Daarmee is het analyseren van logs een stuk eenvoudiger geworden en krijgt de systeembeheerder sneller inzicht in de processen binnen zijn datacentrum.

Applicatie

Na de preprocessing wordt de datastroom (de virtuele DNA-keten) geanalyseerd en timing, frequentie en andere belangrijke parameters. Hiervoor zijn templates met parameters beschikbaar. Als vervolgens een applicatie gedrag vertoont dat afwijkt van dat wat in de template als normaal gedefinieerd is, genereert de software een alarmering naar de systeembeheerder.

Omdat de software weet welke ruwe data gebruikt is om de templates samen te stellen, zijn de afwijkingen goed te vinden en kan zelfs een suggestie gedaan worden waar en waardoor de fouten ontstaan zijn.

Door: Hans Steeman