Alle data in een platform?

Alle data in een platform? Hoewel dit model wel vaak gebruikt wordt in organisaties is het verre van ideaal te noemen. Er bestaat heel veel onduidelijkheid over de opslag van soorten data die verschillend van structuur zijn. Vaak merkt een organisatie hier pas iets van als de opslag omgeving traag wordt door het opnieuw vollopen van opslagmedia. Vaak is opgeslagen en verzamelde data verschillend van structuur wat zwaarwegende gevolgen kan hebben voor de vindbaarheid voor hergebruik, opslagcapaciteit en kostenaspecten.

We zien vaak dat organisaties een “one Cloud fits for all data ”gebruiken, waarbij eerst vooral afgevraagd moet worden of alle data wel naar Cloud mag worden geleid. Eenvoud dient de organisatie is dan de eerste geachte maar dit is zeker niet de meest efficiënte oplossing. Hieronder eerst de verschillende data soorten.

Gestructureerde data.

Gestructureerde data zijn gegevens die vooraf gedefinieerd zijn. Dat maakt de data goed vindbaar voor andere systemen en daarmee is deze data ook beter analyseerbaar. De gegevens worden genoteerd aan een adequaat tabelformaat waarin de relatie tussen de opslagstructuren vastliggen. Voorbeelden van gegevens zijn bijvoorbeeld SQL-database of een Excel bestanden opgebouwd uit de bekende rijen en kolommen. Ook data uit ERP- en CRM-systemen zijn gestructureerd. Opslag methodieken zijn gebruikelijk kostbaar.

Ongestructureerde data.

Zijn gegevens die zich veel minder makkelijk in een definitie laten vastleggen denk maar eens aan fotobestanden, films of data komende van machinetaal (IoT). Ongestructureerde data moeten worden gezien als voeding voor onze databases. Opgeslagen formules, broncodes zorgen dat we niet telkens maal het wiel opnieuw uitvinden. Deze opslag methodieken zijn over het algemeen zeer kosten efficient.

En juist deze data verdienen de (opslag) aandacht. Ongestructureerde data maken op dit moment 80% van onze gemiddelde dataomvang uit, en groeien het snelst, laten zich veel minder comprimeren en zijn in “normale” niet speciaal voor ongestructureerde data omgevingen ontworpen opslagsystemen slecht vindbaar.

In deze wetenschap verkerende is een optimaal schaalbare opslag infrastructuur wenselijk, echter is (betaalbare) schaalbaarheid binnen de gemiddelde opslag infrastructuren of dit nu in een Cloud of on-premise ver te zoeken.

Hoe dan?

Het antwoord is redelijk eenvoudig, de oplossing is niet heel complex maar laat data in de opslag structuren waar zei het best tot zijn recht komen. Gestructureerde data in een de bekende hiërarchische opslag Block en File systemen en ongestructureerde data in schaalbare moderne opslag modellen zoals Object storage. Hoe dit werkt kunt u teruglezen in: https://dutchitchannel.nl/702217/object-storage-beheerst-data-en-it-budgetten.html

Maar dan zijn we er nog niet helemaal, want we zouden juist pas goed uit de voeten kunnen als onze opgeslagen data ook echt goed vindbaar zou kunnen zijn ongeacht het protocol waarin dit gebeurd is. De oplossing, gebruik een:

Data managementsysteem.

We hebben zojuist kunnen lezen dat de samenstelling van data (gestructureerd en ongestructureerd) over verschillende opslag protocollen opgeslagen dient te worden om zo beter tot hun respectievelijke recht te komen. Sinds een aantal jaren kunnen we data vindbaarheid zeer verhogen door de inzet van datamanagementsystemen. Barrières die je zou kunnen verwachten door de datamix worden hiermede geslecht.

Onze data wordt behalve vindbaar, gedeeld met meerdere gebruikers, ongeacht locatie(Global) opgeslagen op meerdere protocollen (silo`s) en opslagmedia opgeslagen terwijl het gebruik van “smart tools” zoals analytische of calculatie hulpmiddelen die we kunnen gebruiken van verschillende Cloud aanbieders via restful API duurzaam of tijdelijk mogelijk is.

Op de vraag of dit zou kunnen werken als een data platform is het antwoord volmondig ja. En of dit nu op (uw eigen) fysieke hardware of Cloud omgeving staat is veel minder van belang. Flexibiliteit en gemak dient de mens.

Harold Koenders