Probeert men te weten hoe data de organisatie binnenkomen, waar ze bestaan of transformeren terwijl ze door verschillende processen en systemen reizen, dan hebben data-leiders de term data lineage bedacht om de erfenis van data te visualiseren vanuit een afhankelijkheidsperspectief (volgorde). Lineage documenteert de oorsprong van data, de verplaatsing, het gebruik en eventuele veranderingen tijdens de reis.
Data lineage stelt organisaties in staat om data te volgen tijdens de reis door elke bestemming, en om datawijzigingen en fouten terug te traceren naar hun bron. Wanneer data veranderen, veranderen ook hun betekenis, doel en datakwaliteitsscore, wat leidt tot onnauwkeurigheden in de data. Data lineage stelt datagebruikers in staat de oorzaak van dataproblemen te achterhalen en deze te verhelpen. Het biedt ook een informatie-audittrail.
Inzicht in verschillende soorten data lineage
Wanneer men lineage probeert uit te leggen, zullen verschillende mensen verschillende definities bieden, omdat hun opvattingen afhangen van hun rol als gebruiker en de vraag die zij proberen te beantwoorden.
Voorbeeldvragen die lineage kan helpen beantwoorden:
- Wat zijn de beleidsregels die zijn toegepast bij de uitvoering van dit bedrijfsproces?
- Welke kwaliteitsregels werden gehandhaafd voordat dit rapport naar een klant werd gestuurd?
- Wie zijn de mensen die in de keten van verantwoordelijkheid staan om ervoor te zorgen dat de dataset correct is?
- Moet ik dit auditrapport ondertekenen?
We kunnen deze zienswijzen in twee groepen indelen. De eerste visie is technische gegevens lineage, die elementen overziet die van cruciaal belang zijn voor de naleving, operaties, procedures, transformaties en gegevens combinaties. De andere is business data lineage, die een beeld geeft van technische lineage op een applicatie- of bedrijfslaag, waardoor zakelijke gebruikers de rol van data in bedrijfsprocessen kunnen begrijpen.
Technische data-gebruikers bevinden zich doorgaans op de IT-afdeling. Met lineage van technische gegevens kunnen IT-resources vaststellen waar gevoelige gegevens zich bevinden, hoe ze veranderen, wie er toegang toe heeft, hoe ze worden gedeeld en wat het kwaliteitsniveau ervan is. Deze informatie stelt technische gebruikers in staat vragen over de gevoeligheid en kwaliteit van data te beantwoorden, zodat compliance en nauwkeurigheid zijn gewaarborgd.
Business data lineage geeft inzicht in hoe data in het bedrijf passen en wat de verschillende bedrijfsresultaten zijn als informatie transformeert. Data lineage vanuit een bedrijfsperspectief stelt gebruikers in staat vragen te beantwoorden over de data zoals die zich verhouden tot het bedrijf, en biedt transparantie in het data-analysekanaal om accurate, betrouwbare business intelligence te produceren. Business data lineage kijkt verder dan de verbanden tussen metadata, het kijkt naar regels, frequentie, kriticiteit, gebruikscontext, en bepaalt eigenaarschap en documenteert kennis.
Toch betekent het traceren van data lineage van creatie tot gebruik dat organisaties een geïntegreerd data catalog framework nodig hebben dat de juiste data lineage tools bevat.
Levering Data Lineage Tools to Build an Intelligent Data Catalog
Het volgen van zowel business als technische lineage door middel van een data governance framework helpt organisaties om standaard data definities te ontwikkelen en de informatie te documenteren. Bovendien kunnen bedrijven kwaliteitsscores en business lineage opnemen om vertrouwen in data op te bouwen en datadefinities te koppelen aan business cases.
Om een gedetailleerde datacatalogus werkelijkheid te laten worden, moeten organisaties een data intelligence-platform met geïntegreerde en geautomatiseerde datalineagemogelijkheden adopteren. Door geautomatiseerde datalineagefuncties in te bouwen, kunnen bedrijven data automatisch profileren en metadata extraheren zodra deze het bedrijf binnenkomen. Het vastleggen van lineage is echter niet genoeg, het is ook van cruciaal belang om deze te kunnen bekijken en doorbladeren. De ideale lineage-weergave zou gebruikers een “lineage-browser” bieden waarmee ze de lineage kunnen bekijken vanuit het perspectief dat het meest betekenisvol is voor de vraag die ze proberen te beantwoorden. Het resultaat is dat zakelijke gebruikers snel patronen ontdekken en informatie koppelen aan verschillende bedrijfsprocessen en -resultaten. Dit zorgt voor gedetailleerde zakelijke context en kennis rond alle bedrijfsdata.
Mogelijkheden voor datakwaliteit binnen het platform meten ook de impact die inspanningen op het gebied van datakwaliteit hebben ten opzichte van de verwachtingen van het bedrijf. Door inzicht te krijgen in de effecten die datakwaliteit heeft op verschillende bedrijfsomgevingen, krijgen zakelijke gebruikers meer vertrouwen in hun data.
Met een uitgebreide datacatalogus die klaar is voor het bedrijf en waarin tools voor datakwaliteit en geautomatiseerde datalineage zijn geïntegreerd, verkleinen bedrijven het risico van misverstanden over data bij zakelijke gebruikers. In plaats daarvan zorgen ze ervoor dat zakelijke gebruikers op verzoek kunnen beschikken over bedrijfsgegevens van hoge kwaliteit om meer winst te genereren.
Bent u op zoek naar informatie over geautomatiseerde data lineage tools? Download het bovenstaande of onderstaande artikel voor meer informatie.
Voor aanvullende informatie over de grondbeginselen van data lineage, leest u deze definitie van TechTarget’s WhatIs.com: https://whatis.techtarget.com/definition/data-lineage.