Tegenwoordig draait alles om data. Het is de nieuwe olie van de 21^e eeuw. Op zich niet vreemd want met data kun je via analyses voorspellingen doen en met voorspellingen kun je geld verdienen. Echter met data worden ook processen opgestart, systemen aangestuurd en klanten geïnformeerd. Incorrecte data is schadelijk voor een organisatie en uiteindelijk ook voor de klant of samenleving.

Wat is de schade die een organisatie ondervindt indien de kwaliteit van de data niet klopt? Een verkeerde, te lage, prijsstelling van een populair product in een webshop leidt direct tot een te meten omzetverlies. Een onjuiste voorraadregistratie zorgt voor het niet tijdig kunnen leveren waardoor omzetverlies en imagoschade optreedt. Het herhaald aanschrijven van reeds overleden klanten heeft vooral imagoschade tot gevolg.

Incorrecte data is dus schadelijk en heeft beperkte of vergaande gevolgen. Om dit te voorkomen moet data periodiek gecontroleerd worden of het voldoet aan bepaalde regels. De zogenaamde datakwaliteitsregels. Aan welke kwaliteitsregels moet ik dan denken?

Voorbeelden van kwaliteitsregels kunnen zijn:

• “Er mag maximaal 4 weken liggen tussen de order in systeem X en de facturering van die order in systeem Y.”
• “Bij de registratie van een klant dient altijd zijn naam, adres en telefoonnummer gevuld te zijn.”
• “Alle Nederlandse telefoonnummers moeten voldoen aan het formaat +31xxxxxxxxx.”

Door het periodiek toepassen van kwaliteitsregels in systemen zullen data elementen worden gevonden die niet aan deze regels voldoen. Het rapporteren van deze afwijkingen in schoningsrapporten zorgt ervoor dat de incorrecte data elementen in beeld zijn en gecorrigeerd kunnen worden.

Voor de correctie moet (om herhaling te voorkomen) eerst de vraag beantwoord worden hoe elke afwijking tot stand is gekomen.

Aan welke oorzaken moeten we denken ?

Bijvoorbeeld:

• Menselijke fouten bij het invoeren van gegevens
• Klanten annuleren bestellingen die in de systemen niet goed worden teruggedraaid
• Een batch nodig voor de procesgang wordt dubbel of helemaal niet inlezen
• Door het migreren van gegevens komt het voor dat gegevens incompleet overkomen of dat vervuilde data wordt overgezet
• Het opzettelijk invoeren van incorrecte data om zichzelf of vrienden te bevoordelen
• Het vergeten om schermrobots of “tijdelijke” software workarounds aan te passen als het hoofdsysteem wijzigt
• Proces- en ontwerpfouten en beperkt testen

Als de oorzaak bekend is, moet deze verholpen worden om bij het schonen van de data het zogenaamde “dweilen met de kraan open” tot een minimum te beperken. Met het schonen van de data wordt niet alleen de oorzaak van de afwijking gevonden en de data kwaliteit van het systeem verhoogd. Het schonen is ook een bron voor het vinden van nieuwe afwijkingen en dus nieuwe data kwaliteitsregels.

Een data kwaliteitsregel als:

Een klant met product X moet ook product Y hebben,

…wordt al gauw aangevuld met de regel…

Een klant met product X moet ook product Y hebben, maar ontvangt geen korting.

Het aantal kwaliteitsregels over systemen in een organisatie kan behoorlijk toenemen. Daarom is het praktisch de regels op basis van hun eigenschappen onder te verdelen in groepen. Op die manier kan bijvoorbeeld snel bepaald worden waar de kwaliteit het minst op orde is. De kwaliteitsdimensies: consistentie, uniciteit, compleetheid, tijdigheid, conformiteit of geldigheid worden vaak gebruikt als groepering. Echter beter is om kwaliteitsregels onder te verdelen per invoermenu, systeem, leverstraat of afdeling. Dit zijn namelijk de dingen waarmee de organisatie dagelijks omgaat.

Welke kwaliteitsregel of schoningsrapport pak je nu als eerst op? Zoals eerder aangegeven kan data die niet voldoet aan een kwaliteitsregel schade veroorzaken. Schades worden gemeten in geld. Aan welke kosten moeten we in dit geval nu denken? Hoe bepaal je de kosten? Het bedrag van een schade veroorzaakt door slechte data kwaliteit gemeten via een kwaliteitsregel kan worden opgebouwd met de volgende elementen:

• Kosten te maken om de data te corrigeren
• Vervolgkosten omdat de incorrecte data processen wel of niet kan opstarten waardoor schade ontstaat
• Niet ontvangen van omzet indien een geleverde dienst niet in rekening is gebracht of onterecht ontvangen omzet omdat de dienst niet is geleverd maar de facturering van de dienst wel
• Niet afgedragen of teveel afgedragen licentiekosten zijn uiteindelijk ook een schadepost. Om een dienst te kunnen leveren moeten soms ook licentiekosten aan derde partijen worden afgedragen
• Imagoschade

Door aan elke kwaliteitsregel een schadeformule te hangen is dus per gevonden geval een schade te berekenen. Per meetmoment zijn dan alle gevallen die niet voldoen aan de regel op te tellen naar een totaalschade. Met de gevonden totaalschades zijn de regels te prioriteren, waardoor gericht een begin kan worden gemaakt met het schonen van data en het beperken van de schade.

De Premium Data Quality Toolkit maakt het mogelijk om dit hele proces van begin tot eind volledig automatisch te monitoren. Bij verscheidene klanten wordt de software gebruikt als voorwaarde voor migraties of gewoon bij het vinden en schonen van afwijkingen bij operationele processen.

Bent u geïnteresseerd of wilt u een demo of een Proof of Concept, neemt u dan contact op met Premium Business Consultants BV te Amstelveen.