Data transformeren 2 min lezen
Datakwaliteit bewaken is het halve werk
Een ontbrekende postcode, een vlak dat zichzelf kruist, een datum in de verkeerde notatie. Kleine fouten, maar in een koppeling of analyse kunnen ze grote gevolgen hebben.
Door Extrala
Wat is datakwaliteit?
Datakwaliteit gaat over de vraag of gegevens geschikt zijn voor het doel waarvoor u ze gebruikt. Het is dus geen absoluut begrip. Een adres zonder huisnummertoevoeging is prima voor een kaart op wijkniveau, maar ongeschikt om een pakket te bezorgen.
Vijf controles voor betere datakwaliteit
- Volledigheid: zijn alle verplichte velden gevuld?
- Geldigheid: vallen de waarden binnen de afgesproken grenzen en keuzelijsten?
- Uniciteit: komt elk object maar één keer voor?
- Samenhang: kloppen de gegevens met elkaar en met andere bronnen, zoals de BAG?
- Geometrie: zijn lijnen en vlakken geldig, sluiten de vlakken en liggen ze op de goede plek?
Controleren hoort in het proces
Veel organisaties controleren hun gegevens eens per jaar, in een grote schoonmaakactie. Beter is het om de controles in te bouwen in het proces zelf. Dan toetst u elke nieuwe levering aan dezelfde regels, en zet u apart wat niet voldoet, met een duidelijke reden erbij.
Zo ontstaat er geen achterstand, en ziet u meteen waar fouten vandaan komen. Komt een bepaalde fout steeds uit dezelfde bron? Dan kunt u het probleem daar oplossen, in plaats van telkens achteraf.
Automatisch herstellen, of juist niet
Sommige fouten zijn veilig automatisch te herstellen: een spatie te veel, een postcode zonder spatie, een vlak dat net niet sluit. Andere fouten vragen om een menselijk oordeel. Een goede controle maakt dat onderscheid: wat zeker is, herstelt hij; de rest legt hij voor.
Dat voorkomt dat een automatische correctie ongemerkt een nieuwe fout veroorzaakt. Bovendien maakt het de automatisering van uw processen betrouwbaar. Wat een geldige geometrie is, staat beschreven in de standaarden van het Open Geospatial Consortium.
