Data transformeren 3 min lezen
Wat is dataverwerking, en wat levert het u op?
Gegevens heeft bijna elke organisatie genoeg. Ze staan alleen verspreid over spreadsheets, tekeningen, databases en systemen die elk hun eigen taal spreken. Dataverwerking zorgt ervoor dat al die gegevens samen iets gaan zeggen.
Door Extrala
Wat is dataverwerking?
Dataverwerking is alles wat er gebeurt tussen het moment dat gegevens ergens binnenkomen en het moment dat iemand er een beslissing op neemt. Gegevens worden verzameld, gecontroleerd, omgezet, gecombineerd, geanalyseerd en ten slotte vastgelegd of gedeeld. Elke stap maakt ruwe data een beetje bruikbaarder.
Dat klinkt abstract, maar u doet het waarschijnlijk dagelijks. Een export uit het ene systeem die u in Excel opschoont en in een ander systeem plakt: dat is dataverwerking. Alleen dan met de hand.
De stappen van dataverwerking
Hoe groot of klein een project ook is, dataverwerking volgt bijna altijd dezelfde stappen.
1. Verzamelen
Eerst komen de gegevens bij elkaar: uit bestanden, databases, webdiensten of sensoren. Vaak uit meerdere bronnen tegelijk, elk met een eigen formaat en een eigen opbouw. Denk aan een Excel-lijst, een CAD-tekening, een GIS-laag en open data van PDOK.
2. Controleren en opschonen
Ruwe data is zelden foutloos. Er ontbreken waarden, adressen zijn verschillend geschreven en records komen dubbel voor. Door de gegevens vooraf te controleren, vallen die fouten op voordat ze verderop schade doen. Lees meer over datakwaliteit bewaken.
3. Omzetten en combineren
Daarna krijgen de gegevens de vorm die nodig is: een ander bestandsformaat, een andere structuur of een ander coördinatenstelsel. Bronnen worden aan elkaar gekoppeld, bijvoorbeeld een klantenlijst aan de adressen uit de BAG. Dit deel heet datatransformatie.
4. Analyseren
Nu de gegevens kloppen en bij elkaar staan, kunt u er vragen aan stellen. Hoeveel panden liggen binnen een bepaalde zone? Welke trajecten worden het vaakst gebruikt? Waar ontbreekt nog informatie? Bij gegevens met een locatie gebeurt dat met een GIS-analyse.
5. Opslaan en delen
Tot slot landt het resultaat waar u ermee verder werkt: in een database, een kaartlaag, een dashboard, een rapportage of het systeem van een ketenpartner. En altijd in het formaat dat dat systeem verwacht.
Handmatig of geautomatiseerd?
Eén keer een bestand opschonen en omzetten lukt vaak nog wel met de hand. Het wordt lastig als het vaker moet, als de bestanden groot zijn of als er regels bij komen kijken. Handwerk kost tijd, is foutgevoelig en moeilijk te herhalen.
Een geautomatiseerde verwerking doet daarentegen elke keer precies hetzelfde. U legt de stappen één keer vast, en daarna draaien ze vanzelf: elke nacht, bij elk nieuw bestand of op het moment dat een ander systeem erom vraagt. Dat heet procesautomatisering. Koppelt u daarmee systemen aan elkaar, dan hoeft u gegevens nog maar één keer in te voeren. Lees meer over applicaties koppelen.
Wat levert goede dataverwerking op?
- Tijdwinst: geen uren meer kopiëren, plakken en controleren.
- Betrouwbaarheid: dezelfde regels, elke keer, en fouten vallen op voordat ze doorwerken.
- Inzicht: gegevens die eerst los van elkaar stonden, vertellen samen meer.
- Grip: u weet waar uw gegevens vandaan komen en wat ermee is gebeurd.
Waar begint u?
Begin bij de vraag, niet bij de data. Wat wilt u weten of verbeteren, en welke gegevens heeft u daarvoor nodig? Kijk daarna welke stappen nu nog met de hand gaan en vaak terugkomen. Daar zit meestal de grootste winst.
Extrala werkt daarbij met FME, software die ruim 400 bestandsformaten leest en schrijft. Benieuwd hoe zo’n traject verloopt? Lees hoe een dataproject bij Extrala verloopt, of neem contact op om uw vraag te bespreken.
