Datatransformatie brengt honderden bestandsformaten samen in één werkomgeving

Wat is datatransformatie?

Bij datatransformatie zet u gegevens om naar een andere vorm: een ander bestandsformaat, een andere structuur of een ander coördinatenstelsel. In de praktijk gaat het bijna altijd om meer dan ‘opslaan als’. Kolommen krijgen andere namen, waarden worden omgerekend en records samengevoegd of juist gesplitst. Bovendien controleert een goede transformatie de geometrie en herstelt die waar nodig.

In het vak heet dat ETL: extract, transform en load. Wij noemen het gewoon importeren, bewerken en exporteren.

De drie stappen van een datatransformatie

1. Importeren

Eerst halen we de gegevens op, uit bestanden, databases of webdiensten. Het bestandsformaat is daarbij geen belemmering: FME, de software waarmee wij werken, leest en schrijft ruim 400 formaten. Denk bijvoorbeeld aan:

• spreadsheets en tekstbestanden, zoals Excel en CSV;
• CAD-tekeningen in DWG en DXF;
• GIS-formaten zoals Shapefile, GeoPackage, GeoJSON en GML;
• databases zoals PostgreSQL met PostGIS, Oracle en SQL Server;
• puntenwolken, luchtfoto’s en BIM-modellen.

2. Bewerken

Daarna valideren, verrijken en projecteren we de data en stemmen we de bronnen op elkaar af, volgens de regels die voor uw organisatie gelden. Een adres krijgt coördinaten, een tekening komt op de juiste plek op de kaart en dubbele of onvolledige records vallen op voordat ze schade doen.

3. Exporteren

Tot slot landt het resultaat precies daar waar u ermee verder werkt: in een database, een kaartlaag, een rapportage of het systeem van een ketenpartner. En altijd in het formaat dat dat systeem verwacht.

Waarom niet gewoon met de hand?

Een bestand één keer omzetten lukt vaak nog wel met de hand. Het wordt lastig als het vaker moet, als de bestanden groot zijn of als er regels bij komen kijken. Handwerk is namelijk foutgevoelig en moeilijk te herhalen. Wie weet over een half jaar nog precies welke kolommen er zijn aangepast?

Een datatransformatie die eenmaal goed is ingericht, doet daarentegen elke keer precies hetzelfde. Dat maakt het resultaat controleerbaar. Ook is de stap naar procesautomatisering dan klein: dezelfde transformatie kan elke nacht of bij elk nieuw bestand vanzelf draaien.

Vier vragen vóór een datatransformatie

• Structuur: welke velden heeft de bron en welke verwacht het doel?
• Betekenis: betekent ‘status 2’ in beide systemen hetzelfde?
• Ligging: in welk coördinatenstelsel staat de geometrie?
• Kwaliteit: wat gebeurt er met records die niet aan de regels voldoen?

Wie die vragen vooraf beantwoordt, voorkomt verrassingen achteraf. Meer over de software zelf leest u op de website van FME.