Data transformeren 2 min lezen
Wat is ETL? Extraheren, transformeren en laden uitgelegd
ETL klinkt als vakjargon, maar het beschrijft iets wat veel organisaties al met de hand doen: gegevens ophalen, aanpassen en ergens neerzetten. ETL doet dat automatisch en elke keer op dezelfde manier.
Door Extrala
Wat is ETL?
ETL staat voor extraheren, transformeren en laden (in het Engels *extract, transform, load*). Het is de werkwijze waarmee gegevens uit een of meer bronnen worden gehaald, in de juiste vorm worden gebracht en in een doelsysteem worden gezet. Het is de kern van dataverwerking.
De drie stappen
1. Extraheren
De gegevens worden uit hun bron gehaald: een bestand, een database, een webdienst of een tekening. Vaak uit meerdere bronnen tegelijk.
2. Transformeren
Hier gebeurt het eigenlijke werk. Gegevens worden gecontroleerd, opgeschoond, hernoemd, omgerekend en gecombineerd. Denk aan het omzetten van een coördinatenstelsel of het koppelen van een klantenlijst aan adressen.
3. Laden
Het resultaat gaat naar waar u ermee verder werkt: een database, een kaartlaag, een rapportage of het systeem van een ketenpartner, in het formaat dat dat systeem verwacht.
ETL of ELT?
Bij ELT worden gegevens eerst ongewijzigd in het doelsysteem geladen en pas daar getransformeerd. Dat past bij grote dataplatformen in de cloud. ETL transformeert vóór het laden en past daarom goed bij situaties waarin bestanden en systemen verschillende formaten hebben en het resultaat precies aan een vorm moet voldoen.
Wanneer zet u ETL in?
– Gegevens komen binnen in verschillende formaten.
– Dezelfde handelingen komen elke week of elke dag terug.
– Het resultaat moet in een vaste structuur worden aangeleverd.
– Fouten in de gegevens mogen niet doorwerken in andere systemen.
ETL met FME
Extrala bouwt ETL-processen met FME. In FME legt u de stappen vast in een workspace, die u eenmalig of geautomatiseerd laat draaien. Lees meer over datatransformatie, of neem contact op om uw situatie te bespreken.
Veelgestelde vragen
Is ETL hetzelfde als datatransformatie?
Transformeren is één van de drie stappen. In de praktijk wordt het woord datatransformatie vaak gebruikt voor het hele proces.
Heb ik ETL nodig voor een klein project?
Niet altijd. Bij eenmalige, kleine bestanden is handwerk soms genoeg. ETL loont zodra het vaker terugkomt of fouten kostbaar zijn.
Moet ik kunnen programmeren om ETL te gebruiken?
Met FME bouwt u de stappen grafisch op. Extrala kan het bouwen en beheren ook voor u doen.
