Data transformeren 2 min lezen
Grote bestanden verwerken: zo automatiseert u het
Een spreadsheet die niet meer opent, een export die uren duurt, een bestand dat net te groot is voor het systeem waarin het moet. Grote bestanden verwerken met de hand loopt vroeg of laat vast. Gelukkig kan het anders.
Door Extrala
Waarom Excel en handwerk tekortschieten
Spreadsheets zijn gemaakt voor tabellen van een beperkte omvang. Bij honderdduizenden regels, bij zware kaartlagen of bij meerdere bestanden die samen moeten, wordt het traag en onbetrouwbaar. Bovendien is handwerk niet te herhalen: de volgende keer verloopt het net anders.
Wat maakt een bestand “groot”?
Niet alleen het aantal regels. Ook de aard van de gegevens telt:
– Aantal records: miljoenen regels in een tekstbestand.
– Complexiteit: kaartgegevens met veel punten per object.
– Aantal bronnen: meerdere bestanden die onderling moeten kloppen.
– Frequentie: hetzelfde bestand dat elke dag opnieuw binnenkomt.
Zo pakt u het aan
1. Beperk de data vroeg
Laat alleen weg wat u niet nodig heeft, zo vroeg mogelijk in het proces. Dat scheelt rekentijd in alle volgende stappen.
2. Werk in vaste stappen
Verdeel de verwerking in controleerbare stappen: inlezen, controleren, omzetten, combineren, wegschrijven. Zo vindt u fouten op de plek waar ze ontstaan. Lees ook datakwaliteit bewaken.
3. Leg de regels één keer vast
Wat u nu met de hand doet, kan als vaste werkwijze in FME worden ingericht. Dezelfde bestanden leveren dan elke keer hetzelfde resultaat op.
4. Laat het zelf draaien
Plan de verwerking in, of laat hem starten zodra er een nieuw bestand binnenkomt. Dat is procesautomatisering in zijn eenvoudigste vorm.
5. Houd een logboek bij
Bewaar wat er is verwerkt, wanneer en met welk resultaat. Dan kunt u altijd terugzien wat er met een bestand is gebeurd.
Hulp nodig?
Extrala verwerkt bestanden in vrijwel elk formaat en zet het resultaat klaar in de vorm die uw systeem verwacht. Lees meer over data transformeren en neem contact op om uw situatie te bespreken.
Veelgestelde vragen
Wanneer is een bestand te groot voor Excel?
Zodra het traag wordt, vastloopt of niet meer opent. Voor terugkerende verwerking is Excel meestal sowieso niet de plek om de logica in vast te leggen.
Kunnen ook kaartbestanden en tekeningen worden verwerkt?
Ja. FME leest en schrijft naast tabellen ook GIS- en CAD-formaten.
Hoe weet ik dat er niets verloren gaat?
Door na elke stap te controleren en de aantallen en afwijkingen vast te leggen.
