Data transformeren
Bij datatransformatie zet Extrala gegevens uit ruim 400 bestandsformaten om. Zo komt de juiste informatie terecht waar u ermee werkt.
Betere beslissingen beginnen bij betere gegevens
Toegang tot relevantere informatie. En op basis daarvan betere beslissingen kunnen nemen. Dat is het doel van data transformeren.
Extrala haalt gegevens uit uiteenlopende bestanden en databases, brengt die informatie samen en laadt het resultaat in uw eigen werkomgeving: extraheren, transformeren en laden.
- Extraheren
- Bestanden, databases, webdiensten en API’s
- Transformeren
- Valideren, verrijken, projecteren, samenvoegen
- Laden
- Uw eigen workspace, database of rapportage
- Formaten
- Van Esri Shapefile tot IFC, en honderden meer
Wanneer is dit iets voor u?
Een bestand één keer omzetten lukt vaak nog wel met de hand. Lastig wordt het als het vaker moet, als de bestanden groot zijn of als er regels bij komen kijken.
- Uw Excel-lijsten, DWG-tekeningen en GIS-lagen passen niet op elkaar
- Een ketenpartner verwacht uw gegevens in een ander formaat
- Niemand weet meer welke kolommen er ooit zijn aangepast
- Uw tekening ligt op de kaart een paar meter naast de luchtfoto
- Dezelfde statuscode betekent in twee systemen iets anders
Zo pakken wij het aan
Allereerst: u legt uw vraag voor U beschrijft welke gegevens u heeft, waar ze vandaan komen en wat ermee moet gebeuren. Vervolgens kijken wij samen naar wat er mogelijk is.
Daarna: een ontwerp vooraf, Aan de hand van uw wensen en eisen maken wij een duidelijk ontwerp. Daarbij bespreken we de aanpak, zodat u vooraf weet wat u kunt verwachten. Pas daarna geeft u akkoord voordat wij bouwen.
Tot slot: bouwen, testen en opleveren, Wij bouwen de transformatie en testen die met uw eigen gegevens. Vervolgens controleren we of de uitkomst klopt. Pas als alles goed werkt, leveren wij de oplossing op.
Waar u op kunt rekenen
Van de eerste vraag tot de oplevering heeft u één aanspreekpunt. Zo weet u vooraf wat u krijgt en blijft het hele traject overzichtelijk.
- Allereerst: binnen één werkdag antwoord op uw vraag
- Vervolgens: tijdige oplevering van wat is afgesproken
- Daarnaast: vooraf duidelijk wat u krijgt, zonder gedoe achteraf
- Bovendien: FME, de software waarmee wij 99% van ons werk doena
Bestandsformaten en databases koppelen
Bestandsformaten
- Adobe 3D PDF*.pdf
- Adobe Geospatial PDF*.pdf
- Adobe Illustrator (IEPS)*.eps
- ASPRS Lidar Data Exchange Format (LAS)*.las *.laz *.zlas *.lasd
- Autodesk AutoCAD DWF*.dwf
- Autodesk AutoCAD DWG*.dwg
- Autodesk AutoCAD DXF*.dxf
- Bentley MicroStation*.dgn
- BIM Collaboration Format (BCF)*.bcfzip
- CityGML*.gml *.xml *.gz
- CSV (Comma-Separated Value)*.csv *.gz *.txt
- dBase (DBF)*.dbf
- ER Mapper ECW*.ecw
- Esri Geodatabase*.gdb
- Esri Shapefile*.shp
- GDAL
- GeoJSON*.json *.geojson
- GeoTIFF (Georeferenced Tagged Image File Format)*.tif *.tiff *.itiff *.ovr
- GIF Rasterizer*.gif
- GML (Geography Markup Language)*.gml
- Google KML*.kml
- HERE Venue Map (GML)*.gml *.xml *.gz
- HTML*.html *.htm
- Industry Foundation Classes (IFC)*.ifc
- INSPIRE GML*.gml *.xml *.gz
- JPEG*.jpg *.jpeg *.jpe *.jif *.jfif *.jfi
- MapInfo TAB (MAPINFO/MITAB)*.tab
- Microsoft Access*.accdb *.mdb
- Microsoft Excel*.xlsx *.xlsm *.xls
- OGC GeoPackage*.gpkg
- OpenStreetMap (OSM) XML*.osm
- PNG (Portable Network Graphics)*.png
- Point Cloud XYZ (POINTCLOUDXYZ)*.xyz *.csv *.txt
- Pointools POD
- QVX (QlikView Data Exchange) Writer*.qvx
- SpatiaLite*.sqlite *.db *.sl3
- SQLite MBTiles*.mbtiles
- Tableau Data Extract (TDE)*.tde
- Text File*.txt *.txt.gz
- TIFF (Tagged Image File Format)*.tif *.tiff *.itiff *.ovr
- WFS (Web Feature Service)
- WMS (Web Map Service)
- XML (Extensible Markup Language)*.xml *.gml *.gz
Databases
- Amazon Aurora SpatialMYSQL_AURORA_SPATIAL
- Amazon RedshiftREDSHIFT
- Google Cloud SQL SpatialMYSQL_GOOGLE
- IBM DB2 Non-SpatialDB2
- IBM DB2 SpatialDB2SPATIAL
- MariaDB (MySQL compatible) Non-SpatialMYSQL_DB
- MariaDB (MySQL compatible) SpatialMYSQL
- Microsoft Azure SQL Database Non-SpatialMSSQL_AZURE
- Microsoft Azure SQL Database SpatialMSSQL_AZURE_SPATIAL
- Microsoft SQL Server SpatialMSSQL_SPATIAL
- Microsoft Windows Azure TableAZURE_TABLE
- MySQLMySQL
- Oracle Spatial
- PostGISPOSTGIS
- PostgreSQLPOSTGRES
- SQLSQL
Verrijken met open data
Uw eigen datasets worden aangevuld met informatie die er nog niet in zat. Bijvoorbeeld met de open data die in Nederland beschikbaar is.
- Landelijke basisregistraties als de BGT en de BAG
- Openbare kaartdiensten via WFS en WMS
- Uw eigen gegevens, gekoppeld op locatie of sleutel
Een transformatie die u kunt volgen
Wij bouwen een transformatie in FME als een workspace: een schema van links naar rechts, waarin de gegevens van bron naar bestemming stromen. Zo’n schema bestaat uit drie soorten onderdelen, elk met een eigen taak.
Omdat de workspace visueel is, ziet u ook achteraf nog precies wat er met de gegevens gebeurt. Dat maakt een transformatie controleerbaar en overdraagbaar. Daarnaast leggen wij vast wat er gebeurt en waarom, zodat de werking niet alleen in ons hoofd zit.
- Readers lezen gegevens in uit een bestand, database of webdienst
- Transformers filteren, voegen samen, rekenen om en controleren
- Writers schrijven het resultaat weg in het formaat dat nodig is
Vaktermen in gewone taal
Op deze pagina komen enkele vaktermen voorbij. Hieronder leggen wij er vijf uit.
- ETL
- ETL staat voor extract, transform en load, in het Nederlands extraheren, transformeren en laden. Wij noemen het gewoon importeren, bewerken en exporteren.
- FME
- FME staat voor Feature Manipulation Engine en komt van het Canadese Safe Software. Met dit platform zetten wij gegevens om en combineren wij ze, zonder dat er programmeerwerk voor nodig is.
- Valideren
- Valideren is controleren of gegevens aan de afgesproken regels voldoen. Zijn verplichte velden gevuld, vallen waarden binnen de grenzen en komt elk object maar één keer voor?
- Geometrie
- Geometrie is de vorm en ligging van een object op de kaart, zoals een punt, lijn of vlak. Een geldig vlak sluit en kruist zichzelf niet.
- Coördinatenstelsel
- Een coördinatenstelsel legt vast waar het nulpunt ligt en in welke eenheid wordt gemeten. Dezelfde plek heeft daardoor in elk stelsel andere getallen: meters in RD, graden in WGS84.
De andere diensten van Extrala
Lees meer over onze diensten
Vragen over data transformeren
Mijn bestandsformaat of database staat niet in de lijst. Kan het toch?
De kans is groot. Wij lezen en schrijven honderden bestandsformaten en werken met veel verschillende databases, van PostgreSQL en PostGIS tot Microsoft SQL Server en MySQL. De lijst op deze pagina is een greep daaruit. Laat ons weten om welk formaat of welke database het gaat, dan hoort u wat er kan.
Wat gebeurt er met gegevens die niet kloppen?
Controleren hoort bij de transformatie zelf. Dubbele of onvolledige gegevens vallen daardoor op voordat ze in uw systemen terechtkomen. Wat er moet gebeuren met gegevens die niet aan uw regels voldoen, bepalen wij vooraf samen met u.
Is een transformatie eenmalig, of kan het ook vaker?
Beide kan. Wij zetten uw gegevens eenmalig om, of als vast onderdeel van uw werkproces. Een transformatie die eenmaal goed is ingericht, doet elke keer precies hetzelfde en kan daarna ook automatisch draaien. Meer daarover leest u bij procesautomatisering.
Wat kost een datatransformatie en hoe lang duurt het?
Dat hangt af van het aantal bronnen, de bestandsformaten en de regels waaraan het resultaat moet voldoen. Een opdracht hoeft niet groot te zijn: soms gaat het om één bestand dat elke maand moet worden omgezet. Neem contact op, dan bespreken wij uw situatie.
Bespreek uw datatransformatie met ons
Neem contact op. Vertel welke bestanden en systemen u gebruikt, dan laten wij zien wat er mogelijk is.