Data engineering — Datapipelines & data­platforms

Data engineering: ETL-pipelines, datawarehouses, realtime analytics en moderne dataplatforms. Ervaren senior team in Kosovo, voorstel binnen 24 uur.

Wat je krijgt

We bouwen het datafundament waarop je rapportages en AI steunen: betrouwbare ETL/ELT-pipelines, cloud datawarehouses, realtime streams en heldere datamodellen, zodat teams de cijfers vertrouwen en analisten niet langer spreadsheets repareren.

Opleveringen

  • Pipelines vanuit je apps, CRM’s en API’s
  • Cloud datawarehouse en datamodellen
  • Datakwaliteitstests en alerts
  • BI-dashboards en self-service datasets
  • Documentatie en datacatalogus

Technologieën die we gebruiken

  • Python
  • SQL
  • dbt
  • Apache Airflow
  • Apache Kafka
  • Spark
  • BigQuery
  • Snowflake
  • PostgreSQL

Typische opdrachten

4–8 weken

Analytics-fundament

De belangrijkste bronnen in één warehouse, met de eerste dashboards.

3–5 maanden

Realtime dataplatform

Event streaming en analytics met lage latency.

3–6 weken

Pipelines redden

Kwetsbare of falende pipelines repareren en tests en monitoring toevoegen.

Zo verloopt een data-engineeringproject bij ons

We beginnen bij de cijfers waarover in vergaderingen discussie ontstaat, niet bij een keuze voor tools. Elke stap laat iets draaiend achter in je cloudaccount dat je zelf kunt bevragen.

  1. 01

    Metrics en bronnen inventariseren

    We zetten de rapporten en beslissingen op een rij die ertoe doen, de metrics erachter en elk systeem dat ze voedt: productdatabase, CRM, facturatie, advertentieplatformen, spreadsheets. Elke metric krijgt één schriftelijke definitie en een eigenaar. Je ontvangt een bronnenkaart en een metric-woordenlijst, en kiest welk bedrijfsdomein als eerste aan de beurt is.

  2. 02

    De eerste bronnen binnenhalen

    Connectors of Python-loaders halen data incrementeel op, via change data capture of updated-at-cursors in plaats van volledige herladingen, naar ruwe tabellen die nooit met de hand worden bewerkt. Inloggegevens staan in je secrets manager. Aan het einde komen de eerste bronnen volgens schema binnen, met per load gelogde rijtellingen en aankomsttijden.

  3. 03

    De data modelleren en testen

    Ruwe tabellen worden opgeschoond tot stagingmodellen en daarna gevormd tot feiten en dimensies die de woordenlijst volgen. Tests dekken uniciteit, lege waarden, toegestane waarden en bedrijfsregels, zoals omzet die aansluit op de facturatie. Je analisten reviewen de modellen met ons en tekenen de definities af voordat er een dashboard op steunt.

  4. 04

    Rapporten herbouwen op betrouwbare tabellen

    De eerste dashboards worden in je BI-tool herbouwd op de gemodelleerde tabellen, naast gedocumenteerde datasets die analisten kunnen bevragen zonder een engineer te vragen. Oude spreadsheetrapporten vergelijken we cijfer voor cijfer met de nieuwe tot elk verschil verklaard is. In het analytics-fundament van 4–8 weken is dit het moment waarop vertrouwen ontstaat.

  5. 05

    Beheren en overdragen

    Een mislukte of late load plaatst een alert in een vast kanaal, en elke pipeline heeft een runbook. De infrastructuur staat in Terraform, warehousekosten zijn per workload gelabeld, en je team leert hoe je een bron of model toevoegt zonder de rapporten te breken die ervan afhangen.

Wat bepaalt de kosten van data engineering diensten?

Datawerk rekenen we af tegen € 45–65 per engineeruur, of we bouwen een platform met een vast squad vanaf € 15.000 per maand. Blijven bestaande pipelines falen, dan kan onze software-audit tegen een vaste prijs eerst komen. De omvang van het werk hangt af van de factoren hieronder.

Aantal en staat van de bronnen
Elke bron heeft eigen API-limieten, schemawijzigingen en eigenaardigheden. Een SaaS-tool met een stabiele API is snel gekoppeld; een on-premises ERP, een nachtelijke CSV van een partner via SFTP of een portaal zonder API kost veel meer tijd. Rangschik bronnen naar de beslissingen die ze voeden en koppel ze in die volgorde.
Hoe vers de data moet zijn
Dagelijkse loads zijn eenvoudig en goedkoop, per uur is een bescheiden stap hoger. Echte streaming, met event brokers, exactly-once-verwerking en laat binnenkomende records, is een andere architectuur, en daarom duren realtime platformen een traject van 3–5 maanden. Vraag welke beslissingen echt veranderen met versere data.
Overeenstemming over definities
Tellen sales, finance en product elk klanten op hun eigen manier, dan is de engineering snel klaar en de afstemming traag. Vroeg een woordenlijst afspreken, met één eigenaar per metric, voorkomt dat modellen en dashboards steeds opnieuw moeten zodra mensen cijfers zien waar ze het niet mee eens zijn.
Historie en backfills
Jaren historie uit logs reconstrueren, oude records afstemmen met gewijzigde productcodes of weggaan van een verouderd warehouse vraagt moeite die een pipeline die alleen vooruit laadt vermijdt. Bepaal hoe ver de rapporten echt terug moeten kijken voordat je alles gaat aanvullen.
Rekenkracht van het warehouse
De gebruikskosten volgen hoeveel data elke query scant. Partitionering, clustering, incrementele modellen en verstandige verversingsschema’s houden de maandelijkse warehouserekening voorspelbaar; dashboards die bij elke weergave hele tabellen opnieuw scannen, doen het omgekeerde. Kosten per pipeline labelen laat zien waar het geld heen gaat.

Vragen voor een partner in data engineering

Dataplatformen falen meestal stil: een cijfer verschuift, een load stopt, en een week lang merkt niemand iets. Stel deze vragen aan elk data-engineeringbedrijf dat je overweegt, ook aan ons.

Hoe merken we dat data te laat of fout is?
Zoek naar geautomatiseerde tests op versheid, volume en bedrijfsregels bij elke load, alerts die naar een vaste eigenaar gaan en een overzicht van welke dashboards geraakt zijn, zodat problemen boven komen voordat een rapport de directie bereikt.
Waar is elke metric gedefinieerd, en wie mag hem wijzigen?
Een goed antwoord houdt de logica van metrics in SQL of code onder versiebeheer, gereviewd als applicatiecode, met één definitie die elk dashboard gebruikt in plaats van formules die in elk BI-rapport zijn gekopieerd.
Wat gebeurt er als een bronsysteem zijn schema wijzigt?
Verwacht schemacontroles bij het binnenhalen, ruwe data die ongewijzigd bewaard blijft zodat loads opnieuw kunnen draaien, een afspraak of minstens een meldroute met het team dat eigenaar is van de bron, en een gedocumenteerde manier om nieuwe of hernoemde kolommen op te vangen.
Hoe wordt omgegaan met persoonsgegevens in het warehouse?
De leverancier hoort voor te stellen om persoonlijke velden te maskeren of te pseudonimiseren, waar nodig toegangsregels tot op kolomniveau te zetten, bewaartermijnen in de pipeline zelf toe te passen en verwijderverzoeken onder de AVG door te zetten naar elke afgeleide tabel, niet alleen naar de ruwe kopie.
Kunnen onze analisten het platform na de overdracht uitbreiden?
Vraag naar de documentatie, een datacatalogus, een lokale ontwikkelomgeving en een uitgewerkt voorbeeld van een model dat van begin tot eind wordt toegevoegd. Kan alleen de leverancier een pipeline veilig wijzigen, dan heb je een afhankelijkheid gekocht in plaats van een platform.

Waarom bedrijven voor elitics kiezen

De vragen die je juridische, security- en financeteams gaan stellen, beantwoord nog voor de eerste regel code.

Intellectueel eigendom
De NDA en de overdracht van IP worden getekend voordat het werk begint. Alle code, ontwerpen en documentatie zijn van jou.
Jouw omgeving
Engineers werken in je eigen repositories, ticketsystemen en communicatietools, volgens jouw toegangsbeleid.
Kwaliteitscontrole
Code review bij elke wijziging, en geautomatiseerde tests en CI/CD in elk project.
Inzicht
Wekelijkse sprintdemo’s en voortgangsrapportages, met een vaste lead die verantwoordelijk is voor de oplevering.
Continuïteit
Past een engineer niet goed bij je team, dan vervangen we hem of haar zonder extra kosten.
Flexibiliteit
Schaal het team per maand op of af wanneer je roadmap verandert.

Veelgestelde vragen

Welk datawarehouse raden jullie aan?

We werken met BigQuery, Snowflake, Redshift en PostgreSQL. We adviseren er één op basis van je cloud, datavolume en de kennis van je team, niet op basis van een standaardkeuze.

Kunnen jullie werken met onze bestaande BI-tool?

Ja. We koppelen met tools als Looker, Power BI, Metabase of Tableau en modelleren de data zo dat dashboards snel en consistent zijn.

Hoe zorgen jullie ervoor dat de data klopt?

Elke pipeline krijgt geautomatiseerde tests op actualiteit, volume en bedrijfsregels, met alerts voordat foute data een dashboard bereikt.

Hebben we een datawarehouse nodig, of volstaat onze applicatiedatabase?

Voor een paar rapporten over een klein product kan een read replica van je PostgreSQL-database genoeg zijn. Zodra je meerdere bronnen combineert, historie nodig hebt die de applicatie niet bewaart, of queries van analisten het product beginnen te vertragen, verdient een apart warehouse zichzelf terug. We raden de kleinste opzet aan die de vragen van vandaag beantwoordt en kan meegroeien.

Wat omvatten jullie data engineering diensten na de lancering?

Monitoring, reparaties wanneer een bron verandert, nieuwe bronnen en modellen als er nieuwe vragen opkomen, en kostenoptimalisatie van het warehouse. Dat loopt door tegen € 45–65 per engineeruur, vaak parttime, of binnen een squad als data één stroom van een groter product is. We kunnen ook alles documenteren en aan je eigen team overdragen.

Kunnen jullie onze data klaarmaken voor AI en machine learning?

Ja. Modellen hebben nodig wat rapporten nodig hebben, met strengere regels: consistente historie, features die correct zijn op het moment zelf en een heldere herkomst. We bouwen featuretabellen en documentextracten vanuit het warehouse, zodat trainingsdata en productie-invoer uit dezelfde bron komen en het AI-werk start op data die je teams al vertrouwen.

Laten we bouwen wat hierna komt.

Vertel ons wat je wilt bouwen of opschalen. Binnen 24 uur ontvang je een voorstel met een inschatting.

Of mail ons direct

hello@elitics.io+383 49 171 069

Dukagjini Center, Prishtina, Kosovo