Waarom je datapipeline ineens stilvalt terwijl niemand iets veranderde
Het is maandagochtend. De managementrapportage die normaal elke dag vernieuwd, toont nog de cijfers van vrijdag. Of helemaal niets. Niemand heeft iets aangepast. De scripts zijn al maanden niet aangeraakt en de pipelines, die de data ophaalt uit de bron, draaiden al die tijd zonder één foutmelding. Toch loopt er nu iets vast.
Precies dit zien we vaker voorkomen bij klanten. Hun data stroomde al geruime tijd netjes vanuit een bronsysteem via een API naar het datawarehouse. Daar bouwden we de inzichten op waar het bedrijf op stuurt. Tot er op een dag errors verschenen. Aan onze kant was niets veranderd.
Dan begint de vraag die je liever niet stelt. Wat is er gebeurd? En vooral, waar?
Leestijd: 7 minuten
Waarom een API zomaar verandert
Een API is de afgesproken manier waarop twee systemen met elkaar praten. Wij vragen via de API gegevens op uit een systeem van de klant, en dat systeem antwoordt in een vast formaat. Onze Python-scripts verwachten dat formaat en zetten de gegevens in de juiste tabellen van het datawarehouse. Van daaruit maken we rapportages en analyses, of passen we AI toe.
Dat werkt zolang beide kanten zich aan de afspraak houden. Alleen ligt die afspraak minder vast dan je zou denken. De leverancier van het bronsysteem ontwikkelt zijn product door. Er komt een nieuw veld bij omdat gebruikers erom vroegen. Een getal dat altijd heel was, mag ineens decimalen bevatten. Een endpoint, het adres waar je bepaalde gegevens ophaalt, wordt vervangen door een nieuwe versie die anders werkt.
Vanuit de leverancier is dat logisch. Hun product moet beter worden en ze denken daarbij vooral aan de mensen die hun applicatie dagelijks gebruiken. Wie via de API meeleest, staat minder op het netvlies. Een wijziging die in het scherm van de gebruiker niets uitmaakt, voelt dan niet als iets wat aangekondigd moet worden. Zo verandert een API stilzwijgend. Niet uit onwil, maar omdat niemand zich realiseert dat er aan de andere kant een pipeline op rekent.
Bij onze klant ging het precies zo. Uit de foutmeldingen bleek dat een record niet in een tabel kon worden toegevoegd omdat het datatype niet klopte. Het systeem, en daarmee de API, liet in een kolom inmiddels decimale getallen toe (floats), waar eerder alleen hele getallen voorkwamen (integers). Het datawarehouse verwachtte een heel getal en weigerde de rest. De gebruiker van de API werd voor deze wijziging niet gewaarschuwd.
Wat een stille wijziging je kost
De zichtbare kosten liggen voor de hand. Een pipeline ligt stil en iemand moet aan de slag om het op te lossen. In ons voorbeeld viel dat mee. De foutmeldingen waren uitgebreid genoeg om ons snel de goede kant op te sturen, en de zoektocht bleef relatief kort.
Dat is lang niet altijd zo. Het meeste werk zit vaak niet in het oplossen, maar in het uitzoeken. Eerst moet je vaststellen dat het probleem niet in je eigen code zit. Dan moet je achterhalen wat er aan de bron anders is. Pas daarna kun je bedenken wat eraan te doen valt. Vaak eindigt die speurtocht bij een wijziging in de API die, als hij was aangekondigd, in vijf minuten was verwerkt.
Minder zichtbaar is wat er intussen met de data gebeurt. Een rapport dat niet ververst, valt nog op. Gevaarlijker is een rapport dat wel ververst maar onvolledig is, omdat een deel van de records ongemerkt is weggevallen. Dan stuurt het management op cijfers die niet kloppen, zonder dat iemand het weet.
En dan is er het vertrouwen. Een organisatie die een paar keer heeft gezien dat het dashboard niet klopt, gaat zelf weer cijfers narekenen in een spreadsheet. Daarmee verdwijnt precies de tijdwinst waarvoor de koppeling ooit is gebouwd. Daarbij keert ook de versnippering terug in de organisatie, juist daarvoor wat het datawarehouse ooit opgezet.
"Een organisatie die een paar keer heeft gezien dat het dashboard niet klopt, gaat zelf weer cijfers narekenen in een spreadsheet."
Kristy | Data Engineer
Niet elke wijziging weegt even zwaar
Het helpt om onderscheid te maken. Een groot deel van de veranderingen is voorspelbaar van aard. Een kolom die erbij komt of verdwijnt, een datatype dat ruimer wordt, een veld dat soms leeg blijft. Je weet niet wanneer het gebeurt, maar je weet wel dat het kan gebeuren. Daar kun je je scripts op voorbereiden.
Een ander deel is fundamenteler. Als een endpoint wordt vervangen of anders gaat werken, vraagt dat vaak een nieuwe aanpak. Denk aan een andere manier van inloggen, een andere opbouw van het antwoord of gegevens die nu op twee plekken staan in plaats van één. Het bestaande script kan daar simpelweg niet mee overweg, en daarmee de bestaande pipeline ook niet. Daar moet een mens naar kijken.
Wie dat onderscheid scherp heeft, weet waar het loont om in robuustheid te investeren en waar het vooral aankomt op snel signaleren.
Hoe kun je zien of je kwetsbaar bent?
- Vraag je af wat er gebeurt als morgen een extra kolom in de bron verschijnt. Breekt je script, negeert het die kolom stilletjes, of komt hij netjes mee? Als je het antwoord niet weet, weet je ook niet hoe kwetsbaar je bent.
- Kijk hoe je erachter komt dat er iets mis is. Hoor je het van het systeem zelf, via een melding, of van een collega die zegt dat de cijfers vreemd ogen? In het tweede geval loop je altijd achter de feiten aan.
- Ga na of je bij een fout snel kunt zien wat er misging. Een foutmelding die alleen zegt dat het laden is mislukt, helpt weinig. Een melding die vertelt welk record, welke kolom en welk datatype het betreft, scheelt uren. In ons voorbeeld maakte juist dat het verschil.
- Stel ook vast of je weet waar de leverancier wijzigingen publiceert. Veel leveranciers hebben een changelog of een nieuwsbrief voor ontwikkelaars. Die zijn niet altijd volledig, maar wie ze niet volgt, mist ook de wijzigingen die wél worden aangekondigd.
Bouwen alsof de bron morgen verandert
Hoe zorg je er dan voor dat niet alles stopt met correct werken? Begin met schemavalidatie. Leg vast welke velden je verwacht en welk datatype elk veld hoort te hebben, en controleer elke binnenkomende lading daartegen voordat er iets in het datawarehouse wordt geschreven. Wijkt de data af, dan weet je dat direct, en ook precies waar. In ons voorbeeld had een validatie de overgang van integers naar floats meteen als afwijking gemarkeerd, nog voordat het wegschrijven misging.
Maak je scripts vervolgens bestand tegen de voorzienbare wijzigingen. Laat een nieuwe kolom niet het hele proces breken, maar vang hem op en meld hem. Kies datatypes in je doeltabellen die wat ruimte bieden, of zorg dat je script een ruimer type netjes kan omzetten. Ga ervan uit dat een veld leeg kan zijn. Het zijn kleine keuzes, maar samen voorkomen ze dat één wijziging een errorstorm door de hele keten veroorzaakt.
Zet daarna monitoring op afwijkingen. Niet alleen op fouten, ook op patronen. Komen er ineens veel minder records binnen dan normaal? Verschijnt er een nieuw veld? Verandert de verdeling van waarden in een kolom? Zulke signalen vertellen je vaak eerder dat er aan de bron iets is veranderd dan een harde fout. Je hoeft niet alles tegelijk te doen. Begin bij de pipelines waar de belangrijkste rapportages op draaien en breid van daaruit uit.
Voor de wijzigingen die je niet kunt opvangen, zoals een vervangen endpoint, draait het om tijd winnen. Goede monitoring en duidelijke foutmeldingen zorgen dat je binnen het uur weet wat er speelt in plaats van na een dag zoeken. Ga daarnaast het gesprek aan met leveranciers. Vraag of ze wijzigingen vooraf willen aankondigen, of meld je aan voor hun updates voor ontwikkelaars. Een korte mail vooraf scheelt een hoop speurwerk achteraf.
Wat je ermee wint, is overzicht. Het onderhoud van je pipelines wordt voorspelbaarder, je kunt op tijd handelen in plaats van achter de feiten aan te lopen, en de mensen die op je data sturen, kunnen erop blijven vertrouwen.
Een API is een afspraak, geen fundament
Een API is geen vaste ondergrond, eerder een afspraak die door één partij kan worden bijgesteld. Dat is geen reden om er niet op te bouwen. Het is wel een reden om te bouwen alsof er morgen iets verandert.
Bij onze klant draaien de pipelines inmiddels weer zoals voorheen. Het verschil is dat een volgende afwijking eerder wordt opgemerkt, voordat iemand op maandagochtend naar een leeg dashboard kijkt.
Pak één pipeline waar jouw organisatie op leunt en vraag je af wat er gebeurt als de bron morgen een kolom toevoegt of juist weghaalt. Weet jij het antwoord?
Benieuwd wat dat voor jouw organisatie kan betekenen? Neem contact met ons op en ontdek hoe je data omzet in een strategisch voordeel.
Meer kennis van Techspread!
Lees meer blogs met praktische tips, slimme strategieën en actuele ontwikkelingen rondom data.
Een dashboard vol cijfers, maar niemand weet wat hij ermee moet
- Business Intelligence | Data-analyse
De nieuwe data-analist: hoe AI de rol van analytics fundamenteel verandert
- AI | Business Intelligence | Data-analyse
De illusie van inzicht: standaardrapportages onder de loep
- Business Intelligence | Data-analyse
De ambitie om een datagedreven organisatie te worden? Tijd voor een bakkie pleur!
Een eerste gesprek begint bij wat er speelt binnen je organisatie. Misschien loop je tegen een concreet datavraagstuk aan, wil je meer met AI doen of ben je vooral benieuwd wat er mogelijk is. Tijdens een kennismaking brengen we samen de situatie in kaart en kijken we waar kansen liggen.
Wij denken met je mee, stellen kritische vragen en geven concreet advies. Geen eindeloze rapporten, maar concreet advies en praktische stappen waar je direct mee aan de slag kunt.