volume monitoring beantwoordt een fundamentele vraag: bevat deze dataset na elke refresh ongeveer de juiste hoeveelheid gegevens? Het instellen ervan vereist drie componenten: een mechanisme om het aantal rijen vast te leggen, een basislijn om mee te vergelijken en een waarschuwingsregel.
Het aantal rijen vastleggen
Er zijn twee belangrijke manieren om het aantal rijen na een Power BI refresh vast te leggen:
Via de Power BI REST API: De API retourneert niet direct het aantal rijen, maar u kunt DAX-query's uitvoeren op een dataset met behulp van het executeQueries-eindpunt. Een eenvoudige EVALUATE ROW("Count", COUNTROWS(TableName)) retourneert het huidige aantal rijen zonder de volledige dataset te laden.
Via directe databasequery's: Als de gegevens afkomstig zijn uit een database die u beheert, kunt u de brontabel direct na het laden door de pipeline en vóór de Power BI refresh opvragen. Dit is eenvoudiger en betrouwbaarder, maar vereist toegang tot de database.
Het vaststellen van de basislijn
Een eenvoudige absolute drempelwaarde voor het aantal rijen ("waarschuwing geven als er minder dan 40.000 rijen zijn") werkt voor stabiele datasets, maar genereert valse positieven bij datasets met natuurlijke variatie. Een betere aanpak maakt gebruik van een voortschrijdende basislijn:
- Bereken het gemiddelde aantal rijen over de laatste 7-14 refreshes.
- Voor datasets met sterke patronen per dag van de week (bijv. transactietabellen met lagere volumes in het weekend), gebruik een basislijn die rekening houdt met de dag van de week: vergelijk het aantal van maandag met het gemiddelde van voorgaande maandagen, niet met een algemeen weekgemiddelde.
- Begin met een drempelwaarde van 15% afwijking en pas deze aan op basis van de daadwerkelijke variatie die u observeert.
De waarschuwingsdrempel per dataset instellen
Verschillende datasets vereisen verschillende drempelwaarden:
- Grote feitentabellen (miljoenen rijen): een daling van 10% is significant, geef een waarschuwing bij 10-15%.
- Middelgrote transactietabellen: de natuurlijke variatie is hoger, begin bij 20% en pas deze aan.
- Dimensietabellen en opzoektabellen: deze moeten zeer stabiel zijn, een daling van meer dan 5% is bijna altijd een probleem.
- Momentopnametabellen (volledig opnieuw geladen): vergelijk met de vorige refresh, niet met een voortschrijdend gemiddelde.
Afhandeling Verwachte volumeveranderingen**
Sommige volumeveranderingen worden verwacht: rapportageperiodes aan het einde van de maand, seizoensgebonden bedrijfsactiviteit, datamigraties. Uw waarschuwingssysteem moet het uitstellen of bevestigen van waarschuwingen voor bekende volumeveranderingen ondersteunen en uw basislijnberekening moet recente refresh zwaarder laten wegen om rekening te houden met daadwerkelijke groeitrends.
Wat volumemonitoring detecteert dat de vernieuwingsstatus mist
Volumemonitoring detecteert: kopieën van nul rijen vanuit ADF (pipeline geslaagd, maar bron was leeg), soft deletes die een partitie hebben gewist voordat de refresh werd uitgevoerd, verkeerde configuratie van het incrementele vernieuwingsbeleid waardoor de verkeerde partitie werd geladen en fouten in het bronsysteem waardoor geen exportbestand werd gegenereerd. Al deze gevallen resulteren in een succesvolle vernieuwingsstatus, terwijl er onjuiste gegevens worden geladen.