Het monitoren van ADF-pipelinefouten in de context van Power BI vereist twee dingen: het detecteren van de fout in ADF en inzicht in welke Power BI-datasets door die fout worden beïnvloed.
ADF-fouten detecteren
ADF biedt verschillende ingebouwde monitoringmechanismen:
- Azure Monitor-integratie: ADF kan diagnostische logboeken en statistieken naar Azure Monitor verzenden. Waarschuwingsregels kunnen worden geconfigureerd voor mislukte pipeline-uitvoeringen, met meldingen via e-mail, Teams of webhook.
- ADF-native waarschuwingen: In de ADF Monitoring Hub kunt u waarschuwingen op pipelineniveau configureren voor fouten. Deze worden geactiveerd bij individuele pipelinefouten, maar aggregeren niet over pipelines heen en correleren niet met downstream-effecten.
- ADF REST API: De eindpunten
queryPipelineRunsenqueryActivityRunsretourneren de uitvoeringsgeschiedenis met status, foutmeldingen en uitvoerstatistieken (inclusiefrowsCopied). Door deze API te bevragen, worden fouten en kopieën met nul rijen gedetecteerd.
Het detecteren van kopieën zonder rijen (stille ADF-fouten)
ADF rapporteert een pijplijnuitvoering als 'Geslaagd' op basis van de uitvoering zelf, niet op basis van of er gegevens zijn gekopieerd. Een kopie zonder rijen – waarbij de bron geen gegevens bevat – wordt als 'Geslaagd' weergegeven. Om dit te detecteren, controleert u de metriek rowsCopied in de uitvoer van de kopieeractiviteit. Als deze 0 is of aanzienlijk lager dan de basislijn, is de pipeline technisch gezien geslaagd, maar ontvangt Power BI stale data.
Het verband tussen ADF-fouten en de impact op Power BI
Om te begrijpen welke Power BI-datasets worden beïnvloed door een mislukte ADF pipeline, moet u het volgende weten: 1. Naar welke tabellen heeft deze pipeline geschreven (de bestemmingsdataset in de configuratie van de kopieeractiviteit)?
- Welke Power BI-datasets lezen uit die tabellen (via de Power BI-datasource-API)?
- Wanneer zijn die datasets gepland voor de volgende refresh?
Als de volgende Power BI refresh plaatsvindt voordat de pipeline opnieuw wordt uitgevoerd en slaagt, laden die datasets stale data.
Proactieve waarschuwingen
Het meest waardevolle waarschuwingspatroon is proactief in plaats van reactief: als een ADF pipeline om 02:30 uur mislukt en u weet dat drie Power BI-datasets om 05:00 uur moeten worden vernieuwd en afhankelijk zijn van de uitvoer van deze pipeline, geef dan om 02:30 uur een waarschuwing met deze context. Dit geeft u de tijd om het probleem op te lossen of de Power BI refresh uit te stellen voordat gebruikers stale data zien.