Microsoft Fabric Data Pipelines vormen de orchestratielaag binnen het Fabric-platform. Ze verplaatsen en transformeren gegevens binnen Fabric-workspaces, laden gegevens in Lakehouses, activeren Spark-notebooks en voeren dataflow-refreshes uit. Wanneer een Fabric-pipeline mislukt, worden de downstream semantische modellen en Direct Lake-datasets die afhankelijk zijn van de uitvoer ervan, direct beïnvloed.
Waarom Fabric-pipeline bewaking verschilt van ADF-bewaking
Fabric Data Pipelines en Azure Data Factory hebben enkele overeenkomsten (beide zijn gebaseerd op dezelfde orchestratie-engine), maar er zijn belangrijke operationele verschillen:
Impact op Direct Lake: Fabric-pipelines schrijven vaak naar Delta-tabellen in een Lakehouse. Power BI Direct Lake-datasets lezen rechtstreeks uit die Delta-tabellen zonder een importstap. Wanneer de pipeline onjuiste of onvolledige uitvoer produceert, wordt dit direct weergegeven in de Direct Lake-dataset; er is geen gecachede importkopie om op terug te vallen.
Context van de workspacecapaciteit: Fabric-pipelines worden uitgevoerd binnen een Fabric capaciteit. Een pipeline die traag is of uitvalt, kan te maken hebben met capaciteitsproblemen. De workspace concurreert namelijk om resources met gelijktijdige Spark-taken, notebook-uitvoeringen of andere pipelines. Capaciteitsstatistieken zijn relevant voor het diagnosticeren van Fabric-pipeline failures, in tegenstelling tot ADF.
Fabric-pipelines bewaken via de API
De Fabric REST API biedt een uitvoeringsgeschiedenis voor Data Pipelines. De API retourneert de uitvoeringsstatus, start- en eindtijden en foutmeldingen voor mislukte uitvoeringen. MetricSign gebruikt deze API om fouten te detecteren en incidenten aan te maken.
Fabric-pipeline failures koppelen aan Power BI semantische modellen
Door de uitvoerpaden van Fabric-pipelines (Lakehouse-tabelnamen of ADLS-paden) te vergelijken met de gegevensbronnen die zijn geconfigureerd voor Direct Lake-semantische modellen, legt MetricSign lineage-koppelingen vast. Wanneer een pipeline uitvalt, worden de gekoppelde semantische modellen in het incident weergegeven, zodat je direct de gevolgen kunt zien.