dbt Cloud wordt veel gebruikt als de SQL-transformatielaag in moderne data-stacks. dbt-modellen produceren de tabellen en weergaven die Power BI-datasets bevragen. Door dbt Cloud-monitoring te integreren met Power BI-monitoring wordt de kloof tussen de transformatielaag en de rapportagelaag overbrugd.
Wat de dbt Cloud-integratie omvat
Bewaking van taakuitvoeringen: dbt Cloud-taken voeren transformaties uit volgens een schema of worden geactiveerd door CI/CD. De dbt Cloud API retourneert de status van de taakuitvoering, de uitvoeringsduur en of er modellen binnen de uitvoering zijn mislukt. Een taak kan worden voltooid met een mislukte status (minstens één model is mislukt) of met een gedeeltelijke uitvoeringsstatus (de taak is geannuleerd voordat deze was voltooid).
Foutdetails op modelniveau: Wanneer een dbt job mislukt, zit de fout meestal in een specifiek model. De dbt Cloud run steps API retourneert welk model is mislukt en het SQL-foutbericht. Dit is de informatie over de hoofdoorzaak, niet alleen "de taak is mislukt", maar "model compute_margins is mislukt met de foutmelding kolom niet gevonden: discount_pct". MetricSign voegt dit toe als een root_cause_hint in het incident.
Analyseren van manifestherkomst: dbt genereert een manifest bij elke uitvoering. MetricSign analyseert dit manifest om een overzicht te maken van de herkomst van modellen naar Power BI-datasets. Door de uitvoertabellen van dbt-modellen te vergelijken met de configuraties van Power BI-databronnen, koppelt MetricSign mislukte dbt-taken aan de datasets die erdoor worden beïnvloed.
Detectie van schemawijzigingen: Wanneer het manifest tussen uitvoeringen verandert, omdat een ontwikkelaar de SQL van een model heeft aangepast en de kolomstructuur heeft gewijzigd, detecteert MetricSign de wijziging en signaleert deze als een potentieel risico voor Power BI-metingen en -relaties.
Instellen van de dbt Cloud-integratie
Voor de configuratie is een dbt Cloud-servicetoken met de machtigingen jobs:read en runs:read, de dbt Cloud-account-ID en de project-ID vereist. MetricSign haalt deze gegevens uit de dbt Cloud-URL (indien aanwezig) en gebruikt het token om na elke voltooide taak de API te raadplegen voor de status ervan.