ADF Pipeline Error:
ADF Pipeline Error 2310

What does this error mean?

ADF kon geen Spark batch job indienen op het HDI/Spark cluster via de Livy batch API en kreeg een foutmelding terug.

Common causes

• 1Livy API op het HDI Spark cluster gaf een fout terug bij het aanmaken van de batch
• 2Onvoldoende cluster resources (cores/memory) beschikbaar om de Spark batch te starten
• 3Configuratiefout in de linked service naar het HDInsight/Spark cluster (credentials, endpoint, storage)
• 4Spark job zelf faalt bij submit door ontbrekende JAR's, ongeldige main class of foutieve job parameters

How to fix it

1. 1Lees de specifieke foutmelding achter '%message;' in de activity run Output op de Monitoring pagina en los de daar genoemde oorzaak op.
2. 2Noteer het batch ID en job ID uit de activity run Output — deze heb je nodig voor verdere diagnose en eventueel HDI support.
3. 3Verzamel de volledige log van de batch job via de Livy API (zie Microsoft docs: 'Get the full log of a batch job') om de root cause in de Spark driver/executor logs te zien.
4. 4Controleer cluster health en beschikbare resources in Ambari UI, en valideer de linked service configuratie van het HDInsight Spark cluster.
5. 5Als de logs onvoldoende informatie geven, neem contact op met het HDI support team en geef batch ID + job ID mee.

Frequently asked questions

Other configuration errors