Auteur de questions
Lire les données API rest Jira et les stocker dans une BD SQL avec ADF

Question
-
Bonjour je voudrais transférer les données Jira de l'entreprise pour laquelle je travaille dans une BD SQL avec Azure Data Factory.
J'ai déjà une liste de variables pré établies à récupérer. D'où ma première question. Dans les bonnes pratiques il vaut mieux tout stocker dans la BD dans un premier temps puis faire une sélection ou stocker desuite la sélection de variables ?
Ensuite je n'arrive pas à transférer l'ensemble des issues Jira ou une partie de celles-ci dans une BD SQL via deux techniques.
1) En utilisant le linked service 'rest' et l'activité copy data (avec règles de pagination). Lors du mapping de la collection 'issues' l'ensemble des variables n'est pas présente. Je suppose que c'est parce que chaque page à ses propres variables. J'ai donc utilisé le mappage dynamique qui me met le message d'erreur suivant à partir d'un certains nombre de variables présentes : "code": "BadRequest", "message": null, "target": "pipeline//runid/XXXX", "details": null, "error": null. Avec peu de variables(peu de caractères) le pipeline est fonctionnel. La structure du mappage avec peu de variables est la suivante :
@json('{"type": "TabularTranslator","mappings": [{"source": {"path": "[''id'']"},"sink": {"name": "id"}},{"source": {"path": "[''fields''].[''customfield_18449'']"},"sink": {"name": "Type intervenant","type":"String"}}],"collectionReference": "$[''issues'']","mapComplexValuesToString": true}')
2) En utilisant le connecteur Jira (linked service), via l'activité lookup, sans schéma de bd je ne sais pas quelle query utiliser
pour récupérer les données de toutes les tables établies par le connecteur.
Merci d'avance pour vos réponses. Je vous souhaite une bonne journée.
Toutes les réponses
-
Bonjour Fors34,
Dans les bonnes pratiques il vaut mieux tout stocker dans la BD dans un premier temps puis faire une sélection ou stocker desuite la sélection de variables ?
Cet article décrit les meilleures pratiques de chargement de données :
Meilleures pratiques de chargement de données dans Azure SQL Database
2) En utilisant le connecteur Jira (linked service), via l'activité lookup
Il semble que ce connecteur n’est pas présent parmi les connecteurs, pour lesquels le format JSON est pris en charge. Consultez la liste dans cet article :
Format JSON dans Azure Data Factory et Azure Synapse Analytics
Cependant, si vous vous adressez au forum du développeur du connecteur, il est fort probable que des personnes plus expérimentés pourraient vous donner des renseignements sur ce sujet.
Cordialement,
Dimitar- Modifié Dimitar DenkovMicrosoft contingent staff, Administrator jeudi 14 juillet 2022 21:05
-
-
Bonjour. Concernant ma première technique(activité copy data avec règles de pagination) pourquoi le mappage ne m'affiche pas l'ensemble des variables normalement extraites via l'API Jira. Il me manque des customfields pourtant j'ai effectué un test et je sais que je suis capable de récupérer l'ensemble des données sur une variable. J'utilise également l'éditeur avancé.
Merci.