none
Lire les données API rest Jira et les stocker dans une BD SQL avec ADF RRS feed

  • Question

  • Bonjour je voudrais transférer les données Jira de l'entreprise pour laquelle je travaille dans une BD SQL avec Azure Data Factory. 

    J'ai déjà une liste de variables pré établies à récupérer. D'où ma première question. Dans les bonnes pratiques il vaut mieux tout stocker dans la BD dans un premier temps puis faire une sélection ou stocker desuite la sélection de variables ? 

     Ensuite je n'arrive pas à transférer l'ensemble des issues Jira ou une partie de celles-ci dans une BD SQL via deux techniques. 

    1) En utilisant le linked service 'rest' et l'activité copy data (avec règles de pagination). Lors du mapping de la collection 'issues' l'ensemble des variables n'est pas présente. Je suppose que c'est parce que chaque page à ses propres variables. J'ai donc utilisé le mappage dynamique qui me met le message d'erreur suivant à partir d'un certains nombre de variables présentes : "code": "BadRequest", "message": null, "target": "pipeline//runid/XXXX", "details": null, "error": null. Avec peu de variables(peu de caractères) le pipeline est fonctionnel. La structure du mappage avec peu de variables est la suivante : 

    @json('{
                "type": "TabularTranslator",
                "mappings": [
                    {
                        "source": {
                            "path": "[''id'']"
                        },
                        "sink": {
                            "name": "id"
                        }
                    },
    {
                        "source": {
                            "path": "[''fields''].[''customfield_18449'']"
                        },
                        "sink": {
                            "name": "Type intervenant",
                            "type":"String"
                        }
                    }
                ],
                "collectionReference": "$[''issues'']",
            "mapComplexValuesToString": true

           }')

    2) En utilisant le connecteur Jira (linked service), via l'activité lookup, sans schéma de bd je ne sais pas quelle query utiliser

    pour récupérer les données de toutes les tables établies par le connecteur.

    Merci d'avance pour vos réponses. Je vous souhaite une bonne journée.

    jeudi 14 juillet 2022 14:07

Toutes les réponses